Die Berechnung des NAPs (ausgeschrieben „Non-Overlap of All Pairs“) ist eine einfache Methode, um die Wirksamkeit von Interventionen im schulischen und erzieherischen Kontext zu bewerten. In diesem Artikel erklären wir dir, was der NAP ist, welche Daten du benötigst, wie die Berechnung funktioniert und wie du die Ergebnisse interpretieren kannst. Außerdem zeigen wir dir digitale Möglichkeiten zur Berechnung.
1. Was ist der NAP?
Der NAP ist ein statistisches Maß, das die Effektivität von Interventionen anhand der Überlappung von Datenpunkten aus verschiedenen Phasen misst. Meist wird er in der Einzelfalldiagnostik eingesetzt, beispielsweise bei A-B-A- oder A-B-Designs – also in Studien, die erstmal eine zeitlang einfach so Daten erheben und Schüler*innen beobachten ohne eine pädagogische Intervention einzusetzen und diese Daten dann mit einer Phase vergleichen, in der eben jene Intervention zum Einsatz kommt. In beiden Phasen wird das gleiche Verhalten (z.B. „stört den Unterricht“) beobachtet und dann nachher verglichen. Der NAP gibt dann an, wie oft Datenpunkte aus der Interventionsphase höher oder niedriger liegen als jene aus der Baselinephase. Dabei wird die relative Überlappung als Prozentsatz ausgedrückt:
- Schwache Effekte: 0 bis 0,65
- Mittlere Effekte: 0,66 bis 0,92
- Große oder starke Effekte: 0,93 bis 1,0
Aber Achtung! Die Interpretation des NAP-Werts hängt davon ab, welche Zielrichtung das untersuchte Verhalten hat. Wenn ein Verhalten reduziert werden soll (z. B. unerwünschtes Verhalten), sollten niedrigere Werte in der Interventionsphase als Fortschritt gewertet werden. Umgekehrt, wenn ein Verhalten gesteigert werden soll (z. B. erwünschtes Verhalten), sollten höhere Werte in der Interventionsphase als Fortschritt interpretiert werden. Eine falsche Zuordnung kann zu Missverständnissen bei der Bewertung der Intervention führen.
2. Welche Daten brauche ich?
Um den NAP zu berechnen, benötigst du also Messwerte aus mindestens zwei Phasen:
- Baselinephase: Datenpunkte, die das Verhalten vor der Intervention darstellen.
- Interventionsphase: Datenpunkte, die das Verhalten während der Intervention erfassen.
Die Daten sollten möglichst präzise und regelmäßig erhoben werden, um eine valide Analyse zu gewährleisten. Idealerweise umfasst jede Phase mindestens 5 bis 12 Messzeitpunkte – doch das unterscheidet sich ein wenig. Je nachdem welches Verhalten du beobachten möchtest. Wenn es sich um lernbezogenes Verhalten handelt sind häufig weniger Messzeitpunkte nötig, um zu validen Ergebnissen zu kommen. Bei Verhalten im Bereich emotionale/soziale Entwicklung sind es tendenziell mehr.
3. Wie berechne ich den NAP?
Der NAP-Wert wird berechnet, indem man alle möglichen Paare von Datenpunkten aus zwei Bedingungen vergleicht. Als Formel ausgedrückt, also:
$$ \text{NAP} = \frac{\text{Anzahl der nicht überlappenden Paare} + 0,5 \times \text{Anzahl der gleichwertigen Paare}}{\text{Gesamtanzahl der Paare}} $$
1. Datenpaare bilden
Nimm die Datenpunkte aus beiden Bedingungen:
- Baseline (A): z. B. [2, 3, 5]
- Intervention (B): z. B. [4, 6]
Erstelle alle möglichen Paare, indem du jeden Wert aus der Baseline (A) mit jedem Wert aus der Intervention (B) kombinierst.
_____________________________
2. Paare vergleichen
Vergleiche jedes Paar (bestehend aus einem Wert aus A und einem Wert aus B) nach den folgenden Regeln:
- Nicht überlappend: Der Wert aus A ist kleiner als der Wert aus B (z. B. 2 < 4).
- Überlappend: Der Wert aus A ist größer als der Wert aus B (z. B. 5 > 4).
- Gleichwertig: Der Wert aus A ist gleich dem Wert aus B (z. B. 3 = 3).
_____________________________
3. Werte berechnen
Wir berechnen nun folgende Werte:
- Nicht überlappende Paare: Die Anzahl der Paare, bei denen der Wert aus A kleiner als der Wert aus B ist.
- Gleichwertige Paare: Die Anzahl der Paare, bei denen der Wert aus A gleich dem Wert aus B ist.
- Gesamtanzahl der Paare: Die Gesamtzahl aller möglichen Paare, berechnet als Anzahl der Werte in A multipliziert mit der Anzahl der Werte in B.
Baseline (A): [2, 3, 5]
Intervention (B): [4, 6]
- Paare bilden:
Alle möglichen Paare: (2, 4), (2, 6), (3, 4), (3, 6), (5, 4), (5, 6)- Paare vergleichen:
- (2, 4): 2 < 4 → Nicht überlappend
- (2, 6): 2 < 6 → Nicht überlappend
- (3, 4): 3 < 4 → Nicht überlappend
- (3, 6): 3 < 6 → Nicht überlappend
- (5, 4): 5 > 4 → Überlappend
- (5, 6): 5 < 6 → Nicht überlappend
Wir kommen als zu folgendem Ergebnis:
- Anzahl der nicht überlappenden Paare: 5
- Anzahl der überlappenden Paare: 1
- Anzahl der gleichwertigen Paare: 0
In die Formel einsetzen:
- Gesamtanzahl der Paare: $$ N_{total} = 3 \times 2 = 6 $$
$$ \text{NAP} = \frac{5 + 0,5 \times 0}{6} = \frac{5}{6} \approx 0,83 $$
4. Interpretation des NAP
Bei der Interpretation des NAP-Werts ist es wichtig, klar zu definieren, welche Art von Verhalten gemessen wird, da unterschiedliche Zielverhalten (z. B. störendes Verhalten vs. lernförderliches Verhalten) zu unterschiedlichen Erwartungen führen:
Abnehmendes Verhalten:
Wenn das Ziel darin besteht, ein Verhalten wie störendes Verhalten im Unterricht zu reduzieren, sollte der NAP-Wert zeigen, dass die Werte in der Interventionsphase niedriger sind als in der Baseline. In diesem Fall wird ein Paar als nicht überlappend gezählt, wenn der Wert der Interventionsphase kleiner ist als der Wert der Baseline.
$$(b_j < a_i)$$
Zunehmendes Verhalten:
Wenn hingegen ein Verhalten wie lernförderliches Verhalten gefördert werden soll, sollten die Werte in der Interventionsphase höher sein als in der Baseline. Ein Paar wird als nicht überlappend gezählt, wenn der Wert der Interventionsphase größer ist als der Wert der Baseline.
$$(b_j > a_i)$$
Anpassung bei Überlappung:
Es ist entscheidend, die Logik hinter der Definition von „Überlappung“ entsprechend der Zielsetzung anzupassen. Eine falsche Definition der Überlappung kann dazu führen, dass der NAP-Wert fehlerhaft interpretiert wird und keine korrekte Aussage über den Effekt der Intervention möglich ist.
4. Digitale Möglichkeiten zur Berechnung
Die Berechnung kann praktischerweise auch über die Internetplattform singlecaseresearch.org vorgenommen werden oder über Apps wie PlusDaily. In der PlusDaily-App kannst du den NAP direkt berechnen und die Daten visualisieren. Die App synchronisiert die Daten über Firebase und ermöglicht eine einfache Interpretation. Für das Programm R gibt es eigene Pakete, die die Berechnungen für dich übernehmen können.