die Vortestergebnisse bei der verglei­chenden Beurteilung der Nachtestresul­tate als Kovariate nutzen, um auf diese Weise die statistische Teststärke zu er­höhen. Falls mit einer bestehenden Teil­population gearbeitet wird, die der For­scher selbst in Kontroll- und Experi­mentalgruppen einteilen kann, sind Vor­testergebnisse notwendig, um auf deren Grundlage gezielt möglichst vergleich­bare Gruppen zu bilden(Stratifizierung). Bei alledem ist jedoch zu bedenken, daß eine nichtäquivalente Kontrollgruppen­studie schwieriger zu interpretieren ist als eine vollständig randomisierte Grup­penvergleichsstudie. Bei der letzteren fungiert die Randomisierung als Omni­busmethode zur gleichzeitigen Kontrol­le bekannter wie unbekannter Störvaria­blen, während sich durch Vortestmes­sungen nur bekannte Störfaktoren ab­schätzen lassen, und: Vortests sollten nicht eingesetzt werden, wenn dadurch eine Sensitivierung der Versuchsperso­nen droht, wie dies etwa bei Einstellungs­messungen der Fall ist oder wenn zu befürchten ist, daß Testwiederholungs­effekte mit den Interventionseffekten konfundiert werden. Zwar gibt es— zu­meist komplexe und vergleichsweise an­spruchsvolle— Designalternativen, die hier zusätzliche Kontrollen einführen (vgl. Campbell& Stanley 1970; Cook& Campbell 1979), aber diese sind unter Praxisbedingungen so schwierig zu rea­lisieren, daß Langfeldt zuzustimmen ist, wenn er schreibt(1990, 283):„In der Praxis funktioniert es nicht!“ Wir wol­len im folgenden— unter anderem durch Rückgriff auf ausgesuchte Argumente von Krauth(1983), Langfeldt(1990) und White(1984)— zeigen, daß schon die Realisierung der in Abbildung 3 aufge­führten Designs von niedriger Kom­plexität unter Bedingungen der sonder­pädagogischen Praxis nur schwer zu rea­lisieren sind und daß diese wie alle grup­penvergleichenden Designs bestimmte sonderpädagogische Fragestellungen nicht oder nur sehr bedingt beantworten können.

Probleme bei sonderpädagogischen Fragestellungen

Gruppenvergleichende Designs wie die in Abbildung 3 dargestellten stoßen bei der Lösung sonderpädagogischer Frage­stellungen auf zwei Arten von Schwie­rigkeiten: Oft sind sie gar nicht reali­sierbar, und wenn, dann sind sie manch­mal trotzdem nicht angezeigt, weil es ihnen an Praxisrelevanz mangelt. Wir werden zunächst vier Realisierbarkeits­probleme betrachten, welche die Ran­domisierung, die Bildung von Kontroll­gruppen, die Stichprobengröße und die Homogenität von Vergleichsgruppen be­treffen, um anschließend gruppenver­gleichende Studien hinsichtlich ausge­suchter praxisrelevanter Eigenschaften zu hinterfragen, besonders hinsichtlich ihrer räumlichen, zeitlichen und perso­nellen Flexibilität, hinsichtlich ihrer Sensitivität für interindividuelle Diffe­renzen und hinsichtlich ihrer Repräsen­tativität für Individuen.

Probleme der Realisierbarkeit

Weil in Kontroll- und Experimentalgrup­pen im Verlaufe eines Forschungspro­jekts eine Vielzahl von operativen Stör­faktoren wirksam werden können(vgl. Langfeldt 1990, 283-284) und weil sich zwei Stichproben ohnehin in Bezug auf beliebig viele Variablen unterscheiden können, läßt sich nur per Randomisie­rung Äquivalenz herstellen und nur dann sind die Voraussetzungen gegeben, inferenzstatistische Tests mit kontrollier­ter Wahrscheinlichkeit für Fehlentschei­dungen zu verwenden. Da Randomi­sierung bei sonderpädagogischen For­schungsvorhaben praktisch nie erreicht werden kann, weil schon datenrechtliche Belange dies nicht zulassen,„... muß man immer damit rechnen, daß irgend­welche systematischen Unterschiede zwi­schen den beiden erhobenen Stichpro­ben die statistische Entscheidung über einen Populationsunterschied sowohl in Bezug auf die Wahrscheinlichkeit für einen Fehler 1. Art als auch in Bezug auf die Wahrscheinlichkeit für einen

HEILPÄDAGOGISCHE FORSCHUNG Band XX, Heft 3, 1994

Franz B. Wember- Evaluation in Einzelfallstudien

Fehler 2. Art beeinträchtigen können“ (Krauth 1983, 4). Wer mit nicht-äqui­valenten Gruppen forscht, läuft also Ge­fahr, sowohl die Nullhypothese wie auch die Alternativhypothese irrtümlich zu verwerfen. Schließlich weiß man nie, welche Störvariablen einen eventuellen Interventionseffekt möglicherweise über­lagern und in welche Richtung sich sol­che Konfundierungen auswirken. Es bleibt nichts anderes übrig, als über sta­tistische Kontrollverfahren Fehlerschät­zungen durchzuführen und ansonsten zu versuchen,„... alle denkbaren Alterna­tiverklärungen für das vorgefundene Er­gebnis zu widerlegen, indem man ent­weder zeigt, daß sie unplausibel sind oder nach Größe und Richtung des Ef­fekts vermutlich nicht zu dem vorgefun­denen Ergebnis geführt haben“(Krauth 1983, 5). Bei solch einer interpretativen Lösung sollte es, so Krauth an gleicher Stelle,„... unter Einsatz des eigenen und des Sachverstandes von Fachkol­legen doch möglich sein, zu einer Inter­pretation der Daten zu kommen, die ge­gen alle offensichtlichen Einwände ab­gesichert ist.“ Zu bedenken bleibt je­doch, daß auf diese Weise nur solche Störfaktoren berücksichtigt werden kön­nen, die der Forscher bereits kennt; der interpretierende Kontrollversuch kann folglich bestenfalls nur so gut wie das zum Forschungsproblem bereits existie­rende Wissen sein,— Störfaktoren, die zum Zeitpunkt der Untersuchung unbe­kannt sind, lassen sich so nicht kontrol­lieren.

Als Alternative zur randomisierten Stich­probenziehung bietet sich die geschich­tete Stichprobeneinteilung an, aber auch diese stößt in der sonderpädagogischen Praxis auf Schwierigkeiten, denn nicht­äquivalente Vergleichsgruppen erfordern relativ große Stichprobenumfänge. Um etwa bei einem Fehlerrisiko 1. Art von 5% und einer Teststärke von 95% einen Effekt zu entdecken, dessen wahrer Wert bei 0,33 Standardabweichungen liegt, be­nötigt man nach Berechnungen von White(1984, 74) mindestens 142 Ver­suchspersonen. Solche Stichprobenum­fänge sind bei Lern- oder Sprachbehin­derten nur selten und bei Behinderun­gen von geringer Inzidenz überhaupt

105