Anlage der Studie

Die Datenerhebung des Projekts wurde in drei unterschiedlichen Teilstudien realisiert:

Neben der zentralen Längsschnittkohorte (L1) sind dies eine weitere Längsschnittkohorte (L2) sowie eine Querschnittskohorte (Q1). Um die Einflüsse der verschiedenen institutionellen Ebenen (Schulform, Schule, Klasse, Individuum) separieren zu können, wurden in allen Erhebungen an jeder teilnehmenden Schule zwei Parallelklassen untersucht.

L1

Die Datenerhebung der Hauptkohorte (L1) setzte zu Beginn des Schuljahres 1991/1992 mit einer Erhebung in der 7. Klassenstufe in den Ländern Mecklenburg-Vorpommern, Nordrhein-Westfalen und Sachsen-Anhalt an 5948 Schülerinnen und Schülern ein. Zu diesem Zeitpunkt erfolgte in den neuen Bundesländern im Sekundarbereich die Umstellung vom Einheitsschulsystem auf ein gegliedertes Schulsystem. Es folgten zwei weitere Messzeitpunkte in der Mitte und am Ende des gleichen Schuljahres. Ab dem zweiten Zeitpunkt wurden zusätzlich 2445 Schülerinnen und Schüler aus beiden Teilen Berlins berücksichtigt. Diese Kohorte wurde 1995 in Klassenstufe 10 ein viertes Mal untersucht, wobei knapp 3300 der Probanden der 2. und 3. Erhebungswelle wieder angetroffen wurden. Zusätzlich wurde die Stichprobe der 4. Welle auf 5392 Probanden mit neu hinzugenommenen Schälern aufgestockt. Dieser Messzeitpunkt am Ende der 10. Jahrgangsstufe markiert das Ende der Sekundarstufe I und damit den Übergang in die berufliche Erstausbildung der Real- und Hauptschüler bzw. den Eintritt in die Oberstufe bei den Gymnasiasten. Im Gegensatz zu den vorherigen Messungen erfolgten die weiteren Untersuchungen lediglich für die Gymnasiasten geschlossen in der Schule, die Auszubildenden wurden postalisch befragt. Der fünfte Messzeitpunkt erfasst die Gymnasiasten in der 12. Klassenstufe, dem Abschlussjahr an ostdeutschen Gymnasien. Zum Vergleich des Lernfortschrittes von Klasse 12 nach Klasse 13 wurde ein Teil der westdeutschen Gymnasiasten ein Jahr später ebenfalls im Abschlussjahr in der Klassenstufe 13 erneut getestet (Welle 5a). In der sechsten Erhebung (2001/2002) wurden dann die Probanden ein weiteres Mal aufgesucht, diesmal nach dem Übergang in den Beruf bzw. ein Studium. Für 2009 ist eine weitere Erhebungswelle geplant.

Q1

Der Querschnitt wurde parallel zur dritten Welle der Hauptkohorte, Ende des Schuljahres 1991/1992, an Schülerinnen und Schülern der 10. Klassen durchgeführt. Der Schwerpunkt dieser Teilstudie liegt auf der politischen Sozialisation der Jugendlichen. Für die Schulabgänger wurden ergänzend Daten in Bezug auf die Berufswahl erhoben. Dieser Themenkomplex stellt zugleich den Fokus des zweiten Längsschnittes dar.

L2

Der zweite Längsschnitt wurde 1993 mit Neunt- und Zehntklässlern begonnen. Diese wurden 2 und 5 Jahre später erneut aufgesucht und befragt.

Die Durchführung der Untersuchungen

Um zeitparallele Messungen zu erhalten, wurden den Schulen jeweils Zeitfenster von sechs Wochen zur Realisierung eines Messzeitpunktes vorgegeben. Die Erhebungen erstreckten sich zu jedem Messzeitpunkt über 4-5 Schulstunden, verteilt auf zwei aufeinanderfolgende Tage. Als Testadministratoren fungierten zuvor trainierte Studenten. Im Vorfeld der Erhebungen wurden Genehmigungen der betreffenden Kultusbehörden, Schulleiter sowie der Eltern der zu untersuchenden Schülerinnen und Schüler eingeholt. Dennoch war die Teilnahme dem einzelnen Schüler freigestellt, von dieser Option wurde jedoch nur selten Gebrauch gemacht. Der Ablauf der eigentlichen Erhebungen folgte im Wesentlichen einem Schema, nach dem zu Beginn einer Schulstunde jeweils ein Fachleistungstest unter Speed-Bedingungen (zwischen 15 und 25 Minuten) bearbeitet wurde und die verbleibende Zeit zur Beantwortung allgemeiner kognitiv-motivationaler Instrumente genutzt wurde.

Messinstrumente in BIJU Leistungstests

Zu jedem Erhebungszeitpunkt wurden den Schülern curricular angepasste Leistungstests in vier Fächern (Mathematik, Englisch, Biologie und Physik) vorgelegt. Darüber hinaus wurden zu verschiedenen Messzeitpunkten weitere Tests eingesetzt, beispielsweise zur Erfassung der kognitiven Grundfähigkeiten oder des politischen oder wirtschaftlichen Verständnisses. Alle Tests wurden gemäss der Item-Response-Theory (IRT) skaliert.

Um den Anforderungen in Bezug auf Reliabilität und Validität zu genügen, erfolgte die Konstruktion der eingesetzten Leistungstests in 5 Schritten:

1. Sammlung von Items, die sich in früheren Studien als geeignet erwiesen hatten, zusätzlich aus Schulbüchern sowie kommerziellen Schultests.
2. Überprüfung der curricularen Validität mit Hilfe von Einschätzungen von Lehrplan-Experten der beteiligten Bundesländer. Dabei wurde jedes Item dieser Sammlung sowohl im Hinblick auf die grundsätzliche Eignung zur Erfassung des Unterrichtsstoffes als auch mit Blick auf die jeweilige Schulform und Jahrgangsstufe beurteilt.
3. Die Mathematik- und Naturwissenschaftsaufgaben wurden von Didaktikern auf ihre sprachliche Präzision untersucht.
4. Basierend auf den Experteneinschätzungen und Itemfitstatistiken aus internationalen und nationalen Schulleistungsstudien (SIMS, SISS, Gymnasiastenstudie) wurden Pilot-Versionen der Tests erstellt, die unter Realbedingungen erprobt wurden.
5. Auf der Grundlage der so gewonnenen Itemschwierigkeiten und -trennschärfen sowie einer weiteren Überprüfung der curricularen Validität wurden die endgültigen Tests erstellt.

Zusätzlich wurden im Rahmen der Hauptuntersuchung die entsprechenden Fachlehrer der untersuchten Klassen gebeten, für jedes im jeweiligen Test eingesetzte Item anzugeben, ob der relevante Stoff im Unterricht bereits behandelt wurde. Diese Erfassung des implemented curriculum erlaubt eine Abschätzung der Testfairness und belegt die hohe Korrespondenz zwischen intended und implemented curriculum.

Fragebögen

Schulleistungsstudien, die sich auf die Aspekte fachlichen Lernens konzentrieren, setzen sich naheliegenderweise der Kritik aus, ein einseitiges Bild von der Ertragslage der Schule zu zeichnen, da die im engeren Sinne erzieherischen Leistungen der Schule unberücksichtigt bleiben. Fahrlässige Schlußfolgerungen könnten die Folge sein. In dieser Kritik schwingt die Annahme mit, dass es sich bei der verantwortungsvollen Wahrnehmung des Unterrichts- und Erziehungsauftrages der Schule um ein Optimierungsproblem handeln könnte, das ein sorgfältiges Ausbalancieren der unterschiedlichen Zielsetzungen erfordere, da die Maximierung in einem Bereich, etwa des fachlichen Lernens, negative Auswirkungen in einem anderen Bereich haben könnte. Eingeschlossen ist der Gedanke, dass es dann durchaus Kompensationsmöglichkeiten für geringere Erträge in einem Bereich durch gute Ergebnisse in einem anderen gebe. Eine zentrale Fragestellung von BIJU ist die Prüfung dieser Annahme. In der Längsschnittstudie wurde deshalb ein breites Spektrum nicht primär kognitiver Variablen erfasst, die mehrfach gemessen wurden. Dazu gehören selbstbezogene Kognitionen, Wahrnehmungen des Fachunterrichts, motivationale Merkmale, Wertorientierungen und Einstellungen sowie Indikatoren sozialen Verhaltens. Die Erfassung dieser primär nicht leistungsbezogenen Merkmale erfolgte in BIJU über Selbstauskünfte der Schülerinnen und Schüler in Fragebögen. Die Befragten werden bei diesen Selbstberichten als Experten für das Nachdenken über die eigene Person ernstgenommen. Solche Selbstauskünfte können trotz aller Antwortverzerrungen relativ reliabel und valide mit Fragebögen eingeholt werden.