Z Erziehungswiss DOI 10.1007/s11618-016-0702-6

Datengetrieben und/oder evidenzbasiert? Wirkungsmechanismen bildungspolitischer Steuerungsansätze Johannes Bellmann

© Springer Fachmedien Wiesbaden 2016

Zusammenfassung Was vor etwa 15 Jahren im deutschen Sprachraum als Wende hin zu einer „empirisch orientierten Bildungspolitik“ (Lange) begann und später auch als „datengestütztes Steuerungsmodell“ oder „evaluationsbasierte Steuerung“ firmiert, wird gegenwärtig unter die Überschrift „evidenzbasierte Bildungspolitik“ gerückt. Entgegen dem hiermit vermittelten Eindruck, es handele sich bei diesen Begriffen um Synonyme, arbeitet der Beitrag Differenzen zwischen einer datengetriebenen Steuerung und einer evidenzbasierten Steuerung heraus. Während das Paradigma der Evidenzbasierung an eine Forschung über effektive Interventionen in Politik und Praxis und eine Infrastruktur für Evidenzsynthesen geknüpft ist, kommt eine datengetriebene Steuerung auch ohne ein solches Erklärungs- und Veränderungswissen aus. Am Beispiel des sog. „datengestützten Entwicklungskreislaufs“ einer Schule werden die kybernetischen Mechanismen datengetriebener Steuerung erläutert. Wenn dieser Steuerungsansatz gegenwärtig als „evidenzbasierte Steuerung“ ausgegeben wird, so stellt dies nicht nur eine eigenwillige Umdeutung des Paradigmas von „Evidenzbasierung“ dar; es enthält auch eine veränderte Zuschreibung von Verantwortlichkeiten zwischen Bildungsforschung, Bildungspolitik und Bildungspraxis. Schlüsselwörter Datengetriebene Steuerung · Evidenzbasierte Steuerung · Kybernetik · Qualitätszirkel

Prof. Dr. J. Bellmann () Institut für Erziehungswissenschaft, Universität Münster, Georgskommende 26, 48143 Münster, Deutschland E-Mail: [email protected]

K

J. Bellmann

Data-driven and/or evidence-based? Mechanisms of approaches in education policy Abstract What had begun in German speaking countries as a turn to an empirically oriented education policy 15 years ago – later also labelled as data-based or evaluation-based governance – is currently captioned as evidence-based education policy. In contrast to the impression these terms could be used synonymously, the paper exposes differences between data-driven and evidence-based education policies. While the paradigm of evidence-based policies is bound to research on effective interventions in policy and practice together with an infrastructure for the synthesis of the best available evidence, data-driven governance also works without evidence about what works. Taking the example of the so-called “data-based quality circle” of school development the cybernetic mechanisms of data-driven governance are explained. Renaming this approach in education policy as “evidence-based” we experience not only a peculiar reinterpretation of the paradigm of evidence-based policy; we can also notice a different ascription of responsibilities between research, policy and practice. Keywords Data-driven reform · Evidence-based policy · Cybernetics · Quality circle

1 Einleitung Nachdem es zwischenzeitlich um das Thema „Evidenzbasierung“ wieder etwas stiller geworden zu sein schien, hat die Diskussion in der deutschen Erziehungswissenschaft und Bildungsforschung gegenwärtig wieder an Lebhaftigkeit gewonnen. Das schon 2008 unter dem Titel „Wissen für Handeln – Forschungsstrategien für eine evidenzbasierte Bildungspolitik“ vom BMBF betriebene Agenda-Setting (vgl. BMBF 2008) scheint nun in Teilen der Bildungsforschung mit neuer Entschlossenheit aufgegriffen zu werden, wie ein kürzlich erschienenes Sonderheft der Zeitschrift für Erziehungswissenschaft zeigt. Evidenzbasierung wird hier nicht nur theoretisch und methodologisch diskutiert, sondern auch im Blick auf notwendige Forschungsförderung und mögliche Institutionalisierungsformen von Evidenzsynthesen (vgl. Bromme et al. 2014, S. 44). Was soll da nun unter dem Stichwort evidenzbasierte Bildungspolitik und Bildungspraxis auf den Weg gebracht werden? Ist es nur ein anderer Terminus für das, was im Anschluss an den Hamburger Staatsrat Hermann Lange eine „empirisch orientierte Bildungspolitik“ (vgl. Tenorth 2014) genannt wurde und für das seither eine ganze Reihe anderer Begriffe im Umlauf ist? Wie steht es mit Bezeichnungen wie „datengestützte(n) Steuerungsmodelle(n)“ (Kuper und Muslic 2012, S. 153), „testbasierte(r) Schulreform“ (ebd.), „ergebnisorientierte(r) Steuerung“ (Wacker et al. 2012), „evaluationsbasierte(r) Steuerung“ (Lambrecht und Rürup 2012, S. 57)? Sind dies alles Synonyme für „evidenzbasierte Bildungspolitik“? Dass die von Lange schon 1999 diagnostizierte „empirische Wende“ in der Bildungspolitik und Bildungspraxis spätestens seit PISA gewaltig etwas in Bewegung

K

Datengetrieben und/oder evidenzbasiert?

gebracht hat, dürfte unbestritten sein. Inzwischen kann man sogar auf bedeutende Testleistungssteigerungen in internationalen large-scale assessments verweisen (vgl. Prenzel et al. 2013, S. 240). Die Frage ist nur: Was steckt dahinter? Ist es die Implementation experimentell geprüfter wirksamer Interventionen, wie es das Paradigma der Evidenzbasierung unterstellt, oder gibt es noch andere soziale Mechanismen, die die Reformdynamik erklären können? Hat die empirische Wende tatsächlich ein Wissen über das, was wirkt, hervorgebracht? Oder geht es um ein Wissen, das wirkt, auch ohne dass es sich hierbei um belastbare Erkenntnisse über kausale Zusammenhänge handelt (vgl. Bellmann und Müller 2011)? Evidenzbasierung kann zunächst als ein neuer Modus der strukturellen Kopplung von Wissenschafts- und Politiksystem betrachtet werden, der sich vom tradierten Modus dieser Kopplung, nämlich „wissenschaftlicher Politikberatung“, unterscheidet (vgl. Tenorth 2014; vgl. Luhmann 1997, S. 785 f.). Während die klassische Form der wissenschaftlichen Politikberatung „themen- und problembezogene“ Expertise anbietet (vgl. Tenorth 2014, S. 162), kommt es unter dem Stichwort Evidenzbasierung zur dauerhaften Etablierung eines intermediären, zwischen Politik und Wissenschaft angesiedelten Systems der Evidenzproduktion und -kommunikation (vgl. Gasteiger 2013). Es entstehen verschiedene „evidence-producing organizations“ (Hansen und Rieper 2010, S. 90) wie die Cochrane Collaboration für den Bereich der Medizin (im Jahr 1993), die Campbell Collaboration für den Bereich der Justiz, der Sozialfürsorge und Bildung (im Jahr 2000). Als auf den Bildungsbereich spezialisierte Organisation der Evidenzproduktion wird 2002 das What Works Clearinghouse (WWC) gegründet. In Großbritannien entsteht schon 1993 am Londoner Institute of Education das thematisch breiter ausgerichtete Evidence for Policy and Practice Information and Coordination Centre (EPPI). Auch in den skandinavischen Ländern sind inzwischen neue Organisationen der Evidenzproduktion gegründet worden, wobei es auch Abwandlungen gegenüber den internationalen Vorbildern gab (vgl. ebd.). Den genannten Organisationen der Evidenzproduktion ist gemeinsam, dass sie selbst in der Regel keine primäre Forschung betreiben, sondern Metaanalysen und andere systematische Übersichtsarbeiten über kausalanalytisch ausgerichtete primäre Forschungsarbeiten erstellen. Deshalb werden sie auch „Second-Order EvidenceProducing Organizations“ (Hansen und Rieper 2009) genannt. Auch in Deutschland wurden im Kontext des steuerungsstrategischen Paradigmenwechsels nach PISA neue Organisationen der Datenproduktion etabliert wie das IQB oder entsprechende Institute auf Landesebene; auffällig ist jedoch, dass sich diese Institute bislang schwerpunktmäßig mit unterschiedlichen Formen des Bildungsmonitorings befassen. Ein Clearinghouse für Metaanalysen über kausalanalytisch angelegte Studien im Bildungsbereich fehlt bislang in Deutschland, es gibt allerdings erste Vorschläge hierzu (vgl. Bromme et al. 2014, S. 44). Obwohl also in Deutschland die Infrastruktur von Evidenzbasierung in Politik und Praxis noch fehlt, ist der Diskurs von Evidenzbasierung schon im deutschen Sprachraum angekommen. Bei der Wanderung über nationale Grenzen und über Grenzen von Handlungsfeldern (von der Medizin zur Bildung) zeigt sich freilich eine eigentümliche Rekontextualisierung des Diskurses um Evidenzbasierung.

K

J. Bellmann

Statt den Terminus „Evidenzbasierung“, wie im englischsprachigen Raum üblich, an ein mehr oder weniger strenges Paradigma von Wirkungsforschung einschließlich einer entsprechenden Infrastruktur für Forschungssynthesen zu binden, scheint der Terminus im deutschen Sprachraum deutlich weiter gefasst zu werden. Der Terminus Evidenzbasierung steht hierzulande nicht für etwas, das zumindest für den deutschen Kontext noch Zukunftsmusik ist; er wird vielmehr zur neuen Überschrift für bereits etablierte Aktivitäten einer datengetriebenen Bildungspolitik, die über Vergleich und Feedback formierende Wirkungen auf Akteure im Feld der Bildungspraxis entfaltet. Auch wenn im deutschsprachigen Bildungsreformdiskurs die Attribute „datengetrieben“ und „evidenzbasiert“ häufig synonym verwendet werden, soll gezeigt werden, dass eine datengetriebene Bildungspolitik längst noch keine evidenzbasierte Bildungspolitik ist.

2 Evidenzbasierte Bildungspolitik Wenn von Evidenzbasierung die Rede ist, geht es zumeist um drei soziale Systemreferenzen: evidenzbasierte Bildungsforschung, Bildungspolitik und Bildungspraxis. Das eng gefasste Paradigma evidenzbasierter Bildungspolitik unterstellt, dass ein in der Bildungsforschung generiertes Wissen über wirksame Interventionen von der Bildungspolitik genutzt wird, um entsprechende Interventionen in der Bildungspraxis zu implementieren, mit deren Hilfe gesetzte Ziele möglichst effektiv und effizient zu erreichen sind. Dabei wird unterstellt, dass sich alle Systeme an einem gemeinsamen Erfolgskriterium orientieren, hier: der Realisierung von Lernergebnissen. Am Beispiel der „Coalition for Evidence-based Policy“1, einer parteiunabhängigen Non-profit-Organisation in den USA, soll das verbreitete Selbstverständnis evidenzbasierter Politik erläutert werden. Das übergeordnete Ziel evidenzbasierter Politik, so heißt es, sei die Steigerung der Effektivität politischen Handelns durch die Nutzung eines nach strengen wissenschaftlichen Maßstäben geprüften Wissens über wirksame Interventionen [„increase government effectiveness through the use of rigorous evidence about what works“]. Über die Frage, welche Forschungsdesigns der geforderten Strenge der Wirkungsforschung gerecht werden, gibt es zwar gewisse Kontroversen2, randomisierte kontrollierte Studien (RCTs) spielen aber zumeist als Idealfall der Wirkungsforschung eine Rolle [„evidence of effectiveness generally cannot be considered definitive without ultimate confirmation in well-conducted randomized controlled trials“]. Das übergeordnete Ziel evidenzbasierter Politik wird dann zumeist in ein Narrativ eingebaut, das zunächst eine Erfolgsgeschichte der Medizin als evidenzbasierte Praxis und einer entsprechenden evidenzbasierten Gesundheitspolitik herausstellt [„In the field of medicine, public policies based on scientifically-rigorous evidence have produced extraordinary advances in health over the past 50 years“]. Zu diesem Narrativ gehört auch der Hinweis auf notorisch zu1

http://coalition4evidence.org/

2

So unterscheidet man Efficacy-orientierte Forschung, die die interne Validität experimenteller Grundlagenforschung betont, von Effectiveness-orientierter Forschung, die die externe Validität der Wirkungsforschung für komplexe Handlungsfelder betont (vgl. Pant 2014, 84 f.).

K

Datengetrieben und/oder evidenzbasiert?

rückgebliebene Handlungsfelder wie Bildung, soziale Wohlfahrt und Justiz, in denen zum Schaden der Steuerzahler bislang Ideologien, Moden und parteipolitische Präferenzen dominieren und die daher erst noch zu evidenzbasierten Handlungsfeldern umgebaut werden müssen [„By contrast, in most areas of social policy – such as education, poverty reduction, and crime prevention – government programs often are implemented with little regard to evidence, costing billions of dollars yet failing to address critical social problems“]. Nach der Unterscheidung zwischen fortschrittlichen und rückschrittlichen Handlungsfeldern wird konstatiert, dass auch in den bislang rückschrittlichen Handlungsfeldern einzelne Studien hoch wirksame Interventionen identifizieren konnten [„However, rigorous studies have identified a few highly-effective program models and strategies (,interventions‘)“]. Hierin steckt die Verheißung einer möglichen nachholenden Modernisierung auch dieser zurückgebliebenen Handlungsfelder. Dieser Aufholprozess ist aber kein Selbstläufer, der sich auf die wissenschaftliche Neugier der Forschung verlassen könnte; er verlangt vielmehr ein entschiedenes Engagement der Politik, insbesondere in Form einer entsprechenden Forschungs- und Reformpolitik. Es geht darum, durch Forschungspolitik das Wissen über wirksame Interventionen zu erweitern und durch Reformpolitik für eine entsprechende Verbreitung und Implementierung dieser Interventionen in den jeweiligen Handlungsfeldern zu sorgen. Dann aber steht auch den bislang zurückgebliebenen Handlungsfeldern ein Durchbruch hin zu einem Fortschritt wie in der Medizin in Aussicht [„suggesting that a concerted government effort to build the number of these proven interventions, and spur their widespread use, could bring rapid progress to social policy similar to that which transformed medicine“]. Evidenzbasierte Politik folgt damit dem Modell RDD „Research, Development, Dissemination“ (Torrance 2014, S. 402; vgl. Slavin 2002, S. 17). Die Forschung hat die Aufgabe zu ermitteln, was wirkt, und in der Politik geht es dann um „scale-up“, d. h. die Verbreitung und Implementation in der Fläche. Die Konzentration auf die Frage „What Works“ ist ein gemeinsames Merkmal des Paradigmas von Evidenzbasierung: Es geht darum, nicht bei der Standardisierung von Ergebnissen stehen zu bleiben und die Prozesse dann in ambivalenter Großzügigkeit der pädagogischen Praxis zu überlassen. Evidenzbasierung steht und fällt mit dem Anspruch, ein Wissen über den Zusammenhang von gewünschten Ergebnissen und bestimmten Prozessen zu generieren. Auf der Basis dieses Wissens ist es dann konsequent, nicht nur Standards für die Ergebnisse, sondern auch Standards für die Prozesse („treatment standards“) zu formulieren (vgl. Stoiber und DeSmet 2010, S. 215; vgl. auch bereits Bobbitt 1913, S. 51). Trotz oder gerade wegen dieser rationalen Sicht auf politische Reformprozesse enthält das Narrativ evidenzbasierter Politik unverkennbar normative Züge. Der Terminus beschreibt nicht in erster Linie, wie Politik tatsächlich gemacht wird (vgl. Floden 2011, S. 34 f.), sondern wie sie gemacht werden soll und welche Verheißungen dann Wirklichkeit werden können (vgl. McDonald 2009, S. 201)3. Auffällig ist jedoch, dass evidenzbasierte Politik häufig diese normative Dimension nicht of3

Dies zu konstatieren sollte nicht als Kritik verstanden werden, da es kaum verwundern kann, dass politische Diskurse eine normative Dimension haben. Es wäre eher verwunderlich, wenn evidenzbasierte Politik frei wäre von einer solchen normativen Dimension.

K

J. Bellmann

fenlegt und diskutierbar macht. Da vermeintlich universelle Evidenz immer wieder gegen partikuläre Ideologie ausgespielt wird, versucht evidenzbasierte Politik bisweilen, den Eindruck zu erwecken, sie selbst habe gar nichts mit Politik zu tun. Bei der Vorstellung des milliardenschweren Folgeprogramms von „No Child Left Behind“ mit dem Titel „Race to the Top“, das einen von „What Works“-Kriterien geleiteten Wettbewerb von Bundesstaaten um Fördergelder etabliert, verkündete Präsident Obama: „This competition will not be based on politics, ideology, or the preferences of a particular interest group. Instead it will be based on a simple principle – whether a state is ready to do what works“ (U.S. Department of Education 2009). Zur normativen Dimension evidenzbasierter Politik gehört jedenfalls auch eine spezifische Zuschreibung von Verantwortlichkeiten. Zuallererst werden Forschung und Politik in die Pflicht genommen, ein gesichertes Wissen über wirksame Interventionen zu generieren, zu verbreiten und zu implementieren. Erst wenn diese Wissensbasis geschaffen ist, kommt der Praxis die Aufgabe zu, dieses Wissen zu nutzen, um am Ende die Praxis zu einer evidenzbasierten Praxis zu machen. Notfalls wird die Nutzung effektiver Interventionen den Lehrkräften sogar vorgeschrieben. In diesem Fall spricht man von „imposed use“ (vgl. Weiss et al. 2005). Von den Praktikern selbst wird allerdings nicht erwartet, RCTs durchzuführen oder Metaanalysen vorzunehmen. Der professionellen Urteilskraft wird – wie in der Medizin – bei der Nutzung wissenschaftlichen Wissens durchaus eine Rolle zugestanden (vgl. Floden 2011, S. 29 f.). Dennoch wird festgehalten, dass es um die Nutzung von „externer“4, d. h. durch Forschung generierter Evidenz geht und dass es sich bei dieser Evidenz nicht um irgendein wissenschaftliches Wissen handelt, sondern um ein Wissen über wirksame Interventionen. Für „effectiveness research“ (WWC) gilt, was der ehemalige Direktor des „Institute of Education Sciences“ des U.S. Department of Education, Grover Whitehurst (2002) folgendermaßen auf den Punkt brachte: „All evidence is not created equal“. Das Paradigma von Evidenzbasierung geht deshalb einher mit einer strengen Hierarchisierung des Wissens und entsprechender forschungsmethodischer Designs, was sich auch an den Evidenzklassen der Medizin ablesen lässt. Dass die Produktion dieser Art von „Evidenz“ Aufgabe wissenschaftlicher Experten ist, zeigt auch ein Blick in die Geschichte des Paradigmas von Evidenzbasierung (vgl. Oakley 1998; Leeuw 2010). Lange bevor der Begriff der „evidenzbasierten Medizin“ aufkam, wurde am Anfang des 20. Jahrhunderts auch in der Psychologie und den Sozialwissenschaften bereits die Bedeutung experimenteller Forschung betont. Auffällig ist hier, dass die Pädagogik gleich zu Anfang Inspirationsquelle und Anwendungsfeld experimenteller Forschung war. Im Mittelpunkt stand immer wieder die Erforschung effektiverer Methoden des Trainings kognitiver Fähigkeiten. In der Frage nach „best methods“ zeigt sich eine auffällige Gemeinsamkeit mit der von Taylor angestoßenen Scientific Management-Bewegung, die schnell in 4 Die Formulierung geht auf Sacketts (1996, S. 71) vielzitierte Definition von „evidence-based medicine“ zurück – „integrating individual clinical expertise with the best available external evidence from research“ (Sackett 1996, S. 71) – und taucht analog bereits in den frühen Übertragungen des Paradigmas auf den Bildungsbereich auf (vgl. Davies 1999, S. 117).

K

Datengetrieben und/oder evidenzbasiert?

unterschiedlichen Handlungsfeldern aufgegriffen wurde (vgl. Bellmann 2012). Die frühen Protagonisten von „scientific management in education“ wie John Franklin Bobbitt, Joseph Meyer Rice und Ellwood Patterson Cubberley waren sich mit Taylor darin einig, dass es wissenschaftlich geschulte sog. „efficiency experts“ (Cubberley 1916, S. 325) geben müsse, deren Aufgabe es ist, die besten Methoden zu finden oder zumindest „the relative efficacy of different methods“ (Bobbitt 1913, S. 59) zu bestimmen. Diese Aufgabe verlangt den Überblick einer Vergleichsperspektive, der die Perspektiven von einzelnen Klassenräumen, Schulen oder Schuldistrikten übersteigt. Deshalb könne die Erforschung der besten Methoden nicht Aufgabe von Lehrern sein: „The burden of finding the best methods is too large and too complicated to be laid on the shoulders of the teachers“ (Bobbitt 1913, S. 52). Nach diesem Blick in die Vorgeschichte des Paradigmas der Evidenzbasierung soll noch einmal die Frage aufgenommen werden, um welche Art von „Evidenz“ es in diesem Paradigma geht. Hierzu kann Manfred Prenzels Unterscheidung von Wissensformen hilfreich sein. Im Paradigma von Evidenzbasierung geht es um ein Erklärungs- und Veränderungswissen, das von einem Beschreibungs- und Vorhersagewissen zu unterschieden ist. Einigkeit scheint darüber zu bestehen, dass Surveys Beschreibungswissen liefern, aber nicht ausreichen, „um Erklärungen zu prüfen und kausal relevante Faktoren zu identifizieren“ (Bromme et al. 2014, S. 11): „Das Design einer Querschnittstudie lässt es [...] nicht zu, tragfähige Antwort auf die Frage nach Ursachen und Eingriffsmöglichkeiten zu geben. Freilich sind es genau die Fragen ,Warum?‘ und ,Was tun?‘, die von der Bildungsadministration, den Lehrkräften wie auch von der interessierten Öffentlichkeit gestellt werden“ (Prenzel 2005, S. 13). Soweit die knappe Darstellung des Selbstverständnisses evidenzbasierter Politik. Wie in der vorangegangenen Darstellung deutlich geworden sein dürfte, ist das Paradigma evidenzbasierter Bildungspolitik äußerst anspruchsvoll und voraussetzungsreich. Es setzt nicht nur ein kausales Erklärungs- und Veränderungswissen auf der Ebene der Bildungspraxis voraus, sondern unterstellt auch, dass Bildungsforschung und Bildungspolitik selbst Teil eines komplexen Verursachungsgefüges sind, das am Ende in kontrollierbarer Weise zu gewünschten Effekten in der Bildungspraxis führt. Helmut Heid (2007) hat am Beispiel der Einführung von Bildungsstandards schematisch die unterstellten Ursache-Wirkungs-Zusammenhänge dargestellt. Die in Standards kodifizierten gewünschten Lernergebnisse sind Resultat erfolgreichen Lernens, erfolgreiches Lernen ist Resultat erfolgreichen Lehrens, erfolgreiches Lehren ist Resultat hoher Lehrkompetenz, hohe Lehrkompetenz ist Resultat erfolgreicher Lehrerbildung, erfolgreiche Lehrerbildung ist Resultat guter Bildungsforschung (vgl. ebd., S. 37; vgl. auch Reichenbach 2014, S. 234). Nimmt man zu Heids Darstellung noch die Ebene der Bildungspolitik hinzu, verkompliziert dies den unterstellten Verursachungszusammenhang weiter. Systemtheoretisch betrachtet hat man es dann mit drei sozialen Systemreferenzen (Wissenschaft, Politik, Erziehung) und zwei Referenzen auf psychische Systeme (Lehrer, Schüler) zu tun. Dabei wird unterstellt, dass sich alle Systeme an einem gemeinsamen Erfolgskriterium orientieren, hier: der Realisierung von Lernergebnissen, die den gesetzten Standards entsprechen. Der Erfolg evidenzbasierter Bildungspolitik bemisst sich demgemäß nicht an politiksystemspezifischen Erfolgskriterien wie Macht und Zustimmung oder, anders gesagt, der Produktion kollektiv binden-

K

J. Bellmann

der Entscheidungen (Luhmann 2000, S. 244), sondern an Lernergebnissen in der Umwelt eines anderen sozialen Systems, nämlich des Erziehungssystems5. Wenn man jedenfalls wissen möchte, ob und inwiefern Lernergebnisse „von einem kompetenten und professionellen bildungspraktischen oder bildungspolitischen Handeln in kontrollierter Weise abhängen oder beeinflusst sind“, dann müssen, so Heid, die kausalen Zusammenhänge in diesem „komplexen Bedingungs- und Verursachungsgefüge“ (Heid 2007, S. 38) nachweisbar sein. „Wenn – wie auch immer statistisch abgesicherte – Zusammenhänge der schematisierten Art nicht nachgewiesen werden (können), dann besagt die Erfüllung eines Standards nur eines, nämlich dass der Standard erfüllt ist – und nichts darüber hinaus!“ (ebd., S. 37). Heid vermutet interessanterweise bereits, dass man sich in der Praxis den „Aufwand eines Zusammenhangnachweises“ (ebd., S. 38) sparen wird. Man kann annehmen, dass die Verlockung dazu besonders groß ist, wenn die gewünschten Lernergebnisse erzielt werden oder Anzeichen von Besserung vorhanden sind. Heids Hinweis aufgreifend und weiterführend soll hier die These vertreten werden, dass der Clou einer Steuerung durch Daten gerade darin besteht, auch ohne einen gesicherten Zusammenhangnachweis Steuerungswirkungen entfalten zu können. Um dies zu verstehen, muss man sich mit den Mechanismen datengetriebener Bildungspolitik befassen.

3 Datengetriebe Bildungspolitik Jürgen Kluge, der ehemalige Chef von McKinsey Deutschland, hat einmal in einem Interview die Wirkungsweise von Untersuchungen wie PISA treffend auf den Punkt gebracht: „Sobald Sie etwas messen, wird es besser“ (Kluge 2005)6. Gemeint ist hiermit, dass Messung und Evaluation für die Bildungspolitik nicht nur Voraussetzungen für darauf gestützte Maßnahmen sind; sie stellen vielmehr selbst bereits eine steuerungswirksame Maßnahme dar (vgl. Bellmann 2006, S. 499). In diesem Sinne bekommt auch der Titel des von Tippelt 2009 herausgegebenen Sammelbands „Steuerung durch Indikatoren“ eine gewisse Doppeldeutigkeit. Es geht in den unterschiedlichen Formen eines Bildungsmonitorings nicht allein um eine Steuerung auf der Grundlage von Indikatoren; vielmehr können die Indikatoren selbst als Steuerungsinstrumente angesehen werden. „Eine indikatorengestützte Bildungsberichterstattung sowie Bildungsstandards stellen in diesem Kontext wichtige Steuerungsinstrumente dar“ (Tippelt und Reich-Claasen 2010, S. 23). Steuerungswirkung entfaltet also nicht bloß Erklärungs- und Veränderungswissen, wie es im Paradigma evidenzbasierter Bildungspolitik unterstellt wird. Auch deskriptivem Wissen kann eine Steuerungswirkung zukommen, was auf eine Steue-

5 Tatsächlich wird sogar die Orientierung der Politik an systemeigenen Erfolgskriterien gelegentlich als eines der entscheidenden Hindernisse für Evidenzbasierung angesehen: „It is quite unsatisfactory to allow politicians to make decisions in order to get elected rather than in order to improve the educational system“ (Tymms et al. 2008, S. 29). 6 Kluges Beobachtung ist gewissermaßen die Gegenthese gegen die nach PISA häufig zu hörende Einschätzung „Durchs Wiegen wird die Sau nicht fett“.

K

Datengetrieben und/oder evidenzbasiert?

rung durch Information hinausläuft. Hintergrund ist, dass Information in kybernetischen Steuerungsmodellen nicht nur als „detector“, sondern auch als „effector“ fungiert (Peters 2012, S. 117). Auch die OECD scheint inzwischen die Wirksamkeit dieser Steuerung durch Information klar erkannt zu haben. In der Publikation „Measuring Improvements in Learning Outcomes“ heißt es: „The construction and publication of performance measures alone might provide implicit and indirect (including monetary and non-monetary) incentives to school principals and teachers“ (OECD 2008, S. 36). Der Verdacht, dass es sich bei datengetriebener Bildungspolitik nach PISA nicht so sehr um eine evidenzbasierte Bildungspolitik, sondern um ein kybernetisches Steuerungsmodell handelt, ist inzwischen schon von verschiedenen Autoren geäußert worden (vgl. Radtke 2009; Meyer-Drawe 2009; Herzog 2013; Karcher 2014). Konstitutive Elemente kybernetischer Steuerung sind (1) die Setzung von Soll-Größen, (2) die notwendige Autonomie zur Anpassung an die Soll-Größen auf der Ebene des sich selbst regulierenden Systems sowie (3) Feedback, das Informationen über die Ergebnisse des sich selbst regulierenden Systems immer wieder an das System zurückmeldet. Interessant ist, dass in der „Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring“ genau diese drei Elemente als der „international bewährte Dreiklang“ bezeichnet werden: „mehr Eigenständigkeit für Schulen bei gleichzeitiger Vorgabe verbindlicher Standards und bei regelmäßiger Evaluation“ (KMK/IQB 2006, S. 5). Anders als im Paradigma von evidenzbasierter Politik kommt ein kybernetisches Steuerungsmodell ohne Aufklärung des komplexen Bedingungs- und Verursachungsgefüges aus, das für Abweichungen zwischen Ist- und Soll-Zustand im Einzelnen verantwortlich ist. Dass sich die gegenwärtige „datengetriebene“ Reformpolitik im Bildungssystem kybernetische Steuerungsmechanismen zunutze macht, soll ein Blick auf den sog. „Datengestützten Entwicklungskreislauf einer Schule“ verdeutlichen, mit denen eine von der KMK in Zusammenarbeit mit dem IQB vorgelegte Broschüre erläutert, wie man sich die Nutzung von Bildungsstandards für die Unterrichtsentwicklung vorzustellen hat (vgl. KMK/IQB 2010). Auffällig ist hier, dass diese Broschüre ganz ohne die Termini „Evidenz“ oder „Evidenzbasierung“ auskommt. Stattdessen geht es um „empirische Daten“ bzw. „datengestützte Schul- und Unterrichtsentwicklung“. Bei den Daten, von denen die Rede ist, handelt es sich um Ergebnisse von Lernstandserhebungen wie VERA. Die Rückmeldung dieser Daten wird als Teil einer Feedbackkultur gesehen, von der die entscheidenden Impulse für Schul- und Unterrichtsentwicklung erwartet werden. „Alle Verfahren, Regelungen und Beschlüsse zu einer auf Daten gestützten Schul- und Unterrichtsentwicklung greifen ins Leere, wenn diese nicht von einer ,Feedbackkultur‘ als Nahtstelle zwischen Datenrückmeldung und Datennutzung getragen werden. Feedback bezieht sich auf alle Facetten schulischen Handelns [...]. Immer geht es darum, einen Abgleich zwischen Sein und Sollen vorzunehmen sowie die eigenen blinden Flecken durch die Rückmeldung anderer zu minimieren“ (KMK/IQB 2010, S. 17). Der „datengestützte Entwicklungskreislauf“ beschreibt nun, wie man sich den „Abgleich zwischen Sein und Sollen“ – in kybernetischer Terminologie zwischen „Ausgangs- und Zieldaten oder Ist und Sollwerten“ (Ziemann 2009, S. 471) – vorzustellen hat. In unserem Zusammenhang interessiert besonders der dritte Schritt

K

J. Bellmann

„Austausch über mögliche Ursachen“. Dort heißt es: „In einem nächsten Schritt stellen die Lehrkräfte in den Fachgruppen gemeinsam Überlegungen an, worin Ursachen für die festgestellten Ergebnisse liegen könnten. Dabei muss berücksichtigt werden, dass Ergebnisse von Vergleichsarbeiten keine direkte Ableitung von Ursachen erlauben. Ergebnisse dieser fachlichen Diskussionen können daher immer nur Anhaltspunkte für mögliche Interventionen geben, die dann auf ihre Wirksamkeit hin überprüft werden sollten“ (KMK/IQB 2010, S. 21). Lehrkräfte sollen also Überlegungen zu möglichen Ursachen für festgestellte Lernergebnisse anstellen. Pflichtschuldig wird darauf hingewiesen, dass Ergebnisse von Vergleichsarbeiten „keine direkte Ableitung von Ursachen erlauben“. Es handelt sich lediglich um Beschreibungswissen, nicht aber um Erklärungswissen. Gleichwohl werden Lehrkräfte aufgefordert, gemeinsam Überlegungen zu möglichen Ursachen anzustellen. Als Hilfestellung werden dann drei „Ursachenfelder“ als „mögliche Erklärungsansätze“ genannt: (1) die Lernvoraussetzungen der Schülerinnen und Schüler, (2) die Gestaltung des Unterrichts, (3) das schulinterne Curriculum/ Lehrbuch (vgl. KMK/IQB 2010, S. 21). Die Überlegungen zu möglichen Ursachen sollen dann „Anhaltspunkte für mögliche Interventionen“ liefern, die dann wiederum „auf ihre Wirksamkeit hin überprüft werden sollten“. Es wird nicht gesagt, wer dieses leisten soll, aber der Zusammenhang lässt vermuten, dass es wiederum die Lehrkräfte sind. Nun könnte man zu Recht sagen, dass ein solches Modell einer „datengestützten Schul- und Unterrichtsentwicklung“ doch recht wenig mit dem Paradigma von Evidenzbasierung zu tun hat. Es geht gar nicht um wissenschaftlich gesichertes Kausalwissen; vielmehr soll Beschreibungswissen Grundlage von Ursachenanalyse werden. Statt Evidenzbasierung ex ante, geht es um retrospektive Kausalattribution. Ursachenanalyse und die Wirksamkeitsüberprüfung von Interventionen ist auch nicht Aufgabe von Wissenschaft, sondern von Lehrkräften. Der „datengestützte Entwicklungskreislauf“ ist ein Beispiel dafür, wie ein kybernetisches Modell der Selbstregulation, das auf Datenrückmeldung und den ständigen „Abgleich von Sein und Sollen“ basiert, nun mit einen kausalanalytischen Vokabular unterfüttert wird. Dabei wird unterschlagen, dass es gerade der Clou kybernetischer Steuerungsmodelle ist, auch ohne genaue Einsichten in die komplexen Kausalverhältnisse sozialer Systeme zu funktionieren. Wichtig ist, dass durch den wiederholten Abgleich von Sein und Sollen vor Augen geführt wird, was erwartet wird, welche Differenzen zum Erwarteten bestehen und wer die Verantwortung zu Nachbesserungen hat. Die Funktionsweise datengetriebener Politik ist in der jüngeren Forschungsliteratur unter Stichworten wie „governing by numbers“, „governing by comparison“ oder „governing through feedback“ eingehend untersucht worden, wie das aktuelle World Yearbook of Education (Fenwick et al. 2014) mit dem Titel „Governing Knowledge“ dokumentiert. Das Prinzip der Steuerung durch Feedback findet sich bereits in Peter Druckers „management by objectives“ (vgl. Drucker 1955/2007, S. 18). Hier wird betont, dass für den Abgleich von Sein und Sollen gemeinsame Standards erforderlich sind, um Leistungsvergleiche zwischen unterschiedlichen Einheiten zu ermöglichen. In das Feedback geht dann nicht nur die Information über die Leistungen einer einzelnen Einheit ein; zusätzlich wird diese Leistung im Rah-

K

Datengetrieben und/oder evidenzbasiert?

men vergleichbarer Einheiten beurteilt. Diesen Mechanismus der Steuerung durch Vergleich und Feedback macht sich die gegenwärtige datengetriebene Steuerung zunutze. Der Vergleich mit anderen Klassen, Schulen und Schulsystemen schafft eine kompetitive Umgebung, die zu ständiger Selbstverbesserung anregt. Zugleich führt der Vergleich effektivere Modelle vor Augen, die nicht erst durch RCTs ermittelt werden müssen. Vergleiche konstituieren damit Akteure als verantwortliche Einheiten, ohne zugleich mitzuteilen, was die effektiveren Modelle anders machen und wie man von ihnen lernen kann. Datengetriebene Steuerung kann also im Hinblick auf wenige ausgewählte Indikatoren und spezifische Ist-Soll-Differenzen durchaus eine erhebliche Reformdynamik erzeugen, ohne dass dabei gesichertes Kausalwissen produziert wird, das im Narrativ der Evidenzbasierung ja gerade für den Durchbruch hin zu kumulativen Rationalitätsgewinnen unverzichtbar ist. Luhmann bezweifelt deshalb, dass bei der Überführung der kybernetischen Steuerungstheorie in eine politische Handlungstheorie überhaupt ein Wissen über die Steuerung von komplexen Systemen generiert wird: „[...] wenn man die Temperatur im Haus konstant halten kann, besagt das noch lange nicht, dass keine Einbrecher kommen, dass die Möbel im Haus bleiben, dass die Teppiche nicht ruiniert werden oder dass in der Küche die Elektrizität funktioniert“ (Luhmann 2002, S. 54). Die Ausgangsthese war ja nun, dass datengetriebene Reformprozesse längst noch keine evidenzbasierten Reformprozesse sind, vorausgesetzt man hält sich an das eng gefasste Paradigma von Evidenzbasierung. Genau diese Unterscheidung wird aber im gegenwärtigen Reformdiskurs aufgeweicht, und zwar nicht nur in politischen Dokumenten oder Dokumenten aus dem intermediären Bereich der „Evidenzproduktion“, sondern auch in Beiträgen der empirischen Bildungsforschung. Datengetriebene Schul- und Unterrichtsentwicklung, wie ich sie am Beispiel des KMK/IQB-Dokuments gezeigt habe, wird in den letzten Jahren auch in der Bildungsforschung umstandslos als evidenzbasierte Schul- und Unterrichtsentwicklung bezeichnet. So rechnet Altrichter (2010, S. 228) Formen des Datenfeedbacks wie zentrale, standardbasierte Vergleichsarbeiten explizit zu den „Kerninstrumenten ,evidenzbasierter Schul- und Unterrichtsentwicklung‘“. Ganz im Sinne dessen, was ich datengetriebene Steuerung genannt habe, sind in dem von Altrichter als „evidenzbasierte Steuerung“ bezeichneten Modell Ist-Soll-Differenzen die zentralen Größen der „,Regelkreise‘ oder ,Feedback-Schleifen‘“ (ebd., S. 223). Akteure auf allen Ebenen sollen sich dem Modell zufolge an „postulierten Zielen und den ,Evidenzen‘ über die bisherigen Leistungen orientieren“ (S. 224). Bei dem, was hier als Evidenzen bezeichnet wird, handelt es sich um deskriptive Daten, nämlich um „vergleichbare Output-Informationen“ (ebd., S. 226). Beispiele dafür, dass datengetriebene Steuerung neuerdings als evidenzbasierte Steuerung ausgeflaggt wird, ließen sich fortsetzen (vgl. etwa van Ackeren u. a. 2013). Kuper und Muslic (2012) unterscheiden zwei Formen der Evidenzbasierung im Umgang mit Lernstandsdaten. Zum einen eine als defizitär markierte Form einer Evidenzbasierung als Bestätigung des Offensichtlichen, mit Klaus Klemm gesprochen, eine „bauchbasierte“ Schul- und Unterrichtsentwicklung; zum anderen die normative, aber von Lehrkräften (noch) nicht eingelöste Form echter „evidence-based education“ (vgl. ebd., S. 160). Hier wird von den Lehrkräften genau das verlangt, was der

K

J. Bellmann

datengestützte Entwicklungskreislauf verlangt, nämlich ein „kollegialer Austausch zur Ursachenanalyse“ und „hypothetische Annahmen über Kausalzusammenhänge“. Evidenzbasierung wird in diesem Verständnis zur Aufgabe von Lehrkräften, womit das ursprüngliche Paradigma eigenwillig umgedeutet, ja auf den Kopf gestellt wird. Man könnte hierin eine kreative pädagogische Rekontextualisierung eines wissenschaftlichen Paradigmas experimenteller Wirkungsforschung sehen. Fakt ist, dass von Lehrkräften hier etwas verlangt wird, was sie in einer methodisch kontrollierten Weise nicht leisten können und das in der empirischen Bildungsforschung bislang selbst nicht hinreichend geleistet wurde. Ein Vergleich mit der Medizin ist hier instruktiv: Man stelle sich vor, Evidenzbasierung wäre in der Medizin über „datengestützte Entwicklungskreisläufe“ etabliert worden. Man hätte praktische Ärzte mit deskriptiven Daten über die Verbreitung von Erkrankungen versorgt, es dann aber den Ärzten selbst überlassen, diese Daten mit vorausgehenden Behandlungen in Verbindung zu bringen. Von einem solchen Ansatz wären wohl kaum entscheidende Impulse für den medizinischen Fortschritt ausgegangen.

4 Schluss Schon bald nach der Veröffentlichung der ersten PISA-Ergebnisse gab es prominente Stimmen, die darauf drängten, mehr Erklärungs- und Handlungswissen bereitzustellen, nicht nur deskriptives Wissen über Leistungsergebnisse und Leistungsvoraussetzungen (vgl. Terhart 2002, S. 108; vgl. Pekrun 2002). Gut zehn Jahre später wird dieses Defizit immer noch beklagt. Gefordert wird eine Akzentverschiebung der Bildungsforschung: „Anstelle einer fortgesetzten Fokussierung auf Output-Aspekte müsste der theoretischen und empirischen Modellierung von [...] Prozessen mehr Aufmerksamkeit zukommen“ (Thiel et al. 2014, S. 134).7 Man scheint hier aber noch weitgehend am Anfang zu sein und auch noch gar nicht so sicher, ob es überhaupt gelingt, in zuverlässiger Weise kausale Zusammenhänge zwischen Produkten und Prozessen abzusichern. „Im Kern geht es darum, ob und wie es gelingt, Evidenz hinsichtlich der Wirksamkeit pädagogischer und bildungspolitischer Maßnahmen zur Verfügung zu stellen, um diese in datengestützte Entwicklungskreisläufe der Unterrichts-, Schul- und Bildungsqualität einspeisen zu können“ (Pant 2014, S. 147). In dieser Formulierung, die selbst die Sprache der Kybernetik nutzt, werden gewissermaßen kausalanalytische Evidenzbasierung und kybernetische Selbstregulierung ineinander geblendet. Das Changieren zwischen beiden Ansätzen wird trotz der hier herausgestellten Differenzen womöglich durch eine gemeinsame Hintergrundannahme erleichtert. Beide gehen mehr oder weniger vom Produktionsmodell von Erziehung aus (vgl. Herzog 2007). Sicher ist jedenfalls, dass wir eine datengetriebene Bildungspolitik bereits haben, während eine evidenzbasierte Bildungspolitik noch auf sich warten lässt. Einstweilen gilt: „Further research is needed.“ Bis die Forschung aber so weit ist, wird man weiterhin deskriptive Daten in „Entwicklungskreisläufe“ einspeisen und durch Ver7 Thiel zufolge besteht „nach wie vor“ ein „großes Defizit [...] hinsichtlich der Formen von Evidenz, die eine Entwicklung von Maßnahmen erlauben“ (Thiel 2014, S. 120; vgl. auch S. 124).

K

Datengetrieben und/oder evidenzbasiert?

gleich und Feedback die Eigenaktivität der Lehrkräfte mobilisieren. Gezeigt werden sollte Folgendes: Wenn eine datengetriebene Bildungspolitik sich neuerdings als evidenzbasierte Bildungspolitik ausgibt, geht das mit einer problematischen Verschiebung der Verantwortlichkeiten einher. Genau darauf hatte Helmut Heid pointiert hingewiesen: Wenn „alles kausalanalytisch ,Ungeklärte‘ und ,Ungeprüfte‘ in die Zuständigkeit (teil-)autonomer Schulen oder in die Handlungsfreiheit der Lehrpersonen verweist“, dann laufe das, so Heid, auf die „Moralisierung eines gravierenden (Forschungs-, Wissens- oder auch Kompetenz-) Defizits“ hinaus (Heid 2007, S. 38). Diese Einschätzung ist unverändert aktuell. Literatur Ackeren, I. van, Binnewies, C., Clausen, M., Demski, D., Dormann, C., & Koch, A. R. (2013). Welche Wissensbestände nutzen Schulen im Kontext von Schulentwicklung? Theoretische Konzepte und erste Befunde des EviS-Verbundprojektes im Überblick. In I. van Ackeren & M. F. Heinrich Thiel et al. (Hrsg.), Evidenzbasierte Steuerung im Bildungssystem? Befunde aus dem BMBF-SteBis-Verbund Die deutsche Schule, (Bd. Beiheft 12, S. 51–73). Münster: Waxmann. Altrichter, H. (2010). Schul- und Unterrichtsentwicklung durch Datenrückmeldung. In H. Altrichter & K. Maag Merki (Hrsg.), Handbuch Neue Steuerung im Schulsystem (S. 219–254). Wiesbaden: VS. Bellmann, J. (2006). Bildungsforschung und Bildungspolitik im Zeitalter ,Neuer Steuerung‘. Zeitschrift für Pädagogik, 52(4), 487–504. Bellmann, J. (2012). „The very speedy solution“ – Neue Erziehung und Steuerung im Zeichen von Social Efficiency. Zeitschrift für Pädagogik, 58(2), 143–158. Bellmann, J., & Müller, T. (Hrsg.). (2011). Wissen, was wirkt. Kritik evidenzbasierter Pädagogik. Wiesbaden: Springer VS. BMBF = Bundesministerium für Bildung und Forschung (2008). Wissen für Handeln – Forschungsstrategien für eine evidenzbasierte Bildungspolitik. Fachtagung im Rahmen der deutschen EU-Ratspräsidentschaft. Bildungsforschung, 25. Berlin: BMBF. Bobbitt, F. (1913). Some general principles of management applied to the problems of city-school systems. In F. Bobbitt (Hrsg.), The Twelfth Yearbook of the National Society for the Study of Education (S. 7–96). Chicago: The University of Chicago Press. Bromme, R., Prenzel, M., & Jäger, M. (2014). Empirische Bildungsforschung und evidenzbasierte Bildungspolitik. Eine Analyse von Anforderungen an die Darstellung, Interpretation und Rezeption empirischer Befunde. In R. Bromme & M. Prenzel (Hrsg.), Von der Forschung zur evidenzbasierten Entscheidung: Die Darstellung und das öffentliche Verständnis der empirischen Bildungsforschung Zeitschrift für Erziehungswissenschaft: Sonderheft 27. (S. 3–54). Wiesbaden: Springer VS. Cubberley, E. P. (1916). Public school administration. Cambridge: The Riverside Press. Davies (1999). What is evidence-based education? British Journal of Educational Studies, 47(2), 108–121. Drucker, P. (2007). The practice of management. Oxford: Elsevier. Fenwick, T., Mangez, E., & Ozga, J. (Hrsg.). (2014). World yearbook of education 2014. London New York: Routledge. Floden, R. (2011). Speaking truth to policy and practice. In C. Conrad & R. Serlin (Hrsg.), The SAGE handbook on research in education (2. Aufl. S. 29–42). Thousand Oaks: SAGE. Gasteiger, L. (2013). Zur Entstehung eines Feldes bildungswissenschaftlicher Evidenzproduktion als Grundlage evidenzbasierter Bildungspolitik. In K. Amos, J. Schmid, J. Schrader & A. Thiel (Hrsg.), Kultur-Ökonomie-Bildung. Eine Erkundung von Rekalibrierungsprozessen in der Bildungspolitik (S. 133–153). Baden-Baden: Nomos. Hansen, H. F., & Rieper, O. (2009). Institutionalization of second-order evidence-producing organizations. In O. Rieper, F. L. Leeuw & T. Ling (Hrsg.), The evidence book. Concepts, generation and use of evidence Comparative Policy Evaluation, (Bd. 15, S. 27–49). New Brunswick: Transaction Publishers. Hansen, H. F., & Rieper, O. (2010). The politics of evidence-based policy-making: the case of Denmark. German Policy Studies, 6(2), 87–112. Heid, H. (2007). Was vermag die Standardisierung wünschenswerter Lernoutputs zur Qualitätsverbesserung des Bildungswesens beizutragen? In D. Benner (Hrsg.), Bildungsstandards. Instrumente

K

J. Bellmann zur Qualitätssicherung im Bildungswesen. Chancen und Grenzen – Beispiele und Perspektiven (S. 29–48). Paderborn: Schöningh. Herzog, W. (2007). Erziehung als Produktion. Von der anhaltenden Verführbarkeit des pädagogischen Denkens durch die Politik. In W. Herzog, C. Crotti & P. Gonon (Hrsg.), Pädagogik und Politik. Historische und aktuelle Perspektiven: Festschrift für Fritz Osterwalder (S. 229–259). Bern: Haupt. Herzog, W. (2013). Bildungsstandards. Eine kritische Einführung. Stuttgart: Kohlhammer. Karcher, M. (2014). Automatisch, kybernetisch und ent-demokratisiert. Tagung „Im Raum der Gründe. Herausbildung und Legitimation normativer Ordnungen in Bildungswissenschaft und Bildungspolitik“, Universität Wien, 08.12.2014. Kluge, J. (2005). Mehr Staat. Interview von Manuel J. Hartung und Jan-Martin Wiarda mit Jürgen Kluge. Die Zeit, Nr. 44 vom 27.10.2005. http://www.zeit.de/2005/44/C-Interview-F_9arderung. Zugegriffen: 11. Aug 2015. KMK/IQB = Kultusministerkonferenz/Institut für Qualitätsentwicklung im Bildungswesen (2006). Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring. http://www. kmk.org/fileadmin/veroeffentlichungen_beschluesse/2006/2006_08_01-GesamtstrategieBildungsmonitoring.pdf. Zugegriffen: 11. Aug 2015. KMK/IQB = Kultusministerkonferenz/Institut für Qualitätsentwicklung im Bildungswesen (2010). Konzeption der Kultusministerkonferenz zur Nutzung der Bildungsstandards für die Unterrichtsentwicklung. http://www.kmk.org/fileadmin/veroeffentlichungen_beschluesse/2010/2010_00_00Konzeption-Bildungsstandards.pdf. Zugegriffen: 11. Aug 2015. Kuper, H., & Muslic, B. (2012). Evidenzbasierte Steuerung. Der Umgang mit Rückmeldungen aus Lernstandserhebungen als Instrument einer evidenzbasierten Schulentwicklung. In S. Hornberg & M. Parreira do Amaral (Hrsg.), Deregulierung im Bildungswesen (S. 151–161). Münster: Waxmann. Lambrecht, M., & Rürup, M. (2012). Bildungsforschung im Rahmen einer evidence based policy: Das Beispiel „Schulinspektion“. In A. Wacker, U. Maier & J. Wissinger (Hrsg.), Schul- und Unterrichtsreform durch ergebnisorientierte Steuerung. Empirische Befunde und forschungsmethodische Implikationen (S. 57–77). Wiesbaden: Springer VS. Lange, H. (1999). Qualitätssicherung in Schulen. Die Deutsche Schule, 91(2), 144–159. Leeuw, F. L. (2010). On the contemporary history of experimental evaluations and its relevance for policy making. In O. Rieper, F. L. Leeuw & T. Ling (Hrsg.), The evidence book. Concepts, generation and use of evidence Comparative Policy Evaluation, (Bd. 15, S. 11–26). New Brunswick: Transaction Publishers. Luhmann, N. (1997). Die Gesellschaft der Gesellschaft. Frankfurt am Main: Suhrkamp. Luhmann, N. (2000). Die Politik der Gesellschaft. Frankfurt am Main: Suhrkamp. Luhmann, N. (2002). Einführung in die Systemtheorie. Heidelberg: Carl-Auer-Systeme. McDonald, S. K. (2009). Scale-up as a framework for intervention, program and policy evaluation research. In G. Sykes (Hrsg.), Handbook of education policy research (S. 191–208). New York: Routledge. Meyer-Drawe, K. (2009). „Sich einschalten“. Anmerkungen zum Prozess der Selbststeuerung. In U. Lange, S. Rahn, W. Seitter & R. Körzel (Hrsg.), Steuerungsprobleme im Bildungswesen. Festschrift für Klaus Harney (S. 19–34). Wiesbaden: Springer VS. Oakley, A. (1998). Experimentation and social interventions: a forgotten but important history. British Medical Journal, 317, 1239–1242. OECD = Organization for Economic Co-operation and Development (2008). Measuring improvements in learning outcomes. Best practices to assess the value-added of schools. Paris: OECD. Pant, H. A. (2014). Aufbereitung von Evidenz für bildungspolitische und pädagogische Entscheidungen. Metaanalysen in der Bildungsforschung. In R. Bromme & M. Prenzel (Hrsg.), Von der Forschung zur evidenzbasierten Entscheidung. Die Darstellung und das öffentliche Verständnis der empirischen Bildungsforschung Zeitschrift für Erziehungswissenschaft: Sonderheft 27. (S. 79–99). Wiesbaden: Springer VS. Pekrun, R. (2002). Vergleichende Evaluationsstudien zu Schülerleistungen. Konsequenzen für die Bildungsforschung. Zeitschrift für Pädagogik, 48(1), 111–128. Peters, G. P. (2012). Information and governing: cybernetic models of governance. In D. Levi-Faur (Hrsg.), Oxford handbook of governance (S. 113–128). Oxford: Oxford University Press. Prenzel, M. (2005). Zur Situation der Empirischen Bildungsforschung. In H. Mandl & B. Kopp (Hrsg.), Impulse für die Bildungsforschung. Stand und Perspektiven; Dokumentation eines Expertengesprächs (S. 7–21). Berlin: Akademie Verlag. Prenzel, M., Sälzer, C., Klieme, E., & Köller, O. (2013). PISA 2012. Fortschritte und Herausforderungen in Deutschland. Münster: Waxmann.

K

Datengetrieben und/oder evidenzbasiert? Radtke, F.-O. (2009). Evidenzbasierte Steuerung. Der Aufmarsch der Manager im Erziehungssystem. In R. Tippelt (Hrsg.), Steuerung durch Indikatoren. Methodologische und theoretische Reflektionen zur deutschen und internationalen Bildungsberichterstattung (S. 157–180). Opladen: Barbara Budrich. Reichenbach, R. (2014). Schulkritik. Eine „metaphorologische“ Betrachtung. In R. Fatke & J. Oelkers (Hrsg.), Das Selbstverständnis der Erziehungswissenschaft: Geschichte und Gegenwart Zeitschrift für Pädagogik: Beiheft 60. (S. 226–240). Weinheim: Beltz Juventa. Sackett, D. L. (1996). Evidence based medicine: what it is and what it isn’t. British Medical Journal, 312, 71–72. Slavin, R. E. (2002). Evidence-based education policies: transforming educational practice and research. Educational Researcher, 31(7), 15–21. Stoiber, K. C., & DeSmet, J. L. (2010). Guidelines for evidence-based practice in selecting interventions. In G. Gimpel Peacock, R. A. Ervin, K. W. Merrell & E. J. Daly (Hrsg.), Practical handbook of school psychology: effective practices for the 21st century (S. 213–234). New York: The Guilford Press. Tenorth, H.-E. (2014). Politikberatung und Wandel der Expertenrolle oder: Die Expertise der Erziehungswissenschaft. In R. Fatke & J. Oelkers (Hrsg.), Das Selbstverständnis der Erziehungswissenschaft: Geschichte und Gegenwart Zeitschrift für Pädagogik: Beiheft 60. (S. 139–171). Weinheim: Beltz Juventa. Terhart, E. (2002). Wie können die Ergebnisse von vergleichenden Leistungsstudien systematisch zur Qualitätsverbesserung der Schulen genutzt werden? Zeitschrift für Pädagogik, 48(1), 91–110. Thiel, F. (2014). Evidenzbasierte Bildungspolitik – Generierung und Nutzung wissenschaftlichen Wissens. Generierung und Nutzung wissenschaftlichen Wissens. In Bundesministerium für Bildung und Forschung (Hrsg.), Bildungsforschung 2020 – Herausforderungen und Perspektiven (S. 115–127). Berlin: BMBF. http://www.bmbf.de/pub/BMBF-Bildungsforschung_Band_40.pdf#page=119. Thiel, F., Cortina, K. S., & Pant, H. A. (2014). Steuerung im Bildungssystem im internationalen Vergleich. In R. Fatke & J. Oelkers (Hrsg.), Das Selbstverständnis der Erziehungswissenschaft: Geschichte und Gegenwart Zeitschrift für Pädagogik: Beiheft 60. (S. 123–138). Weinheim: Beltz Juventa. Tippelt, R., & Reich-Claassen, J. (2010). Stichwort: Evidenzbasierung. DIE Zeitschrift für Erwachsenenbildung, 2010/4, 22–23. Torrance, H. (2014). Philosophy is not enough: inserting methodology and politics into the space between science and democracy. In A. D. Reid, E. P. Hart & M. A. Peters (Hrsg.), A companion to research in education (S. 401–405). Dordrecht: Springer. Tymms, P., Merrell, C., & Coe, R. (2008). Open dialogue: educational policies and randomized controlled trials. The Psychology of Education Review, 32(2), 3–7–26–29. U.S. Department of Education (2009). President Obama, U.S. secretary of education duncan announce national competition to advance school reform. press release. http://www2.ed.gov/news/pressreleases/ 2009/07/07242009.html. Zugegriffen: 10. Aug 2015. Wacker, A., Maier, U., & Wissinger, J. (2012). Schul- und Unterrichtsreform durch ergebnisorientierte Steuerung. Empirische Befunde und forschungsmethodische Implikationen. Wiesbaden: Springer VS. Weiss, C. H., Murphy-Graham, E., & Birkeland, S. (2005). An alternate route to policy influence. How evaluations affect D.A.R.E. American Journal of Evaluation, 26(1), 12–30. Whitehurst, G. J. (2002). Evidence-based education. Presentation. U.S. department of education. https:// www2.ed.gov/nclb/methods/whatworks/eb/evidencebased.pdf. Zugegriffen: 11. Aug 2015. Ziemann, A. (2009). Systemtheorie. In G. Kneer & M. Schroer (Hrsg.), Handbuch soziologische Theorien (S. 469–490). Wiesbaden: Springer VS.

K