Rettungsdienst Notfall + Rettungsmedizin 2005 · 8:346–353 DOI 10.1007/s10049-005-0751-5 Online publiziert: 29. Juli 2005 © Springer Medizin Verlag 2005 Redaktion H.-R. Paschen, Hamburg M. Ruppert, München J. Schallhorn, Hamburg G. Schmöller, München

> „Was auch immer das Ziel sein

mag und wann immer es durchgeführt wird, Assessment hat einen mächtigen Einfluss darauf, wie Lernende an ihr Lernen herangehen.“ [10] Das eingangs stehende Zitat von Newble zeigt prägnant auf, dass Lernen und Prüfung in einer starken Beziehung zueinander stehen. Diese Beziehung kann sich zum Vor-, aber durchaus auch zum Nachteil der Lernenden auswirken. So erlebt man oftmals ein sehr stark prüfungsorientiertes Lernverhalten von Lernenden mit oberflächlicher Wissensaneignung und nur geringfügig selbstgesteuerter Lernaktivität. Lernende selber beschreiben häufig Diskrepanzen zwischen den Lernideen und den Unterrichtsformen der Schule auf der einen Seite und der Art der Prüfungen auf der anderen (. Abb. 1). Im Wissen also, dass die Art und Weise der Prüfung das Lernen beeinflusst (im Englischen treffend: „Assessment drives learning“), soll im Folgenden eine Darstellung der Bedeutung von Prüfungen im Rahmen der Berufsausbildung zum dipl. Rettungssanitäter erfolgen.

Thematische Eingrenzung und Zielsetzungen Der Fokus dieses Beitrags liegt auf den formativen und summativen Assessmentelementen der gesamten Ausbildungszeit. Dabei geht es primär darum, die pädagogischen Grundsätze darzustellen, und nicht die einzelnen Verfahren detailliert auszuarbeiten.

346 |

Notfall + Rettungsmedizin 5 · 2005

H. Regener · EMERGENCY Schulungszentrum, Zofingen, Schweiz

Die Bedeutung von Assessments in der Ausbildung diplomierter Rettungssanitäter

F Die formative Beurteilung ist eine prozessorientierte Beurteilung, die beratende Funktion hat und konkrete Ansätze für eine gemeinsame Beurteilung und Planung für die Lernenden und die Lehrer bietet. Ziel ist die Lernförderung und aktive Gestaltung des Lernprozesses durch die Lernenden. F Die summative Beurteilung erfolgt zu einem festgesetzten Zeitpunkt (Diplomprüfung, Abschnittsprüfungen) und ist ausschlaggebend für die Promotion. Dabei überwiegt die distanzierte, beurteilende Funktion des Prüfers.

Rahmenvorgaben Für das Assessment während der Ausbildung zum dipl. Rettungssanitäter machen die Bestimmungen des Schweizerischen Roten Kreuzes (SRK) keine Vorgaben [13]. Für das Diplomexamen am Ende der Ausbildung ist ein nach 5 Funktionsbereichen gegliederter Zielkatalog definiert. Dieser ist in einem 3-teiligen Examen zu überprüfen, das rudimentär wie folgt beschrieben ist: 1. schriftliche Arbeit zu einem beruflichen Thema, 2. fallbezogene praktische Prüfung anhand realer oder gestellter Situationen, 3. Fachgespräch auf der Grundlage der Arbeitssituation in der praktischen Prüfung. Seitens der Ausbildungsbestimmungen wird damit der Prüfungsschwerpunkt auf das abschließende Diplomexamen gelegt. Auch in der Ausbildungs- und Prüfungsverordnung für Rettungsassistentin-

Infobox

Rettungsdienst und Dipl. Rettungssanitäter in der Schweiz In der Schweiz sind rund 150 Rettungsdienste mit der Sicherstellung der präklinischen Notfallversorgung betraut. Träger der Rettungsdienste sind an erster Stelle Spitäler, gefolgt von privaten Anbietern, Gemeinden und Kantonen sowie in wenigen Fällen Polizei und Feuerwehren. Die Regulation des Rettungsdienstes obliegt den Kantonen. Das breite Spektrum der Rettungsdienste ist von Heterogenität und Föderalismus geprägt. So spannt sich der Bogen zwischen nebenamtlichen Ein-Fahrzeug-Betrieben bis zum größten Corps mit rund 20 Fahrzeugen und 90 Mitarbeitern. Der offizielle Berufstitel der Rettungsfachpersonen in der Schweiz lautet diplomierter Rettungssanitäter (dipl. RS). Die Berufsausbildung zum dipl. RS ist auf tertiärem Bildungsniveau angesiedelt und dauert 3 Jahre, wobei vorgängig erworbene Qualifikationen, wie z. B. Pflegeausbildungen, zu einer Verkürzung der Ausbildung berechtigen. Die Ausbildung ist dual, d. h. dass schulische und praktische Ausbildungsabschnitte einander abwechseln, wobei der schulische Anteil nicht weniger als ein Drittel (ca. 1800 h) umfassen darf. Dipl. Rettungssanitäter arbeiten selbständig und in Zusammenarbeit mit anderen Berufsgruppen in Notfallversorgung und Krankentransport. Eine landeseinheitliche Kompetenzregelung fehlt bislang. Derzeit sind die Arbeiten zur Vorbereitung eines neuen Rahmencurriculums aufgenommen worden.

Infobox

nen und Rettungsassistenten (RettAssAPrV) in Deutschland scheint, zumindest in Bezug auf die juristischen Vorgaben, der Leitgedanke der Prüfung die summative Abschlussbeurteilung zu sein. In § 4 wird wie in der Schweiz die staatliche Prüfung mit den 3 Teilen schriftlich, mündlich und praktisch aufgeführt. Zwar werden diese Teile in den folgenden Paragraphen näher beschrieben, eine Darstellung der zu prüfenden Kompetenzen (s. unten) unterbleibt aber und wird auch im zugehörigen Erlass nicht ausgeführt.

Assessments in der Literatur Zum Thema „Assessments in der rettungsdienstlichen Ausbildung“ finden sich über die letzten 10 Jahre in den Datenbanken Eric (pädagogische Forschung), Medline (medizinische Forschung), Timelit (medizinpädagogische Forschung), Carelit (deutsche pflegerische Datenbank) sowie mittels der Suchmaschine Google in unterschiedlichster Kombination relevanter Suchbegriffe fast keine spezifischen Publikationen in deutscher oder englischer Sprache. Auch bei der Handsuche der wichtigsten deutschsprachigen Rettungsdienstzeitschriften muss festgestellt werden, dass sich in den letzten 10 Jahren keine davon differenziert mit dem Themenbereich befasst hat, wenngleich allgemein pädagogische Themen hin und wieder auftauchen. Da dem Thema „Assessment in der rettungsdienstlichen Ausbildung“ also nur geringfügige Beachtung geschenkt wird, was sich u. a. in der relativ geringen Anzahl spezifischer Publikationen niederschlägt, müssen als Datengrundlage für das Thema Assessment vergleichbare andere Gesundheitsberufe berücksichtigt werden. Dabei besteht die nächste Verwandtschaft wohl mit der Humanmedizin und der Pflege.

Aufgaben von Assessment Assessments haben verschiedene Funktionsebenen. So sind sie bedeutsam für Lernende, Lehrende aber auch für die Gesellschaft [17]. Für die Lernenden geht es v. a. um die Verdeutlichung des Zuwachses an Kenntnissen und Fähigkeiten. Dadurch wird eine Standortbestimmung im eigenen Lernprozess möglich, die wiederum Einfluss

auf die Art und Weise des Lernens haben kann. Aebli [1] nennt dies „das Grundbedürfnis nach Selbstprüfung“. Je ausgefeilter die Assessmentstrategien sind, desto angemessener dienen sie dem Feedback und dem Lernen. Prüfungen werden dann zu Lernerfahrungen; Lernende werden Prüfungserfahrungen und die ergänzenden Lernmöglichkeiten schätzen [6]. Ein positives Prüfungsergebnis wird oftmals als Belohnung der Lernleistung, ein negatives als Ansporn empfunden. Für die Ausbilder steht die Klärung der Frage im Vordergrund, was einer zu leisten vermag. Da die Beurteilung der Mitwirkung an den Lernveranstaltungen je nach Aktivitätsgrad des Lernenden nur ausschnittsweise möglich ist, ergänzen Assessments diese Eindrücke. Dabei bezieht sich die Prüfung zum einen auf das erworbene Repertoire an Kenntnissen und Fähigkeiten, zum anderen aber sollen insbesondere Abschlussprüfungen auch die künftigen Leistungen des Prüflings prognostizieren (. Abb. 2). Darüber hinaus ermöglichen Assessments dem Ausbilder unter formativen Aspekten eine gezielte Unterstützung der Lernenden in Bezug auf dessen Stärken und Schwächen. Als zusätzlicher Aspekt darf die Überprüfung der Wirksamkeit des Unterrichts gewertet werden. Damit kommt dem Assessment – zumindest indirekt – auch eine Bedeutung in der Programmevaluation zu. Für die Gesellschaft (als potenzielle Patienten, zukünftige Arbeitgeber etc.) sollen Assessments die zentrale Frage beantworten, ob eine Person in der Lage ist, ihre berufliche Funktion qualifiziert auszuüben. Damit sind insbesondere Abschlussprüfungen letztendlich auch politische Entscheidungen [7]. Es gilt beispielsweise – und nicht zuletzt – die Gesellschaft vor unfähigen Berufsangehörigen zu schützen. Dieser Verantwortung sollte sich jeder, der mit Assessments befasst ist, gewahr sein.

Anforderungen an Assessments Assessments haben das Ziel, verlässliche Aussagen über das Leistungsniveau des Lernenden zu machen. Sie müssen dabei einigen elementaren Anforderungen genügen [7]:

Begriffsdefinition „Assessment“ ist das Schlüsselwort dieses Beitrags. Keiner der deutschen Termini „Prüfung, Examen, Leistungskontrolle, Test etc.“ übersetzt Assessment im breiteren Sinne der angelsächsischen Verwendung, weshalb der englische Begriff im Folgenden beibehalten wird. Da die Verwendung des Ausdrucks (speziell im Deutschen) nicht eindeutig ist, wird hier eine Definition für die Verwendung des Begriffs in diesem Beitrag gegeben. Assessment steht hier im pädagogischen Sprachgebrauch für alle Verfahren, die der Leistungsbeurteilung der Lernenden dienen und ist damit nicht reduziert auf beispielsweise „Einstellungstests“ (wie im Assessmentcenter), bzw. auf formative oder summative Elemente (s. unten). Abgegrenzt wird der Begriff aber klar gegen „Evaluation“, womit die Beurteilung eines Ausbildungsprogramms beschrieben wird. Die Bedeutung „Untersuchung (des Patienten)“, die auch mit dem Begriff Assessment benannt wird, ist hier ebenfalls nicht gemeint.

F F F F

sie müssen für das Fach repräsentativ, sie müssen wissenschaftlich korrekt, für die Berufstätigkeit relevant, an den gesellschaftlichen Bedürfnissen orientiert sein.

Um diesen Ansprüchen zu genügen, müssen Assessments von hoher Qualität sein. Reliabilität, Validität und Objektivität sind die Gütekriterien des Assessments [8]. Ihnen ist bei der Planung in erheblichem Masse Rechnung zu tragen (. Tabelle 1). Weiterhin gilt aber auch: „Prüfungen müssen ökonomisch sein. Der finanzielle, materielle und personelle Aufwand, der mit der Prüfung verbunden ist, muss sich in vertretbaren Grenzen halten und in einem angemessenen Verhältnis zum Nutzen stehen.“ [3]. Friede [4] ergänzt als Rahmenbedingung, dass „Prüfungen rechtssicher, massenhaft, auf gleichem Anforderungsniveau, qualitätsvoll über den Geltungsbereich und die Jahre vergleichbar und wiederholt durchgeführt werden können.“ All diesen Kriterien in der Assessmentplanung gerecht zu werden, ist schwierig. Deshalb gilt es Newble [11] Beachtung zu schenken, der Notfall + Rettungsmedizin 5 · 2005

| 347

Rettungsdienst Tabelle 1

Gütekriterien von Prüfungen Objektivität

Prüfungsergebnisse sollen von der Person des Durchführenden und des Auswerters der Prüfung unbeeinflusst sein

Validität (Gültigkeit)

Assessments gelten dann als gültig oder valide, wenn mit ihnen tatsächlich die Leistungen erfasst werden, die beurteilt werden sollen

Reliabilität (Zuverlässigkeit)

Ergebnisse von Prüfungen unterliegen vielfältigen Störungsmöglichkeiten, die sich als Verzerrung des „ wahren“ Leistungswerts auswirken können. Mit einem Prüfungsinstrument sollten bei wiederholter Durchführung unter gleichen Bedingungen gleiche Ergebnisse erzielt werden

Tabelle 2

Assessmentmethoden im Vergleich Instrument

Fähigkeit zur Kreativität und Fachwissen Kommunikative Entscheidungs- Performance Einstellung, Fähigkeiten findung professionelles Selbsteinschätzung Engagement Verhalten

OSCEa

XX

Multiple-ChoiceFragen

XX

Fallanalyse und Fallstudie

XX

XX

X

XX

XX

XX

XX

(X)

X

X

X

X

X

Standortgespräch Strukturierte Beobachtungb

(X)

XX

XX

Peerassessmentc Portfolio Fallsimulationen

XX (X)

Strukturierte X mündliche Prüfung

XX

XX

X

X

X

(X)

X XX

XX

(X): bedingte Eignung, X: Eignung, XX: Schwerpunkt. a Objektives strukturiertes klinisches Examen (das Verfahren kann auch auf andere Kompetenzbereiche erweitert werden), b Assessment mit On-the-job-Training. c Gegenseitige kollegiale Beurteilung der Lernenden.

als Anforderung die „Praktikabilität“ ergänzt! In der Erarbeitung eines Assessmentkonzepts sollte insbesondere diesem letzten Aspekt eine große Bedeutung zukommen, wobei es anspruchsvoll ist, auf der Suche nach „Praktikabilität“ den anderen Kriterien nicht den Rücken zu kehren. Unter dem o. g. Aspekt der Relevanz soll grundsätzlich immer hinterfragt werden, ob die geprüften Qualifikationen dem Lernenden wirklich helfen, Problemsituationen zu bewältigen, denen er in seinem zukünftigen Leben begegnen wird. Anderenfalls sind die entsprechenden Prüfungsteile zu modifizieren oder allenfalls zu streichen.

Zielrichtung von Assessments Aebli [1] beschreibt, dass Prüfungen vielerorts in einer Art und Weise angewendet werden, die nicht nur ihr Ziel verfehlt, son-

348 |

Notfall + Rettungsmedizin 5 · 2005

dern den übrigen pädagogischen und didaktischen Absichten geradezu entgegenwirkt. Das bedeutet beispielsweise, dass Detailwissen gefördert wird statt verstandesmäßige Verknüpfung, Reproduktion statt eigener Leistung und so fort. Dieser fehlerhaften Assessmentanwendung gilt es entgegenzuwirken. So muss „das Assessment von Lernenden die pädagogischen Ziele eines Ausbildungsprogramms widerspiegeln und im Einklang mit den Einstellungen der Lernenden zum Lernen stehen“ [15]. Diese Forderung zieht sich unisono durch die aktuelle Literatur zum Thema Assessment und wird mit verschiedenen Schwerpunkten formuliert: „Wenn ein Prüfungssystem aus Sicht der Lernenden darauf ausgerichtet ist, ausschließlich Fachwissen abzurufen, werden sie dazu tendieren, eine sehr ober flächliche Art zu lernen an den Tag legen. Es ist

elementar für die Prüfer, das Format und die Inhalte von Prüfungen möglichst weitgehend mit den pädagogischen Zielen in Einklang zu bringen“ [10]. Oder wie Friedman beschreibt [5] „Assessmentmethoden sollten zu den Lernmodalitäten passen“. Widersprüche zählen zu den großen Lernhemmnissen. Es darf angenommen werden, dass dies insbesondere auch für die beschriebenen Widersprüche zwischen „Lernen“ und „Prüfen“ gilt. Einer der wesentlichen Aspekte bei der Er- oder Überarbeitung eines Assessmentsystems ist es zu vermeiden, dass die Lernenden prüfungsorientiert werden. Die Einstellung zum Lernen muss gleich sein, ob es um die Vorbereitung auf eine Prüfung oder auf den Unterricht geht. Friedman [6] beschreibt eine Weiterentwicklung des Assessments in der medizinischen Ausbildung über die letzten 10 Jah-

Zusammenfassung · Abstract re. Diese lässt sich durch einen Wandel von eher einfachen zu differenzierteren Strategien skizzieren:

Notfall + Rettungsmedizin 2005 · 8:346–353 DOI 10.1007/s10049-005-0751-5 © Springer Medizin Verlag 2005

H. Regener

F von der Verwendung einzelner Methoden zum Gebrauch unterschiedlicher Instrumente (Triangulation), F vom (überbetonten) Assessment des Wissens hin zum Assessment von Kompetenz, F von reinen „Papier-und-Bleistift-Tests“ zur Verwendung von Performancetests, F von normativen Entscheidungen über „bestanden oder nicht bestanden“ hin zu Standardsetzungen (ermittelte Grenzwerte), F von der Suche nach Fachwissen zur Suche nach Selbstreflexion im Handeln, F vom Assessment in strukturierten (schulischen) Umgebungen zum Assessment im „On-the-job-Training“, also im regulären rettungsdienstlichen Arbeitsfeld. Der aktuelle Trend, wie ihn Shepard beschreibt, ist, Assessment als einen integralen Bestandteil des Lernprozesses anzusehen [14] und nicht mehr davon losgelöst und abstrakt für sich stehend (. Abb. 3).

Bedeutung von Abschlussprüfungen Nun ist es durchaus angemessen, über die Frage nachzudenken, zu welchem Zeitpunkt Assessments nützlicherweise stattfinden sollen.

Die Bedeutung von Assessments in der Ausbildung diplomierter Rettungssanitäter Zusammenfassung Lernen und Prüfung stehen in einer engen Beziehung zueinander. So sollten Prüfungselemente die Ausbildung begleiten und nicht nur abschließen. Prüfungen sollten sich an den Lernideen und den Unterrichtsformen orientieren. Die Bedeutung von Prüfungen in der rettungsdienstlichen Ausbildung wird in der Literatur jedoch kaum bearbeitet. Unter dem Begriff „Assessments“ werden alle Verfahren zusammengefasst, die der Leistungsbeurteilung der

Lernenden dienen. Dieser Beitrag stellt Aufgaben von und Anforderungen an Assessments in der Berufsausbildung von diplomierten Rettungssanitätern dar. Dazu wird ein Vorschlag für die Erarbeitung eines zeitgemäßen Prüfungskonzepts entwickelt. Schlüsselwörter Assessment · Ausbildung · Rettungssanitäterausbildung · Prüfungskonzept

The significance of assessments during the training of certified emergency medical technicians Abstract Learning and exams are closely interconnected. Test elements should accompany the learning process and not only serve to complete the training period. Examinations should be oriented toward the ideas learned and the forms of instruction used. However, the significance of examinations during the training period for emergency medical technicians is hardly ever addressed in the literature. All of the procedures that serve to evaluate the students’ performance are subsumed under the

term “assessments.” This contribution presents the tasks of assessments and their requirements for occupational training of certified emergency medical technicians. It also offers a suggestion to develop a modern testing concept. Keywords Assessment · Occupational training · Emergency medical technicians · Testing concept

F Ist es fair, einem Lernenden am Ende seiner Ausbildungszeit im Rahmen der Abschlussprüfung mitzuteilen, dass er die (am Beispiel der Schweiz 3-jährige) Ausbildung nicht bestanden hat? F Ist es seriös, einen solchen Teilnehmer überhaupt zur Abschlussprüfung antreten zu lassen, wenn sich ein Misserfolg absehen lässt? F Ist es gerecht, wenn anlässlich einer punktuellen Leistungsbeurteilung im Sinne einer Abschlussprüfung ein ungeeigneter Teilnehmer mit Glück besteht, während ein geeigneter in schlechter Tagesform und mit Pech an der Hürde scheitert? Notfall + Rettungsmedizin 5 · 2005

| 349

Rettungsdienst

Abb. 1 8 Praktische Fertigkeiten können nicht schriftlich überprüft werden

Abb. 2 8 Fallsimulationen eignen sich zur Beurteilung von Entscheidungsfähigkeit

Abb. 3 8 Prüfungselemente sollten einen Lernprozess begleiten, statt ihn nur abzuschließen

Abb. 4 8 Kompetenz Fachwissen im schriftlichen MC-Test

Abb. 5 9 Beurteilung praktischer Einsatzabläufe

F Ist es klug, dass im Rahmen eines Schlussexamens nur das beurteilt wird, was in der Prüfung stattfindet, und dass dabei Erfahrungswerte über die längerfristige Leistungs-

350 |

Notfall + Rettungsmedizin 5 · 2005

fähigkeit der Person ausgeklammert werden? Aufgrund einer hohen Fallspezifität sind die Ergebnisse aus einzelnen simulierten

Prüfungseinsätzen kaum repräsentativ für die Leistungen eines Kandidaten, eine Generalisierbarkeit der Ergebnisse ist schwer möglich. Dahingegen sind die Lernenden zum Zeitpunkt ihres Ausbildungs-

abschlusses über einen längeren Zeitraum im realen Umfeld Rettungsdienst unter Begleitung und Beobachtung tätig gewesen und haben ihr Leistungsvermögen dargestellt. Kaiser [9] präzisiert beispielsweise einen Vorschlag für die praktische Prüfung: „Die praktische Prüfung wird abgeschafft. Ihre Funktion wird durch die Praktikumsqualifikation übernommen. Die Schule stellt sicher, dass die Lernbegleiterinnen an den Praktikumsorten so ausgebildet sind, dass sie diese Qualifikationen übernehmen können.“ Er formuliert weiter, dass sich an einer Schlussprüfung allenfalls krasse „Fehlprodukte“ erkennen lassen. Es wäre daher wünschenswert, weniger Energie in die „Produktsicherung“ (Abschlussexamen), und dafür mehr in die Prozesssicherung (Ausbildungsprozess) und das kontinuierliche Assessment zu investieren. Und wenn derzeit durch regularische Vorgaben schon unumgänglich, dann sollten die Ergebnisse des Abschlussexamens als Teil in ein Gesamtergebnis integriert werden. Gemäß Van der Vleuten [16] gibt es gute Gründe für ein besseres kontinuierliches Assessment bei abnehmendem Vertrauen in Abschlussexamina. Im idealen Ausbildungsprogramm mit angemessenem und kontinuierlichem Assessment wären Abschlussexamina nicht erforderlich. Ein kontinuierliches Assessment fördert ein kontinuierliches Lernen – diese beiden sind nahtlos verbunden. Die Reliabilität eines Assessments steigt mit der Einführung eines prozessorientierten Verfahrens. Tatsächlich wird den Schulen in der Schweiz, wie auch in Deutschland, der Verzicht auf das Abschlussexamen durch die Rahmenvorgaben derzeit nicht ermöglicht. Unter den gegebenen Bedingungen müssen die Examina dann natürlich so seriös wie möglich durchgeführt werden, um möglichst tragbare Resultate zu erzielen. Nicht unterschlagen werden soll allerdings zu diesem Punkt, dass Abschlussprüfungen einen markanten Endpunkt setzen und Teil eines Abschiedsrituals sein können.

Theoretisches Modell der Assessmententwicklung Eine Assessmententwicklung bedarf einer strukturierten Planung. Die Litera-

tur stellt einige Modelle zur Assessmententwicklung zur Verfügung. Friedman schlägt die folgenden Entwicklungsschritte vor: 1. Ziele des Tests definieren, 2. Charakteristiken der Zielgruppe beschreiben, 3. Kompetenzen definieren (s. unten), 4. Methoden auswählen (s. unten), 5. Test-Blueprint definieren (s. unten), 6. Scores definieren (Beurteilungsinstrumente), 7. Reliabilität (Zuverlässigkeit) belegen, 8. Standards setzen (Bestehenskriterien), 9. summative und formative Elemente entscheiden, 10. Score-reporting (u.a. Entscheidung über Kompensationsmöglichkeiten), 11. Beweise für die Validität (Gültigkeit) liefern. Vergleichbare Vorschläge wurden ebenfalls vom IAWF [7], von Newble [11], Ingenkamp [8] und von anderen Autoren publiziert. An unserer Institution haben wir uns für Friedmans Vorschlag entschieden, da er für die detaillierte Ausarbeitung der Aufgabe besonders hilfreich ist. Die Erarbeitung des Systems erfolgt dann Schritt um Schritt. Dies auszuführen würde den Rahmen des Beitrags sprengen, weshalb exemplarisch 3 Schritte etwas näher beleuchtet werden sollen.

Kompetenzen definieren Die schweizerischen Ausbildungsbestimmungen ordnen die Ausbildungsziele 5 Funktionsbereichen des Berufs zu und ergänzen dies durch übergeordnete Schlüsselqualifikationen. Daraus leiten wir die folgenden Kompetenzdimensionen ab, die mittels Assessment erfasst werden sollen: F Fachwissen: Themengebiete sind dabei Anatomie und Physiologie, Krankheitslehre, Pflege, Rettungstechnik und -taktik, Notfallmedizin, Pharmakologie usw., F kommunikative Fähigkeiten: in alltäglichen Situationen, mit Menschen in besonderen Situationen, unter Zeitdruck, mit Menschen mit eingeschränkten Kommunikationsmöglichkeiten etc.,

F Entscheidungsfindung: Kann der Lernende Entscheidungen planen, analysieren, evaluieren und rechtfertigen? F Performance: praktische Fertigkeiten, F Einstellungen, professionelles Verhalten, F Selbsteinschätzungsfähigkeiten: Stärken-Schwächen-Analysen, Umgang mit Fehlern etc., F Kreativität und Engagement.

Methoden auswählen Mit oberster Priorität gilt hierbei, dass sich die Methodenwahl nach den zu prüfenden Kompetenzen richten muss und nicht umgekehrt. Das bedeutet, dass die Methode im Dienste des Assessmentziels steht. In der Selektion muss darauf geachtet werden, dass die gewählten Instrumente in der Lage sind, die gewünschten Ziele möglichst breit zu erfassen und dabei nicht isoliert stehen, sondern zu einem schlüssigen Gesamtkonzept integrierbar sind. Eine übliche Einteilung von Prüfungsteilen beschreibt „schriftliche, mündliche und praktische Prüfungen“. Diese Terminologie geht ausschließlich von der Art der Darbietung aus und berücksichtigt weder die überprüften Kompetenzen, noch das tatsächliche Instrument. Für eine seriöse Bearbeitung des Themas ist diese Gliederung denkbar ungeeignet. Es existiert eine große Vielfalt unterschied licher Prüfungsmetho den. Die Qualität und insbesondere die Angemessenheit der unterschiedlichen Instrumente können nur bedingt pauschal, sondern müssen speziell auch immer im Kontext des Gesamtverfahrens beurteilt werden. Somit ist es erforderlich, das Ziel der jeweiligen Kontrolle zu definieren, um auf dieser Basis über das geeignete Instrument entscheiden zu können. Auch wenn eine Methode als grundsätzlich geeignet beurteilt wird, so ist deren Qualität doch von der Art der Aufgabenstellung innerhalb des gegebenen Rahmens abhängig. Jede Methode hat ihre Grenzen. Anderson [2] beschreibt, dass der Einsatz einer Palette von Assessmentinstrumenten die in den 3 Bereichen psychomotorischer, kognitiver und affektiver Leistungen und auf allen Taxonomiestufen prüfen, ein vertieftes Lernen fördert. Notfall + Rettungsmedizin 5 · 2005

| 351

Rettungsdienst An unserer Institution wurden aufgrund der folgenden einfachen Kriterienliste von den ermittelten Verfahren potenziell geeignete identifiziert: 1. hohe Validität in der Messung der jeweiligen Kompetenzen, 2. nachgewiesene Reliabilität ≥0,8, 3. Kompatibilität mit den curricularen Leitideen, 4. lernfördernder Charakter, 5. Praktikabilität in Bezug auf personelle, materielle, räumliche, zeitliche und finanzielle Ressourcen, 6. Vernetzbarkeit innerhalb eines Gesamtkonzepts. Insbesondere die gewünschten Kriterien „hohe Validität in der Messung der jeweiligen Kompetenzen“ und „nachgewiesene Reliabilität ≥0,8“ lassen sich prospektiv nur schwer bestimmen (s. unten). Hier kann zunächst auf Basis der zur Verfügung stehenden Literatur eine Tauglichkeitsbeurteilung vorgenommen werden [7], die allerdings anhand des spezifischen Kontextes überprüft und später statistisch ermittelt werden muss. In der . Tabelle 2 sind 9 Instrumente ausgewählt (vertikal) und den zu beurteilenden Kompetenzen (horizontal) zugeordnet. Während einige dieser Verfahren wohlbekannt und weithin gebräuchlich sind, finden andere noch vergleichsweise selten Anwendung. Beim „objektiven strukturierten klinischen Examen“ (OSCE) handelt es sich um ein bewährtes Instrument, das sich unter anderem hervorragend für Performancebeurteilungen eignet. Das Verfahren wurde von Weisser et al. [18] im vergangenen Jahr in dieser Zeitschrift gut beschrieben, weshalb an dieser Stelle darauf verwiesen und auf eine entsprechende Ausführung verzichtet werden kann. Das Verfahren erfährt (in Deutschland) aktuell auch durch die Umsetzung der neuen Ärztlichen Approbationsordnung (ÄAppO) einen erheblichen Auftrieb (wenngleich es bereits 1975 von Harden eingeführt wurde). Das „Portfolio“ wurde als wichtiges Instrument für die Unterstützung und Überprüfung authentischen Lernens beschrieben. In einem Portfolio betrachten Lernende ihre Lernaktivitäten systematisch und belegen sie mit illustrierenden Mate-

352 |

Notfall + Rettungsmedizin 5 · 2005

rialien. Auf diese Art und Weise werden Lernende ermutigt, Verantwortung für ihr eigenes Lernen zu übernehmen und ihre Lernerfahrungen zu personalisieren. Portfolios kombinieren dabei qualitative und quantitative Ansätze und sind lernerzentriert. Die Lernenden selber determinieren den Inhalt und die Form ihrer Portfolios. Auf diese Art berücksichtigen Portfolios in viel umfangreicherem Maße verschiedene Arten von Lernaktivitäten als die meisten herkömmlichen Assessmentverfahren. Oder in anderen Worten: Ein Portfolio ist eine Sammlung von Belegen dafür, das Lernen stattgefunden hat. Peerassessment zwischen Lernenden kann eine exzellente Quelle für Informationen über professionelle und nichtprofessionelle Verhaltensweisen von Lernenden sein, weil Peers („Gleichgestellte“) in häufigem und engem Kontakt miteinander stehen, insbesondere auch, wenn keine Lehrpersonen anwesend sind. Peerassessmentverfahren orientieren sich sehr stark am Teilnehmerbedarf. In unserer Institution wird Peerassessment insbesondere in Kombination mit der Vorbereitung auf OSCE genutzt. Im Peerassessment sind die Lernenden keinem Prüfungsdruck ausgesetzt. Peerassessment darf als „ehrliches“ Verfahren angesehen werden, da der Lernende seine Schwächen nicht verstecken muss, sondern ohne negative Konsequenzen zeigen darf. Die Inhalte und Intensität des Assessments sind dabei selbst steuerbar.

Test-Blueprint definieren Der Begriff „Blueprint“ bezeichnet einen Plan oder im technischen Sinne eine Blaupause. „Assessment Blueprints werden entworfen, um eine adäquate Zusammenstellung von Testinhalten, Fertigkeiten und Einstellungen zu gewährleisten, um Gleichwertigkeiten von Testformen zu sichern und um die Generalisierbarkeit des Tests auf ähnliche charakterisierte Situationen zu gewährleisten.“ [6]. Somit bietet der Blueprint den Rahmen für das Assessment und gibt die Antwort auf die Frage, wie aus einzelnen Assessmentmethoden ein stimmiges Gesamtkonzept erstellt werden kann. Der Blueprint hat u. a. auch die Aufgabe, Subsegmente innerhalb der Assessments zu gewichten und in entsprechender Bedeutungsschwere zu berücksichti-

gen. Geeigneterweise erhält dabei ein Thema, dem im Curriculum ein hoher Stellenwert beigemessen wird, einen eben solchen im Assessment und umgekehrt mit Themen niedriger Gewichtung. Das zugeordnete Bewertungsverfahren trägt dieser Gewichtung Rechnung. Für die Lernenden hat der Blueprint eine wichtige Bedeutung, er wird ihnen offengelegt; bei uns in Form eines sog. Promotionsreglements. Schewior-Popp [12] beschreibt das Bemühen um Transparenz und Sicherheit in der Vorbereitung von Tests als eine der grundlegenden pädagogischen Aufgaben im Umfeld einer Leistungsmessung. Das bedeutet im Einzelnen: F keine Überraschungsaktionen, F Rahmendaten so weit als möglich bekannt geben, F Form des Verfahrens darstellen, F Inhalte, Ziele und Umfang bekannt geben, F Bewertungskriterien verdeutlichen. An unserer Institution wird das Ausbildungsjahr durch 4 bis 5 Assessmentschritte (Lernerfolgskontrollen) gegliedert. Dabei werden jeweils vorangegangene Themenblöcke inhaltlich abgeschlossen. Diese Lernerfolgskontrollen beinhalten vorrangig die Überprüfung der Kompetenzen Fachwissen (durch Multiple-ChoiceTests; . Abb. 4) und Performance (durch OSCE; . Abb. 5). Die übrigen Kompetenzdimensionen werden fortlaufend mittels der weiteren o. g. Verfahren überprüft, die Einzelergebnisse in einem gewichteten Punktekatalog zu einem Gesamtergebnis integriert. Dadurch ist für den Erfolg eines Ausbildungsjahres die kontinuierliche Gesamtleistung über einen längeren Zeitraum, und nicht eine am Schluss beurteilte Tagesleistung ausschlaggebend.

Fazit für die Praxis Assessment hat einen hohen Stellenwert in der rettungsdienstlichen Ausbildung. Es gilt dabei die Möglichkeiten der erwünschten Lernförderung („Lernen durch Assessment“) so weit als möglich zu nutzen und belegbare Gesamtkonzepte einzuführen. Hierzu sollen gezielt reliable und valide Messinstrumente im-

Fachnachrichten plementiert werden, denn: Assessments müssen fair sein.

Korrespondierender Autor

Förderstipendium der deutschen interdisziplinären Vereinigung für Intensiv- und Notfallmedizin (DIVI)

Dipl. Rettungssanitäter H. Regener Master of Medical Education, EMERGENCY Schulungszentrum, 1229, 4800 Zofingen, Schweiz E-Mail: [email protected] Interessenkonflikt: Der korrespondierende Autor versichert, dass keine Verbindungen mit einer Firma, deren Produkt in dem Artikel genannt ist, oder einer Firma, die ein Konkurrenzprodukt vertreibt, bestehen.

Literatur 1. Aebli H (1997) Grundlagen des Lehrens – eine allgemeine Didaktik auf psychologischer Grundlage, 4. Aufl. Klett-Cotta, Stuttgart 2. Anderson J (2004) Multiple-choice questions revised. Medical Teacher 26: 110–113 3. Ebbinghaus M, Schmidt JU (2000) Praxishandbuch – Integrierte Prüfung bei Technischen Zeichnern und Technischen Zeichnerinnen. Bertelsmann, Bielefeld 4. Friede C (1996) Beurteilung beruflicher Handlungskompetenz. Berufsbildung Heft 38 5. Friedman Ben-David M (1999) AMEE Guide No. 14 Outcome-based education: Assessment in outcome-based education. Medical Teacher 21: 23–25 6. Friedman Ben-David M (2000) The role of assessment in expanding professional horizons. Medical Teacher 22: 483–488 7. IAWF (1999) Kompetent prüfen – Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen. Bern 8. Ingenkamp KH (1997) Lehrbuch der Pädagogischen Diagnostik, Studienausgabe, 4. Aufl. Beltz– Pädagogik, Weinheim Basel 9. Kaiser A (2000) Abschlussprüfungen – Grundsatzüberlegungen. Schweizerisches Rotes Kreuz, Bern 10. Newble D, Jaeger K (1983) The effect of assessments and examinations on the learning of medical students. Medical Education 17: 165–171 11. Newble D (1992) Assessing clinical competence at the undergraduate level. Medical Education 26: 504–511 12. Schewior–Popp S (1998) Handlungsorientiertes Lehren und Lernen. Thieme, Stuttgart 13. Schweizerisches Rotes Kreuz (1998) Bestimmungen des Schweizerischen Roten Kreuzes für die Ausbildung der diplomierten Rettungssanitäterinnen und Rettungssanitäter. SRK, Bern 14. Shepard LA (2000) The role of assessment in a learning culture. Educational Researcher 29: 4–14 15. Stadelmann B (2001) Development, Implementation and evaluation of a new system of summative student assessment in the pre-clinical PBL curriculum at the Medical Faculty of Bern. MME-Masterthesis 16. Van der Vleuten C (2000) Validity of final examinations in undergraduate medical training. BMJ: 1217– 1219 17. Weiss B (2000) Entwicklung eines fächerintegrativen Prüfungsverfahrens. Diplomarbeit an der Katholischen Fachhochschule NW 18. Weißer FO, Dirks B, Georgieff M (2004) Objective Structured Clinical Examination (OSCE): Eine neue Prüfungsform in der notfallmedizinischen Ausbildung. Notfall Rettungsmed 7: 237–243

Die DIVI-Stiftung vergibt ein Förderstipendium in Form einer einmaligen finanziellen Zuwendung (in diesem Jahr erstmalig 10.000 Euro) zur Unterstützung von klinischen und wissenschaftlichen Projekten in der Intensivmedizin und Notfallmedizin. Die finanzielle Zuwendung des Stipendiums dient als Beitrag für Sachmittel und/ oder Aufwendungen zur Implementierung und Realisation von wissenschaftlichen Aktivitäten. Der/die Bewerber/-in sollte Mitglied einer medizinisch-wissenschaftlichen Gesellschaft sein, die Intensivmedizin und Notfallmedizin als einen der fachlichen Schwerpunkte ausweist bzw. Mitglied der DIVI ist. Im Hinblick auf die Förderung und Weiterentwicklung der klinischen und medizin-technischen Forschung in der Intensivmedizin und Notfallmedizin unterstützt die DIVI-Stiftung neben den in den Sektionen und Interdisziplinären Arbeitsgruppen der DIVI repräsentierten Aktivitäten insbesondere folgende Themen: Angewandte Grundlagenforschung, Evaluation pathophysiologischer Grundlagen und prognostischer Kenngrößen, Verbesserung technologischer Prinzipien und Verfahren, Entwicklung neuer Therapiestrategien sowie Förderung von Kommunikationstechniken im Bereich der Unfallmedizin und des Rettungswesens. Über die Stipendienvergabe entscheidet ein Komitee der DIVI-Stiftung. Die Bewerber/-innen werden gebeten, anhand des im Internet (s.u.) veröffentlichten Ausschreibungstextes und Antragsformulars das Projekt zu beschreiben. Zusätzlich werden folgende Unterlagen (in 3-facher Ausfertigung) an den Vorsitzenden der DIVI-Stiftung, Prof. Dr. med Dr. h.c. Wolfgang Dick, Universitätsklinikum Mainz, Klinik für Anästhesiologie, Ehrlichweg, Gebäude 505, 55101 Mainz, erbeten: 1. Beschreibung des Projektes (siehe Antragsformular) 2. Beruflicher Werdegang 3. Wissenschaftliche Aktivitäten 4. Tätigkeit in der Intensivmedizin und Notfallmedizin

5. Publikationsverzeichnis Der Einsendeschluss für die Bewerbung ist der 30.09.2005. Für Rückfragen steht Ihnen Herr Prof. Dr. med. Dieter L. Heene vom Universitätsklinikum Mannheim zur Verfügung: E-Mail: [email protected] Quelle: Deutsche interdisziplinäre Vereinigung für Intensivund Notfallmedizin (DIVI) http://divi-org.de

Ärzte helfen Ärzten Rat und Unterstützung beim BurnoutSyndrom Unter den gegenwärtigen Arbeitsbedingungen gelangen viele Ärzte an ihre Leistungsgrenzen und es besteht für sie die Gefahr, an einem Burnout-Syndrom zu erkranken. Das Ausgebranntsein kann sich durch unterschiedliche psychische und psychosomatische Symptome äußern: Neben einem anhaltenden Gefühl der Erschöpfung können beispielsweise Konzentrations- und Gedächtnisstörungen wegweisende Warnzeichen sein. Auch Gereiztheit, Nervosität und Zynismus im Umgang mit Patienten und Mitarbeitern sollte zu denken geben. Meist kommen somatische Beschwerden dazu, wie kardiale oder gastrointestinale Symptome, Kopfoder Rückenschmerzen. Seit Juli finden Ärzte, die unter einem Burnout-Syndrom leiden oder sich davor schützen wollen, bei der Burnout-Hotline der Vereinigung psychotherapeutisch tätiger Kassenärzte e.V. (VPK) Rat und Hilfe. Die Hotline ist Dienstags und Donnerstags zwischen 9:30 und 12:30 Uhr erreichbar und vermittelt Ärzte im ganzen Bundesgebiet. VPK – Vereinigung psychotherapeutisch tätiger Kassenärzte e.V., Perhamerstr. 53, 80687 München, Tel: 089 – 58 92 99 30, Fax: 089 – 58 92 99 32, E-Mail: [email protected], Web: www.vpk. psychotherapie.org Quelle: VPK – Vereinigung psychotherapeutisch tätiger Kassenärzte e.V., München

Notfall + Rettungsmedizin 5 · 2005

| 353