Wissen was man tut, zeigen was man kann.
Seit einigen Jahren ist Evaluation in aller Munde und wird in den verschiedenen Professionen diskutiert – so auch in der Kriminalprävention, in der Jugendhilfe, in der Schule und in der sozialen Arbeit. In Zeiten von Qualitätsdiskussionen, Umstrukturierungsprozessen und Sparzwängen geraten die Akteur:innen zunehmend unter Druck, die eigene Arbeit transparent zu machen, konzeptionell abzusichern und ihre Erfolge und Qualitäten zu belegen.
(Willi Klawe (2007): Wissen was man tut – zeigen, was man kann. Grundlagen der Selbstevaluation, In: Ute B. Schröder und Claudia Streblow (Hrsg.): Evaluation konkret. Fremd- und Selbstevaluationsansätze anhand von Beispielen aus Jugendarbeit und Schule, Opladen, S. 107)
Die rasante Verbreitung kriminalpräventiver Projekte und Programme seit Anfang der 1990er Jahre hat die Frage lauter werden lassen: Wie effektiv und wie nachhaltig sind diese? Wissenschaftliche Begleitung, Wirksamkeitsforschung und Evaluationen werden eingefordert, good-practice- oder noch besser best-practice-Ansätze sollen identifiziert werden, um einem breiten Publikum Empfehlungen ausprechen zu können.[ii]
Welche Strategien und Maßnahmen können als erfolgsträchtig betrachtet werden? Schon bei der Planung und Konzeption von Präventionsmaßnahmen muss man diese Frage beantworten, um die begrenzten finanziellen Ressourcen optimal einsetzen zu können. Evaluationen und Grundlagenforschung sollen daher Erkenntnisse darüber liefern, welcher Präventionsansatz für welches Problem unter welchen Bedingungen das beste Ergebnis verspricht. Aus diesem Grund wird seit einigen Jahren die Forderung an Projektverantwortliche und Präventionspraktiker:innen gerichtet, die ergriffenen Maßnahmen auf ihre Wirksamkeit hin zu überprüfen oder überprüfen zu lassen. Systematisch soll ein Pool erprobter und für wirksam befundener Projekte und Strategien angelegt werden, der auf Dauer für die Präventionspraxis nutzbar gemacht werden kann.[iii]
Bis heute herrscht jedoch in Deutschland ein deutlicher Mangel an evaluierten Projekten im Bereich der kommunalen Kriminalprävention. Für diesen Mangel an evaluativen Erkenntnissen lassen sich verschiedene Gründe identifizieren, zu denen folgende Aspekte zählen:
- Evaluationen werden vielfach gleichgesetzt mit Ergebnis- und Wirkungskontrollen. Diese sind aufwendig in der Anlage und Durchführung, erfordern umfassende methodische Fachkenntnisse, und werden in der Regel von Organisationsfremden durchgeführt. Dadurch wird vielfach Misstrauen oder sogar Ablehnung bei Fachkräften ausgelöst, die sich als Objekte weitgehend fremdbestimmter Untersuchungen erleben.[iv] In der Praxis bestehen daher Ängste vor Kontrollen und ihren Konsequenzen, während die Chancen, die sich mit Evaluationen verbinden, zu wenig gesehen werden und noch vermittelt werden müssen.[v]
- Von den Akteur:innen werden Evaluationen häufig nur in ihrer Kontrollfunktion wahrgenommen, worin ein wesentlicher Grund für deren wenig ausgeprägte Begeisterung für die Durchführung von Evaluationen zu sehen ist: „Externe Evaluation wird als Störung, als Eingriff in das eigene berufliche Feld registriert. Fachkompetenz wird überlagert von ängstlicher Abwehr und falschem beruflichen Stolz“.[vi]
- Präventionspraktiker:innen wenden ein, dass Kriminalprävention nicht im Labor, sondern im Alltagsleben stattfindet. Dort gebe es jedoch so viele Einflussfaktoren, dass es prinzipiell gar nicht nachzuweisen sei, ob ein Präventionserfolg kausal auf eine bestimmte Maßnahme oder ein Projekt zurückzuführen sei.
- Die Kosten für Evaluationen werden in Deutschland, anders als in Großbritannien oder in den USA, nicht als fester Bestandteil der Programmentwicklungsgesamtkosten angesehen, sondern müssen in aller Regel zusätzlich aufgebracht werden.
- Von Präventionspraktiker:innen wird im Hinblick auf die Wirkungsermittlung zudem gern hervorgehoben, es könne ja nichts gemessen werden, was (als Erfolg der präventiven Arbeit) gar nicht stattgefunden habe.
- In den verschiedenen Fachdiskussionen besteht zudem eine Vielzahl verschiedener Begrifflichkeiten und damit verbundener Vorstellungen, was Evaluation eigentlich ist und welchen Zwecken sie dient.
Es soll daher im Folgenden zunächst skizzenhaft ein Überblick über zentrale Funktionen, Begrifflichkeiten und Perspektiven von Evaluation gegeben werden, um der verfälschten Wahrnehmung dieses Instruments entgegenzuwirken.
[ii] Bernd Holthusen / Christian Lüders (2003): Evaluation von Kriminalitätsprävention – Eine thematische Einleitung, In: Arbeitsstelle Kinder- und Jugendkriminalitätsprävention (Hrsg.): Evaluierte Kriminalitätsprävention in der Kinder- und Jugendhilfe. Erfahrungen und Ergebnisse aus fünf Modellprojekten, München, S. 9.
[iii] Stiftung Deutsches Forum für Kriminalprävention (2005): Impulse für das Kommunale Präventionsmanagement. Erkenntnisse und Empfehlungen zu Organisation und Arbeit kriminalpräventiver Gremien auf kommunaler Ebene – Ein Leitfaden für die kommunale Praxis, Bonn, S. 30.
[iv] Bundesministerium für Familie, Senioren, Frauen und Jugend (1996): Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe, Band QS 3:Qualitätsentwicklung und Qualitätssicherung in der Jugendverbandsarbeit: Bedarf und Anforderungen an Konzepte des Controllings und der Selbstevaluation, Bonn, S. 42.
[v] Bernd Holthusen / Christian Lüders (2003): a.a.O., S. 18.
[vi] Vgl. Willi Klawe (2007): a.a.O., m.w.N., S. 107.
Einen Leitfaden für die Planung, Durchführung und Evaluation kriminalpräventiver Projekte hat der Landespräventionsrat Nordrhein-Westfalen herausgegeben.
Evaluationen können verschiedenen Funktionen dienen und werden in der Regel aus einem der folgenden vier Gründe vorgenommen:
- Erkenntnisgewinn und Innovation:
Der Fokus einer Evaluation kann darauf liegen, innovative Maßnahmen für neuartige Problemstellungen zu entwickeln. Ein Beispiel aus dem Bereich der Kriminalprävention stellt etwa die Internetkriminalität dar. In den letzten Jahren galt es, für die damit verbundenen Formen der Delinquenz adäquate Ansätze der Prävention zu entwickeln. Diese Maßnahmen theoretisch zu verorten und auf ihre vorbeugende Wirksamkeit hin zu überprüfen, könnte Gegenstand einer Evaluation sein.
- Weiterentwicklung, Qualitätssicherung und Reflexion:
Hier ist die Evaluation eher auf Dauer angelegt und soll die Akteure in einem Praxisfeld darin unterstützen, ihre Alltagspraxis regelmäßig und systematisch zu reflektieren, um so Standards für die Arbeit zu entwickeln, einzuhalten und regelmäßig zu überprüfen. Dies soll die Qualität der Arbeit sichern.
Auch etablierte und langjährig erprobte Maßnahmen der Kriminalprävention könnten hinsichtlich ihrer Konzeptionen, Umsetzungen und Wirkungen zu hinterfragen sein: Stimmen die ursprünglich zugrunde gelegten Problembeschreibungen noch? Werden die Zielgruppen nach wie vor in gewünschtem Maße erreicht? Oder haben sich qualitative Veränderungen im bearbeiteten Präventionsfeld ergeben? Eine andere Fragestellung könnte in diesem Kontext auch darauf abzielen, ob mittlerweile andere Akteure identifiziert werden können, die ein bestimmtes Problem möglicherweise besser bearbeiten. Grundsätzlich wird mit diesem Evaluationszweck ein möglichst andauernder Prozess der selbstkritischen Reflexion beschrieben.
- Legitimation:
In den meisten Fällen hat eine Evaluation legitimierende Funktionen: Sie soll die Finanzierung eines Projekts oder Arbeitsansatzes begründen und durchsetzen helfen, die allgemeine Akzeptanz in der (Fach-) Öffentlichkeit sicherstellen und kritische Einwände ausräumen. Sie soll belegen, dass gut und richtig gearbeitet und mit den eingesetzten (finanziellen, personellen und sonstigen) Ressourcen verantwortlich und effizient umgegangen wird.
Eine legitimierende Funktion kann aus allen anderen Evaluationsnutzen erwachsen. Erkenntnisgewinne und Innovation, Weiterentwicklung und Qualitätssicherung bis zur Erfolgskontrolle: Allen diesen möglichen Evaluationsfunktionen kommt auch ein Legitimationswert zu, wenn deren Ergebnisse als Nachweis von Qualität nach außen kommuniziert werden.
- (Erfolgs-)Kontrolle:
Unter zunehmendem Druck von außen, etwa durch Kostenträger, werden Akteure in der Praxis immer häufiger mit der Forderung nach einer Erfolgskontrolle konfrontiert. Erfolg oder Misserfolg können sich dabei auf zwei Dimensionen beziehen: Kontrolliert werden kann zum einen der Grad der Erreichung vorher (zum Beispiel in Konzeptionen) festgelegter Ziele. Die Frage nach der Effektivität von Maßnahmen steht hier im Vordergrund. Aber es kann auch um die noch komplexere Frage der Effizienz gehen. Hier kommen neben fachlichen auch betriebswirtschaftliche Aspekte zum Tragen: Das Ausmaß erreichter Ziele wird dann in ein Verhältnis zum Aufwand gesetzt, der zu ihrer Erreichung (zum Beispiel in Form von Personal oder Sachkosten) erforderlich ist.
In der Praxis erfüllen Evaluationen selten aber nur eine dieser Funktionen. Vielmehr sind diese miteinander gekoppelt und stehen in Beziehung zueinander.
Wissen was man tut – zeigen was man kann!
Im Kern lassen sich die verschiedenen Nutzenaspekte von Evaluation unter diesem Motto zusammenfassen. Es verdeutlicht, warum Evaluation trotz der oben genannten Vorbehalte und Probleme für die kriminalpräventive Praxis von so großer Bedeutung ist. Zum einen klärt sie die Handelnden darüber auf, „was eigentlich wie wirkt“. Auch wenn die Akteure in der Kriminalprävention wohl immer davon ausgehen, dass das, was sie tun, sinnvoll ist, besitzt es eine andere Qualität zu wissen, warum die eigene Arbeit wirkt, wie sie wirken soll.
In dem Maße wie verfügbare Ressourcen knapper werden und zur Ausstattung einer größer werdenden Zahl von Angeboten verteilt werden müssen, steigt die Notwendigkeit, den Wert und die Qualität der eigenen Arbeit transparent und glaubwürdig zu machen. Das bloße Gefühl, gute und erfolgreiche Arbeit zu leisten, reicht immer weniger aus, um auch Außenstehende von Qualitäten zu überzeugen.
Für beide Anliegen stellt Evaluation das Instrumentarium zur Verfügung.
Literatur
Willi Klawe (2007): Wissen was man tut – zeigen, was man kann. Grundlagen der Selbstevaluation, In: Ute B. Schröder und Claudia Streblow (Hrsg.): Evaluation konkret. Fremd- und Selbstevaluationsansätze anhand von Beispielen aus Jugendarbeit und Schule, Opladen, S. 107.
Wie bereits erwähnt wurde, ist die Vielzahl von Begrifflichkeiten, die verschiedene Zielrichtungen, Vorgehensweisen, Zeitpunkte und Perspektiven von Evaluationen beschreiben sollen, kaum mehr zu überschauen. Daher werden im Folgenden einige zentrale Unterscheidungsmerkmale von Evaluationen vorgestellt.
Einer verbreiteten und anerkannten Definition zufolge, können Evaluationen verstanden werden als die „systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme.“ (Peter Rossi, Howard Freeman und Gerhard Hofmann (1988): Programm-Evaluation, Stuttgart, S. 3.)
Grundsätzlich sollen Evaluationen im Wesentlichen drei Aufgaben erfüllen, nämlich (Joachim König (2007): Einführung in die Selbstevaluation. Ein Leitfaden zur Bewertung der Praxis Sozialer Arbeit, 2., neu überarbeitete Auflage, Freiburg, S. 36.):
- die Sammlung von Informationen über Voraussetzungen, Umsetzung und Wirkung von Maßnahmen,
- die Auswertung und Analyse dieser gesammelten Informationen sowie
- die Interpretation der gewonnen Ergebnisse und Formulierung der daraus zu ziehenden Schlüsse.
Evaluation als solche ist ein sehr alltäglicher Prozess eines jeden Individuums: Nahezu unablässig sammeln wir Informationen darüber, ob unser Verhalten die gewünschten Wirkungen zeigt. Man denke dabei nur an das Miteinander unter Kollegen. Fast immer beinhalten soziale Interaktionen Annahmen und Wahrnehmungen von Voraussetzungen („Ist der Kollege heute gut gelaunt?“), Umsetzungsoptionen („Wie bringe ich es ihm am besten bei?“) bis hin zu Erfolgskontrollen („Habe ich mein Ziel erreicht?“). Solche Prozesse persönlicher Evaluation führt man sich aber allenfalls im Rahmen einer Supervision vor Augen. Grundsätzlich gilt, dass die Systematik und Transparenz im Vorgehen die professionelle bzw. wissenschaftliche Evaluation von alltagsweltlichen Formen der Evaluation unterscheidet. Evaluation dient damit „der inhaltlichen Konzeptionsentwicklung und -überprüfung, der verbesserten Professionalität und Qualifikation von Berufspraktikern bis zu Organisations- und Strukturveränderungen von Einrichtungen unter inhaltlichen und fachlichen Gesichtspunkten“ (Bundesministerium für Familie, Senioren, Frauen und Jugend (1996): Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe, Band QS 3: Qualitätsentwicklung und Qualitätssicherung in der Jugendverbandsarbeit: Bedarf und Anforderungen an Konzepte des Controlling und der Selbstevaluation, Bonn, S. 43..
Hinsichtlich aller weiteren Ausdifferenzierungen des Begriffs, der zahlreichen Perspektiven und methodischen Vorgehensweisen, die mit der Durchführung von Evaluationen verbunden sein können, besteht hingegen viel weniger Klarheit. So werden bisweilen die gleichen Begriffe verwendet, aber unterschiedliche Dinge gemeint. Oder es werden unterschiedliche Bezeichnungen für ganz ähnliche Evaluationsansätze verwendet. Auch stehen mitunter völlig unterschiedliche Absichten hinter dem Wunsch nach Durchführung von Evaluationen. Diese lassen sich verschiedenen „Methoden-Schulen“ zuordnen. Daraus haben sich eine tiefgehende Ausdifferenzierung und eine Vielzahl unterschiedlicher Formen und Begriffsbestimmungen entwickelt.
Zur Kennzeichnung und Unterscheidung der verschiedenen Evaluationstypen haben sich insbesondere die Begriffspaare formative versus summative und interne versus externe Evaluation als grob charakterisierende Merkmale durchgesetzt.
Formative Evaluation macht sich in Abgrenzung zur Prozessevaluation zur Aufgabe, durch begleitende Analysen bereits in der Phase der Entwicklung eines Programms zu dessen Optimierung beizutragen. Damit übernimmt die Evaluation bereits zu einem frühen Zeitpunkt eine beratende Rolle. Themenschwerpunkte sind dabei die Entwicklung von Programmkonzept, Zielen und Vorgehensweisen, Literaturanalysen, Bedarfsanalysen und weitere explorative Untersuchungen, die Vortestung der einzusetzenden Materialien, die Leitung erster Interventionen, die Erhebung von Teilnehmer-Rückmeldungen, eine Messung erster Effekte sowie die Entwicklung von Evaluationsstrategien.
Mit der Durchführung einer Prozessevaluation werden in Abgrenzung zur formativen Evaluation vor allem zwei Ziele verfolgt. Sie soll ermitteln, ob ein Programm die richtigen Zielgruppen erreicht und in wie weit die ausgeführten Arbeiten mit den Planungsvorgaben übereinstimmen.[i]
Summative Evaluation dagegen bezeichnet die Überprüfung und Bewertung
bereits laufender oder abgeschlossener Programme hinsichtlich ihrer Zielerreichung und Effektivität bzw. Effizienz. Nicht zwingend ist formative Evaluation auf die Anfangsphase einer Intervention beschränkt. Zur Unterscheidung formativer von summativer Evaluation lassen sich statt eines strikt zeitlichen Kriteriums besser die unterschiedlichen Zwecke heranziehen. Evaluationsergebnisse, die zur Optimierung eines Programms genutzt werden, sollten als formativ bezeichnet werden, auch wenn sie aus abgeschlossenen Programmen stammen und die Nutzung sich auf die Planung zukünftiger Maßnahmen bezieht. Tragen die Evaluationsergebnisse jedoch nicht primär zur Weiterentwicklung eines Programms bei, sondern dienen in erster Linie der Wirkungsmessung, können sie als summativ bezeichnet werden.
Ein weiteres Unterscheidungsmerkmal von Evaluationen richtet sich nach dem Kriterium, wer die Evaluation durchführt.
Bei der Selbstevaluation evaluieren die beteiligten Personen das zu untersuchende Projekt selbst. Dahingegen gehören die Evaluatoren bei der externen Evaluation nicht der Organisation bzw. Institution an, die für die Projektumsetzung verantwortlich sind.
Die Entscheidung für eine Selbstevaluation oder eine externe Evaluation hat weitreichende Konsequenzen hinsichtlich der Art von Informationen, die gewonnen werden können, der Reichweite und Gültigkeit der Ergebnisse sowie der benötigten Voraussetzungen und Ressourcen.[ii] Summative Evaluationen werden in der Regel als externe Evaluationen durchgeführt, da sie methodischen Sachverstand erfordern, der in den durchführenden Institutionen zumeist nicht vorhanden ist. Zudem ist in Fällen der summativen Evaluationen der zu erwartende Nutzen, etwa im Hinblick auf die Legitimität, höher, wenn externe Evaluatoren einem Projektansatz positive Wirkungen attestieren, als wenn dies durch die Projektbeteiligten geschieht. Zugleich sind solche extern durchgeführten summativen Evaluationen, auf Grund der damit verbundenen methodischen Anforderungen, in der Regel mit einem hohen Ressourcenaufwand verbunden. Als Gründe dafür, dass Wirksamkeits- und Ergebnisevaluationen in Deutschland vergleichsweise selten vorliegen, können gelten, dass diese
- zumeist aufwendig in Anlage und Durchführung sind,
- umfassende sozialwissenschaftliche bzw. methodische Fachkenntnisse erfordern, und
- in der Regel von Organisationsfremden durchgeführt werden und dadurch vielfach Misstrauen bei den Fachkräften auslösen, die sich als Objekte weitgehend fremdbestimmter Untersuchungen erleben.
[i] Bernd Holthusen / Christian Lüders (2003): Evaluation von Kriminalitätsprävention – Eine thematische Einleitung, In: Arbeitsstelle Kinder- und Jugendkriminalitätsprävention (Hrsg.): Evaluierte Kriminalitätsprävention in der Kinder- und Jugendhilfe. Erfahrungen und Ergebnisse aus fünf Modellprojekten, München, S. 18.
[ii] Karin Haubrich, Bernd Holthusen und Gerlinde Struhkamp (2005): Evaluation – einige Sortierungen zu einem schillernden Begriff, In: DJI Bulletin 72 PLUS, S. 2.