Das integrative Baukastensystem für Evaluationen im Präventionsbereich der AUVA (Spiel, Finsterwald, Popper & Hesse, 2013) bietet ein differenziertes Modell einer Wirkungskette von Interventionen, welches mehr als die von der AUVA intendierte Grundlage zur Bewertung von Evaluationskonzepten für Präventionsmaßnahmen liefert. Die angebotene Systematik unterstützt nicht nur bei der Erstellung eines Evaluationskonzepts, das der Struktur folgende Durchdenken eines geplanten Projektes unterstützt die Berücksichtigung für den Interventionserfolg wesentlicher Bereiche.
Ausgangspunkt für die Erarbeitung des Baukastensystems war das Interesse der AUVA an der Wirksamkeit ihrer Präventionsmaßnahmen als auch an den dahinterliegenden Wirkmodellen. Der Fokus der Präventionsmaßnahmen fällt auf das Verhalten von Personen (Gesundheitsverhalten) als auch auf ihre Umwelt.
Die Wirkungskette
Jedes Element der Kette stellt eine für den Erfolg der Intervention relevante Variable dar; mittels Indikatoren/Messgrößen kann deren gewünschte Ausprägung definiert und in der Folge das Ausmaß der Zielerreichung bestimmt werden.
Eine ausführlichen Darstellung des Modells findet sich im AUVA Report Nr.63.
Darauf bauen die anschließenden Ausführungen, wobei bei diesen nicht die Ansatzpunkte für Evaluationsvorhaben sondern die Wirklogik einer Intervention im Mittelpunkt steht.
Die AutorInnen des Modells betonen bei Ihrer Darstellung des Baukastensystems die Bedeutung der Verhältnisse, gehen allerdings bei ihren Überlegungen vom (Gesundheits)verhalten als zentralen Ansatzpunkt für die Intervention aus. Meines Erachtens wird man so dem Gewicht der Verhältnisse für eine nachhaltige Veränderung nicht gerecht. Zudem geht die höchst hilfreiche Logik des Modells für primär auf Verhältnisse ausgerichteter Interventionen verloren. In den folgenden Ausführungen des Modells daher mein Bemühen um eine Ausdehnung der Elemente über Interventionen zwecks Verhaltensänderungen hinaus.
Fokussierung
Ausgangspunkt für die Intervention ist die Überzeugung, dass allein bei Personen anzusetzen nicht ausreicht. Das Handeln und die Möglichkeiten der Personen sind von ihrem Umfeld beeinflusst, sodass Veränderungen auf Verhaltensebene nur mit Veränderungen auf Verhältnisebene einhergehen können. Somit sind bei der Interventionsplanung bzw. -evaluation anzusetzen bei
- Personen – Zielgruppen
- Umfeld - Setting
----
Input
Unter welchen Bedingungen, mit welchen Ressourcen findet die Intervention statt?
(1) Kontext … welche Umfeldbedingungen sind für die Intervention gegeben, welche Einstellungen, Normen und/oder Machtgefüge begrenzen die Ausgestaltung des Inputs?
(2) Struktur … welche Potenziale und Beschränkungen prägen die (Personen, Gruppen, Organisationen) die Intervention Umsetzenden?
(3) Investition (Input) … welche finanziellen, personellen und sonstigen Ressourcen stehen für die Intervention zur Verfügung?
(4) Income … was bringen die Mitglieder der Zielgruppen in den Interventionsprozess ein (Wissen, Einstellungen, Verhaltensweisen, Bedürfnisse, Werte, …)? Wie sind die Gegebenheiten im von der Intervention erfassten Setting (formelle/informelle Regeln, Machtgefüge, …)?
Output
Welche Produkte/Dienstleistungen/Prozesse werden auf Basis der Investitionen (Pkt. 3) erbracht?
(5) Maßnahmen (Output) … diese können von einfachen Informationsangeboten, über Schulungen bis hin zu Entwicklungsprozessen reichen.
(6) Umsetzungsgenauigkeit bzw. -treue … dieses Element erweitert den Fokus über die reine Erbringung von Maßnahmen hinaus auf die Qualität, insbesondere hinsichtlich ursprünglich intendierten Ausprägungen.
Dabei wird zwischen die Rahmenbedingungen (a und b) und die Durchführung (c und d) betreffender Komponenten unterschieden:
(a) Prozedurale Aspekte umfassen strukturelle bzw. formale Dimensionen der geplanten Maßnahmen (Quantitäten, Abläufe, Botschaften)
(b) Fachliches Konzept zB didaktische/pädagogische Aspekte, Vorgehen bei Organisationsentwicklung
(c) Qualität der Umsetzung
(d) Engagement der Mitglieder der Zielgruppen
Outcome
Die Richtung der Intervention(en) wird von den festgelegten Zielen bestimmt, unter Outcome finden sich die Resultate/Ergebnisse die mittels der umgesetzten Maßnahmen (Output) bei den Zielgruppen erreicht werden.
Im Modell werden vier Zielebenen und damit einhergehend Ergebnisebenen unterschieden, wobei mit der Höhe der Ebene der Aufwand, die Komplexität aber auch der Informations- und Lerngewinn steigt.
(7) Reaktion … wie wird/werden die Maßnahme/n aufgenommen, von den Teilnehmenden, von betroffenen (Ziel)gruppen aber auch vom Setting, in das interveniert wurde?
Eine positive Resonanz ist keine Garantie für den generellen Erfolg der Intervention, allerdings eine wesentliche Voraussetzung.
(8) Lernen … haben sich die Einstellungen verändert, das Wissen erweitert und/oder die Fertigkeiten gesteigert - bei der Zielgruppe/(-system) der Maßnahme?
(9) Verhalten … ist es, nachdem der Wunsch geweckt (Pkt. 7) und die Fähigkeiten dazu vermittelt (Pkt. 8) wurden zu einer Verhaltensänderung gekommen?
(10) Verhältnisse … welche Veränderungen konnten im relevanten Umfeld erzielt werden? Das Verhalten, ob von Person, Gruppe oder Organisation/Gemeinschaft ist oftmals von Beschränkungen aus den umgebenden Verhältnissen bestimmt, über Veränderungen der Verhältnisse lässt sich das Verhalten beeinflussen.
Impact
Ausgehend von Modellen über die Wirkungen von Ergebnissen erbrachter Maßnahmen sollen sich Merkmale in den von der Intervention tangierten sozialen Systemen – Organisationen (Unternehmen, sozialen Dienstleistern, Schulen, …), Sozialräumen (Nachbarschaften, Kommunen, Regionen), Netzwerke - verändern.
Wirkungsmodelle umreißen, welche Zielgruppen/(-systeme) durch welche Maßnahmendurchführung welche Interventionsziele unter welchen Interventionsbedingungen mit welchen Interventionsmethoden erreichen lassen.
(11) Wirkungen, die über die bei der Zielgruppe erreichten Ergebnisse hinausgehen, sie beruhen in der Regel auf dem Erreichen mehrerer Outcomes.
Das Baukastensystem bietet für die Umsetzung von Evaluationen noch zusätzliche Ansatzpunkte. Ziel obenstehender Ausführungen ist die dem Baukastensystem zugrunde gelegte Wirkungskette als Denkleitfaden für die Konzeption von Interventionen und/oder von diese begleitender Qualitätssicherungsmaßnahmen hervorzuheben.
---
Quelle:
Spiel, G., Finsterwald, M., Popper, V. & Hesse, N. (2013). Darstellung des integrativen Baukastensystems für Evaluationen im Präventionsbereich der AUVA. Report Nr. 63. Wien: ECE: Evaluation – Cooperation – Education & AUVA.