Re: [Ag Meinungsfindungstool] Neue (Team-)Bereichsstruktur

[janonymous2 <janonymous2 AT news.piratenpartei.de>]

Hallöchen,

anbei noch ein kleiner Einführungstext zur Evaluationsforschung, hier 
anhand der Evaluationspraxis im Rehabilitationsbereich, in der 
gewissermaßen auch "Anwendungen" entwickelt und kombiniert werden, um 
eine bestmögliche Behandlung zu gewährleisten oder die 
gewünschten/behaupteten Effekte zu überprüfen...

Diejenigen, die hier zum Wissenstransfer in der Lage sind, werden auch 
erkennen, welche Fragestellungen, Möglichkeiten und Notwendigkeiten sich 
hier ergeben können
- auch mit Blick auf die Kategorien zur Einorndung von 
Diskussionssystemen, auch die, die ihr anhand von Wolfgangs Konzept 
gebildet habt.

Man könnte statt der Evaluationsthematik "Chronische Rückenschmerzen" 
mit Blick auf Diskussions- und Abstimmungssysteme hier in der Evaluation 
z.B. auch auf die Qualität von zwischenmenschlichen Diskursen und 
Abstimmungsergebnisses abzielen oder auch auf Merkmale einer funktionalen 
Störung des demokratischen Diskurses.

s.a.: 
http://wiki.piratenpartei.de/Benutzer:Janonymous/FunktionalerFaschismus

Ausschnitt aus einem Einführungsartikel in die Methoden der 
Evaluationsforschung, also dem was ihr hier eigentlich vorhabt:

"*Evaluation und Evaluationsarten*
Allgemein ist unter Evaluation, ein „ziel- und zweckorientierter Prozess 
zur Bewertung eines Evaluationsobjektes“ (Mittag, 2003, S. 123) zu 
verstehen. Je nachdem welches Erkenntnisinteresse im Vordergrund steht 
oder zu welchem Zeitpunkt der Entwicklung des Programms evaluiert wird, 
lassen sich verschiedene Evaluationsarten voneinander unterscheiden. Die 
häufigste Unterscheidung findet zwischen formativer und summativer 
Evaluation statt. Formative Evaluation bezieht sich auf die 
„Entwicklung, Ausgestaltung, Umsetzung und Erprobung eines Programms 
bzw. einer Programmkonzeption“ (Mittag, 2003, S. 126). Ziel ist es, 
Stärken und Schwächen in diesen Bereichen zu identifizieren und damit 
bereits während der Konzeption oder der Umsetzungsphase das Programm bzw. 
die Maßnahme zu optimieren. Demgegenüber bezieht sich summative 
Evaluation vor allem auf die Feststellung des Ergebnisses bzw. der 
Wirksamkeit anhand überprüfbarer Zielsetzungen eines durchgeführten 
Programms. Summative Evaluation beinhaltet die systematische Anwendung 
empirischer Forschungsmethoden zur Bewertung des Nutzens, der 
Effektivität und Effizienz der Maßnahme mit dem Ziel der 
Qualitätssicherung und Optimierung, der Kontrolle von beabsichtigten 
Wirkungen und Nebenwirkungen sowie der Legitimation mittels Nachweis eines 
durch die Intervention geschaffenen Mehrwertes (vgl. Bortz & Döring, 
2006; Huber, 2004; Mittag, 2003).

*Evaluation als Bestandteil von Qualitätsmanagement*
Zur Beurteilung der Qualität von Gesundheitsangeboten hat sich allgemein 
eine Dreiteilung in die Ebenen der Struktur-, Prozess- und 
Ergebnisqualität etabliert (Donabedian, 1992), mit jeweils spezifischen 
Qualitätsindikatoren für jede Ebene.
Zu den struktur- und prozessbezogenen Qualitätsindikatoren gehört 
insbesondere eine konkrete Zieldefinition und die Ableitung 
operationalisierter (überprüfbarer) Zielkriterien sowie weitere 
Qualitätskriterien, wie sie im Leitfaden Prävention (GKV, 2008a) 
formuliert sind (z.B. Vorliegen eines Kursleiter- und Teilnehmermanuals, 
nachvollziehbarer Ziel­gruppenbezug, räumliche und personelle 
Voraussetzungen, etc.). Zur Erfassung der Struktur- und Prozessqualität 
werden vor allem formative Evaluationsstrategien unter Nutzung 
qualitativer Methoden (z.B. systematische Beobachtung und Befragung) 
angewendet.

Die summative Evaluation der Ergebnisqualität beinhaltet die meist 
quantitative Erfassung von Veränderungen in den Zielkriterien mittels 
adäquater Messinstrumente. Voraus­setzung dafür ist die Auswahl eines 
entsprechenden methodischen Vorgehens, die Anwendung angemessener 
statistischer Analyseverfahren sowie eine schriftliche Dokumentation des 
methodischen Vorgehens und der Ergebnisse in Form eines Berichts. Dabei 
lassen sich erwünschte Veränderungen in definierten Zielkriterien nur 
erzielen, wenn die durchgeführte Intervention eine hohe Struktur- und 
Prozessqualität aufweist.

Formative und summative Evaluationsstrategien sollten im Kontext eines 
umfassenden Evaluationsprozesses in den einzelnen Evaluationsphasen von 
der Interventions­entwicklung über die Implementation bis hin zum 
Nachweis der Wirksamkeit aufeinander abgestimmt werden und sich 
gegenseitig ergänzen (Bortz & Döring, 2006; Huber, 2004; Mittag, 2003) 
und können so zur Evidenzbasierung von Angeboten zur Förderung der 
Rückengesundheit beitragen.

*Voraussetzungen zur Evaluation *
Die Evaluation der Wirksamkeit bewegungsbezogener Interventionen zur 
Förderung der Rückengesundheit setzt insbesondere voraus, dass 
festgelegt wird, bei wem welche Gesundheitswirkungen wodurch erzielt 
werden sollen. Hieraus ergibt sich die Notwendigkeit einer genauen 
Definition von Zielgruppe und Zielsetzungen sowie der Beschreibung von 
Inhalten und Methoden zur Zielerreichung in Form einer Manualisierung. 
Nachfolgend werden Zielgruppe und Zielsetzungen bewegungsbezogener 
Interventionen einschließlich daraus abzuleitender, operationalisierbarer 
(Ziel-) Kriterien der Erfolgskontrolle beschrieben.

*Zielgruppe*
Da eine echte Primärprävention im Sinne der Verhinderung des Auftretens 
von Rückenschmerzen nicht möglich ist, richten sich bewegungsbezogene 
Interventionen vor allem auf eine Verhinderung der Chronifizierung von 
Rückenschmerzen. Zielgruppe bewegungsbezogener Interventionen zur 
Förderung der Rückengesundheit sind daher Personen, die einen 
bewegungsarmen Lebensstil aufweisen, die bereits eine 
Rückenschmerzepisode innerhalb des letzten Jahres erlebt haben, für sich 
selbst ein hohes Risiko einschätzen, wieder Rückenschmerz zu erleiden 
und spezifische Risikofaktoren für eine Chronifizierung von 
Rückenschmerzen aufweisen (Pfeifer, 2007; vgl. Kap. 2.3).
Zielsetzungen und Zielkriterien zur Förderung der Rückengesundheit
In Anlehnung an die aktuellen Europäischen Leitlinien zur Prävention von 
Rücken­schmerzen (Burton, 2005) und die Vorgaben zur 
Gesundheitsförderung im Leitfaden Prä­vention (GKV, 2008a) ergeben sich 
für Interventionsmaßnahmen zur Förderung der Rückengesundheit folgende 
Zielsetzungen (Pfeifer, 2005, 2007; vgl. Kap. 1.4 und Kap. 2.1):
die Förderung physischer und psychosozialer Gesundheitsressourcen,
die Bewältigung von Beschwerden und Missbefinden,
die Verminderung spezieller Risikofaktoren sowie
die Bindung an körperliche Aktivität.
Anhand jener Zielsetzung erfolgt die Auswahl von Messverfahren zur 
Erfassung von Veränderungen in den Zielkriterien. Im Folgenden werden 
methodische Standards und Messverfahren zur Erfassung der Zielkriterien 
beschrieben.

*1.6.2 Methodische Grundlagen der Evaluationsforschung*
Die summative Evaluation der Wirksamkeit bewegungsbezogener 
Interventionen, also der erzielten Gesundheitswirkungen, setzt voraus, 
dass allgemeine Zielsetzungen anhand von festgelegten und 
operationalisierten Zielkriterien (vgl. Tab. 1) überprüfbar sind. 
Insgesamt ist es das Ziel der summativen Ergebnisevaluation, denjenigen 
Anteil an gemessenen Veränderungen in festgelegten Zielkriterien zu 
bestimmen, der allein auf die Durchführung der bewegungsbezogenen 
Intervention zurückzuführen ist. Dabei geht es insbesondere darum, den 
Einfluss anderer Faktoren als Erklärung für aufgetretene Veränderungen 
auszuschließen. Dies wird durch ein spezifisches methodisches Vorgehen 
mit Hilfe geeigneter Versuchspläne erreicht (Mittag, 2003). Im Folgenden 
werden ausgewählte methodische Grundlagen der empirischen 
Evaluationsforschung sowie mögliche Assessmentverfahren zur Evaluation 
von bewegungsspezifischen Interventionen dargestellt. Weiterführende 
Literatur zur Vertiefung forschungsmethodischer Grundlagen der Evaluation 
sowie der Datenauswertung und Dokumentation findet sich in den 
Lehrbüchern von Bortz (2005), Bortz & Döring (2006) und von Wottawa & 
Thierau (2003), bei Faller & Reusch (2004) sowie im CONSORT-Statement 
(Moher et al., 2004).

*Versuchsdesigns in der Evaluation*
Zur Messung von kurz- und mittelfristigen Veränderungen in vorab zu 
definierenden Zielmerkmalen wird empfohlen, die Daten jeweils vor, am Ende 
und sechs Monate nach Durchführung der Maßnahme zu erheben (GKV, 2008b). 
Zur Abschätzung von lang­fristigen Effekten ist es angebracht, nach 
zwölf Monaten eine weitere Messung vorzunehmen. Darüber hinaus sollte 
man sich zur Gewinnung valider Informationen bei der Auswahl des 
Versuchsdesigns nach Möglichkeit an experimentellen Standards orientieren 
(Faller & Reusch, 2004). Die Beantwortung der Frage, ob eine 
Behandlungsmaßnahme wirksam ist, basiert auf dem Nachweis des kausalen 
Zusammenhangs, dass allein die Intervention die Ursache des 
Behandlungsergebnisses ist. Die größte Sicherheit eines solchen 
Kausalschlusses (interne Validität) ist bei Verwendung eines 
randomisierten Kontrollgruppendesigns gewährleistet. Dabei werden 
Personen zufällig entweder der Interventions- oder einer Kontrollgruppe 
zugeordnet, welche eine Standardbehandlung bekommt oder ohne Behandlung 
verbleibt (z.B. Personen auf einer Warteliste). Der Nachweis der 
Wirksamkeit einer Behandlung ergibt sich dabei aus dem statistischen 
Vergleich (t-Test) der Messwerte von Interventions- und Kontrollgruppe 
nach Beendigung der Maßnahme (Faller & Reusch, 2004).

In der Evaluations- und Feldforschung werden aus ethischen oder 
Praktikabilitätsgründen vielfach quasi-experimentelle Versuchspläne 
verwendet, bei denen eine Kontrolle möglicher Störgrößen angestrebt 
wird, aber keine zufällige Zuordnung der Probanden in Bezug auf 
Interventions- und Kontrollgruppe erfolgt (Bortz & Döring, 2006; Faller 
et al., 1999). Dies macht es jedoch schwieriger, die gefundenen 
Unterschiede zwischen Interventions- und Kontrollgruppe kausal auf die 
Wirkung der Intervention zurückzuführen, da z.B. bestimmte systematische 
Verzerrungen dazu geführt haben können, dass sich die Patienten der 
Interventions- und Kontrollgruppe schon in bestimmten Ausgangsmerkmalen 
unterscheiden (Selektionseffekt). Im Fall bedeutsamer Unterschiede 
beispielsweise in den Ausgangswerten des Zielkriteriums sollten diese als 
Kovariate in eine Kovarianzanalyse einbezogen werden (Bortz, 2005; Vickers 
& Altmann, 2001). Der Vorteil quasi-experimenteller Designs liegt darin, 
dass sie je nach Feldbedingungen leichter realisierbar sind und eine 
höhere externe Validität (Generalisierbarkeit) erreichen können. Zu den 
Möglichkeiten und Grenzen quasi-experimenteller Designs siehe auch Vogel 
(2004).
Bei Verzicht auf die Kontrolle von Störeffekten beispielsweise im 
Ein-Gruppen-Prä-Post-Design, müssen für ermittelte statistische 
Veränderungen zwischen den Messzeitpunkten andere mögliche 
Alternativerklärungen in Betracht gezogen werden. Dazu gehören 
Erwartungseffekte (Placeboeffekt), von der Intervention unabhängige, 
externe und interne Entwicklungen (z.B. Effekte anderer Behandlungen, 
Spontanremissionen, natürliche Schwankungen im Krankheitsverlauf) oder 
der statistische Effekt der Regression zur Mitte (Faller & Lang, 2006; 
Faller & Reusch, 2004). Eine kausale Interpretation ist im Rahmen eines 
Ein-Gruppen-Prä-Post-Designs aufgrund der geringen internen Validität 
also nicht möglich. Es können lediglich Schätzungen der 
durchschnittlichen Veränderung zwischen zwei Messzeitpunkten vorgenommen 
werden (Faller et al., 1999).

Können dagegen keine Hinweise auf Veränderungen im Verlauf der 
Intervention oder im Falle eines randomisierten, kontrollierten 
Versuchdesigns keine Nachweise über die Wirksamkeit eines Programms 
erbracht werden, muss dies gleichfalls nicht bedeuten, dass das Programm 
unwirksam oder ungeeignet ist. Als alternative Gründe kommen hier z.B. 
eine mangelnde „Ausführungsintegrität“, d.h. dass die Intervention 
nicht wie vorge­sehen durchgeführt wurde, die Möglichkeit, dass die 
angestrebte Zielgruppe nur unzureichend erreicht wurde 
(Programmreichweite/Zielgruppenallokation) oder dass Teil­nehmer im 
Verlauf der Maßnahme ausgeschieden sind in Frage (Mittag, 2003). Bei der 
Interpretation von Messergebnissen ist zu beachten, dass potentielle 
statistische Effekte abhängig vom Ausgangsniveau der Stichprobe sind. 
Beispielsweise sind die zu erwartenden Wirkungen von Interventionen bei 
Stichproben mit niedrigen zielgrößen­spezifischen Belastungen geringer 
als die Effekte für Stichproben mit höherer Belastung.

*Qualitätskriterien von empirischen Assessmentverfahren*
Zur Sicherstellung der Vergleichbarkeit von z.B. zu verschiedenen 
Messzeitpunkten erhobenen empirischen Daten müssen die verwendeten 
Messinstrumente bestimmten Güte- bzw. Qualitätskriterien genügen. Diese 
sind nach den üblichen Definitionen umso höher, je besser eine 
Standardisierung (Konstanthaltung) von Untersuchungsinhalt, -ablauf und 
-situation realisiert werden kann. Der an den Prinzipien der Testtheorie 
und Fragebogenentwicklung interessierte Leser sei an dieser Stelle auf 
ausführlichere Beschreibungen verwiesen (Bortz & Döring, 2006; Fissini, 
1997; Faller & Lang, 2006; Lienert & Raatz, 1998).

Nach Lienert (1989) unterscheidet man zwischen Haupt- und 
Nebengütekriterien von Messinstrumenten. Erstere beinhalten das Ausmaß, 
in dem die Ergebnisse in Bezug auf Durchführung, Auswertung und 
Interpretation unabhängig von Einflüssen des Untersuchers zustande 
gekommen sind (Objektivität), die Zuverlässigkeit bzw. Genauig­keit von 
Maßen (Reliabilität) und die Gültigkeit bzw. das Ausmaß in dem ein 
Messins­trument tatsächlich das misst, was es zu messen vorgibt 
(Validität). Zur Beantwortung der Frage, ob sich zwischen den 
Messzeitpunkten Veränderungen in den Zielmerkmalen ergeben haben, müssen 
die verwendeten Instrumente zudem eine hohe Änderungs­sensitivität 
aufweisen (Igl et al., 2005). Zu den im Evaluationsbereich ebenso 
wichtigen Nebengütekriterien zählen unter anderem die Bereitstellung von 
Vergleichswerten geeigneter Populationen zur relationalen Bewertung 
einzelner Ergebnisse (Normierung), das durch die Verwendung von 
Messinstrumenten gegebene Verhältnis von Aufwand und Nutzen (Ökonomie), 
die Zumutbarkeit gegenüber dem Befragten und das Ausmaß, in dem ein 
Verfahren zu der Beantwortung bestimmter Fragestellungen taugt 
(Nützlichkeit)."

Soweit erstmal aus Sicht eines Evaluationsforschers.
Vielleicht habt ihr ja Fragen dazu?

Gruß
Jano