Re: [Ag Meinungsfindungstool] Neue (Team-)Bereichsstruktur

["marc" <marc AT merkstduwas.de>]

Hi Jana,

wow, das ist viel Input - weiß nicht, ob ich bis Dienstag dazu kommen werde 
das in Ruhe zu lesen...

Cheers
Marc

-----Original Message----- 
From: janonymous2
Sent: Friday, October 10, 2014 6:10 PM
To: ag-meinungsfindungstool AT lists.piratenpartei.de
Subject: Re: [Ag Meinungsfindungstool]Neue (Team-)Bereichsstruktur


Hallöchen,

anbei noch ein kleiner Einführungstext zur Evaluationsforschung, hier
anhand der Evaluationspraxis im Rehabilitationsbereich, in der
gewissermaßen auch "Anwendungen" entwickelt und kombiniert werden, um
eine bestmögliche Behandlung zu gewährleisten oder die
gewünschten/behaupteten Effekte zu überprüfen...

Diejenigen, die hier zum Wissenstransfer in der Lage sind, werden auch
erkennen, welche Fragestellungen, Möglichkeiten und Notwendigkeiten sich
hier ergeben können
- auch mit Blick auf die Kategorien zur Einorndung von
Diskussionssystemen, auch die, die ihr anhand von Wolfgangs Konzept
gebildet habt.

Man könnte statt der Evaluationsthematik "Chronische Rückenschmerzen"
mit Blick auf Diskussions- und Abstimmungssysteme hier in der Evaluation
z.B. auch auf die Qualität von zwischenmenschlichen Diskursen und
Abstimmungsergebnisses abzielen oder auch auf Merkmale einer funktionalen
Störung des demokratischen Diskurses.

s.a.:
http://wiki.piratenpartei.de/Benutzer:Janonymous/FunktionalerFaschismus

Ausschnitt aus einem Einführungsartikel in die Methoden der
Evaluationsforschung, also dem was ihr hier eigentlich vorhabt:

"*Evaluation und Evaluationsarten*
Allgemein ist unter Evaluation, ein „ziel- und zweckorientierter Prozess
zur Bewertung eines Evaluationsobjektes“ (Mittag, 2003, S. 123) zu
verstehen. Je nachdem welches Erkenntnisinteresse im Vordergrund steht
oder zu welchem Zeitpunkt der Entwicklung des Programms evaluiert wird,
lassen sich verschiedene Evaluationsarten voneinander unterscheiden. Die
häufigste Unterscheidung findet zwischen formativer und summativer
Evaluation statt. Formative Evaluation bezieht sich auf die
„Entwicklung, Ausgestaltung, Umsetzung und Erprobung eines Programms
bzw. einer Programmkonzeption“ (Mittag, 2003, S. 126). Ziel ist es,
Stärken und Schwächen in diesen Bereichen zu identifizieren und damit
bereits während der Konzeption oder der Umsetzungsphase das Programm bzw.
die Maßnahme zu optimieren. Demgegenüber bezieht sich summative
Evaluation vor allem auf die Feststellung des Ergebnisses bzw. der
Wirksamkeit anhand überprüfbarer Zielsetzungen eines durchgeführten
Programms. Summative Evaluation beinhaltet die systematische Anwendung
empirischer Forschungsmethoden zur Bewertung des Nutzens, der
Effektivität und Effizienz der Maßnahme mit dem Ziel der
Qualitätssicherung und Optimierung, der Kontrolle von beabsichtigten
Wirkungen und Nebenwirkungen sowie der Legitimation mittels Nachweis eines
durch die Intervention geschaffenen Mehrwertes (vgl. Bortz & Döring,
2006; Huber, 2004; Mittag, 2003).

*Evaluation als Bestandteil von Qualitätsmanagement*
Zur Beurteilung der Qualität von Gesundheitsangeboten hat sich allgemein
eine Dreiteilung in die Ebenen der Struktur-, Prozess- und
Ergebnisqualität etabliert (Donabedian, 1992), mit jeweils spezifischen
Qualitätsindikatoren für jede Ebene.
Zu den struktur- und prozessbezogenen Qualitätsindikatoren gehört
insbesondere eine konkrete Zieldefinition und die Ableitung
operationalisierter (überprüfbarer) Zielkriterien sowie weitere
Qualitätskriterien, wie sie im Leitfaden Prävention (GKV, 2008a)
formuliert sind (z.B. Vorliegen eines Kursleiter- und Teilnehmermanuals,
nachvollziehbarer Ziel­gruppenbezug, räumliche und personelle
Voraussetzungen, etc.). Zur Erfassung der Struktur- und Prozessqualität
werden vor allem formative Evaluationsstrategien unter Nutzung
qualitativer Methoden (z.B. systematische Beobachtung und Befragung)
angewendet.

Die summative Evaluation der Ergebnisqualität beinhaltet die meist
quantitative Erfassung von Veränderungen in den Zielkriterien mittels
adäquater Messinstrumente. Voraus­setzung dafür ist die Auswahl eines
entsprechenden methodischen Vorgehens, die Anwendung angemessener
statistischer Analyseverfahren sowie eine schriftliche Dokumentation des
methodischen Vorgehens und der Ergebnisse in Form eines Berichts. Dabei
lassen sich erwünschte Veränderungen in definierten Zielkriterien nur
erzielen, wenn die durchgeführte Intervention eine hohe Struktur- und
Prozessqualität aufweist.

Formative und summative Evaluationsstrategien sollten im Kontext eines
umfassenden Evaluationsprozesses in den einzelnen Evaluationsphasen von
der Interventions­entwicklung über die Implementation bis hin zum
Nachweis der Wirksamkeit aufeinander abgestimmt werden und sich
gegenseitig ergänzen (Bortz & Döring, 2006; Huber, 2004; Mittag, 2003)
und können so zur Evidenzbasierung von Angeboten zur Förderung der
Rückengesundheit beitragen.

*Voraussetzungen zur Evaluation *
Die Evaluation der Wirksamkeit bewegungsbezogener Interventionen zur
Förderung der Rückengesundheit setzt insbesondere voraus, dass
festgelegt wird, bei wem welche Gesundheitswirkungen wodurch erzielt
werden sollen. Hieraus ergibt sich die Notwendigkeit einer genauen
Definition von Zielgruppe und Zielsetzungen sowie der Beschreibung von
Inhalten und Methoden zur Zielerreichung in Form einer Manualisierung.
Nachfolgend werden Zielgruppe und Zielsetzungen bewegungsbezogener
Interventionen einschließlich daraus abzuleitender, operationalisierbarer
(Ziel-) Kriterien der Erfolgskontrolle beschrieben.

*Zielgruppe*
Da eine echte Primärprävention im Sinne der Verhinderung des Auftretens
von Rückenschmerzen nicht möglich ist, richten sich bewegungsbezogene
Interventionen vor allem auf eine Verhinderung der Chronifizierung von
Rückenschmerzen. Zielgruppe bewegungsbezogener Interventionen zur
Förderung der Rückengesundheit sind daher Personen, die einen
bewegungsarmen Lebensstil aufweisen, die bereits eine
Rückenschmerzepisode innerhalb des letzten Jahres erlebt haben, für sich
selbst ein hohes Risiko einschätzen, wieder Rückenschmerz zu erleiden
und spezifische Risikofaktoren für eine Chronifizierung von
Rückenschmerzen aufweisen (Pfeifer, 2007; vgl. Kap. 2.3).
Zielsetzungen und Zielkriterien zur Förderung der Rückengesundheit
In Anlehnung an die aktuellen Europäischen Leitlinien zur Prävention von
Rücken­schmerzen (Burton, 2005) und die Vorgaben zur
Gesundheitsförderung im Leitfaden Prä­vention (GKV, 2008a) ergeben sich
für Interventionsmaßnahmen zur Förderung der Rückengesundheit folgende
Zielsetzungen (Pfeifer, 2005, 2007; vgl. Kap. 1.4 und Kap. 2.1):
die Förderung physischer und psychosozialer Gesundheitsressourcen,
die Bewältigung von Beschwerden und Missbefinden,
die Verminderung spezieller Risikofaktoren sowie
die Bindung an körperliche Aktivität.
Anhand jener Zielsetzung erfolgt die Auswahl von Messverfahren zur
Erfassung von Veränderungen in den Zielkriterien. Im Folgenden werden
methodische Standards und Messverfahren zur Erfassung der Zielkriterien
beschrieben.

*1.6.2 Methodische Grundlagen der Evaluationsforschung*
Die summative Evaluation der Wirksamkeit bewegungsbezogener
Interventionen, also der erzielten Gesundheitswirkungen, setzt voraus,
dass allgemeine Zielsetzungen anhand von festgelegten und
operationalisierten Zielkriterien (vgl. Tab. 1) überprüfbar sind.
Insgesamt ist es das Ziel der summativen Ergebnisevaluation, denjenigen
Anteil an gemessenen Veränderungen in festgelegten Zielkriterien zu
bestimmen, der allein auf die Durchführung der bewegungsbezogenen
Intervention zurückzuführen ist. Dabei geht es insbesondere darum, den
Einfluss anderer Faktoren als Erklärung für aufgetretene Veränderungen
auszuschließen. Dies wird durch ein spezifisches methodisches Vorgehen
mit Hilfe geeigneter Versuchspläne erreicht (Mittag, 2003). Im Folgenden
werden ausgewählte methodische Grundlagen der empirischen
Evaluationsforschung sowie mögliche Assessmentverfahren zur Evaluation
von bewegungsspezifischen Interventionen dargestellt. Weiterführende
Literatur zur Vertiefung forschungsmethodischer Grundlagen der Evaluation
sowie der Datenauswertung und Dokumentation findet sich in den
Lehrbüchern von Bortz (2005), Bortz & Döring (2006) und von Wottawa &
Thierau (2003), bei Faller & Reusch (2004) sowie im CONSORT-Statement
(Moher et al., 2004).

*Versuchsdesigns in der Evaluation*
Zur Messung von kurz- und mittelfristigen Veränderungen in vorab zu
definierenden Zielmerkmalen wird empfohlen, die Daten jeweils vor, am Ende
und sechs Monate nach Durchführung der Maßnahme zu erheben (GKV, 2008b).
Zur Abschätzung von lang­fristigen Effekten ist es angebracht, nach
zwölf Monaten eine weitere Messung vorzunehmen. Darüber hinaus sollte
man sich zur Gewinnung valider Informationen bei der Auswahl des
Versuchsdesigns nach Möglichkeit an experimentellen Standards orientieren
(Faller & Reusch, 2004). Die Beantwortung der Frage, ob eine
Behandlungsmaßnahme wirksam ist, basiert auf dem Nachweis des kausalen
Zusammenhangs, dass allein die Intervention die Ursache des
Behandlungsergebnisses ist. Die größte Sicherheit eines solchen
Kausalschlusses (interne Validität) ist bei Verwendung eines
randomisierten Kontrollgruppendesigns gewährleistet. Dabei werden
Personen zufällig entweder der Interventions- oder einer Kontrollgruppe
zugeordnet, welche eine Standardbehandlung bekommt oder ohne Behandlung
verbleibt (z.B. Personen auf einer Warteliste). Der Nachweis der
Wirksamkeit einer Behandlung ergibt sich dabei aus dem statistischen
Vergleich (t-Test) der Messwerte von Interventions- und Kontrollgruppe
nach Beendigung der Maßnahme (Faller & Reusch, 2004).

In der Evaluations- und Feldforschung werden aus ethischen oder
Praktikabilitätsgründen vielfach quasi-experimentelle Versuchspläne
verwendet, bei denen eine Kontrolle möglicher Störgrößen angestrebt
wird, aber keine zufällige Zuordnung der Probanden in Bezug auf
Interventions- und Kontrollgruppe erfolgt (Bortz & Döring, 2006; Faller
et al., 1999). Dies macht es jedoch schwieriger, die gefundenen
Unterschiede zwischen Interventions- und Kontrollgruppe kausal auf die
Wirkung der Intervention zurückzuführen, da z.B. bestimmte systematische
Verzerrungen dazu geführt haben können, dass sich die Patienten der
Interventions- und Kontrollgruppe schon in bestimmten Ausgangsmerkmalen
unterscheiden (Selektionseffekt). Im Fall bedeutsamer Unterschiede
beispielsweise in den Ausgangswerten des Zielkriteriums sollten diese als
Kovariate in eine Kovarianzanalyse einbezogen werden (Bortz, 2005; Vickers
& Altmann, 2001). Der Vorteil quasi-experimenteller Designs liegt darin,
dass sie je nach Feldbedingungen leichter realisierbar sind und eine
höhere externe Validität (Generalisierbarkeit) erreichen können. Zu den
Möglichkeiten und Grenzen quasi-experimenteller Designs siehe auch Vogel
(2004).
Bei Verzicht auf die Kontrolle von Störeffekten beispielsweise im
Ein-Gruppen-Prä-Post-Design, müssen für ermittelte statistische
Veränderungen zwischen den Messzeitpunkten andere mögliche
Alternativerklärungen in Betracht gezogen werden. Dazu gehören
Erwartungseffekte (Placeboeffekt), von der Intervention unabhängige,
externe und interne Entwicklungen (z.B. Effekte anderer Behandlungen,
Spontanremissionen, natürliche Schwankungen im Krankheitsverlauf) oder
der statistische Effekt der Regression zur Mitte (Faller & Lang, 2006;
Faller & Reusch, 2004). Eine kausale Interpretation ist im Rahmen eines
Ein-Gruppen-Prä-Post-Designs aufgrund der geringen internen Validität
also nicht möglich. Es können lediglich Schätzungen der
durchschnittlichen Veränderung zwischen zwei Messzeitpunkten vorgenommen
werden (Faller et al., 1999).

Können dagegen keine Hinweise auf Veränderungen im Verlauf der
Intervention oder im Falle eines randomisierten, kontrollierten
Versuchdesigns keine Nachweise über die Wirksamkeit eines Programms
erbracht werden, muss dies gleichfalls nicht bedeuten, dass das Programm
unwirksam oder ungeeignet ist. Als alternative Gründe kommen hier z.B.
eine mangelnde „Ausführungsintegrität“, d.h. dass die Intervention
nicht wie vorge­sehen durchgeführt wurde, die Möglichkeit, dass die
angestrebte Zielgruppe nur unzureichend erreicht wurde
(Programmreichweite/Zielgruppenallokation) oder dass Teil­nehmer im
Verlauf der Maßnahme ausgeschieden sind in Frage (Mittag, 2003). Bei der
Interpretation von Messergebnissen ist zu beachten, dass potentielle
statistische Effekte abhängig vom Ausgangsniveau der Stichprobe sind.
Beispielsweise sind die zu erwartenden Wirkungen von Interventionen bei
Stichproben mit niedrigen zielgrößen­spezifischen Belastungen geringer
als die Effekte für Stichproben mit höherer Belastung.

*Qualitätskriterien von empirischen Assessmentverfahren*
Zur Sicherstellung der Vergleichbarkeit von z.B. zu verschiedenen
Messzeitpunkten erhobenen empirischen Daten müssen die verwendeten
Messinstrumente bestimmten Güte- bzw. Qualitätskriterien genügen. Diese
sind nach den üblichen Definitionen umso höher, je besser eine
Standardisierung (Konstanthaltung) von Untersuchungsinhalt, -ablauf und
-situation realisiert werden kann. Der an den Prinzipien der Testtheorie
und Fragebogenentwicklung interessierte Leser sei an dieser Stelle auf
ausführlichere Beschreibungen verwiesen (Bortz & Döring, 2006; Fissini,
1997; Faller & Lang, 2006; Lienert & Raatz, 1998).

Nach Lienert (1989) unterscheidet man zwischen Haupt- und
Nebengütekriterien von Messinstrumenten. Erstere beinhalten das Ausmaß,
in dem die Ergebnisse in Bezug auf Durchführung, Auswertung und
Interpretation unabhängig von Einflüssen des Untersuchers zustande
gekommen sind (Objektivität), die Zuverlässigkeit bzw. Genauig­keit von
Maßen (Reliabilität) und die Gültigkeit bzw. das Ausmaß in dem ein
Messins­trument tatsächlich das misst, was es zu messen vorgibt
(Validität). Zur Beantwortung der Frage, ob sich zwischen den
Messzeitpunkten Veränderungen in den Zielmerkmalen ergeben haben, müssen
die verwendeten Instrumente zudem eine hohe Änderungs­sensitivität
aufweisen (Igl et al., 2005). Zu den im Evaluationsbereich ebenso
wichtigen Nebengütekriterien zählen unter anderem die Bereitstellung von
Vergleichswerten geeigneter Populationen zur relationalen Bewertung
einzelner Ergebnisse (Normierung), das durch die Verwendung von
Messinstrumenten gegebene Verhältnis von Aufwand und Nutzen (Ökonomie),
die Zumutbarkeit gegenüber dem Befragten und das Ausmaß, in dem ein
Verfahren zu der Beantwortung bestimmter Fragestellungen taugt
(Nützlichkeit)."

Soweit erstmal aus Sicht eines Evaluationsforschers.
Vielleicht habt ihr ja Fragen dazu?

Gruß
Jano

--
Ag-meinungsfindungstool mailing list
Ag-meinungsfindungstool AT lists.piratenpartei.de
https://service.piratenpartei.de/listinfo/ag-meinungsfindungstool