Evaluation Strategien für Human Services Programme Ein Leitfaden für Entscheidungsträger und Anbieter In der kontinuierlichen Bemühungen, menschliche Service-Programme zu verbessern, werden Geldgeber, Politiker und Service Provider erkennen zunehmend die Bedeutung einer strengen Programmevaluierungen. Sie wollen wissen, was die Programme zu erreichen, was sie kosten, und wie sie betrieben werden, um maximale Wirtschaftlichkeit zu erzielen. Sie möchten wissen, welche Programme, für die Gruppen zu arbeiten, und sie wollen Schlussfolgerungen basierend auf Beweise, anstatt Zeugnisse und leidenschaftlichen Bitten. Dieses Papier legt, für die nontechnician, die Grundprinzipien des Programms Evaluation Design. Es signalisiert häufigsten Fallstricke, identifiziert Einschränkungen, die berücksichtigt werden müssen, und stellt Ideen zur Lösung möglicher Probleme. Diese Grundsätze sind allgemein und können auf eine breite Palette von menschlichen Service-Programme angewendet werden. Wir veranschaulichen diese Prinzipien hier mit Beispielen aus Programmen für gefährdete Kinder und Jugendliche. Evaluierung dieser Programme ist eine besondere Herausforderung, weil sie zu adressieren eine große Vielfalt der Probleme und mögliche Lösungen, oft auch mehrere Agenturen und Kunden, und ändern im Laufe der Zeit Verschiebung Service-Bedürfnisse zu erfüllen. Schritte bei der Auswahl geeigneter Bewertungs Entwurf. Der erste Schritt in dem Verfahren zum Auswählen eines Auswertungs Design ist, um die Fragen, die beantwortet werden müssen, zu klären. Der nächste Schritt ist, um ein logisches Modell, das aus legt die erwarteten Kausalzusammenhänge zwischen dem Programm (oder Programmteile) und die Programmziele zu entwickeln. Ohne diese Rückverfolgung erwarteten Links ist es unmöglich, die Bewertung, die Beweise gesammelt, zu interpretieren. Der dritte Schritt besteht darin, das Programm in seine Bereitschaft zur Auswertung beurteilen zu können. Diese drei Schritte können gleichzeitig oder in überlappenden Schritten durchgeführt werden. Für exposition Klarheit werden wir jeden von ihnen wiederum zu diskutieren. Wir werden dann beschrieben, wie Sie das beste Design für einen bestimmten Zweck aus den wichtigsten Arten der Bewertung, die es gibt zu wählen. Klärung der Bewertungsfragen Das Design jeder Auswertung beginnt mit der Definition der Zielgruppe für die Evaluierungsergebnisse, was sie wissen müssen, und wann. Diese Fragen bestimmen, welche der folgenden vier Haupttypen der Auswertung gewählt werden sollte: Auswirkungen Evaluierungen konzentrieren sich auf Fragen der Kausalität. Hatte das Programm seinen beabsichtigten Wirkungen? Wenn ja, die geholfen wurde und welche Aktivitäten oder Eigenschaften des Programms die Auswirkungen erstellt? Hat das Programm keine unbeabsichtigten Folgen, positiv oder negativ? Die Leistungsüberwachung stellt Informationen über Schlüsselaspekte, wie ein System oder ein Programm in Betrieb ist und der Umfang, in dem die Programmziele erreicht werden angegeben (zB Zahl der Jugendlichen serviert im Vergleich zu Zielen Ziel, Senkung der Schulabbrecher im Vergleich zu Zielen Ziel). Die Ergebnisse werden von den Dienstleistern, Geldgebern und Entscheidungsträgern verwendet werden, um Leistung und Errungenschaften des Programms zu bewerten. Prozess Auswertungen beantworten Fragen darüber, wie das Programm arbeitet und Dokumentation der Verfahren und Tätigkeiten bei der Leistungserbringung verpflichtet. Solche Bewertungen helfen, Probleme bei der Bereitstellung von Dienstleistungen und Strategien zur Überwindung dieser Probleme konfrontiert zu identifizieren. Sie sind nützlich, um die Praktizierenden und Service Provider bei der Replikation oder Programmstrategien anzupassen. Kostenauswertungen zu adressieren, wie viel das Programm oder Programmkomponenten kosten, vorzugsweise im Verhältnis zur alternativen Verwendung von den gleichen Mitteln und zu den Vorteilen, die durch das Programm erzeugt wird. Im laufenden Geschäftsumgebung müssen Programme erwarten, um ihre Kosten gegen alternative Nutzungen zu verteidigen. Eine umfassende Bewertung wird alle diese Tätigkeiten umfassen. Manchmal jedoch, hob die Fragen, die Zielgruppe für die Ergebnisse oder die verfügbaren Mittel begrenzen die Bewertung Fokus auf ein oder zwei dieser Aktivitäten. Ob vorläufigen Auswertungen an Personal für die Verwendung bei der Verbesserung der Programmoperationen und die Entwicklung zusätzlicher Dienstleistungen ist ein Thema, zu bewältigen gilt. Vorläufige Ergebnisse effektiv genutzt werden kann, um Betriebsprobleme zu identifizieren und zu entwickeln, die Kapazität des Programmpersonal, um ihre eigenen laufenden Bewertungs - und Überwachungsmaßnahmen durchzuführen. (1) Aber diese Verwendung von Evaluierungsergebnissen, genannt formative Evaluationen, stellt eine Herausforderung für Gutachter, die mit gegenübergestellt werden die viel schwierigere Aufgabe der Schätzung der Auswirkungen einer sich entwickelnden Intervention. Wenn das Programm selbst wird weiterhin verändern, Mess Auswirkungen erfordert laufende Messung der Art und Höhe der Leistung erbracht. Die Gefahr, in formative Evaluationen ist, dass die Grenze zwischen Programmoperationen und Beurteilung wird unscharf. Der zusätzliche Aufwand und Ressourcen für die Wirkungsanalyse in formative Evaluationen erforderlich ist, um gegen die potenziellen Gewinne für das Programm aus laufenden Verbesserungen und die größere Nützlichkeit der abschließenden Evaluierungsergebnisse gemessen werden. Die Entwicklung eines Logic Model Es ist unmöglich, Evaluierungsergebnisse ohne ein klares Verständnis der Programmziele, Umsetzung Sequenzen und der erwarteten Verbindungen zwischen ihnen und der erwarteten Programms verzichten zu interpretieren. Erwartungen über diese Verknüpfungen ausdrücklich durch die Entwicklung einer logischen Modell vorgenommen. Ein solches Modell wird mit einer Diskussion mit Dienstleistern und Geldgebern die Ziele und Beweggründe hinter Programm Organisation und den Inhalt, die Prüfung und die Programmplanungsdokumente Berichte und Überprüfung von Forschungsergebnissen auf ähnliche Programme oder Probleme entwickelt. Die Literaturrecherche kann besonders hilfreich bei der Identifizierung plausible kausale Zusammenhänge und alle Faktoren außer dem Programm, bei der Auswertung berücksichtigt werden sollte. Die Logik-Modell bietet eine vereinfachte Beschreibung des Programms, die vorgesehenen Ausgaben und die beabsichtigten Ergebnisse. Programmeigenschaften beinhalten die Bevölkerung zu erreichen, die Mittel verwendet werden sollen, und die Identifizierung der Arten und Ebenen der Service-Elemente. Ausgänge sind Sofortprogramm Produkte aus den internen Betrieb des Programms, wie zum Beispiel die Lieferung von geplanten Leistungen resultieren. Beispiele für Output-Indikatoren im Bereich der Programme für gefährdete Kinder und Jugendliche könnte die Zahl der Kinder immunisiert, Hausbesuche durch Fallmanager, oder Jugend Abschluss einer Berufsausbildung Programm aufzunehmen. Diese Programm-Ausgänge sind, die wiederum das Fahrzeug für die Herstellung der gewünschten Programmergebnisse, zum Beispiel, nimmt in Kinderkrankheiten, verringert sich in Missbrauch und Vernachlässigung Fällen oder Erhöhungen der Jugendbeschäftigung. Besondere Aufmerksamkeit muss, wenn der zu erwartende Ergebnis sollte zu erwarten sein bezahlt werden. Aus diesem Grund ist es oft nützlich, um die Ergebnisse in Zwischengegenüber langfristigen unterteilen. Zum Beispiel könnte eine verbesserte Schulbesuch in frühen Sorten ein Zwischenergebnis mit dem längerfristigen Ergebnisse der Dropout-Prävention in Verbindung gebracht werden. Es muss, um sich auf Ergebnisse, die innerhalb des Untersuchungszeitraumes auftreten gegeben. Ein klassischer Fehler bei der Auswahl ein Ergebnis, das erwartet wird, um innerhalb des Zeitrahmens der Studie auftreten, trat bei Auswertungen des DARE Drogenpräventionsprogramm, einem Bildungsprogramm für den fünften und sechsten Klasse entwickelt, um den Drogenkonsum zu verhindern. Bewertungsergebnisse zeigten keine signifikante Verhinderung von Drogenmissbrauch am Ende des Programms. Dieses Ergebnis sollte erwarten gewesen, da Drogenkonsum nicht in der Regel beginnen bei Jugendlichen in diesem Land bis Mitte der Teenager-Jahre (14 bis 17). Eine altersgerechte Zwischenergebnis sollte als der primäre Endpunkt ausgewählt wurden, wie beispielsweise verbesserte Peer Widerstand Fähigkeiten und Veränderungen in der Überzeugungen über die Risiken des Drogenkonsums. Die Logik-Modell sollte auch die explizite Zuordnung der in der Programmumgebung oder Eigenschaften der Zielgruppe oder Gemeinschaft, dass das Programm die Fähigkeit, die Ziele zu erreichen, beeinflussen können, den gegenwärtigen Bedingungen. Nicht-Programm-Merkmale des Programms Organisation, Gemeinschaft oder Zielgruppe, die wahrscheinlich um die Leistungen und Ergebnisse und / oder Verwendung von Programmen beeinflussen werden vorgängigen Variablen aufgerufen. Bedingungen oder Ereignisse im Programm, Zielgruppe oder Gemeinschaft, einschränken oder erweitern können, inwieweit die Programmausgaben tatsächlich produzieren die gewünschten Ergebnisse werden als Mediator-Variablen. Zum Beispiel kann ein Drogenpräventionsprogramm weniger effektiv sein, wenn das Programm Mitarbeiter sind unerfahren, oder wenn die lokale Gemeinschaft bietet weniger Freizeit-Alternativen zu Drogenmissbrauch und / oder aktiver offenen Drogenmärkte (Vorläufer-Variablen). Mit anderen Support-Dienstleistungen in Verbindung mit dem Programm zu verbessern ihre Auswirkungen (a vermittelnde Variable). In Folgenabschätzungen die Logik-Modell wird verwendet, um darzulegen, wie und für wen werden bestimmte Dienstleistungen erwartet, bestimmte Änderungen / Vorteile. Zum Beispiel, wenn das Programm umfasst Elternschaft Klassen, die Logik-Modell wird diese Tätigkeit als Schlüsselprogrammkomponente zu identifizieren und zu zeigen, welche Arten von Veränderungen bei der Kindererziehung, die verwendet werden, um Programmergebnisse zu messen wird (beispielsweise durch die Verbesserung der Unterstützung durch die Eltern bei den Hausaufgaben oder die Unterstützung von Eltern zu kommunizieren effektiver mit Jugendlichen). Im Performance-Überwachung, wird die Logik-Modell verwendet werden, um den Schwerpunkt auf dem möglichen Ausgang und Ergebnisindikatoren für spezifische Zielgruppen, Gemeinschaften oder Zeiträumen geeignet sind. Zum Beispiel bei den Indikatoren der Kinder Verbesserung in der Schule, könnte man erwarten, dass die Teilnahme an im ersten Semester des Programms zu verbessern, aber akademische Testergebnis Verbesserung erst nach einem längeren Zeitraum der Programmteilnahme-mit dem Timing möglicherweise variierenden durch die Alter und Entwicklungsstadium der Kinder. In Prozessevaluation ist die Logikmodell verwendet werden, um die Erwartungen darüber, wie das Programm identifizieren, arbeiten-die ideale Art-der dann verwendet werden kann, um die Abweichungen in der Praxis, warum diese Abweichungen aufgetreten sind zu bewerten, und wie die Abweichungen können Programmausgänge beeinflussen. Dies unterstützt Programm-Manager (und Gutachter), um Unterschiede (einschließlich positiver und negativer unbeabsichtigten Folgen) zu identifizieren, sollten Sie mögliche Mechanismen für die Feinabstimmung Programmoperationen, um das eigentliche Programm mit der geplanten Vorgehensweise ausrichten oder wieder besuchen Programmstrategien, Alternativen zu prüfen. (2) Logic Modelle sind gebaut, um zeitliche Abfolgen zeigen, Gebäude links nach rechts, und sie in der Regel Diagramm Beziehungen mit Pfeilen. Ein Beispiel für ein Logikmodell ist in Anlage A dargestellt Es wurde von der Urban Institute bei der Planung der Bewertung der Risikokinder-Programm (CAR) entwickelt. CAR ist eine intensive Intervention Programm zur Beteiligung an Drogen und Kriminalität zu verhindern und bei Jugendlichen im Alter von 13 bis 15, die ernsthaft Risikoindikatoren zeigen und leben in stark distressed innerstädtischen Vierteln fördern gesunde Entwicklung. Die Intervention besteht aus acht erforderlichen Programmkomponenten: Durch das Programm verwendet Case Manager einen Service-Plan für alle Mitglieder des Haushalts der teilnehmenden Jugendlichen und bieten intensive Follow-up auf Überweisungen an benötigten Dienste, Handhabung ein. Arbeitsbelastung von 15; Familienservices umfassen Erziehungskompetenz Ausbildung für alle Eltern und Überweisung an andere Dienste nach Bedarf (intensive Familienberatung, Stressmanagement / Bewältigungsstrategien Training, Erkennung und Behandlung von Drogenmissbrauch, Gesundheitsversorgung, Ausbildung und Beschäftigungsprogramme, Wohnen und Sozialhilfe Dienstleistungen); Education Services gehören Nachhilfe oder Hausaufgabenbetreuung für alle Jugendlichen und Überweisung an andere Dienste nach Bedarf (Educational Testing, Sonderschulklassen); After-School-und Sommeraktivitäten für alle Autojugend gehören Freizeitprogramme und Lebenskompetenz / Leadership Development-Aktivitäten, kombiniert mit Ausbildung oder Bildung; Mentoring wird durch lokale Organisationen für die Jugend in der Notwendigkeit einer fürsorglichen Beziehung zu einem Erwachsenen vorgesehen. Die Rolle des Mentors ist es, (a) informiert Jugendliche über alternative Wahlmöglichkeiten (zB Aktivitäten und Ziele); (b) sie mit Strategien für die Verfolgung dieser Möglichkeiten zur Verfügung, vertraut zu machen; (c) Ausbildung, Möglichkeiten für die Praxis und Feedback bei der Entwicklung von Kompetenzen für die Umsetzung insbesondere Strategien; und (d) liefern Beziehungen, durch die Jugendlichen werden bestätigt, inspiriert und ermutigt, gesunde Entscheidungen zu treffen; Anreize wie Geschenke und Sonderveranstaltungen werden verwendet, um die Moral und die Bindung an die pro-sozialen Ziele des Programms (zB Geschenkgutscheine, Reisen und Gutscheine für Pizza, Sportgeschäfte, Filme und Stipendien für Zivildienst im Sommer Programme) aufzubauen; Community Policing / Enhanced Enforcement ist in allen Ziel Vierteln verwendet, um sicherere Umgebungen mit geringer Wirkstoffaktivität erstellen. Strafverfolgungsmaßnahmen sind out-Stationierung Polizei in Schulen und Nachbarschaft Standorte, die Ordnung aufrechtzuerhalten und zu verbessern Beziehungen mit Gemeindegruppen; Criminal / Jugendgerichtsbarkeit Intervention beinhaltet die Zusammenarbeit zwischen Fallmanager und Jugendgerichtspersonal Zivildienst Chancen und verbesserte Betreuung von Jugendlichen in das Justizsystem zu schaffen. Antecedent Variablen zählen die Ebenen und Arten von Nachbarschaft, Familie, Peer-Group, und die persönliche Risikofaktoren für die Teilnehmer als auch die demografischen Merkmale. Das sind Einflüsse, die vor der Programmintervention vorhanden sind. Mediator-Variablen beinhalten Exposition gegenüber anderen sozialen oder Bildungsdienstleistungen, die Wahrnehmung von Chancen und gesellschaftliche Normen. Das sind Einflüsse, Logic Model Wird in Auswertung der Risikokinder Programm bei der gleichen Zeit wie das Programm in Betrieb ist. Die Programmkomponenten sind so konzipiert, um die Zwischenergebnisse-Verringerungen der Risikofaktoren und Verbesserung von Schutzfaktoren am Ende der Programmteilnahme zu erreichen. Diese Zwischenergebnisse, gemessen am Ende der Programmteilnahme werden die Hypothese aufgestellt, um notwendige Schritte in Richtung der gewünschten längerfristigen Ergebnisse-Prävention des Drogenkonsums, Drogen Verkauf, Delinquenz, Schulversagen und Aussetzer, und Teenager-Elternschaft sein. Programm-Ausgänge, die noch nicht in diesem Diagramm gezeigt, sind Leistungsindikatoren, wie beispielsweise die Anzahl der Tutoring-Sitzungen zur Verfügung gestellt, die Zahl der Hausbesuche durch Fallmanager, und wie oft Eltern nahmen an Programmaktivitäten. Beurteilung der Bereitschaft zur Auswertung Evaluierbarkeitsprüfung ist ein systematisches Verfahren zur Entscheidung, ob die Programmbewertung gerechtfertigt ist, möglich ist, und wahrscheinlich nützliche Informationen liefern. Fragen, die in einem Evaluierbarkeitsprüfung berücksichtigen sind: (3) Ist logisches Modell des Programms plausibel angesichts der zur Verfügung stehenden Ressourcen und Führung aus der einschlägigen Literatur? Wenn Programmziele sind unrealistisch oder die Interventionsstrategien nicht gut in der Theorie und / oder vorherige Anzeichen geerdet ist, dann Auswertung ist nicht eine gute Investition. Welche Arten von Daten, die benötigt werden, aus welcher Anzahl von Themen, und welche Daten wahrscheinlich schon zur Verfügung stehen sollen? Evaluationen sollten so gestaltet sein, um die Verwendung der verfügbaren Daten zu maximieren, solange diese gültig sind Indikatoren für die wichtigsten Konzepte und zuverlässig sind. Die verfügbaren Daten können beispielsweise gehören Statistiken der Regierung, private Anzeigen und Zusammenfassung Agentur Aufzeichnungen und Statistiken, und Informationen von den Forschern für weitere Untersuchungen gesammelt. Wenn es wichtige Daten muss nicht mit vorhandenen Daten erfüllt, müssen Ressourcen zur Verfügung stehen, um die erforderlichen neuen Daten zu sammeln. Sind ausreichende Ressourcen und Vermögenswerte available-Geld, Zeit, Know-how und der Gemeinschaft und die Unterstützung der Regierung? Gibt es Faktoren, begrenzen oder einschränken Zugang zu diesen Ressourcen? Kann die Auswertung in einem Zeitrahmen, der die Erkenntnisse erlauben wird, die zur Herstellung Programms und politische Entscheidungen von Bund, Ländern zu sein und die lokalen Beamten erreicht werden? Inwieweit Bewertungsinformationen bereits vorhanden sind irgendwo auf dem gleichen oder einem eng verwandten Intervention? Die Antwort auf diese Frage kann wichtige Implikationen für die Handlung. Jede erfolgreiche frühere Versuche können vielversprechende Modelle für die Replikation zu erhalten. Lehren aus früheren erfolglosen Versuchen gelernt, kann die aktuelle Anstrengungen zu informieren. Wenn ausreichende Beweise vom bisherigen Bemühungen bereits vorhanden ist, kann der Wert einer neuen Auswertung marginal. Inwieweit sind die Ergebnisse aus einer Auswertung wahrscheinlich verallgemeinerbar zu sein, anderen Gemeinden und daher nützlich bei der Beurteilung, ob das Programm auf andere Einstellungen oder Bereichen erweitert werden? Gibt es einzigartige Eigenschaften der Projekte bewertet werden, die nicht zu den meisten anderen Projekten angewendet werden könnte? Programmeigenschaften, die nicht verallgemeinerbar sind reduzieren den Wert aller Befunde. Die Auswahl eines Bewertungs Entwurf Auswahl der Evaluationsdesign folgt der systematische Berücksichtigung dieser Fragen. Wie bereits erwähnt, gibt es vier große Arten der Bewertung: Auswirkungen, Performance Monitoring, Prozesse und Kosten. Wir diskutieren jeweils wiederum. Folgenabschätzung Designs Drei mögliche Ausführungen sind möglich, Auswirkungen Bewertungen: experimentell, quasi-experimentellen und nicht-experimentell. Sie alle teilen die Strategie der Programmergebnisse zu vergleichen mit einem gewissen Maß dessen, was ohne das Programm geschehen. Experimentelle Designs sind die mächtigsten und produzieren den stärksten Beweis. Diese sind nicht immer möglich ist, jedoch in diesem Fall eine der beiden Alternativen gewählt werden darf. (In einem späteren Abschnitt wird erläutert, wie die Wahl zu treffen.) Versuchspläne Schlüsselelemente. Versuchspläne werden als Goldstandard in der Folgenabschätzung. Experimente erfordern, dass Einzelpersonen oder Gruppen, wie etwa Klassenräumen oder Schulen, nach dem Zufallsprinzip (durch das Flip einer Münze oder äquivalente Zufallsverfahren), um eine oder mehrere Gruppen, vor dem Start der Dienste zugeordnet werden. Die Behandlungsgruppe oder Gruppen bezeichnet werden, um bestimmte Dienstleistungen, die eindeutig festgelegt Ergebnisse zu erzielen empfangen. Wenn mehrere Behandlungsgruppen bezeichnet werden, können die Ergebnisse für die behandelten Gruppen miteinander verglichen werden, um die relative Wirkung der verschiedenen Leistungen oder die Auswirkungen in Bezug auf eine Kontrollgruppe zu bestimmen. Eine Kontrollgruppe erhält keine Leistungen. Die Behandlungsgruppe die Ergebnisse verglichen werden, um Gruppenziele zu steuern, um Auswirkungen abzuschätzen. Weil Zufall allein bestimmt, wer die Programmdienste erhält, können die Gruppen angenommen, ähnlich auf alle Merkmale, die die Endpunkte mit Ausnahme des Programms beeinflussen könnte sein werden. Unterschiede zwischen Behandlungs - und Kontrollgruppen können daher mit Zuversicht an die Auswirkungen des Programms zurückzuführen. Design-Variationen. Eine Ausführungsvariante basiert auf einer Zufallsauswahl der Zeiträume, in denen Dienstleistungen erbracht werden, beruht. Beispielsweise können neue Dienste auf zufällig ausgewählten Tagen oder Wochen angeboten werden. Eine Version dieses Ansatzes ist es, Woche / Woche ab Zuteilungsverfahren zu verwenden. Obwohl nicht wirklich zufällig, dieser Ansatz sehr nahe kommt Zufallszuweisung, wenn Client-Eigenschaften nicht systematisch variieren von Woche zu Woche. Es hat den großen Vorteil, dass den Mitarbeitern des Programms finden es oft einfacher zu implementieren als Entscheidungen über Programmeingabe durch den Wurf einer Münze auf einer Fall-zu-Fall-Basis. Eine zweite Ausführungsvariante ist eine gestaffelte Start Ansatz - in denen einige Mitglieder der Zielgruppe nach dem Zufallsprinzip ausgewählt, um Dienste mit dem Verständnis zu erhalten, dass der Rest wird Dienste zu einem späteren Zeitpunkt zu erhalten (im Falle einer Schule oder Klassenzimmer, das nächste Semester oder Monat). Ein Nachteil der gestaffelten Start Design ist, dass die Beobachtungen der Ergebnisse werden auf den Zeitraum zwischen der Zeit, die erste Gruppe rundet das Programm und die zweite Gruppe beginnt begrenzt. Als Ergebnis ist es in der Regel auf die Bewertung Gewinne während der Teilnahme an relativ kurzfristige Programme beschränkt. Einschränkungen / Überlegungen. Obwohl Experimente sind das bevorzugte Design für eine Bewertung der Auswirkungen aus wissenschaftlichen Gründen, sind Randomisierung Auswertungen nicht immer die ideale Wahl in das Alltagsleben. Einige Maßnahmen sind von Natur aus unmöglich, durch randomisierte Versuche zu studieren. Jugendausgangssperren, die beispielsweise nicht gegen eine zufällig ausgewählten Untergruppe von Kindern in einer Gemeinschaft durchgesetzt werden. Und Woche / Woche off Durchsetzung dürfte Verachtung sowohl für das Recht und Durchsetzung zu züchten. Eine zweite Überlegung ist, ob der Randomisierung ist ethischen und für die Gemeinschaft annehmbar. Die öffentliche Meinung kann wider Behandlung ähnlichen Kindern anders auf der Grundlage von einem Münzwurf oder Zufallszuweisung als Ausnutzung gefährdeten Bevölkerungsgruppen und machtlos Menschen sehen. Sorgfältig konzipierte Verfahren zur Randomisierung kann in der Lage, solchen Widerstand zu überwinden. Eine Strategie ist zufällige Auswahl von diesen, um Dienstleistungen aus einer Liste von Personen, die Teilnahmebedingungen erfüllen, wenn Ressourcen nicht verfügbar sind, um alle, die förderungswürdig ist zu dienen erhalten. Diese Form der Auslosung ist nahe genug, um zuerst kommt, mahlt zuerst als fair in vielen Situationen akzeptiert werden. Erbringung von Dienstleistungen für einige Kunden zu einem späteren Zeitpunkt (im nächsten Monat oder Semester wie oben beschrieben) können länderspezifische Bedenken über Fairness gerecht zu werden und im Einklang mit den verfügbaren Personal und Ressourcen. Manchmal kann der Randomisierung einbeziehen entspannten Bedarf statt mit einem, die Randomisierung weniger umstritten macht. Große Aufmerksamkeit ist erforderlich, um sicherzustellen, dass die Kontrollgruppe wird nicht geleugnet wesentliche Dienstleistungen, die sie sonst sein, dass die Vorteile für die Teilnehmer und die Gemeinschaft sind sorgfältig erklärt, und das Programm Mitarbeiter und Teilnehmer verstehen und unterstützen die Forschung. Viele Geldgeber erfordern eine formelle Überprüfung des Forschungsdesigns von einer Jury in Richtlinien entwickelt, um die Forschungsteilnehmer zu schützen geschult. Selbst wenn eine solche Überprüfung nicht erforderlich ist, ist ausdrücklich Prüfung dieser Frage von wesentlicher Bedeutung. Eine dritte wichtige Frage ist, ob die Ergebnisse, die wahrscheinlich erhalten werden sollen die Investition rechtfertigen. Versuche erfordern in der Regel ein hohes Maß an Ressourcen - Geld, Zeit, Know-how und die Unterstützung von Programmpersonal, Behörden, Geldgeber und der Gemeinde. Bewertung Planer müssen sich fragen, ob die Antworten auf die Liste der Bewertungsfragen-und die Entscheidungen über die Programmfort, Erweiterung oder Veränderung, die auf der Grundlage der Feststellungen gemacht werden - könnte auf weniger kostspielig, weniger definitive basieren, aber noch akzeptabel Bewertungsstrategien. Praktische Fragen. Experimentelle Designs laufen am meisten Gefahr laufen, wegen der absichtlichen oder zufälligen Fehlern auf dem Gebiet gemacht verunreinigt. Um diese Gefahr zu minimieren, muss es eine enge Zusammenarbeit zwischen dem Evaluierungsteam und den Mitarbeitern des Programms bei der Identifizierung von Zielen, Einstellung Zeitpläne, die Teilung von Aufgaben für Aufzeichnungen und Datensammlung, Entscheidungen bezüglich der Kundenkontakt und den Austausch von Informationen über Fortschritte und Probleme. Aktive Unterstützung der wichtigsten Programm-Administratoren, die laufende Schulung der Mitarbeiter und die Kommunikation über Meetings, Telefonkonferenzen oder E-Mail sind unerlässlich. Die Nichtbeachtung des Plans zur Randomisierung halten ist ein häufiges Problem. Die Mitarbeiter sind oft stark engagiert, um ihre Kunden und wird auf Basis der Programmeingabe Entscheidungen über ihre Wahrnehmung der will, der braucht, oder wird von, dem Programm profitieren. Um diese Gefahr zu vermeiden, sollten Verfahren eingerichtet werden, so dass der Evaluator nicht Programm Personal, ist verantwortlich für die Zuteilung auf die Behandlung oder Kontrollgruppe. Statistische Anpassungen in der Analyse kann erforderlich werden, wenn Betriebsstörungen, die Zufalls Verfahren (4) zu halten. Und auch diese können nicht aus, um die so eingeführten Verzerrungen zu entfernen. Ein weiteres mögliches Problem Bereich noncomparable Informationen zur Behandlung und Kontrolle Gruppenmitglieder. Programmpersonal können leicht Daten zu sammeln und bieten Kontaktinformationen für die Behandlung Gruppenmitglieder, weil sie weiterhin Kontakte zu Kunden, anderen Behörden und der Gemeinschaft haben. Sammlung vergleichbarer Daten und Kontaktinformationen auf Steuergruppenmitglieder kann schwierig sein. Wenn das Experiment verliert insgesamt an mehr Kontrolle als Behandlungsgruppe Mitglieder zu verfolgen, werden die Bewertungsdaten nicht nur unvollständig sein, wird es verzerrt und daher irreführende Informationen darüber, welche Auswirkungen das Programm aufweist. Der beste Weg, um Verzerrungen von diesem Problem (so genannte Differenz Abrieb) zu vermeiden, ist Tracking-Verfahren und Datenerhebung zu Beginn der Evaluation planen, das Sammeln von Informationen aus den Steuergruppenmitglieder auf, wie sie angeordnet werden kann und die Entwicklung von Vereinbarungen mit anderen Agenturen der Gemeinschaft , am besten schriftlich, für die Unterstützung bei der Datenerfassung und Proben Mitglied Tracking. Diese Abkommen sind hilfreich bei der Aufrechterhaltung Probe Kontinuität angesichts der Fluktuation bei den beteiligten Agenturen. Wenn das Programm, Dienste und Inhalte Laufe der Zeit ändern, kann es schwierig sein zu bestimmen, welche Ebene oder die Art der Dienstleistungen, die Ergebnisse produziert. Die beste Strategie ist, um wesentliche Änderungen im Programm und das Timing der Veränderungen im Rahmen einer Prozessbewertung zu identifizieren und diese Informationen benutzen, um Typen von Programmänderungen in das Programm Erfahrungen von verschiedenen Teilnehmern für die Wirkungsanalyse zu definieren. Andere mögliche Probleme können lösbar durch den Einsatz von speziellen statistischen Techniken. Solche Probleme gehören unzureichende oder ungleiche Folgeperioden für die Behandlung versus Kontrolle, (5) und das Risiko von Ereignissen (zB Schulversagen, Inhaftierung, Verletzungen, in Bewegung), die eher einige Arten von Mitgliedern aus einer Probe als andere zu entfernen sind vor dem Ende der geplanten Follow-up-Periode. (6) Beispiel. Die Auswertung der Projektalarm, einen achtwöchigen Junior High School Lehrplan für den Unterricht Klässler siebten auf den Drogenkonsum zu vermeiden, verwendet ein experimentelles Design (7). Dreißig Kalifornien und Oregon Schulen wurden zufällig drei Gruppen zugeordnet: 1) Schüler von Erwachsenen Gesundheit Erzieher angewiesen, 2) Schüler von älteren Jugendlichen angewiesen, und 3) ein nicht-behandelten Kontrollgruppe, auch wenn vier der Nichtbehandlung Schulen andere Droge Prävention Lehr-Programmen. Um die Verallgemeinerbarkeit der Ergebnisse zu erhöhen, wurden die Schulen aus acht städtischen, vorstädtischen und ländlichen Gemeinden ausgearbeitet und fast ein Drittel der Schulen hatten Minderheit der Bevölkerung von 50 Prozent oder höher. Um die Vorbelegung Gemeinsamkeiten der drei Versuchsgruppen zu erhöhen und stärken die statistische Aussagekraft der Analyse (angesichts der relativ kleinen Stichprobe von Schulen) wurde jede Versuchsgruppe in mindestens einer Schule in jeder Gemeinde enthalten, und die Schulen in die mitgelieferte Experiment wurden so weit wie möglich, um Unterschiede zwischen den Gruppen in solche Eigenschaften wie Testergebnisse, zu Hause gesprochene Sprache, Drogenkonsum unter 8. Klasse und ethnischer und Erträge Zusammensetzung zu verringern abgestimmt. Diese Verfahren hergestellt erheblichen Pre-experimentellen Ähnlichkeiten in Faktoren des Drogenkonsums unter den Versuchsgruppen zusammen. Da Schulen aber nicht Schüler wurden randomisiert wurden statistische Anpassungen verwendet werden, um für die Clusterbildung der Schüler innerhalb der Schulen zu korrigieren. Die Schüler füllten Fragebögen über ihren Drogenkonsum sieben Mal zwischen den Klassen 7 und 12; diejenigen, die anderen Schulen oder Bezirke übertragen abgeschlossen Mail und Telefoninterviews zur Probe Abrieb zu minimieren. Endpunkte umfassten die kognitiven Risikofaktoren mit Drogenkonsum: Glauben über Folgen der Verwendung, Normen bezüglich Drogenkonsum, Peer Beständigkeit, Selbstwirksamkeit und erwarteten zukünftigen Drogenkonsum. Experimentelle Auswertungen sind teuer. Die Kinder in Gefahr Auswertung beispielsweise kostet $ 1,5 Millionen. Aber die strengen Design erlaubt starke Rückschlüsse auf die langfristige Wirksamkeit der Drogenprävention Bildung in der frühen Adoleszenz und gezeigt, dass die Ergebnisse nicht den Mittelstand Gemeinden beschränkt, sondern kann in den Schulen mit hohen Anteilen an niedrigeren Einkommen und Minderheit Studenten verwendet werden. Quasi-experimentellen MODELLE Schlüsselelemente. Wie Versuche, quasi-experimentellen Auswertungen vergleichen Ergebnisse aus Programmteilnehmer, um zu Vergleichsgruppen, die Programmdienste erhalten keine Ergebnisse. Der entscheidende Unterschied ist, dass die Entscheidung darüber, wer das Programm empfängt, ist nicht zufällig. Vergleichsgruppen setzen sich aus Mitgliedern der Zielgruppe so ähnlich wie möglich, um die Teilnehmer über Faktoren, die die ausgewählten Bilanz beeinflussen könnten, zu beachten Programms. Multivariate statistische Techniken werden dann verwendet, um die verbleibenden Unterschiede zwischen den Gruppen zu steuern. Normalerweise Evaluatoren verwenden bestehenden Bevölkerungsgruppen zu Vergleichs-diejenigen, die in einem ähnlichen Bereich zu leben, oder sind in der gleichen Schule in einem anderen Klassenzimmer eingeschrieben, oder besuchte die gleiche Schule mit dem gleichen Lehrer im Vorjahr. In einigen Situationen sind Mitarbeiter (oder Schulen oder Gemeinden) bereit oder geschult, um die neue Behandlung zu versuchen, andere hingegen nicht, aber die gleichen Regeln für die Förderfähigkeit Service werden von allen genutzt. Design-Variationen. Der primäre Variante ist es, eine Vergleichsgruppe von passenden Einzelpersonen, um Personen in der Behandlungsgruppe auf einer ausgewählten Reihe von Merkmalen zu konstruieren. Das Verfahren zur Auswahl einer Vergleichsgruppe ist methodisch weniger vertretbar (8). Die Gefahren für die Validität sind zweierlei. 1) Spiele auf Ähnlichkeiten zu einem bestimmten Zeitpunkt auf der Grundlage nicht immer in Gruppen von Personen, die über die Zeit vergleichbar sind, zur Folge haben. So können die Gruppen mit der Zeit unabhängig von dem Programm immer anders geworden. 2) Unterschiede in der Variablen nicht in der passenden verwendet werden, können einen wesentlichen Effekt unabhängig vom Programm ausgewertet. Quasi-experimentelle Designs unterscheiden sich in der Anzahl und Zeitpunkt der Erhebung von Daten über Programmzielparameter. Die Auswahl der Anzahl und Zeitpunkt der Messung basiert auf einer Bewertung der potentiellen Gefahren von konkurrierenden Hypothesen, die nicht durch die Vergleichsmethode ausgeschlossen werden kann aufgeworfen basiert. In vielen Situationen sind diejenigen, die pre-Programm Ergebnismessungen und Risikofaktoren erfassen und verwenden diese in der Analyse, um den Schwerpunkt auf die innerhalb individuellen Veränderungen, die während des Programmzeitraums auftreten, die stärksten Motive. Diese Variablen werden auch verwendet, um Gruppen von Teilnehmern, die am meisten von den Dienstleistungen profitieren zu identifizieren. Eine Ausführungsvariante beinhaltet zusätzliche Messpunkte (neben einfachen vor und nach), um Trends genauer zu messen. Eine weitere Variante ist hilfreich, wenn Vorprogramm Datenerfassung (wie Verabreichen einer Test auf Wissen oder Einstellungen) könnte lehren Jugend über die Fragen, die nach dem Programm aufgefordert, Veränderungen zu messen, zu verzerren und damit die Messung der Programmauswirkungen werden. Diese Variante beinhaltet die Begrenzung der Datenerhebung bis zum Ende des Programmzeitraums für einige Gruppen, so dass ihre Post-Programm Antworten auf die Post-Programm Antworten derjenigen, die auch in der Pre-Programmtest teil verglichen werden. Überlegungen / Einschränkungen. Die Verwendung von nicht-äquivalenten Kontrollgruppe Designs erfordert eine sorgfältige Aufmerksamkeit auf Verfahren, die ausschließen, konkurrierende Hypothesen darüber, was verursacht jeder beobachteten Unterschiede auf die Ergebnisse von Interesse. In Auswertungen von Programmen für gefährdete Kinder und Jugendliche, drei Gefahren für die Validität der Masse abzuheben. (9) Die erste ist die Bedrohung der Reifung - die Möglichkeit, dass altersbedingte Prozesse dazu beitragen wird, unabhängig von der Programmintervention Ergebnisse. Unter den Jugendlichen, bestimmte Ergebnisse, positive und negative, sind stark auf das Alter gebunden - Ergebnisse wie Drogenkonsum, Kriminalität und frühe Elternschaft. Es ist daher notwendig, um sicherzustellen, dass die Vergleichsgruppe besteht aus Jugendlichen an der gleichen Entwicklungsstufe vorgenommen. Beispiel. Beispiel. Sie Obwohl sie Beispiel. Semi Praktiken. und Beispiel. Beispiel. (21) Schlussfolgerungen San Francisco: Jossey-Bass. Das Risiko
No comments:
Post a Comment