Suche

Evaluierung: Qualität & Wirkung

Evaluierungen geben Auskunft über die Qualität unserer Arbeit und helfen dabei, dass wir stets besser werden.

Mitarbeiterinnen von SEVOTA in Ruanda in ihrem Büro bei der Arbeit.

Tun wir das Richtige und tun wir es richtig? Dieser Frage stellt sich medica mondiale regelmäßig, um sich stetig zu verbessern. Unabhängige Gutachten und die Einbindung daraus gewonnener Erkenntnisse helfen uns dabei, eine wirkungsvolle und nachhaltige Unterstützung von Frauen und Mädchen in Kriegs- und Krisengebieten zu gewährleisten.

Projektevaluierung bei medica mondiale

Die kontinuierliche Überprüfung der Wirksamkeit unserer Arbeit durch externe Evaluierungen soll unseren Mitarbeiterinnen die Gewissheit geben, Unterstützungsarbeit in hoher Qualität zu leisten. Auch all jene, die medica mondiale finanziell helfen, vertrauen darauf, dass unser Einsatz für Frauen und Mädchen langfristig Wirkung zeigt. Ebenso schenken die gewaltbetroffenen Frauen uns ihr Vertrauen. Viele gute Gründe, hohe Ansprüche an die tägliche Arbeit bei medica mondiale zu stellen.

„Die beteiligten Frauen werden sowohl wirtschaftlich als auch psychologisch gestärkt. Sie sorgen für sich selbst, haben einen Laden eröffnet, um ihre Produkte zu verkaufen, erwirtschaften Einkommen und werden von ihren Familien akzeptiert.“

Aus: Evaluation Improved livelihood opportunities for female and adolescent returnees and host community in Kosovo’s Dukagjini region (2020)

Mitarbeiterinnen von SEVOTA in Ruanda in ihrem Büro bei der Arbeit.
Weitere Evaluierungen
Evaluationen über die Arbeit von medica mondiale in West- und Zentralafrika, Südosteuropa, Afghanistan oder im Irak.

Überprüfung der Wirksamkeit unserer Arbeit

Unabhängige Gutachter:innen untersuchen im Auftrag von medica mondiale, wie wirkungsvoll, bedeutsam und nachhaltig die Projekte und Programme im Ausland sind. medica mondiale orientiert sich bei externen und internen Evaluierungen an den Standards der Deutschen Gesellschaft für Evaluation (DeGEVal). Eine systematische Aus- und Bewertung deckt mögliche Schwachstellen auf und fördert Lernprozesse.

Einige typische Fragen an die Projektarbeit im Ausland lauten:

  • Erreichen wir unsere Ziele?
  • Verbessern wir die Situation der Frauen und Mädchen nachhaltig?
  • Arbeiten wir wirkungsvoll?
  • Können wir mit dem gleichen Aufwand noch mehr Wirkung erreichen?
  • Wird die Arbeit in den Projekten sorgfältig dokumentiert und regelmäßig ausgewertet, damit die Projektverantwortlichen Fehlentwicklungen schnell korrigieren können?
  • Was haben wir gut gemacht, was sollten wir in Zukunft anders machen? Inwieweit setzen wir unsere Qualitätsmerkmale um?

„Die Unterstützung, die die Frauen erhalten, ist ein Rettungsanker, und Leben werden durch die Unterstützung von Medica Afghanistan gerettet und verändert.“

Aus: Evaluation of the Project PREVENTION, PROTECTION, COMPENSATION, EMPOWERMENT: Support for women and girls affected by (S)GBV in Afghanistan (2021)

Evaluierungsbericht: Zusammenfassung der Ergebnisse

Die Ergebnisse der Evaluierung werden in einem Evaluierungsbericht zusammengefasst. Dieser Bericht soll Stärken und Schwächen herausarbeiten und Empfehlungen geben, wie sich die Projektqualität verbessern lässt. Auf dieser Grundlage diskutieren lokale Mitarbeiter:innen und Projektverantwortliche von medica mondiale gemeinsam, wie sie die Empfehlungen umsetzen.

Zusätzlich zu den Evaluierungen der Auslandsprojekte legt medica mondiale großen Wert darauf, weitere Arbeitsbereiche regelmäßig auf den Prüfstand zu stellen.

Beispiele für weitere Tätigkeitsfelder, die ausgewertet werden, sind:

  • die in Köln stattfindenden Fortbildungskurse zum Thema Kriegstraumatisierung

Diese Evaluierungsprozesse weiten wir kontinuierlich aus. Denn sie sind eine stetige Rückversicherung für uns, dass wir auf dem richtigen Weg sind – und es bleiben.

„medica mondiale versteht sich als lernende Organisation. Unser Wissen entsteht aus den Projekten und wird durch Evaluationen kontinuierlich weiterentwickelt.“

medica mondiale (Quelle: Jahresbericht 2020)

Qualitätssicherung bei medica mondiale

Während unseres jahrzehntelangen Engagements in Kriegs- und Krisengebieten hat medica mondiale verschiedene Arbeitsmethoden und Standards entwickelt, die sich in der Unterstützungsarbeit mit Überlebenden sexualisierter Kriegsgewalt bewährt haben. Dennoch wissen wir: Politische, ökonomische und soziokulturelle Dynamiken verändern immer wieder die Rahmenbedingungen unseres Einsatzes. Als Organisation reagieren wir darauf, indem wir unsere Arbeitsweise und deren Wirkung hinterfragen und weiterentwickeln.

Kontinuierliche Einbindung neuer Erkenntnisse

medica mondiale hat verschiedene Instrumente und Methoden erarbeitet, mit denen wir die Wirkung unserer Projekte regelmäßig beobachten. Zur Wirkungsüberprüfung setzen wir auch externe Expert:innen ein. So können wir auf mögliche Probleme reagieren und aus Fehlern lernen. Um den Besonderheiten des jeweiligen Kulturraums, in dem wir arbeiten, Rechnung zu tragen, nehmen wir den regionalen Kontext genau in den Blick und konzipieren unsere Bewertungssysteme in enger Abstimmung mit unseren Mitarbeiter:innen und Partner:innen vor Ort.

„Eine wichtige Rolle in unserem Wirkungsverständnis spielen die Definitionen der Wirkungen aus Perspektive unserer Zielgruppen. Auch dies ist Teil unseres feministischen Selbstverständnisses.“

medica mondiale (Quelle: Jahresbericht 2020)

Aus der Praxis: Wirkungsbeobachtung am Beispiel Liberia

Seit Beginn unseres Einsatzes im Südosten Liberias 2006 hat medica mondiale ein breites Unterstützungs-Netzwerk aufgebaut. Ihm gehören neben Fachberaterinnen in den Provinzhauptstädten auch Unterstützerinnengruppen auf Gemeindeebene in Form von freiwilligen Beraterinnen in den Dörfern an. Sie alle sind Ansprechpartnerinnen für von Gewalt betroffene Frauen und wurden im stress- und traumasensiblen Ansatz geschult.

Wissen und Selbstfürsorge – mit System zu qualitativer Beratungsarbeit

Um ihre Beratungsarbeit fachlich zu begleiten und kontinuierlich zu verbessern, hat medica mondiale Liberia ein zweigliedriges System der Wirkungsbeobachtung entwickelt. Es umfasst die Beurteilungsbereiche Wissen und Selbstfürsorge. Mit ihm können Mitarbeiter:innen und Unterstützer:innen ihre Beratungskompetenzen überprüfen und sicherstellen, dass sie bewährte Vorgehensweisen und Standards berücksichtigen. Gleichzeitig werden sie dazu angeleitet, ihre eigene Arbeit zu reflektieren und auf ihr Wohlergehen zu achten.

Stress- und traumasensibler Ansatz: Schutz und Sicherheit

Denn: Die gesundheitliche Stabilität der Mitarbeiterinnen ist entscheidend für den Beratungserfolg, insbesondere für das wichtige Gefühl von Schutz und Sicherheit. Es macht den Kern unseres stress- und traumasensiblen Ansatzes aus.

Beachtung unterschiedlicher Lebens- und Arbeitsbedingungen

Um die Instrumente und Methoden für alle Unterstützer:innen anwendbar zu machen, sind sie auf unterschiedlichste Lebens- und Arbeitsbedingungen zugeschnitten. So beinhalten beispielsweise Fragebögen Bilder und Symbole anstatt Text und sprechen auch die Frauen an, die nicht lesen und schreiben können.

Qualitätssicherung unserer Beratungsarbeit: Schritt für Schritt

Für beide Bereiche – Wissen und Selbstfürsorge – umfasst die Wirkungsbeobachtung vier Schritte, die aufeinander aufbauen:

Bereich Wissen, Einstellungen und Fähigkeiten

Zunächst überprüfen die Mitarbeiterinnen mit Hilfe kleiner Tests, ob sie die grundlegende Vorgehensweise bei einer stress- und traumasensiblen Beratung kennen und anwenden können.

Auf die Selbstreflexion aufbauend finden monatlich Gruppentreffen statt, bei denen sich die Beraterinnen im Austausch gegenseitig beurteilen. Häufig werden Fallbeispiele besprochen und gemeinsam Lösungen erarbeitet.

Als dritter Schritt führen Teamleiterinnen oder externe Fachfrauen in größeren Abständen Gruppenberatungen durch. Dort erhalten Beraterinnen Feedback und Anleitung zur Verbesserung ihrer Beratungsarbeit und erproben diese in Rollenspielen. Wichtig ist, dass Unterstützerinnen diese Gespräche nicht als Kontrolle empfinden, sondern als Anregung, wie sie ihre wertvolle Arbeit weiterentwickeln können.

Schließlich wird die Qualität der Beratung und deren Wirkung von einer externen Evaluatorin überprüft.

Bereich Achtsame Organisations- und Selbstfürsorge

Durch den Beobachtungsbereich der Selbstfürsorge erhalten unsere Mitarbeiterinnen Methoden und Möglichkeiten an die Hand, mit denen sie Ruhe und Abstand zu ihrer Arbeitserfahrung gewinnen können.
Dazu gehören in einem ersten Schritt körperliche Entspannungsübungen.

In regelmäßigen Gruppengesprächen teilen Beraterinnen ihre Erfahrungen mit Kolleginnen und Fachfrauen, lernen mit Stress umzugehen und erhalten Anleitung zur gegenseitigen Unterstützung.

Als dritter Schritt erfolgen Team- und individuelle Coachings, zur professionellen Nachbesprechung der Erfahrungen.

Schließlich erfolgt auch im Bereich achtsame Organisations- und Selbstfürsorge eine externe Evaluation.

Auswertung von Haltungsänderungen und gesellschaftlichem Wandel

Mit dem Ziel, die Qualität unserer eigenen Beratungsarbeit zu überprüfen, hat sich diese zweigliedrige Form der Wirkungsbeobachtung bewährt. Schwieriger ist es Faktoren wie „Haltungsänderungen“ oder „Gesellschaftlicher Wandel“ zu erheben. Hat sich durch unsere Arbeit das Selbstbewusstsein der Frauen in der Projektregion verändert, kennen sie ihre Rechte und treten sie für sie ein? Haben sich die Einstellungen gegenüber Frauen im Allgemeinen oder spezifischen Geschlechterrollen verändert?

„Die Einrichtung von 12 Frauenunterstützungsgruppen, die sich aus von Gemeindemitgliedern benannten Frauen zusammensetzen, fördert die Beteiligung der Gemeinschaft am Umgang mit sexualisierter Gewalt und spielt eine aktive Rolle bei der Prävention und Reaktion auf ebendiese.“

Aus: Evaluation: Strengthening and extending local solidarity and protection networks to reduce violence against women and girls in Liberia (2019)

Praxisbeispiel: Ergebnisse der Projektarbeit in Liberia

Für die Projektregion in Liberia können wir manche dieser Fragen beantworten. Eine Evaluation von 2019 zeigte, dass Frauen und Mädchen dank Solidargruppen auf Gemeindeebende nun ihre Rechte kennen und wahrnehmen und besser vor sexualisierter Gewalt geschützt sind. Auch Männer konnten für das Thema sexualisierte Gewalt sensibilisert werden. Als Male Change Agents werben sie in ihren Gemeinden für ein gewaltfreies Zusammenleben.

Einbeziehung staatlicher Stellen in die Auswertung

Um sexualisierte Gewalt langfristig zu bekämpfen, beziehen wir immer auch staatliche Stellen – etwa Gesundheitsfachkräfte, Polizei und Justiz – mit ein. Regelmäßig überprüfen wir, ob Gewaltfälle entsprechend der vorliegenden Standards dokumentiert werden und Fachkräfte die in unseren Trainings vermittelten Kenntnisse anwenden. So zeigte eine Evaluation von 2018, dass die Zahl der Frauen, die sich durch die Unterstützung von Gesundheitsfachkräften gestärkt fühlten, im Laufe des Projekts in Afghanistan von 67 auf 92 Prozent stieg.