Monitoring en evaluatie.

Hoe weten wij of onze programma’s een verschil maken? Of zij écht een einde maken aan honger en armoede? Door monitoring, evaluatie en leren (MEL) brengen we de impact van ons werk goed in kaart en weten zo hoe succesvol we zijn. Of we leren ervan wat er nodig is om meer verandering voor elkaar te krijgen. MEL binnen The Hunger Project is – net zoals al ons werk – participatief. 

Participatieve aanpak.

MEL binnen The Hunger Project is – net zoals al ons werk – participatief. Deze aanpak past binnen het principe van community-led development, waarbij verandering van onderop wordt georganiseerd. We vinden het belangrijk dat dorpsgemeenschappen zelf de doelen vaststellen die zij wil bereiken, bijvoorbeeld dat het aantal mensen dat toegang heeft tot schoon drinkwater binnen 5 jaar stijgt van 50% naar 80%. En we vinden het belangrijk dat zij zelf de impact kunnen meten van hun eigen inzet.

Wij trainen lokale vrijwilligers in de dorpen, zodat zij hun eigen data kunnen verzamelen en analyseren. Zo stellen thematische comités ieder kwartaal vast hoeveel mensen zij willen bereiken via dorpsbijeenkomsten. Deze comités zijn verantwoordelijk voor het bijhouden van hun bereikcijfers.

 De ex-post evaluatie (2019, lees hieronder meer) in Ghana en Malawi noemde het vieren van behaalde doelen een van de unieke, effectieve kenmerken van The Hunger Project.

Lokale vrijwilligers verzamelen en analyseren zelf de gegevens.

Zelfredzaamheid: minder maar slimmer meten.

Tot 2 jaar geleden maten we de voortgang van de Afrikaanse epicentra op 150 indicatoren. Uit een externe evaluatie in 2018 bleek dat de dataset omvangrijk was, maar tegelijkertijd niet per se inzichtelijk of nuttig. Het aantal indicatoren is inmiddels teruggebracht naar ongeveer 50 die we op 3 momenten meten: bij aanvang van een programma, halverwege en aan het einde. Een gemeenschap bepaalt uiteindelijk zélf of zij zelfredzaam is, op basis van 17 basiscriteria verdeeld over 9 doelen:

  • De gemeenschap stelt doelen en werkt actief aan het behalen van die doelen
  • Empowerment van vrouwen en meisjes
  • Verbeterde toegang tot veilig drinkwater en sanitaire voorzieningen
  • Meer mensen kunnen lezen en schrijven, en meer kinderen gaan naar school
  • Er is minder honger en ondervoeding, vooral bij vrouwen en kinderen
  • Verbeterde toegang tot en gebruik van gezondheidsvoorzieningen
  • Minder huishoudens leven in armoede
  • Boeren produceren meer door gebruik van verbeterde landbouwtechnieken
  • Gemeenschappen zijn weerbaarder tegen klimaatverandering

► Meer over het aanpassen van ons M&E systeem in het bestuursverslag 2019 (p42)

Leren van data: ex-post evaluatie.

In 2019 jaar lieten we een onafhankelijk extern onderzoek uitvoeren in 2 zelfredzame epicentra, ruim 3 jaar nadat zij zichzelf zelfredzaam hadden verklaard. We onderzochten wat daar 3 jaar later nog van overeind stond. Omdat we willen weten hoe effectief en duurzaam onze aanpak op de lange termijn is, en willen leren hoe we ons werk nog beter kunnen doen. Deze ex-post evaluatie werd uitgevoerd door onderzoeksbureau MDF, met steun van Stichting Dioraphte en de Zweedse Postcode Loterij. De evaluatie vond plaats in twee epicentra, Nkawanda in Ghana en Ligowe in Malawi, die allebei in 2016 zelfredzaam werden.

De evaluatie liet ons zien waarin we floreren, maar ook waarover we struikelen. Het gemeenschapsgevoel en de yes we can mentaliteit waren er nog steeds – gemeenschapsmobilisatie werkt, óók op de lange termijn. Honger, armoede en het aantal kindhuwelijken lieten een neerwaartse trend zien. Onderwijsparticipatie en bedrijvigheid zaten juist in de lift. Maar het ging niet met alle onderdelen zo goed. Er zijn nog volop uitdagingen op het gebied van water en sanitatie. En ook op het gebied van genderlijkgelijkheid en jongerenparticipatie valt nog een verbeterslag te maken. 

Wat hebben wij concreet gedaan met deze geleerde lessen? Een van de aanbevelingen was dat we meer moesten samenwerken met organisaties met thematische expertise, zoals water en sanitatie of klimaatbestendige landbouw. Meer in partnerschappen werken staat nu dan ook centraal in onze nieuwe strategie in Afrikaanse programmalanden. Ook werken we daar (ook in Nederland) actief aan  bij het ontwikkelen van nieuwe financieringsvoorstellen en programma’s.

Lees meer over deze externe evaluatie, en bekijk hieronder het online rapport:

Women Empowerment Index.

Vrouwen zijn cruciaal voor het einde van honger. Hoewel voor veel organisaties de empowerment van vrouwen centraal staat, ontbrak een goede methode om resultaten te meten. Daarom heeft The Hunger Project de Women Empowerment Index ontwikkeld. Daarmee brengen we de voortgang in kaart op het gebied van zelfbeschikking, inkomen, leiderschap, toegang tot middelen en kennis en ten slotte tijdsbesteding. Met niet alleen oog voor de vooruitgang van vrouwen, maar ook voor de mannen. Want de empowerment van vrouwen gaat niet over vrouwen alleen. Daarom kijken we ook hoe de resultaten zich verhouden tot de situatie van de mannen in hetzelfde dorp. Met de Women Empowerment Index kunnen we ons werk nog beter doen en vrouwen zo goed mogelijk ondersteunen.

Meer over de Women Empowerment Index

Kindhuwelijken.

Van 2016 tot en met 2020 werkten The Hunger Project, Stichting Kinderpostzegels en ICDI samen in de alliantie Her Choice aan het terugdringen van kindhuwelijken. Onderzoekspartner Amsterdam Institute for Social Science Research (AISSR) van de Universiteit van Amsterdam (UvA) hield ondertussen goed de vinger aan de pols. Na afronding van het programma voerde AISSR/UvA een eindevaluatie uit, en Avance een externe evaluatie.

Uit de eindevaluatie van AISSR/UvA blijkt dat het aantal kindhuwelijken sterk daalde in de werkgebieden in Benin, Burkina Faso, Mali, Bangladesh, Nepal en Pakistan. Deze daling zette op sommige plaatsen zelfs in het afgelopen coronajaar verder door. En het aantal meisjes dat het gevoel heeft dat ze zeggenschap heeft over of, wanneer en met wie zij wil trouwen, nam in alle landen toe. Zo geeft in Ghana nu 91,1% van de meisjes aan dat ze het gevoel heeft dat ze controle heeft over huwelijkse beslissingen, terwijl dit bij de start van Her Choice nog maar 39,5% was. En in Bangladesh nam dit toe van 6,3% naar 42,1%. Dit is het resultaat van meer kennis en vaardigheden bij meisjes en jongens, gecombineerd met steun van gezinnen, gemeenschappen, scholen, gezondheidsdiensten en de wet.

De externe evaluatie van Avance bracht de succesfactoren van Her Choice in kaart:

  1. De geïntegreerde aanpak: actie op meerdere fronten tegelijk
  2. Betrokkenheid van de hele gemeenschap, inclusief jongens en mannen
  3. Inspelen op veranderingen in de omgeving en gaandeweg de aanpak aanpassen, bijvoorbeeld rond corona: nieuwe oorzaken vragen om nieuwe aanpak
  4. Kennis en ervaring delen tussen de partners

Samenvatting interne evaluatie AISSR/UvA
UAISSR/UvA impactevaluatie
Samenvatting externe evaluatie Avance
Externe evaluatie Avance
Impact pager Her Choice

Evaluatie Malawi - Majete programma's.

Op verzoek van Stichting Dioraphte, financier van 6 epicentra rondom het Majete wildpark in Malawi, voerden Phil Compernolle en haar Malawiaanse counterpart Alfred Dzilankhulani in 2018 een externe evaluatie uit om de effectiviteit van de Majete programma’s van The Hunger Project te onderzoeken. De evaluatie heeft ons inzicht gegeven in de sterke en zwakke onderdelen van de epicentrumstrategie zoals die wordt uitgevoerd rondom Majete. 

Majete evaluatie
Reactie op de Majete evaluatie

Evaluatie Bangladesh.

In 2016 evalueerde een gerenommeerd extern instituut, Transtec, in opdracht van United Nations Democracy Fund (UNDEF) ons programma in Bangladesh. De evaluatie laat zien dat 49% meer mensen vindt dat vrouwen actief betrokken moeten worden bij de politiek, 48% meer mensen gelooft dat zij zelf hun gemeenschap kunnen veranderen en het aantal mensen dat helemaal niks wist over zijn/haar rechten afnam met 51%. Het programma maakt lokale leiders bewust van basale mensenrechten en brengt de belangen van de lokale gemeenschap beter bij politici voor het voetlicht.

Bangladesh evaluatie UNDEF/Transtec

Evaluatie India.

Uit een externe evaluatie (2017) van ons leiderschapsprogramma in de staat Odisha in India blijkt dat de getrainde vrouwen zich zelfverzekerder voelen. Ze voelen zich gehoord door hun gemeenschap en stellen meer controversiële onderwerpen – zoals huiselijk geweld en kindhuwelijken – aan de kaak, en is er in de onderzochte dorpen meer erkenning en acceptatie van vrouwen in de politiek. Daarnaast komt de kracht van samenwerking tussen deze vrouwen duidelijk naar voren in de evaluatie. De vrouwelijke leiders worden daadwerkelijk change agents in hun gemeenschappen.

Odisha outcome assessment report

Monitoring en evaluatie binnen The Hunger Project is erop gericht om mensen de regie over hun leven te geven. Onze aanpak is langjarig. We volgen de gemeenschappen waarmee we werken gedurende meerdere jaren om te leren wat wel en wat niet goed werkt. En of onze programma’s écht een einde maken aan honger en armoede. We vinden het belangrijk dat dorpsgemeenschappen zélf de impact kunnen meten van hun eigen inzet. Deze participatieve aanpak past bij de The Hunger Project. 

Investeer in het einde van honger.