PSO leden leren over ‘Most Significant Change’ of de ‘story’ approach

Leer-events

In het kader van de bijeenkomsten die PSO in 2009 faciliteert rondom kwalitatieve methoden voor PM&E, vonden op 29 september en 1 oktober twee sessies plaats over de ‘Most Significant Change’ (MSC) techniek. Deze MSC-techniek werd een aantal jaar geleden ontwikkeld door Rick Davies om sociale veranderingen te kunnen volgen.

Het belangrijkste kenmerk van de techniek is het verzamelen van verhalen over betekenisvolle veranderingen die mensen hebben ervaren (de ‘most significant change stories’) en het systematisch selecteren van het meest betekenisvolle verhaal met betrokkenheid van de verschillende actoren.

De bijeenkomsten hadden tot doel organisaties kennis te laten maken met de techniek en ze te laten overwegen of toepassing interessant voor hen zou kunnen zijn. Op de eerste dag waren er vier zuidelijke partners van WASTE aanwezig. Een aantal van hen gebruikt MSC al, anderen wilden graag meer weten over de methode. Door de gezamenlijke deelname aan de bijeenkomst verwacht WASTE beter in staat te zijn om een beslissing te nemen over hoe samen verder te gaan met MSC.

Ook War Child had al eerder met MSC geëxperimenteerd. Endry van den Berg nam deel aan het PSO event om haar kennis op te frissen en te actualiseren en opgedane ervaringen te delen. Andere deelnemers gaven aan gekomen te zijn om te bekijken of deze methode iets voor hun organisaties en hun werk kan betekenen. Een Zuidelijke deelnemer gaf met veel humor aan gekomen te zijn ‘because this training was planned in our Logframe’.

De ‘Pit stop’

De ‘pit stop’ bijeenkomst van 13 oktober in Madurodam was een vervolg op de bijeenkomsten van 29 september en 1 oktober. ‘De pit stop-formule biedt deelnemers de mogelijkheid zich meer in detail in een methode te verdiepen’, aldus Cristien Temmink, Facilitator of Learning bij PSO. ‘De leerdagen zijn dus geen doel op zich; hier begint het pas. Onze uiteindelijke focus ligt op de toepassing van methoden en het gezamenlijk leren hiervan in de dagelijkse praktijk.’

Dit kenmerkt de aanpak van PSO volgens Cristien. ‘Uiteindelijk willen we, samen met leden en hun zuidelijke partners, de ervaringen uit de praktijk naast elkaar kunnen leggen, geleerde lessen trekken en deze delen met de hele ontwikkelingssector, nationaal en internationaal.’

Vraagstukken rondom MSC

De pit stop draaide om een aantal belangrijke vraagstukken rondom het gebruik van MSC die door deelnemers geïdentificeerd waren in de eerdere MSC sessies. Deze waren:

• Het belang van het duidelijk formuleren waarom men voor MSC kiest (het doel dat men voor ogen heeft) voor er daadwerkelijk mee aan de slag te gaan. Wil de organisatie MSC toepassen voor accountability doeleinden of om leren te stimuleren, of beiden? Dit bepaalt in sterke mate hoe de methode toegepast kan worden.

• Men moet goed bekijken hoe MSC ingepast kan worden binnen het bestaande PM&E systeem. Hierbij is de link met planning en de combinatie met eventuele andere methoden belangrijk.

• Een goede facilitatie en een bewuste keuze voor interne of externe facilitatie van de methode is cruciaal voor het proces.

• Investering van tijd, mensen en financiële middelen in relatie tot de potentiële opbrengst.

• Het belang van het selectieproces: wie vertelt de verhalen (wiens verhalen ‘horen’ we)? Hoe selecteren we de verhalen? Wie selecteren de verhalen? Machtsverhoudingen op alle niveaus kunnen een rol spelen en het proces beïnvloeden.

• Hoe leggen we de verhalen (schriftelijk, video, of geluidsopname) en het proces van selectie en keuzes die hierbij gemaakt zijn vast? En door wie wordt dit gedaan; welke capaciteit is hier voor nodig?

• Feedback loop: wanneer en hoe lang na het afnemen van de verhalen wordt de feedback gegeven? Ook moet men de vraag stellen ‘wie geeft er feedback en waarop’?

• Hoeveel domeinen van verandering worden bekeken? Worden deze vooraf vastgesteld of achteraf in aan de hand van de inhoud van de verhalen?

Sri Lanka en Afghanistan

De pit stop bijeenkomst startte met presentaties van Wim Hiemstra van de ETC Foundation en Endry van den Berg van War Child Nederland. Wim presenteerde de casus ‘ETC COMPAS: Collecting quality of life change stories’. Deze casus gaat over de ervaringen van ETC met de MSC-techniek in het COMPAS (Comparing and Supporting Endogenous Development) programma in Sri Lanka. Het project richt zich op biologische landbouw, hierbij voortbouwend op lokale middelen, wereldvisies en instituties.

ETC werkt hierin samen met drie lokale NGO’s onder leiding van een netwerk coördinator. Deze netwerk coördinator is ook nauw betrokken geweest bij het voorbereiden van de presentatie voor de Pit stop. De reden voor ETC om de MSC techniek te gaan gebruiken was dat de indicators die binnen de LFA geformuleerd waren om sociale verandering en ‘spirituele empowerment’ te volgen onvoldoende inzichten gaven. Met MSC bleek het mogelijk om veranderingen in het welzijn van de boeren vanuit het perspectief van de verschillende wereldbeschouwingen (Boeddhistische, Hindoestaanse en Christelijke) die er zijn binnen de gemeenschappen weer te geven.

Uiteindelijk verzamelden de organisaties 154 verhalen. Er waren ook onverwachte resultaten als gevolg van het werken met MSC: ‘De verhalen bleken bij jonge boeren motiverend te werken om zich te gaan richten op biologische landbouw’, vertelt Wim. ‘Hun visie op de wereld en op landbouw kwamen door middel van de verhalen goed naar voren’.

Wim gaf ook aan dat de toepassing van de MSC techniek niet in één keer vlekkeloos verliep. ‘Het documenteren van verhalen door leden van de gemeenschap was een leerproces op zichzelf’. Maar de tijdsinvestering die hiervoor nodig was werd door de betrokkenen niet als een probleem ervaren. Zowel de coördinators van het programma, de verhalen vertellers en de veldmedewerkers van partnerorganisaties ervoeren het proces en het toepassen van MSC als ‘empowering’. ‘We zien dat het werken met MSC duidelijk wat opbrengt’, aldus Wim.

Uitdagingen die ETC nu nog ziet hebben te maken met hoe de MSC verhalen het beste gepresenteerd kunnen worden aan donoren. ‘Samenvatten of in cijfers vertalen neemt de spirit uit de verhalen; de kracht zit hem juist in de verhalen zelf’.

Endry van den Berg gaf inzicht in de ervaringen van War Child Nederland met MSC in Afghanistan (link naar PowerPoint). War Child heeft de MSC techniek gebruikt in de mid-term review van een project gerelateerd aan het welzijn van kinderen in Afghanistan.

Het doel was om verwachte en onverwachte resultaten inzichtelijk te maken. De MSC techniek werd gecombineerd met andere evaluatiemethoden zoals interviews, observatie en creatieve sessies. De belangrijkste doelgroep van project waren kinderen. Er werd hen gevraagd een tekening te maken en aan de hand daarvan een verhaal te vertellen. De evaluatie nam drie weken in beslag; dit bleek het lastig te maken om de MSC techniek goed toe te kunnen passen. Er was bijvoorbeeld beperkte tijd om medewerkers te trainen en te coachen in facilitatie en interview vaardigheden.

Maar het gebruik van de MSC techniek in de review in Afganistan heeft zeker wat opgebracht. Het gaf een algemeen beeld van welke veranderingen er teweeg gebracht zijn met het project. Ook bood de MSC techniek de mogelijkheid om inzicht te krijgen in onverwachte of zelfs negatieve veranderingen. Deze zijn heel belangrijk om in een review mee te nemen. De verhalen boden verder vele interessante quotes voor het rapport.

Uitwisseling

Na de presentaties werden de twaalf deelnemers, die medewerkers zijn van PSO, Niza, WASTE, War Child Nederland, Oxfam Novib, ICCO en Kerk in Actie, Mensen met een Missie, IRC, Cordaid en ETC Foundation, in twee groepen verdeeld. In kleine groepjes werd verder gepraat over de voorbeelden die naar voren kwamen in de presentaties. Ook werd de deelnemers gevraagd de casussen te bekijken vanuit de vraagstukken rondom MSC die eerder geformuleerd waren. Een aantal vragen en opmerkingen die opkwamen uit de groepsgesprekken waren de volgende:

- Margreet Houdijk (Cordaid) wil graag meer inzicht in hoe de MSC techniek werkt als deze toegepast wordt op een heterogene groep. Zij refereert naar een programma waar lokale, regionale en nationale vrouwengroepen samenkomen. De vrouwen hebben verschillende opleidingsniveaus, etnische achtergrond, politieke ideeën en belangen. De groep komt tot de conclusie dat verhalen kunnen helpen om de vrouwen hun ideeën en belangen aan elkaar te laten uitleggen. Op deze manier kweken ze begrip voor elkaars standpunten. Een belangrijke vraag blijft wie de verhalen vertelt en hoe deze geselecteerd worden. Het bewust omgaan met machtverhoudingen is hierbij een uidaging.

- Er wordt geconstateerd dat bij het gebruik van MSC het stimuleren van leren binnen partner organisaties en tussen partner organisaties prioriteit zou moeten hebben. Het proces zou hier op ingericht moeten worden.

- Het belang van de vraag over hoe MSC past in wat we al doen in relatie to PM&E, komt opnieuw naar voren. Bij de keuze om wel of niet MSC te gaan gebruiken voor M&E is het goed om dit te doen in relatie tot andere methodes die al gehanteerd worden. Welke informatie wordt verzameld met behulp van die andere M&E methodes? Aan welke bestaande informatiebehoefte voldoet MSC? MSC is bij uitstek een methode die gecombineerd moet worden met andere M&E methodes.

- Hoe voorkom je dat MSC verhalen gelijkgesteld worden aan ‘succes verhalen’? De groep is het erover eens dat negatieve ervaringen belangrijk zijn voor het leren. Hoe zorg je dat negatieve verhalen ook naar boven komen en dat je er iets mee kan doen? Je wilt ze niet als apart domein inbrengen, omdat dan het risico bestaat dat het een dossier van ‘lost cases’ wordt die verder geen inhoudelijke binding hebben. De conclusie is dat de kwaliteit van de facilitator cruciaal is. Door het interview op de juiste wijze te faciliteren kunnen ook negatieve ervaringen als een betekenisvol verhaal naar boven komen.

- Als we alleen kijken naar de MSC verhalen die uit een proces komen, dan is het lastig te bepalen wat de waarde van het verhaal is. De waarde van het verhaal is direct verbonden met de kwaliteit van het proces.

Hoe verder

De Pit stop werd afgesloten met de afspraak dat we zullen blijven uitwisselen over onze ervaringen met het gebruik van de MSC-techniek. Dit is een onderdeel van het leerproces over de waarde van het gebruik van kwalitatieve methoden dat door PSO wordt gefaciliteerd. Wim Hiemstra oppert het idee om een aantal organisaties te betrekken bij het proces om MSC binnen het COMPAS programma verder vorm te geven. In het eerste kwartaal van 2010 zal er hierover een dialoog plaatsvinden met COMPAS partners.