U bent hier

‘Impact. Begin er gewoon mee’

Open Inspiria getuigt dat impactevaluatie klein kan starten

Impact. Wat is dat nu? En wat doe je ermee? Het is een term die we allemaal kennen. Maar het precies duiden en ermee werken, dat is al moeilijker. Het Kenniscentrum WWZ nodigde twee impactkenners uit voor haar Open Inspiria denk- en discussiemoment. Een veertigtal geïnteresseerden verzamelde een voormiddag op de zolder van de Markten om een antwoord te vinden op hun vragen zoals: “Hoe ga je aan de slag met die informatie? Hoe meet je impact? Waar ligt het verschil tussen resultaat en impact? Hoe toon je aan dat dit het effect is van een proces?” Wat blijkt? Het is niet zo moeilijk of complex als het lijkt. Begin klein en werk verder.

Tomas de Groote van de Sociale Innovatiefabriek is een beslagen impactkenner. Hij bracht een stevige inleiding in het begrippenkader: ‘wat is ‘impact’ en wat verstaan we onder ‘impactgericht werken’. Zijn organisatie verzamelt nieuwe ideeën rond diensten, producten en processen om problemen aan te pakken. “Sinds het prille begin merkten we dat het toonbaar maken van maatschappelijke impact een hele uitdaging vormt”, vertelde De Groote. “Je vindt echter weinig antwoorden hoe je dit doet.”

Toch kwamen ze tot een omschrijving van impact: “je spreekt van maatschappelijk impact wanneer iets dat je ontwikkelt, verder verspreid wordt en op andere manieren vorm kan krijgen, De verandering speelt zich niet louter af op individueel niveau, maar structureel of institutioneel en kan bijvoorbeeld leiden tot een vertaling in regelgeving.”

 

‘Het is meer dan kijken wat het probleem en een mogelijke oplossing is, maar ook zien wat de impact is om van daaruit andere te overtuigen van de gewenste verandering of oplossing’

Deze veranderingstheorie werd toegelicht met voorbeelden.  De actie “An apple a day” wil kinderen meer fruit laten eten door gratis appels uit te delen. Het verwachte resultaat is dat kinderen meer appels gaan eten, de uitkomst dat de kinderen gezonder zullen zijn. De ‘probleem - oplossing - effect’ logica vertrekt vanuit een aantal vooronderstellingen : kinderen hebben geen toegang tot appels; ze  vinden appels lekker; appels zijn gezond. Vandaar uit wordt de impact op korte en (middel)lange termijn benoemd: meer appels en dus gezonder eten, een betere gezondheid en dus minder doktersbezoeken.

Het project “Armen tekort” is een ander voorbeeld. Het idee is om te komen tot ‘gearrangeerde’ vriendschappen tussen mensen in armoede en kansrijke buddy’s om zo het armoedeprobleem aan te pakken.

Om dit uit te werken sta je best even stil bij een contextanalyse: Wat is het probleem? Welke factoren spelen hierbij een rol? Wat zou er gebeuren als we niet doen?  Bij het bestuderen van de effecten maak je een onderscheid tussen de outputresultaten, die een rechtstreeks gevolg zijn van de acties en de effect-resultaten, de outcome-effecten die zijn gelinkt aan wat je wil bereiken op korte, middellange en lange termijn. Wat zijn de onderliggende assumpties? Wat verandert er? Wat verbetert er? Voor wie?

“Hiervoor werken we in stapjes”, vertelde De Groote. “Formuleer de gewenste effecten. Splits ze op van lange termijn naar kleine stappen. Hierbij ga je van praktijk over effecten naar impact. Blijft echter niet te veel stilstaan bij de vraag of het wel het effect is van een eigen actie. Definieer daarentegen korte termijn successen, streef die na en maak ze zichtbaar. Je kan als project ook niet alles onder controle hebben, er zijn hoe dan ook invloeden van buiten af. Hoe langer de termijn, hoe groter de kans dat deze impact hebben op het traject.”

Definieer korte termijn successen, streef die na en maak ze zichtbaar

Daarom had De Groote de volgende raad: “Begin er aan! Werk veranderingsgericht, ontwikkel activiteiten met effecten op korte termijn. Begin klein en wacht niet om de kleine stappen al zichtbaar te maken. Benoem wat over een half jaar een succes zou zijn en maak dit zichtbaar, wacht niet op het ‘grote plaatje’ want dit komt er niet.”

Wat doe je dan met een impactanalyse? Ten eerste kan je er uit leren. Daarnaast kan je er over communiceren. Het dient eveneens als een kompas, niet enkel als bijsturing voor je project, maar eveneens voor de missie en doelen. Tenslotte levert het je een verantwoording voor wat je doet. Je kan tonen dat je doelstellingen bereikt zijn.

De Groote merkte dat er binnen de overheid naar de organisaties toe een verschuiving merkbaar is die gaat van output gerichte, kwantitatieve indicatoren naar een meer impactgerichte verantwoording. “Daar moeten we als sector op anticiperen.”

Er zijn echter een aantal risico’s en valkuilen bij het impactgericht werken. “Maak je impactambities niet te groot en niet te ver. Werk naar korte termijn successen en concrete effecten. Heb oog voor wat werkt én wat niet werkt. Ook de ‘one size-fits all’ formule opdringen, werkt niet. En ga niet onnodig op zoek naar meetcriteria, gebruik wat je hebt.”

Een leertraject met casestudies

Vervolgens inspireerde Riet Steel van SAM steunpunt Mens en Samenleving vzw de toehoorders. Ze werkte reeds met impactevaluatie tijdens een traject met Samenlevingsopbouw, eerst in innovatieve woonprojecten in Brussel, Antwerpen en Gent en nu ook in andere projecten verspreid over Vlaanderen. Steel deelt vanuit haar ervaring met de leerprocessen, de successen en moeilijkheden bij het evalueren van impact op micro- als op macroniveau.

Tijdens het traject kwamen een aantal interessante leerpunten naar boven. “Ze werd de opbouwwerker of de terreinwerker eigenlijk een actie-onderzoeker over zijn eigen praktijk”, zei Steel. Een ander aandachtspunt is dat maatschappelijke verandering voorop moet blijven. “Dit doel moet je scherp houden!” Daarom moet je geregeld teruggrijpen naar de referentiekaders van je missie en waarden. Het is eveneens van belang dat je een context creëert die het leren bevordert en dat je inziet dat je niet alles zelf kunt. “Door bezig te zijn met impactevaluatie wordt automatisch ook geraakt aan andere aspecten van de werking”, verduidelijkte Steel. Het zorgt ook voor een olievlek effect. Je betrekt gaandeweg meer mensen en functies.

Impactevaluatie zorgt ook voor een olievlek effect. Je betrekt gaandeweg meer mensen en functies

Maar er zijn ook heel wat uitdagingen aan een impactevaluatie. Het heeft een vertragend effect op het proces. Je zit met een complexe realiteit en je ondervindt de invloed van een veranderende context. Tevens zit er een spanningsveld tussen de lange termijn en de meetbare effecten. “De kern van de vraag blijft: wat willen we veranderen?”

Nulmetingen en evaluaties

Met deze uiteenzettingen werd er heel wat duidelijk, toch waren er nog vragen. Hoe meet je nu empowerment, was de eerste. “Dat kan via een nulmeting”, zei Steel. “Je doet een bevraging bij het begin van het traject en dan in de loop van het gesprek. Dat kan je combineren met gesprekken.” De Groote geloofde in de kracht van verhalen. “Stel je de vraag: ‘Heeft dit project iets bijgedragen in jouw leven? Als het iets teweeg heeft gebracht, wat is dit dan?’”

Hoe heb je een structurele impact op het beleid? “Je kan eerder impact evalueren dan meten,” zei De Groote. “Je hebt lange termijn effecten op verschillende niveaus: op dat van de eigen organisaties, maar er zijn ook lagen daarrond, bijvoorbeeld erkenning door het beleid, aanpassing van de ruimte, aandacht in de pers,… Dat allemaal beïnvloedt het beleid en het publieke draagvlak zonder dat dit ‘meetbaar’ is. Een voorbeeld zijn de Zorgnetwerken van Samenlevingsopbouw West-Vlaanderen: kwetsbare, vereenzaamde ouderen laten vertellen over welke betekenis het project voor hen had: kleine verhalen die de effecten van hun acties duidelijk maken, goed wetende wat ze wilden bereiken.”

Er kwam ook de vraag of dit niet een te naïeve kijk is op de inspanningen die we doen: De overheid vraagt soms hoeveel de gewenste impact kost. Enkel de kwalitatieve effecten zullen dan niet volstaan. “Momenteel is niet voldoende data voorhanden bij het beleid en de overheid om de impact te meten. Het is in het voordeel van de sector om hierop te anticiperen”, vond De Groote. “Cijfers en kwantificering kunnen interessant zijn om hard te maken of we goed bezig zijn, maar het is minstens even belangrijk om aan te tonen waar je uniek in bent, waar de kwaliteit van de oplossing ligt.”

Discussie en goede praktijken

Tenslotte was het aan de deelnemers om zelf aan de slag te gaan. Ze verdeelden zich over drie tafels uiteindelijk drie goede praktijken moesten aanbrengen.

Omtrent de theorievorming was de gedragenheid er bij de deelnemers. Het was een herkenbaar verhaal, maar de vertaling van deze theorieën is niet evident. Partnerschappen of werken in fases kan hierbij helpen. De voorwaarden om te slagen zijn tijd, energie en middelen en dat is geen evidentie binnen de context waarin de overheid resultaten vraagt. Je moet natuurlijk wel bereid zijn tot verandering en inbedding in de organisatie.

De praktijk bracht de tweede tafel tot de volgende besluiten: je moet weten voor wie je het doet en welk belang en welke visie eraan vasthangt. Het is noodzakelijk goed te focussen maar je mag het bredere kader niet uit het oog verliezen. Ook het proces op zich is belangrijk en iedereen moet betrokken zijn.

Wat uiteindelijk leidde tot enkele interessante praktijkervaringen over impact uit tafel drie:  werken met impact is  meestal niet expliciet aan de orde, maar je moet de impact van eigen acties leren zien en benoemen:  individuele hulpverlening kan een impact hebben die breder gaat dan individuele relatie, bijvoorbeeld op beeldvorming. Kleinschalige acties in buurt kunnen uitdeinen naar een bredere beweging door verbinding te maken en bondgenoten te zoeken;  Soms behoort het zoeken naar impact tot de kern van een werking, zoals  de  Verenigingen waar armen het woord nemen waar een stem geven aan mensen in armoede en  verhalen brengen een strategie op zich is, zowel op individueel niveau als in de maatschappij.

Contact 

Els Nolf

els.nolf@kenniscentrumwwz.be
+32 (0)2 413 01 54
Lees ook 

Reflectie rond de beleidsevoluties en de tendensen.

Welzijn
voeten

Doe mee op 15 februari 2019 in Odisee, Campus Schaarbeek, Huart hamoirlaan 136, 1030 Brussel.

Welzijn
Zorg