Utilsiktede effekter fanges ikke opp
En ny evalueringsstudie viser at det skrives for lite om utilsiktede effekter i evalueringer.
Mer om studien: Utilsiktede effekter av norsk bistand
Alle bistandsprosjekter har mål om hvilke resultater de skal oppnå. Eksemplene over viser utilsiktede effekter av bistand. Dette er resultater som et prosjekt i utgangspunktet ikke var planlagt å skulle bidra til. Det kan være positive effekter som man ikke hadde forutsett eller negative effekter som man ikke ønsker å bidra til.
- Erfaring og forskning forteller oss at bistand har en del utilsiktede effekter i tillegg til de planlagte resultatene, forteller fagdirektør Øyvind Eggen i Norads evalueringsavdeling, og forklarer nærmere:
- Noen er relativt enkle å forutsi, som miljøkonsekvenser av et industriprosjekt, mens andre kan komme mer som en overraskelse, for eksempel at bistand forstyrrer politiske prosesser. I tillegg til effekter av enkelttiltak, har vi også lenge visst at mye bistand i seg selv kan ha negative effekter på et lands økonomi, statsadministrasjon, politisk og sosial utvikling.
Et eksempel er arbeidsbelastningen på statsadministrasjoner som skal forholde seg til et stort antall givere. Det er beregnet at giverne gjennomførte i 2007 14.000 offisielle besøk til 50 fattige land i løpet av et år, noe som krever masse tid og ressurser for de nasjonale myndighetene. For eksempel administrerer myndighetene i Uganda hele 600 forskjellige bistandsordninger.
Passer ikke inn i «malen»
Nettopp fordi de ikke er planlagt, passer disse effektene ikke inn i bistandens resultatrapportering, som styres etter forhåndsbestemte indikatorer basert på de positive resultatene man hadde planlagt for ved prosjektstart. Forhold som ikke passer inn i disse indikatorene blir vanligvis ikke systematisk rapportert.
- Det er viktig å fange opp informasjon om utilsiktede effekter så snart som mulig. Da kan man redusere negative effekter, avslutte bistandstiltak dersom de negative effektene blir for store, eller forsterke de positive effektene. Derfor er det en utfordring at resultatarbeidet i bistand ikke er laget for å fange opp dette, understeker Eggen.
Som et ledd i arbeidet med å skape mer kunnskap og større bevissthet rundt utilsiktede effekter, har evalueringsavdelingen i Norad gitt forskerne Henrik Wiig og Jørn Holm-Hansen ved Norsk institutt for by- og regionforskning (NIBR) oppdraget med å se på i hvilken grad Norads evalueringer inkluderer utilsiktede effekter.
De to har gjennomgått evalueringer bestilt av Norads evalueringsavdeling og sett på hvorvidt utilsiktede effekter er omtalt.
- Denne studien viser at under halvparten av evalueringsrapportene inkluderer slik informasjon, forteller Eggen.
- Hva er det som gjør at noen evalueringer inkluderer utilsiktede effekter – og andre ikke?
- Ut fra studien er det ikke lett å svare på dette. Den viser nemlig at noen evalueringer ikke omtaler utilsiktede effekter selv når evalueringsavdelingen har spurt etter det, mens andre evalueringer omtaler slike selv når det ikke er etterspurt. Dette illustrerer godt behovet for et mer bevisst og systematisk tilnærming til denne delen av bistanden, sier Eggen.
Påvirker maktforhold
Forskerne bak evalueringsstudien skriver at i de evalueringsrapportene hvor utilsiktede effekter nevnes, er det med hovedvekt på positive effekter, samt små og mindre betydningsfulle negative effekter. Større og potensielt mer alvorlige negative effekter nevnes i liten grad, ifølge forskerne.
De trekker også frem at bredere politiske effekter av bistand blir lite tatt hensyn til, og at det mangler informasjon rundt effekter av bistand på makronivå. Med dette menes effekter som ikke gjør seg gjeldende for hvert enkelt tiltak, men som kan være uheldige effekter av den samlede bistanden når denne utgjør store volum.
- Et kjent problem på makronivå er at myndighetene kan redusere egne bevilgninger til formål som mottar bistand. Slik blir nettoeffekten av bistand mindre enn hva bevilgningene tilsier. Det er ikke alltid lett å påpeke i hvert enkelt tilfelle, men det finnes mye statistikk som gir sterke indikasjoner på at dette ofte skjer, sier Eggen.
Et annet eksempel på utilsiktede effekter, er at bistand kan påvirke maktforhold og politiske prosesser. At bistand i noen tilfeller kan styrke myndighetene i udemokratiske regimer, er vel kjent. Men det fins også mye forskning som tyder på at bistand kan undergrave demokratiske prosesser ved at giverne inntar en rolle i landets utviklingsprosesser som går på bekostning av de folkevalgte. En forskningsrapport fra Malawi viser at selv om giverne er opptatt av lokaldemokrati, organiserer de bistanden på en måte som fører til at høvdingssystemet i landet styrkes, selv om det er en udemokratisk struktur.
Evalueringsavdelingen i Norad har iverksatt evalueringsstudien for å vurdere om evalueringene er gode nok i å avdekke utilsiktede effekter. Rapporten gir anbefalinger både til framtidig evalueringsarbeid og resultatstyring, og blir diskutert på et seminar i Norads informasjonssenter 12. juni kl. 12.30 .