Klarer evalueringer å måle langtidsvirkninger?

På oppdrag fra Norads evalueringsavdeling har Chr. Michelsens institutt foretatt en studie av hvordan norske evalueringer måler langsiktige virkninger av bistanden. (15.05.08)

Når det gjelder kvaliteten på evalueringsrapportene som er vurdert, er konsulentenes vurdering at denne er ganske variert. De konkluderer imidlertid med at selv innenfor en rimelig budsjettramme er det mulig å gjennomføre en såkalt kontrafaktisk analyse. En slik analyse innebærer at man forholdsvis nøyaktig kan anslå hvordan de økonomiske, sosio-kulturelle og institusjonelle forholdene ville vært blant målgruppen uten det bistandstiltaket som evalueres. Ved å samle inn data om både deltakere og ikke-deltakere i et tiltak, samt å anvende både kvalitative og kvantitative metoder, kan man dermed utlede hvilke virkninger tiltaket har hatt.

Blant de anbefalingene som retter seg mot bestilleren av evalueringer understrekes behovet for at oppdragsbeskrivelsen er konsistent for å unngå ulike tolkninger av oppdraget og at metodedelen er klar på hva slags analyse som skal gjennomføres. Forfatterne argumenterer dessuten for at det er bedre anvendte midler å gjennomføre én vitenskapelig fundert evaluering av langtidsvirkningene enn to mindre evalueringer som ikke kan trekke robuste konklusjoner. For selve gjennomføringen av evalueringen legges det vekt på at konsulentene må sørge for et analytisk grunnlag for sine konklusjoner om langsiktige virkninger, blant annet ved å utvikle en programteori, foreta en kontrafaktisk analyse, samt være oppmerksom på skjevheter i utvalget.

I sin strategi for 2006-2010 hevder Norad at vi vet for lite om virkningene av norsk bistand. Ved å vurdere oppdragsbeskrivelsene og metodene som er brukt i et knippe evalueringsrapporter, har formålet med denne studien vært å vise til kunnskapshull samt komme med forslag til praktiske anbefalinger på hvordan slike evalueringer kan forbedres. Studien tar for seg syv ulike evalueringsrapporter som har vært gjennomført i perioden 2002-2007.

Se studien i fulltekst i Norads publikasjonsbase: The Challenge of Assessing Aid Impact : A Review of Norwegian Evaluation Practice