Evalueringsprosessen
Hvordan blir en evaluering til? Her får du en brskrivelse av hva en evalueringsprosess ofte består av.
A. Beskrive oppdrag (Mandat/Terms of Reference (ToR)):
Evalueringsavdelingen er ansvarlig for å utarbeide endelig mandat. Relevante faglige og ansvarlige avdelinger i Norad, UD
og utestasjonene, samt fra partner- og mottakersiden (frivillige organisasjoner, multilaterale organisasjoner, samarbeidende
lands myndigheter) bør inkluderes i forberedelsene av evalueringer, inklusive i utarbeiding av et mandat, gjerne i form av
deltakelse i referansegrupper, og/ eller at deres syn blir innhentet gjennom intervjuer og konsultasjoner, og ivaretatt i
evalueringsprosessen for å sikre relevans.
Før en evaluering blir satt i gang må en beskrivelse av oppdraget foreligge. Dette gjøres ofte i kraft av en bestilling som
sendes evalueringsavdelingen fra en seksjon/avdeling i UD. En bestilling vil i første rekke tjene som grunnlag for vurdering
av den foreslåtte evaluering, i tråd med Økonomireglementets vesentlighets- og risikokriterier, og i neste ledd være nyttig
for utforming av mandat. Finansdepartementets veileder til gjennomføring av evalueringer legger vekt på at bestiller må kunne
definere behov. Spørsmål som da må avklares er følgende:
Hva ønsker man å evaluere, og hvorfor?
a. Hva: En beskrivelse av evalueringsobjektet (intervensjonen, tiltak, program, policy etc.) samt bakgrunn og kontekst.
b. Hvorfor: Omfang av Norges bidrag, parter som blir direkte berørt i mottakerland, politisk betydning, osv.
Hva er formålet med evalueringen?
a. Hva skal evalueringen brukes til?
b. Hvem vil brukerne være?
c. Når ønskes resultatene å foreligge?
Hvilken vektlegging ønsker man?
a. Er det spesielle tematiske foci/problemstilinger som ønskes vektlagt?
b. Er hovedfokus på prosess og/eller resultater?
Hvilke avgrensninger bør gjøres i forhold til evalueringsobjektet?
a. Er det spesielle forhold som bestemmer valg av tidsperiode, geografi, nivå?
Som ledd i planleggingsarbeidet er det en fordel også å få utarbeidet en kunnskapsoversikt (state of the art) som dokumenterer
erfaringer nedfelt i tidligere evalueringer, gjennomgangsrapporter, andre skriftlige fagarbeider, samt erfaringsbasert kunnskap
som ressurspersoner har.
B. Valg av konsulent:
På bakgrunn av ovennevnte utarbeides en oppdragsbeskrivelse (mandat) inkludert en tidsplan, i konsultasjon med interessenter og berørte parter, som danner basis for valg av konsulenter, etter regelverket for offentlige anskaffelser. Evalueringer gjennomføres av eksterne konsulenter, som velges av evalueringsavdelingen på bakgrunn av profesjonell kompetanse, uavhengighet og erfaring i forhold til oppgaven. Lokale konsulenter inngår normalt i teamene. Evaluering skal i størst mulig grad gjennomføres i samarbeid med mottakermyndighet.
C. Foreløpig rapport (første fase):
Evalueringen gjennomføres typisk i to faser. I første fase utarbeider evalueringsteamet, på bakgrunn av dokumentstudier og
intervjuer i Norge og ev. mottakerlandet, en foreløpig oppstartsrapport (inception rapport) der problemstillinger, gjennomførbarhet
og utfordringer blir drøftet, hypoteser presentert, metodevalg begrunnes og tidsplanen kommenteres.
En plan for det videre arbeidet vil inngå i den foreløpige rapporten som dekker datainnsamling, metode, design, feltstudier,
analyse og struktur på rapport.
I evalueringer der læring er det fremste målet skal interessenter og berørte parter delta også i drøftingen av resultatene
av datainnsamling, analysen, konklusjoner og anbefalinger. Der formålet i større grad er dokumentering av resultater, vil
deltakelse fra interessenter være mindre intensiv og begrense seg til en rolle i forbindelse med dokumentasjonsinnsamling,
intervjuer og debrief /validering.
D. Rapportskriving (andre fase):
Andre fase baserer seg ofte på ytterligere innsamling av data, gjennom innhenting av primærdata i form av dokumentasjon,
feltstudier, intervju og ev. direkte observasjon. For å gjennomføre evalueringene vil konsulenten ha behov for åpen og god
adgang til muntlige og skriftlige kilder i UD/Norad/utenriksstasjonene.
Basert på dette leveres så utkast til rapport til evalueringsavdelingen, som analyserer det i henhold til nasjonalt/internasjonalt
vedtatte evalueringsfaglige kriterier. Kommentarer innhentes også fra bestiller og berørte parter (referansegruppe) og videreformidles
i sin helhet til konsulentteamet som må forholde seg til dem i det endelige utkastet.
E. Sluttrapporten:
Triangulering og validiering:
Med triangulering menes bruken av tre eller flere teorier, informasjonskilder, datasett, analyser for å verifisere og underbygge en vurdering.
Med validering menes tiltak for å sikre at datainnsamlingsstrategier og -instrumenter måler det de er ment å måle.
Er offentlig og evalueringsteamet har det endelige ansvaret for rapporten, men evalueringsavdelingen kvalitetssikrer den i henhold til DACs standarder (DAC Evaluation Quality Standards 2006).
Kvalitetssikringen legger blant annet vekt på følgende:
- Funn, konklusjoner, anbefalinger og "lessons to be learnt" skal presenteres hver for seg i rapporten samt skal være logisk samsvarende.
- Hver anbefaling skal rettes mot en konkret adressat.
- Det stilles strenge krav til triangulering av informasjon og validering av funn (se faktaboks).
- Berørte parter og interessenter må få anledning til å tilkjennegi sitt syn på kvaliteten på dataene, analysen og vurderinger. Der det er vesentlig divergens i syn mellom evalueringsteamet og berørte parter i forvaltningen eller samarbeidspartner, ,skal dette reflekteres i rapporten.
- Fremstillingen i rapporten skal være balansert og upartisk.
- Datagrunnlaget for analysen skal være etterprøvbart.
- Rapporten skal inneholde praktiske og nyttige anbefalinger rettet mot identifiserte problemer.
Rapporten skal være på engelsk, men hvis man antar at den kan være av interesse for det bredere publikum i Norge skal den
også utgis på norsk. Rapporten kan ev. vurderes oversatt til et annet språk hvis den med dette blir mer tilgjengelig for interessenter
og berørte parter. Rapporten skal distribueres til alle berørte parter og interessenter og legges ut i sin helhet på Norads
hjemmesider.
I forbindelse med hver evaluering skal det utarbeides en kort oppsummering med henblikk på offentliggjørelse. Denne skal omfatte
evalueringens vesentligste funn/anbefalinger og konklusjoner. Fremstillingen skal språklig være allment tilgjengelig. Evalueringsavdelingen
distribuerer rapporten i henhold til egne lister, inklusive til Riksrevisor og Stortingspresidentens kontor.
F. Oppfølging:
Ved avslutningen av en evaluering sendes et oppfølgingsnotat til Utenriksdepartementets ledelse via Norads direktør. Notatet
oppsummerer erfaringene med gjennomføringen av evalueringen, rapportens innhold og anbefalinger, samt berørte parters synspunkter
på rapporten. Notatet peker særlig på eventuelle resultater av evalueringen som tilsier strategiske endringer i norsk utviklingspolitikk.
Departementets ledelse beslutter, på grunnlag av notat fra den avdeling, etat eller utenriksstasjon som er ansvarlig for det
tiltak som er evaluert, hvilke saker som skal følges opp, innen hvilke tidsrammer, og av hvem. Denne oppfølgingsplanen meddeles
innen seks uker til berørte parter, Evalueringsavdelingen og Norads direktør.
Innen ett år skal den saksansvarlige avdeling rapportere til Departementets ledelse, eller for Norads vedkommende, til Norads
direktør, med kopi til Evalueringsavdelingen, om hvilke tiltak som er iverksatt eller planlegges for å følge opp beslutninger
i forbindelse med evalueringen.

