Evalueringsprosessen

Evalueringsavdelingen er ansvarlig for å utarbeide endelig mandat. Relevante faglige og ansvarlige avdelinger i Norad, UD og utestasjonene, samt fra partner- og mottakersiden (frivillige organisasjoner, multilaterale organisasjoner, samarbeidende lands myndigheter)  bør inkluderes i forberedelsene av evalueringer, inklusive i utarbeiding av et mandat, gjerne i form av deltakelse i referansegrupper, og/ eller at deres syn blir innhentet gjennom intervjuer og konsultasjoner, og ivaretatt  i evalueringsprosessen for å sikre relevans.

Før en evaluering blir satt i gang må en beskrivelse av oppdraget foreligge. Dette gjøres ofte i kraft av en bestilling som sendes evalueringsavdelingen  fra en seksjon/avdeling i UD. En bestilling vil i første rekke tjene som grunnlag for vurdering av den foreslåtte evaluering, i tråd med Økonomireglementets vesentlighets- og risikokriterier, og i neste ledd være nyttig for utforming av mandat. Finansdepartementets veileder til gjennomføring av evalueringer legger vekt på at bestiller må kunne definere behov. Spørsmål som da må avklares er følgende:

    Hva ønsker man å evaluere, og hvorfor?
    a. Hva: En beskrivelse av evalueringsobjektet (intervensjonen, tiltak, program, policy etc.) samt bakgrunn og kontekst.
    b. Hvorfor: Omfang av Norges bidrag, parter som blir direkte berørt i mottakerland, politisk betydning, osv.
    Hva er formålet med evalueringen?
    a. Hva skal evalueringen brukes til?
    b. Hvem vil brukerne være?
    c. Når ønskes resultatene å foreligge?
    Hvilken vektlegging ønsker man?
    a. Er det spesielle tematiske foci/problemstilinger som ønskes vektlagt?
    b. Er hovedfokus på prosess og/eller resultater?
    Hvilke avgrensninger bør gjøres i forhold til evalueringsobjektet?
    a. Er det spesielle forhold som bestemmer valg av tidsperiode, geografi, nivå?

Som ledd i planleggingsarbeidet er det en fordel også å få utarbeidet en kunnskapsoversikt (state of the art) som dokumenterer erfaringer nedfelt i tidligere evalueringer, gjennomgangsrapporter, andre skriftlige fagarbeider, samt erfaringsbasert kunnskap som ressurspersoner har.

På bakgrunn av ovennevnte utarbeides en oppdragsbeskrivelse (mandat) inkludert en tidsplan, i konsultasjon med interessenter og berørte parter,  som danner basis for valg av konsulenter, etter regelverket for offentlige anskaffelser. Evalueringer gjennomføres av eksterne konsulenter, som velges av evalueringsavdelingen på bakgrunn av profesjonell kompetanse, uavhengighet og erfaring i forhold til oppgaven. Lokale konsulenter inngår normalt i teamene. Evaluering skal i størst mulig grad gjennomføres i samarbeid med mottakermyndighet.

Evalueringen gjennomføres typisk i to faser. I første fase utarbeider evalueringsteamet, på bakgrunn av dokumentstudier og intervjuer i Norge og ev. mottakerlandet, en foreløpig oppstartsrapport (inception rapport) der problemstillinger, gjennomførbarhet og utfordringer blir drøftet, hypoteser presentert, metodevalg begrunnes og tidsplanen kommenteres.
En plan for det videre arbeidet vil inngå i den foreløpige rapporten som dekker datainnsamling, metode, design, feltstudier, analyse og struktur på rapport.

I evalueringer der læring er det fremste målet skal interessenter og berørte parter delta også i drøftingen av resultatene av datainnsamling, analysen, konklusjoner og anbefalinger. Der formålet i større grad er dokumentering av resultater,  vil deltakelse fra interessenter være mindre intensiv og begrense seg til en rolle i forbindelse med  dokumentasjonsinnsamling, intervjuer og debrief /validering.

Andre fase baserer seg ofte på ytterligere innsamling av data, gjennom innhenting av primærdata i form av dokumentasjon,  feltstudier, intervju  og ev. direkte observasjon. For å gjennomføre evalueringene vil konsulenten ha behov for åpen og god adgang til muntlige og skriftlige kilder i UD/Norad/utenriksstasjonene.

Basert på dette leveres så utkast til rapport til evalueringsavdelingen, som analyserer det i henhold til nasjonalt/internasjonalt vedtatte evalueringsfaglige kriterier.  Kommentarer innhentes også fra bestiller og berørte parter (referansegruppe) og videreformidles i sin helhet til konsulentteamet som må forholde seg til dem i det endelige utkastet.

Er offentlig og evalueringsteamet har det endelige ansvaret for rapporten, men evalueringsavdelingen kvalitetssikrer den i henhold til DACs standarder (DAC Evaluation Quality Standards 2006).

Kvalitetssikringen legger blant annet vekt på følgende:

• Funn, konklusjoner, anbefalinger og "lessons to be learnt" skal presenteres hver for seg i rapporten samt skal være logisk samsvarende.
• Hver anbefaling skal rettes mot en konkret adressat.
• Det stilles strenge krav til triangulering av informasjon og validering av funn (se faktaboks).
• Berørte parter og interessenter må få anledning til å tilkjennegi sitt syn på kvaliteten på dataene, analysen og vurderinger. Der det er vesentlig divergens i syn mellom evalueringsteamet og berørte parter i forvaltningen eller samarbeidspartner, ,skal dette reflekteres i rapporten.
• Fremstillingen i rapporten skal være balansert og upartisk.
• Datagrunnlaget for analysen skal være etterprøvbart.
• Rapporten skal inneholde praktiske og nyttige anbefalinger rettet mot identifiserte problemer.

Rapporten skal være på engelsk, men hvis man antar at den kan være av interesse for det bredere publikum i Norge skal den også utgis på norsk. Rapporten kan ev. vurderes oversatt til et annet språk hvis den med dette blir mer tilgjengelig for interessenter og berørte parter. Rapporten skal distribueres til alle berørte parter og interessenter og legges ut i sin helhet på Norads hjemmesider.

I forbindelse med hver evaluering skal det utarbeides en kort oppsummering med henblikk på offentliggjørelse. Denne skal omfatte  evalueringens vesentligste funn/anbefalinger og konklusjoner. Fremstillingen skal språklig være allment tilgjengelig. Evalueringsavdelingen distribuerer rapporten i henhold til egne lister, inklusive til Riksrevisor og Stortingspresidentens kontor.

Ved avslutningen av en evaluering sendes et oppfølgingsnotat til Utenriksdepartementets ledelse via Norads direktør. Notatet oppsummerer erfaringene med gjennomføringen av evalueringen, rapportens innhold og anbefalinger, samt berørte parters synspunkter på rapporten. Notatet peker særlig på eventuelle resultater av evalueringen som tilsier strategiske endringer i norsk utviklingspolitikk.

Departementets ledelse beslutter, på grunnlag av notat fra den avdeling, etat eller utenriksstasjon som er ansvarlig for det tiltak som er evaluert, hvilke saker som skal følges opp, innen hvilke tidsrammer, og av hvem. Denne oppfølgingsplanen meddeles innen seks uker til berørte parter, Evalueringsavdelingen og Norads direktør.

Innen ett år skal den saksansvarlige avdeling rapportere til Departementets ledelse, eller for Norads vedkommende, til Norads direktør, med kopi til Evalueringsavdelingen, om hvilke tiltak som er iverksatt eller planlegges for å følge opp beslutninger i forbindelse med evalueringen.