Prefaţă
Acest
document este rezultatul unui studiu realizat sub auspiciile Proiectului Phare
de Asistenţă Tehnică pentru Programare, Monitorizare şi
Evaluare (RO 2003/005-551.03.03.04) gestionat de Autoritatea de Management
pentru Cadrul de Sprijin Comunitar din Ministerul Finanţelor Publice,
România.
Studiul
s-a desfăşurat pe perioada lunii iunie 2006 şi reflectă
situaţia existentǎ la 30 iunie 2006, termenul limită de
prezentare a raportului. Autorii săi sunt Dna. Hilary Curley şi Dl.
Eugen Perianu.
Opiniile exprimate în acest
raport aparţin autorilor şi nu reprezintă în mod automat
opiniile Autorităţii de Management pentru Cadrul de Sprijin
Comunitar.
Lista acronimelor
(în ordine
alfabetică)
|
ADR |
Agenţia de Dezvoltare Regională |
|
AM |
Autoritate de Management |
|
AMCSC |
Autoritatea de Management pentru Cadrul de Sprijin Comunitar |
|
AT |
Asistenţă Tehnică |
|
BEI |
Banca Europeană de Investiţii |
|
BERD |
Banca Europeană pentru Reconstrucţie şi Dezvoltare |
|
CNSR |
Cadrul Naţional Strategic de Referinţă |
|
EAG |
Evaluation Advisory Group (Grupul de Consiliere privind Evaluarea) |
|
EDIS |
Extended Decentralised Implementation System (Sistemul Descentralizat
Extins de Implementare) |
|
GLE |
Grupul de lucru privind evaluarea |
|
HG |
Hotârâre de Guvern |
|
IMM |
Întreprinderi mici şi mijlocii |
|
OIM |
Organizaţia Internaţională a Muncii |
|
ONG |
Organizaţie neguvernamentală |
|
PO |
Program Operaţional |
|
SGG |
Secretariatul General al Guvernului |
|
SMSC |
Subcomitetul sectorial de monitorizare |
|
SNE |
Strategia Naţională de Evaluare |
|
UCE |
Unitatea Centrală de Evaluare |
|
UE |
Uniunea Europeană |
|
UIP |
Unitatea de Implementare a Programelor |
|
UNDP |
United Nations Development Programme (Programul de Dezvoltare al
Naţiunilor Unite) |
|
UPP |
Unitatea de Politici Publice |
|
USAID |
United States Agency for International Development (Agenţia Statelor
Unite ale Americii pentru Dezvoltare Internaţională) |
Rezumat introductiv
1. Cadrul general
şi obiectivele proiectului
Studiul
a avut următoarele obiective specifice:
1
Să analizeze cultura de
evaluare care există deja sau care este în curs de formare în România;
2
Să schiţeze o
perspectivă asupra culturii de evaluare aşa cum se doreşte
pentru România, prezentând câteva recomandǎri pentru a transforma
situaţia existentă în cea dezirabilă.
Această
analiză precede redactarea Strategiei Naţionale de Evaluare, document
care va contura calea către o abordare integrată a evaluării
pentru toate programele cu finanţare din fonduri publice care se
derulează în ţară, indiferent dacă sursa
finanţării este UE, alţi donori sau bugetul naţional.
Metodele
utilizate pentru realizarea acestui studiu au fost: activitatea de documentare,
chestionare, interviuri, focus grupuri. Informaţiile strânse au fost
analizate prin raportarea la criteriile “9+3” ale Grupului Consultativ pentru
Evaluare, criterii care reprezintǎ cadrul general pentru examinarea culturii de evaluare[1].
2. Evaluarea
şi Reforma Administraţiei Publice în România
2.1 Procesul reformei
în administraţia publică românească
Procesul
continuu de modernizare şi reformă al administraţiei publice
româneşti a demarat la mijlocul anilor 90. Cu toate acestea, mai multe
surse[2]
au indicat că progresul reformei administraţiei publice a fost mai
lent decât era de aşteptat, în ciuda sprijinul considerabil de care a
beneficiat acest sector. Este încă nevoie de eforturi pentru a separa
funcţia politică de cea administrativă, pentru a dezvolta
standarde, proceduri şi circuitul informaţiilor în structurile
administraţiei publice, pentru a îmbunătăţii
disponibilitatea resurselor umane şi financiare.
Alături
de un astfel de mediu instituţional încă deficitar, se poate enumera
şi lipsa beneficiilor practicilor de evaluare asupra
îmbunătăţirii activităţilor cu finanţare
naţională. Guvernul României încearcă în prezent să-şi
dezvolte capacitatea de evaluare a politicilor publice, a legislaţiei, a
programelor şi proiectelor, pentru toate tipurile de activităţi,
indiferent de sursa de finanţare.
2.2 Programele
finanţate din fonduri publice şi evaluarea
În
ciuda progresului lent înregistrat de reforma administraţiei publice, o
serie de acţiuni şi iniţiative notabile au luat naştere la
diferite nivele în vederea îmbunătăţirii modului de planificare
şi gestionare a politicilor publice în general şi a evaluării în
special. Secretariatul General al Guvernului a pregătit o strategie pentru
îmbunătăţirea procesului de planificare a politicilor publice,
Curtea de Conturi a introdus practica auditului de performanţă,
Parlamentul şi Cabinetul Primului Ministru sunt beneficiarii unor proiecte
cu finanţare UE care urmăresc să dezvolte capacitatea de
planificare şi de gestionare a politicilor , precum şi capacitatea de
evaluare ex-ante. Viitorul Program Operaţional pentru Dezvoltarea
Capacităţii Administrative 2007-2013, finanţat prin CNSR,
include obiective concrete legate de implementarea activitǎţilor de
monitorizare şi evaluare, atât la nivelul administraţiei publice
centrale cât şi la nivelul structurilor administraţiei publice
locale.
În
comparaţie cu legislaţia de la nivelul UE, legislaţia
românească prevede obligaţia evaluǎrii doar pentru bugetele de
co-finanţare, pentru finanţările UE sau pentru
finanţări din partea altor donori, şi pentru programele de
cercetare. Pentru celelalte activităţi ale Guvernului, deşi
subiectul evaluării este menţionat, cerinţele fie nu sunt
suficient de clare fie nu sunt implementate în mod corespunzǎtor.
2.3 Structurile de
evaluare pentru fondurile UE
Evaluarea
programelor de pre-aderare ale UE a fost o practică promovată şi
gestionată până în prezent de serviciile de specialitate din cadrul
Comisiei Europene.
2.3.1 Fondurile de pre-aderare şi evaluarea
Programele
de pre-aderare finanţate de UE, Phare, ISPA şi SAPARD au mecanisme
bine stabilite de coordonare, implementare şi evaluare. Procesul de
monitorizare a programelor Phare, ISPA şi SAPARD este gestionat de
structuri româneşti, în timp ce activitatea de evaluare externă a
acestora (interim şi ex-post), cu excepţia programului SAPARD, este
contractată şi gestionată de serviciile de specialitate ale
Comisiei Europene de la Bruxelles. După ce România va primi acreditarea
EDIS (Sistemul Descentralizat Extins de Implementare) managementul Schemei de
Evaluare Intermediară a programelor Phare va fi preluat de Unitatea
Centrală de Evaluare înfiinţatǎ în cadrul Autorităţii
de Management pentru Cadrul de Sprijin Comunitar a Ministerului Finanţelor
Publice. Deşi procesul de evaluare ex-ante nu a fost consacrat în mod
formal, Delegaţia CE s-a implicat în desfǎşurarea acestuia,
urmǎrind, cu precǎdere asigurarea calitǎţii documentelor de
programare şi planificare.
2.3.2 Evaluarea Cadrului Naţional Strategic de
Referinţă 2007-2013
Recent,
un evaluator extern a fost desemnat în scopul realizǎrii evaluării
ex-ante a celor şapte Programe Operaţionale din cadrul CNSR (precum
şi pentru Programele Complement), exerciţiu care se
desfăşoară în perioada august 2006 – februarie 2007. În ceea ce
priveşte procesul de evaluare intermediarǎ a acestor programe, acesta
va fi gestionat de Unitatea Centrală de Evaluare din cadrul Ministerului
Finanţelor Publice, precum şi de Unităţile de Evaluare
înfiinţate la nivelul fiecărei Autoritate de Management.
3. Analiza
culturii de evaluare din România, prin raportarea la criteriile “9+3”
Cultura
de evaluare, în forma în care există în prezent în România, a fost
analizată cu ajutorul criteriilor UE “9+3”. Prezentul studiu descrie
ambele situaţii, atât cea curentă cât şi cea dezirabilă,
precum şi calea sugerată de evoluţie de la situaţia
curentă la cea dezirabilă. Criteriile sunt grupate după cum
urmează:
Practica existentă în domeniul evaluării;
Oferta de servicii de evaluare;
Criteriile pentru ţările candidate.
Practica existentă
în domeniul evaluării
|
Criteriul 1: Evaluarea se foloseşte în multe domenii de
politicǎ publicǎ Criteriul 3: Există un discurs naţional în ceea ce
priveşte evaluarea Criteriul 5: Există un anumit grad de instituţionalizare a
evaluării la nivelul Guvernului Criteriul 6: Există un anumit grad de instituţionalizare a
evaluării la nivelul Parlamentului Criteriul 8: Există o funcţie a evaluării în cadrul
Instituţiei Supreme de Audit (Curtea de Conturi) Criteriul 9: Există o anumită proporţie de evaluare a
efectelor (outcome evaluation) în raport cu evaluarea rezultatelor imediate
(output evaluation) sau cu evaluarea proceselor |
|
Situaţia curentă |
§ Evaluarea se face în primul
rând pentru programele finanţate de UE sau de alţi donori.
Evaluarea programelor naţionale este încă în stadiu incipient –
există o preocupare pentru evaluare la nivelul unora dintre
entitǎţile responsabile pentru elaborarea politicilor publice,
respectiv: Secretariatul General al Guvernului, Ministerul
Administraţiei şi Internelor, Cabinetul Primului Ministru,
Instituţia Supremă de Audit (Curtea de Conturi). § Practic, nu există o
cerere pentru serviciile de evaluare externă. § Nu există o
instituţionalizare a evaluării la nivelul administraţiei
publice locale (consilii locale, judeţene şi municipale). § Parlamentul uzează de
rolul de a controla activitatea Guvernului prin raportări periodice, dar
nu a instituit încă o practică de a recurge la contractori externi
pentru realizarea serviciilor de evaluare. § În prezent, cultura de
raportare pune accentul pe evaluarea procesului sau a rezultatelor imediate
(outputs) în detrimentul evaluării efectelor (outcomes). |
|
Situaţia dezirabilă |
§ Evaluarea este parte
integrantă a sistemului de administraţie publică, se află
la baza practicilor de management şi se face indiferent de
finanţare (din partea donorilor sau a bugetelor naţionale sau
locale). § În general, există o
bună înţelegere a valorii pe care o are evaluarea în cadrul
societăţii civile. Conştientizarea externă este un
stimulent important pentru cererea de evaluare şi o parte
esenţială a bunei guvernări. § Exista capacitatea de a contracta şi desfǎşura
evaluǎri la toate nivelele de guvernare; de asemenea, existǎ
capacitatea de a interpreta şi de a asigura implementarea în mod eficace
a concluziilor şi recomandărilor emise. § Parlamentul cere în mod periodic evaluări, pentru a se asigura
că politicile publice sunt implementate în mod eficace. § Există o distincţie clară între raportare şi
evaluare, între monitorizare şi evaluare. |
|
Calea sugerată |
§ Trebuie elaborat şi
agreat atât un concept cât şi un limbaj comun la nivelul structurilor
administraţiei publice în ceea ce priveşte evaluarea, trebuie
popularizată valoarea pe care o are evaluarea. § Trebuie elaborate
recomandări şi bune practici care să fie folosite de
administraţia publică în gestionarea exerciţiilor de evaluare. § Trebuie să se ia în
calcul introducerea în mod treptat a cerinţelor de ordin juridic pentru
evaluarea programelor naţionale. § Parlamentul ar trebui
să facă apel la Instituţia Supremă de Audit (Curtea de
Conturi) pentru realizarea serviciilor de evaluare, având în vedere că
Ordonanţa de Urgenţă 43/14.06.2006 recent intratǎ în
vigoare creează cadrul juridic pentru realizarea auditului de
performanţă de către Curtea de Conturi. |
Oferta de servicii de
evaluare
Criteriul 2:
Există o ofertă de evaluatori locali în diferite discipline
Criteriul 7:
Există mai multe instituţii şi evaluatori care fac evaluări
în fiecare domeniu de politică publică
Criteriul 4:
Există o organizaţie profesională a evaluatorilor
|
Situaţia curentă |
Dezvoltarea pieţei serviciilor de evaluare a fost
circumstanţială şi nu sistematică. Astfel: § Există într-adevăr
un grup mic de evaluatori în diferite domenii, dar capacitatea lor trebuie
încă dezvoltată; § Nu există în România o
organizaţie profesională a evaluatorilor; § Universităţile nu sunt foarte avansate, din punctul de vedere
al rolului lor de a pregǎti formatori şi promotori ai practicii
evaluării. |
|
Situaţia dezirabilă |
§ Guvernul joacă un rol
activ în sprijinirea dezvoltării capacităţii de ofertare
şi cerere, prin stimularea formării profesionale şi
susţinerea dezvoltării expertizei in evaluare § Pe piaţă
existǎ o competiţie sănătoasă, derivând dintr-o
ofertǎ corespunzǎtoare de evaluatori din sectorul privat, sectorul
academic, institute de cercetare, organizaţii de studii (think-tank). § Este instituită o
asociaţie profesională a evaluatorilor, similară modelelor din
alte ţări şi afiliată la Societatea Europeană a
Evaluatorilor (European Evaluation Society) |
|
Calea sugerată |
§ Creşterea cererii de
evaluǎri, ca premisă pentru stimularea ofertei de dezvoltare a
serviciilor de evaluare. § Acordarea unei atenţii
specifice dezvoltării pluralismului în diverse sectoare, astfel încât
oferta de evaluare să nu se dezvolte de la sine, ci să fie
coordonatǎ în mod sistematic, creându-se, spre exemplu, o cerere de
evaluări în diverse domenii de politică publicǎ, devenind astfel atractiv pentru diversele
societǎţi să ofere servicii de evaluare. |
Criterii pentru
ţările candidate
|
Criteriul 10: Există capacitate de monitorizare Criteriul 11:
Există o diversitate a evaluării, aceasta realizându-se la nivel
de: strategii, politici publice, programe, proiecte Criteriul 12: Există un circuit al
informaţiilor cu privire la evaluare, la nivelul Guvernului |
|
Situaţia curentă |
§ Există o cultură a
raportării în administraţia românească. Informaţiile sunt
strânse într-o anumită formă, dar nu în mod sistematic.
Datorită numărului scăzut de evaluări realizate până
în prezent, nu se poate vorbi încă de o acoperire semnificativă a
diversităţii evaluărilor. § Sistemele de monitorizare a
fondurilor UE sunt bine stabilite la nivel local, regional şi central. § Circuitul de informaţii
din cadrul Guvernului este într-o etapă de început. De exemplu,
discuţiile cu privire la îmbunătăţirea planificării
politicilor publice şi a ciclului bugetar reunesc actori cum ar fi:
Secretariatul General al Guvernului, Ministerul Finanţelor Publice, alte
ministere de linie, membri ai Parlamentului. |
|
Situaţia dezirabilă |
§ Există o
înţelegere a inter-dependenţei funcţiilor de programare,
monitorizare şi evaluare şi sunt stabilite legături adecvate
între acestea. § Sistemele de monitorizare
colectează date care sunt relevante pentru evaluările interne
şi externe şi, în final , pentru cei care iau deciziile. § Evaluarea este privită
ca un instrument al bunei guvernǎri şi, astfel, se poate face în
toate etapele ciclului de dezvoltare a intervenţiilor publice – de la
planificarea politicilor publice la elaborarea de strategii, programe şi
proiecte. § În situaţia în care
exerciţiul de evaluare are impact asupra altor ministere sau
entităţi publice există o procedură formală prin
care ministerul iniţiator îi identifică pe ceilalţi actori
cheie şi demarează un proces de consultare şi diseminare de
informaţii. |
|
Calea sugerată |
§ Elaborarea unor indicatori
de performanţă relevanţi şi stabilirea unor sisteme
adecvate de colectare a informaţiilor relevante pentru evaluări. § Actualul proces de
monitorizare pentru Programul Phare ar trebui folosit ca un exemplu de sistem
de monitorizare care funcţionează în mod corespunzǎtor. § Ar trebui implementate
proiecte pilot de evaluare, constând în analizarea unei anumite
intervenţii publice şi a tot ceea ce este legat de aceasta
(politică, strategie, program, proiecte), transformând evaluarea în
parte integrantă a fiecǎrui nivel, astfel încât să se dezvolte
un model de bună practică. § Pentru a stimula circuitul
de informaţii este nevoie ca cererea de informaţii să
vină de sus în jos, de la Parlament şi administraţia
publică centrală, entitǎţi care trebuie să
demonstreze un real interes pentru practica evaluǎrii. |
4. Concluzii
şi recomandări
Evaluarea
este o activitate care s-a dezvoltat în mod constant pentru programele cu
finanţare din partea donorilor, dar care este încă subdezvoltată
pentru activităţile cu finanţare de la bugetul naţional.
Totuşi, există dovezi semnificative care atestă un interes
crescut pentru subiectul evaluării, precum
şi o serie de acţiuni întreprinse la diferite nivele pentru
îmbunătăţirea managementului politicilor şi programelor
publice, incluzând evaluarea.
Pot fi
identificate trei mari zone pentru acţiuni viitoare:
Continuarea dezvoltării cadrului legislativ.
Pregătirea unei baze de expertiză pentru practica evaluării,
constând în elaborarea de metodologii,
recomandări, publicaţii.
Creşterea capacităţii managerilor publici de a gestiona
procesul de evaluare.
Pentru
a realiza toate aceste obiective, este necesar ca eforturile care se fac în
prezent de către diferiţi actori cheie în scopul dezvoltǎrii
unei culturi şi a unei practici a evaluării să fie coordonate
într-un mod sinergic.
Capitolul 1: Introducere
1.1 Cadrul general
România
a beneficiat în mod constant de sprijinul UE după revoluţia din 1989.
Angajamentele financiare pentru România asumate prin cele trei programe de
pre-aderare (Phare, SAPARD şi ISPA) au crescut în mod sistematic în
ultimii ani, de la 952 milioane euro în anul 2005 la 1.155 milioane euro în
2006[3],
ultimul an de programare pentru perioada de pre-aderare. După aderarea
României la UE (programată pentru ianuarie 2007) sprijinul acordat de UE
pentru România în cadrul Politicii de Coeziune a Uniunii va veni sub forma
Instrumentelor Structurale (care finanţează Cadrul Naţional
Strategic de Referinţă) şi a celor două pachete agreate
separat în cadrul Politicii Agricole Comune şi Politicii Comune a
Pescuitului.
Stimulată
de cerinţele UE şi de condiţiile care însoţesc accesul la
fondurile UE, administraţia românească s-a preocupat în mod constant
de buna gestiune a implementării programelor cu finanţare
europeanǎ. Trecerea de la cadrul de management a programelor de
pre-aderare la programele finanţate de Instrumentele Structurale
necesită o nouă abordare în managementul şi structurile de
evaluare.
Pe de
altă parte, activităţile Guvernului României şi ale
administraţiei publice care nu sunt finanţate din bugetul UE nu
beneficiază, în general, de un mecanism de evaluare.
Din
aceste motive, Guvernul României urmăreşte să-şi dezvolte
capacitatea de a evalua politici, legislaţie, programe şi proiecte
pentru toate intervenţiile publice, indiferent de liniile de
finanţare (vezi următorul capitol).
1.2 Obiectivele proiectului
În
2005 Ministerul Finanţelor Publice a adoptat Planul Unic de
Acţiune pentru îmbunătăţirea sistemelor de management
pentru operarea fondurilor UE în România (fondurile de pre-aderare şi
instrumentele structurale). Obiectivul general al Planului Unic de
Acţiune este „îmbunătăţirea capacităţii
administraţiei româneşti de a gestiona cu eficienţă şi
eficacitate şi de a absorbi nivelul crescut de fonduri care vin de la
Uniunea Europeană în perioada 2005-2006 şi după aderarea
României”. Unul dintre obiectivele specifice ale Planului Unic de Acţiune
este stabilirea „Sistemului Naţional de Evaluare” care include cinci
acţiuni:
Elaborarea Strategiei Naţionale de Evaluare şi a planurilor de
acţiune pentru implementarea acesteia;
Implementarea Planului de Acţiune pentru preluarea Evaluării
Intermediare (EI) a Programului Phare;
Implementarea Planului de Acţiune pentru stabilirea Sistemului
Naţional de Evaluare;
Implementarea Planului de Acţiune pentru creşterea gradului de
conştientizare cu privire la subiectului evaluării;
Implementarea Planului de Acţiune pentru Dezvoltarea
Capacităţii Locale de Evaluare (în sectorul privat).
Stadiul realizǎrii acestor acţiuni în
luna iulie 2006 arată astfel:
|
Sarcină/acţiune |
Stadiu |
Cea mai
probabilă perioadă de implementare |
|
2. Implementarea
Planului de Acţiune pentru preluarea Evaluării Intermediare (EI) a
Programului Phare |
În derulare – a fost alcătuită lista scurtă a firmelor invitate
sǎ depunǎ ofertele pentru contractul de Evaluare Intermediarǎ
a programului Phare; licitaţia pentru atribuirea acestui contract este
preconizatǎ sǎ înceapǎ în luna august 2006, contractul urmând
a fi semnat în luna octombrie 2006. Acesta
va fi primul contract pentru Evaluarea Intermediarǎ gestionat de
AMCSC în cadrul Sistemului Descentralizat Extins de Implementare. Contractul
va fi încheiat pentru o perioadă de 2 ani. |
octombrie/noiembrie
2006 |
|
4. Implementarea
Planului de Acţiune creşterea gradului de conştientizare cu
privire la subiectului evaluării |
În derulare – în perioada mai/iunie 2006 au fost organizate 6 seminarii de
popularizare la care au participat 298 de persoane din 6 grupuri
ţintă diferite (conform raportului din anexa 4). Traducerea
ghidului de evaluare www.evalsed.info
va începe în perioada august/septembrie 2006 şi construirea website-ului
Unităţii Centrale de Evaluare se va realiza începând din luna
septembrie 2006. |
|
|
5. Implementarea
Planului de Acţiune pentru Dezvoltarea Capacităţii Locale de
Evaluare (în sectorul privat) |
Finalizată – 34 de reprezentanţi ai sectorului privat, ai mediului academic
şi ai societăţii civile au absolvit în iunie 2006 cursul
Certificate in Policy and Planning – Evaluation (Certificat în Politici
Publice şi Planificare - Evaluarea) acreditat de Universitatea
Naţională a Irlandei, Galway. |
|
|
1. Elaborarea
Strategiei Naţionale de Evaluare şi a planurilor de acţiune
pentru implementarea acesteia |
În derulare |
septembrie 2006 |
|
2. Implementarea
Planului de Acţiune pentru stabilirea Sistemului Naţional de
Evaluare |
Va începe în
octombrie 2006 |
octombrie 2006 |
Prezentul studiu referitor la
examinarea culturii de evaluare din România precede schiţarea Strategiei
Naţionale de Evaluare, document care va contura calea către o
abordare integrată a evaluării pentru toate programele cu
finanţare din bani publici care se derulează în ţară,
incluzând fondurile UE şi programele finanţate din bugetul
naţional (central şi local) al României.
Studiul a încercat să
surprindă cultura de evaluare existentă sau în curs de formare, atât
la nivelul Guvernului şi al administraţiei publice în general cât
şi la nivelul mediului mai larg al intervenţiilor publice.
Conform ToR - termenilor de
referinţă (anexa 3) obiectivele specifice ale studiului au fost:
Analizarea culturii de evaluare care există în prezent sau care este
în curs de formare în România;
Propunerea unui model pentru întǎrirea culturii de evaluare în România
şi prezentarea unor posibile căi prin care să se ajungă de
la situaţia curentă la cea dezirabilă.
1.3 Metodologia
Analiza culturii de evaluare
din România a abordat o serie de aspecte:
nivelul de cunoaştere şi principalul curent de gândire cu privire
la evaluare;
expertiza cu privire la evaluare, inclusiv experienţa în contractarea
şi implementareea evaluărilor, dar şi în utilizarea rezultatelor
evaluării (a constatărilor sau recomandărilor evaluării);
nivelul cererii de evaluare şi al ofertei de evaluatori.
Această analiză a
combinat atât cercetarea la nivel primar cât şi cea la nivel secundar
utilizând o paletă largă de instrumente metodologice, alese în
funcţie de natura şi scopul proiectului, timpul şi resursele disponibile.
Cercetarea de birou a contribuit la formarea unui imagini asupra contextului actual,
schiţând structura de management al programelor cu finanţare UE
şi al sistemelor de evaluare asociate, cât şi a sistemului
naţional de administraţie din care evaluarea ar putea deveni parte
integrantă. Au fost folosite mai multe surse pentru strângerea de
informaţii, incluzând atât documentele relevante de politică
publică cu privire la evaluarea
instrumentelor de pre-aderare precum şi a Instrumentelor
Structurale, dar şi documentele strategice pregătite de
administraţia publicǎ românească, care cuprind propuneri pentru
încorporarea evaluării într-un sistem îmbunătăţit de
planificare a politicilor publice.
Pentru etapa
cercetării primare au fost folosite urmǎtoarele instrumente
metodologice:
(a) Chestionare –
acestea au fost distribuite în perioada 23 mai – 27 iunie 2006 tuturor
participanţilor la cele şase seminarii organizate de AMCSC Unitatea
Centrală de Evaluare (cu sprijinul Proiectului de AT), ca parte a
implementării de către AMCSC a sarcinii 6.4. din Planul Unic de
Acţiune (Implementarea Planului de Acţiune pentru creşterea
gradului de conştientizare în raport de subiectul evaluării,
prezentat în anexa 4). Chestionarele au fost distribuite şi evaluatorilor
externi care au absolvit cursul de formare „Certificate in Policy and Planning
– Evaluation” (Certificat în Politici Publice şi Planificare – Evaluare)
acreditat de Universitatea Naţională a Irlandei, Galway şi
implementat de Proiectul de AT în perioada aprilie-iunie 2006. Totodată,
au fost distribuite chestionare şi celor opt Agenţii de Dezvoltare
Regională, pentru a surprinde şi dimensiunea regională. Din
totalul chestionarelor distribuite, au fost completate 192[4]
de chestionare, ceea ce a permis generarea unor date cantitative pentru studiu
(modelul de chestionar este prezentat în anexa 2).
(b) Interviuri – au
fost realizate cu diverse persoane din administraţia publică şi
societatea civilă. Aceste interviuri au contribuit la formarea unei
imagini mai detaliate asupra culturii de evaluare în România şi au
întărit concluziile generate de chestionare. Pe parcursului studiului au
fost intervievate 41 de persoane (sau
opiniile lor au fost înregistrate). Anexa 3 cuprinde lista completă a
persoanelor intervievate/contacte.
(c) Un focus-grup – a
fost organizat către finalul fazei de cercetare, cu principalii actori
implicaţi în procesul de evaluare din administraţia publică.
Scopul focus-grupului a constat în prezentarea concluziilor preliminare şi
în a stimula exprimarea opiniilor participanţilor. Aceastǎ întâlnire
importantă a oferit siguranţa că experţii au tras concluzii
relevante şi adecvate pentru administraţia româneascǎ.
Datele generate de faza
primară şi cea secundară de cercetare au fost coroborate şi
analizate cu ajutorul criteriilor „9+3” ale Grupului Consultativ pentru
Evaluare, criterii care sunt larg recunoscute ca fiind cadrul pe baza
căruia se poate studia cultura evaluării[5].
1.4 Provocǎrile metodologiei utilizate
Pe parcursul cercetării
au fost evidenţiate mai multe dificultăţi metodologice. Cea mai
importantă a fost timpul limitat acordat studiului (4
săptămâni). În al doilea rând a apărut nevoia de a defini în mod
foarte specific aria de acoperire a studiului. În al treilea rând s-a
evidenţiat faptul că majoritatea interviurilor s-au făcut cu
persoane care lucrează în administraţia publică centrală.
Experţii nu au avut timp suficient să intervieveze persoane de la
nivele locale şi regionale ale administraţiei publice, dar au fost
intervievate două persoane din afara administraţiei publice centrale
(Asociaţia Consiliilor Locale şi un senator din Braşov). Astfel,
informaţiile cu privire la popularitatea evaluării şi
capacitatea de a evalua au provenit, în special, din urmǎtoarele surse:
chestionarele distribuite la seminarul din data de 6 iunie 2006 care a
beneficiat de prezenţa reprezentanţilor administraţiei publice
locale;
opiniile persoanelor intervievate de la nivelul administraţiei publice
centrale, care au fost întrebate despre capacitatea de evaluare de la nivelul
local şi regional;
chestionarele distribuite Agenţiilor de Dezvoltare Regională.
1.5 Structura raportului
Prezentul raport este
structurat după cum urmează:
Capitolul 2 – oferă o vedere sinoptică asupra culturii şi practicii de
evaluare din România, în două mari domenii: a) programele cu
finanţare UE şi b) structurile administraţiei publice în general
(adică programele şi proiectele cu finanţare
naţională).
Capitolul include
următoarele mari subiecte:
evoluţia reformei administraţiei publice în România;
cadrul juridic al evaluării care există în prezent;
iniţiativele care au fost luate până acum pentru extinderea
şi îmbunătăţirea practicii evaluării;
structurile de management şi structurile de evaluare pentru programele
cu finanţare UE, atât pentru perioada de pre-aderare cât şi pentru
Cadrul Naţional Strategic de Referinţă din perioada 2007-2013.
Capitolul 3 – oferă o analiză a datelor primare colectate prin chestionare
şi care constituie, alături de informaţia din Capitolul 2
şi de informaţiile strânse prin interviuri, fundamentul pentru
opiniile exprimate în cadrul Capitolului 4.
Capitolul 4 – are ca referinţă cadrul criteriilor „9+3” şi oferă:
o sinteză a situaţiei curente în România, în ceea ce
priveşte cultura evaluării;
propuneri pentru situaţia dezirabilă şi modalităţile
de a ajunge la această situaţie.
Capitolul 5 – rezumă principalele concluzii ale studiului şi înaintează
o serie de recomandări pentru viitoarea dezvoltare a practicii de evaluare
în România.
Capitolul 2: Evaluarea şi reforma
administraţiei publice în România
2.1 Introducere
Acest capitol începe prin a
oferi informaţii cu privire la contextul general al capacităţii
de evaluare în noile State Membre ale UE în baza unor rapoarte care s-au
făcut cu câţiva ani în urmă. Această privire generală
pune bazele unei analize în detaliu a situaţiei specifice din România. De
asemenea, conturează evoluţiile cu privire la reforma
administraţiei publice din ţară şi detaliază
paşii care se fac în prezent pentru a transforma evaluarea în parte
integrantă a administraţiei publice româneşti. Se
examinează, totodatǎ, în cadrul acestui capitol, baza juridică a
evaluării şi se prezintǎ o descriere de ansamblu a procesului de
evaluare a programelor cu finanţare naţională, a programelor
finanţate din fondurile UE de pre-aderare şi a programelor
finanţate prin Cadrul Naţional Strategic de Referinţă 2007
–2013.
2.2. Capacitatea de evaluare în noile State
Membre ale UE
Au fost făcute o serie de
studii cu privire la capacitatea de evaluare în noile State Membre ale UE care
merită să fie prezentate ca un punct de sprijin pentru
informaţia redată în acest capitol şi în următoarele
capitole.
Directoratul General pentru
Extindere al Comisiei Europene a format un Grup Consultativ pentru Evaluare
(EAG) în anul 2002, ca forum de schimb de bune practici între Statele Membre
şi Statele Candidate pe subiectul construirii capacităţii de
monitorizare şi evaluare. La prima întâlnire plenară din 27 martie
2003, unde au participat reprezentanţi ai Coordonatorilor Naţionali
ai Asistenţei din Statele Candidate şi ai Comisiei Europene, a fost
agreat că acest forum va avea o contribuţie utilă pentru
progresul Statelor Candidate, întrucât acestea elaborează şi
implementează strategii pentru dezvoltarea capacităţilor locale
de monitorizare şi evaluare.
Una dintre sarcinile EAG a
fost elaborarea materialului „Guide to Good Practices in Monitoring and
Evaluation” (Ghid de bune practici în monitorizare şi evaluare). În acest
sens a fost distribuit un chestionar tuturor statelor candidate pentru a
stabili contextul în care monitorizarea şi evaluarea operează în
administraţiile respective. Un sumar al concluziilor arată astfel:
Evaluǎrile se contracteazǎ destul de rar şi practic nu
există o cerere naţională de evaluare;
Expertiza în evaluare se regăseşte cu precǎdere printre
consultanţii externi;
Evaluările interimare Phare nu sunt de obicei diseminate în afara
„grupului de management”;
Concluziile evaluării nu se bucură de expunere şi nu
determină naşterea unor dezbateri;
Evaluările nu au un impact semnificativ asupra dezbaterii cu privire
la responsabilizare sau nu aduc îmbunătăţiri procesului de
planificare prin „lecţiile învăţate”.
Factorii de instituţionalizare (ex. norme) sunt slab dezvoltaţi
şi nu există elemente puternice de stimulare informală (ex.
grupurile civile de acţiune ).
Monitorizarea de proiect/program este axată pe procesul de evaluare
Phare al CE. Monitorizarea bazată pe efecte (outcome)/rezultate (spre
deosebire de monitorizarea financiară şi contractuală) nu este
bine dezvoltată.
În anul 2004, domnul Jack
Malan de la Centrul pentru Strategii şi Servicii de Evaluare, a realizat
un studiu intitulat „Benchmarking Evaluation Capacity in the New Member States”
(Repere în construirea capacităţii de evaluare în Noile State Membre)[6].
El a comparat capacitatea de evaluare din cele 10 noi State Membre cu aceea din
cele 15 State Membre mai vechi şi a ajuns la urmǎtoarele concluzii:
Capacitatea de evaluare continuǎ sǎ fie considerată de multe
persoane ca fiind subdezvoltată în noile State Membre;
În noile State Membre nu există suficienţi evaluatori care
să aibă competenţele necesare;
Există o percepţie în noile State Membre că
autorităţile publice nu sprijină îndeajuns de mult dezvoltarea
capacităţii de evaluare;
Nu există o cultură a evaluării în Lituania, Ungaria,
România, Cipru şi Republica Cehă;
În cele 15 State Membre mai vechi, a durat aproape un deceniu dezvoltarea
unei culturi a evaluării, în general solidă (dacă admitem
că nu toate Statele Membre mai vechi au o cultură a evaluării
suficient de solidă);
Noile State Membre au nevoie de mai multe informaţii şi de
sprijin pentru evaluare cum ar fi recomandări, metodologii şi exemple
de bună practică;
Stimulentele comerciale pentru îmbunătăţirea
capacităţii de evaluare şi a expertizei sunt probabil cei mai
eficienţi factori de a produce schimbarea situaţiei;
Eşuarea asigurării incorporării rezultatelor evaluării
în procesul de elaborare a politicilor publice se percepe ca fiind cea mai
serioasă problemă întâlnită în practică;
Cele mai mari dificultăţi metodologice în noile State Membre sunt
reprezentate de lipsa de date iniţiale (baseline data), de slaba definire
a ţintelor şi a indicatorilor de performanţă.
O treime dintre cei chestionaţi în noile State Membre consideră
calitatea studiilor de evaluare ca fiind „scăzută” şi alte
două treimi spun că aceasta ar fi doar „acceptabilă”; nici-una
dintre persoanele chestionate nu susţine că ar fi „bunǎ” sau
„excelentă”[7].
2.3 Procesul reformei administraţiei
publice româneşti
Pentru înţelegerea
cadrului general în care au fost luate iniţiativele pentru dezvoltarea
funcţiei de evaluare, este utilă o trecere în revistă a
evoluţiilor din administraţia publică românească din
ultimii ani . Este important ca acest cadru general să fie luat în calcul
cu mare atenţie, atunci când se formulează căi pentru stabilirea
unei practici şi culturi de evaluare.
Eforturile de modernizare
şi reformă ale administraţiei publice din România au început la
mijlocul anilor ’90 (începând cu anul 1997[8],
Programul Phare al UE a fost un important donor pentru programele de
reformă).In baza unui demers continuu menit să stimuleze procesul de
reformă, Guvernul României a adoptat în 2004 „Strategia pentru accelerarea
reformei administraţiei publice”. Cu toate acestea, mai multe surse
(prezentate mai jos) au indicat că progresul reformei administraţiei
publice a fost mai lent decât era de aşteptat, în ciuda sprijinului
considerabil de care a beneficiat acest sector.
Astfel, un raport tematic
realizat de un evaluator independent[9]
a concluzionat că „mult din ceea ce rămâne de făcut este la
nivel de bază în sensul (a) adoptării legislaţiei primare
şi secundare, (b) creării de novo sau dezvoltării
structurilor administrative şi (c) punerii la dispoziţie a resurselor
financiare şi umane suficiente pentru asigurarea
sustenabilităţii.
Programul Operaţional
pentru Construirea Capacităţii Administrative pentru România,
elaborat sub auspiciile Cadrului Naţional Strategic de Referinţă
2007 –2013, identifică, de asemenea, anumite „deficienţe persistente”:
capacitate scăzută în ceea ce priveşte resursele, lipsa de
personal sau personal cu rezultate slabe datorită lipsei de promovare
şi proastei recrutări (absenţa criteriilor);
competenţe strategice limitate, care duc la lipsa de
coerenţă a iniţiativelor, la lipsa interconectărilor
adecvate;
probleme structurale şi procedurale – cum ar fi slaba coordonare,
circuit de informaţii slab, proceduri împovărătoare,
puţină transparenţă şi implementare limitată a
politicilor publice.
Un exerciţiu independent
de evaluare ex-post a Programului Phare[10]
concluzionează că s-au
făcut eforturi considerabile pentru stimularea schimbării în sectorul
administraţiei publice, dar progresul înregistrat a fost mai mic decât se
anticipase şi acest lucru se poate datora printre altele următorilor
factori:
schimbări frecvente la nivelul conducerii politice, care au
determinat inconsecvenţa „voinţei politice” necesare pentru
promovarea reformei;
dificultăţi în separarea funcţiilor politice şi
administrative;
nefinalizarea procesului de creare a unui sistem puternic al funcţiei
publice.
În acest context,
apariţia practicii de evaluare a fost improbabilă până în acest
moment. Probabil că practica
evaluării necesită procese şi proceduri stabile şi coerente
stabilite în cadrul mecanismului administraţiei publice, care la rândul
lor au puţine şanse de succes într-un mediu instituţional
deficitar şi instabil (încă), aşa cum este descris mai sus.
2.4 Baza legală a evaluării
Expertul local pe termen scurt
al Proiectului de Asistenţă Tehnică pentru Programare,
Monitorizare şi Evaluare din cadrul Autorităţii de Management
pentru Cadrul de Sprijin Comunitar a făcut în perioada ianuarie-februarie
2006 o trecere în revistă a cadrului juridic existent în domeniul
evaluării[11].
Conţinutul, concluziile şi recomandările raportului sunt
următoarele:
Legea Finanţelor Publice nr. 500/2002 nu include în mod explicit
cerinţe de realizare a exerciţiilor de evaluare, ca parte a
procesului de management financiar. Totuşi, se stipulează că
instituţiile care gestionează fonduri au obligaţia de a
pregăti „rapoarte anuale de performanţă” care stabilesc pentru
fiecare program obiectivele, rezultatele anticipate şi efective,
indicatorii şi costurile asociate. Aceste rapoarte trebuie ataşate
rapoartelor anuale financiare.
Ordonanţa de Urgenţă a Guvernului nr. 45/2003 privind
gestionarea finanţelor publice locale nu include în mod explicit o
cerinţă de a se realiza evaluări. Totuşi, când se
defineşte termenul „program” se stipulează că „ar trebui
stabiliţi indicatori care să permită evaluarea rezultatelor
obţinute”, fǎrǎ a se institui însǎ o cerinţă
explicită de evaluare a programului sau a altor activităţi.
Legea Auditului Intern nr. 672/2002, care reglementează
activităţile de audit pentru instituţiile care utilizează
fonduri publice, defineşte auditul intern ca fiind „o activitate
independentă şi obiectivă …care sprijină entitatea
publică în îndeplinirea obiectivelor printr-o abordare sistematică
şi metodică, care evaluează şi
îmbunătăţeşte eficienţa şi eficacitatea
sistemului de management bazat pe managementul riscului, control şi
procese administrative".
Manualul care reglementează modul de operare al Parlamentului nu
include în mod explicit dreptul de a realiza evaluări de orice fel.
Totuşi, prevede dreptul de a iniţia, în anumite condiţii,
anchete parlamentare.
Raportul concluzionează
că, în comparaţie cu reglementările UE privind evaluarea,
legislaţia românească conţine câteva prevederi specifice care
cer în mod explicit evaluarea numai pentru bugetele de co-finanţare, pentru
finanţările din partea UE sau a altor donori şi pentru
programele de cercetare. Pentru alte tipuri de activităţi, deşi
subiectul evaluării este menţionat, cerinţele nu sunt suficient
de clare sau nu sunt implementate în mod corespunzǎtor.
Raportul cuprinde o serie de
recomandări:
Legislaţia românească cu privire la nevoile de evaluare trebuie
să fie armonizată cu legislaţia UE şi ar trebui să se
adreseze tuturor zonelor şi instituţiilor care gestionează
fonduri publice, ca şi instrument folosit în managementul
administraţiei publice. Noua legislaţie trebuie să fie
consolidată de recomandări metodologice care să explice
aplicarea legii.
Trecerea de la ciclul actual de bugetare anuală la ciclul de
programare bugetară multi-anuală ar contribui la dezvoltarea
practicii evaluării. Mai mult, evaluarea s-ar putea face mai uşor
dacă bugetele ar fi alocate pe proiectele şi programele identificate
în avans, spre deosebire de alocarea doar pe tip de cheltuială.
Ar trebui întărită capacitatea instituţională a administraţiei
publice de a gestiona programe şi proiecte.
Ar trebui să existe o distincţie clară între monitorizare,
audit, control şi evaluare.
2.5 Evaluarea şi structurile de
management ale asistenţei UE din cadrul Ministerului Finanţelor
Publice[12]
HG nr.
208/2005 modificată prin HG nr. 1269/2005 cu privire la reorganizarea
şi funcţionarea Ministerului Finanţelor Publice din România
stipulează că Ministerul „îndeplineşte rolul de programare,
coordonare, gestionare, monitorizare şi evaluare a implementării
sprijinului financiar acordat României de Uniunea Europeană şi
statele sale membre, cât şi rolul de coordonator naţional al
asistenţei în relaţia cu UE şi statele sale membre ".
În
vederea pregătirii pentru statutul de membru UE şi pentru accesarea
Instrumentelor Structurale, au fost făcute mai multe schimbări în
structurile naţionale de coordonare, după cum este descris mai jos.
2.5.1 Phare şi Instrumentele Structurale
Autoritatea
de Management pentru Cadrul de Sprijin Comunitar (AMCSC) sub coordonarea
Coordonatorului Naţional al Asistenţei, a fost instituită în
Ministerul Finanţelor Publice prin HG 403/3004. Principalele
responsabilităţi ale AMCSC sunt de a coordona:
asistenţa financiară acordată României de UE prin programul
Phare;
asistenţa bilaterală acordată României de Statele Membre ale
UE;
crearea cadrului juridic, instituţional şi procedural necesar
pentru gestionarea Instrumentelor Structurale ale UE
pregătirea Planului Naţional de Dezvoltare, ca document strategic
care pune bazele accesului României la Instrumentele Structurale.
2.5.2 ISPA
Articolul 10 al
Ordonanţei de Urgenţă a Guvernului nr. 11/23.03.2004 instituie,
în cadrul Ministerului Finanţelor Publice, Autoritatea de Management
pentru Fondul de Coeziune (actuala Autoritate de Management pentru
Infrastructură) care îndeplineşte rolul de coordonator naţional
pentru programarea, implementarea şi monitorizarea fondurilor UE acordate
prin Programul ISPA[13].
2.5.3 Unitatea Centrală de Evaluare din AMCSC
În cadrul
Autorităţii de Management pentru Cadrul de Sprijin Comunitar
(Ministerul Finanţelor Publice) funcţionează Unitatea
Centrală de Evaluare (UCE) cu patru angajaţi. În prezent, UCE are
următoarele atribuţii:
prezidează Grupul de Lucru privind Evaluarea şi asigură
secretariatul acestuia;
coordonează şi gestionează activitatea de evaluare
aferentǎ Cadrului Naţional Strategic de Referinţă 2007
–2013;
coordoneazǎ elaborarea strategiei naţionale de evaluare (SNE);
gestionează contractele de întărire a capacităţii
administrative din cadrul programului PHARE 2005, prin care se va asigura
implementarea SNE;
gestionează implementarea Schemei de Evaluare Intermediarǎ a
programelor PHARE (post-EDIS)[14].
Unitatea Centrală de
Evaluare nu are atribuţii în evaluarea programelor de pre-aderare SAPARD
sau ISPA.
2.5.4 Grupul de Lucru pe Evaluare
În anul 2006 a fost instituit
la nivel inter-instituţional un Grup de Lucru pe Evaluare[15]
care să se ocupe de stabilirea structurilor, sistemelor şi
procedurilor legate de evaluarea programelor finanţate de Cadrul
Naţional Strategic de Referinţă 2007 – 2013. Principalele
responsabilităţi ale Grupului sunt următoarele:
elaborarea recomandărilor menite să întărească
evaluarea coordonată a CNSR şi al tuturor Programelor
Operaţionale.
promovarea evaluării, ca mijloc de îmbunătăţire a
intervenţiilor publice şi de creştere a
responsabilităţii în formularea şi implementarea lor.
Membrii GLE includ
funcţionari publici cu responsabilitǎţi în evaluare din toate
Autorităţile de Management ale Programelor Operaţionale şi
din Unitatea Centrală de Evaluare a AMCSC.
Preşedintele GLE este
Directorul General al AMCSC. Acesta poate fi suplinit de coordonatorul
Unităţii Centrale de Evaluare. Pe parcursul anului 2006 GLE s-a
întrunit lunar, iar începând cu luna ianuarie 2007 se va întâlni de două
ori pe lună.
GLE raportează Grupului
de Management al Instrumentelor Structurale şi, prin intermediul acestuia,
Comitetului Naţional de Coordonare al Instrumentelor Structurale. Se
intenţionează ca GLE să continue să funcţioneze cel
puţin până la finalul implementării CNSR 2007-2013.
2.6 Evaluarea şi programele/politicile
publice guvernamentale cu finanţare naţională
Programul de Guvernare al
României pentru perioada 2005-2008 stabileşte 24 de priorităţi
principale de politică publică. Obiectivele şi scopurile
strategice din fiecare zonă de politică publică sunt
însoţite de o listă detaliată de angajamente şi
acţiuni. Programul se va implementa în mai multe ministere de linie.
Totuşi, nu există o legătură clară între programul
Guvernului şi procesul bugetar.
Decizia Primului Ministru nr.
258 (iunie 2003) a instituit Unitatea de Politici Publice (UPP) în cadrul
Secretariatului General al Guvernului pentru a coordona eforturile de
îmbunătăţire a elaborării politicilor publice. În 2005 a
fost instituit Comitetul Interministerial pentru Coordonarea Politicilor
Publice şi HG nr. 775/2005 a permis stabilirea procedurilor pentru
elaborarea, monitorizarea şi evaluarea politicilor publice la nivel
central. De asemenea, acest act normativ a constituit baza pentru crearea
UPP-urilor în fiecare minister de linie, alcǎtuite din personal format din
analişti de politici publice. Actul normativ a introdus totodatǎ proceduri şi
instrumente care:
asigură că propunerile noilor prevederi pot fi integrate în
programele de politici publice iniţiate de Guvern;
reglementează necesitatea analizei ex-ante înainte de pregătirea
noilor acte normative;
asigură o mai bună coerenţă între obiectivele propuse
de politicile publice şi mijloacele financiare disponibile în bugetul de
stat;
solicită realizarea de studii şi analize care justifică
soluţiile propuse în noile acte normative;
reglementează consultarea societăţii civile, partenerilor
sociali şi organizaţiilor interesate de politicile publice
respective.
Mai multe documente elaborate
de SGG[16]
subliniază problemele care se regăsesc în prezent în sistemul de
elaborare al politicilor publice:
·
Există mai multe tipuri
de documente de politică publică fără nicio
legătură ierarhică între ele;
·
Procesul de elaborare a
politicilor publice este dominat de abordarea legislativă.
Reglementările în vigoare cer ca orice nouă legislaţie să
aibă o analiză de impact al politicii iar resursele şi
atenţia au fost concentrate în această zonă;
·
Există o
legătură deficitară între elaborarea şi aprobarea politicii
şi procesul bugetar;
·
Nu există o coordonare
suficientă a iniţiativelor de elaborare a politicilor publice şi
nici o orientare clară către rezultate şi priorităţi;
·
Există proceduri diferite
de consultare pentru documentele de politică publică şi pentru
legislaţie;
·
Nu există suficientă
comunicare în cadrul ministerelor, între ele sau cu celelalte instituţii
ale administraţiei publice centrale sau cu ONG-urile;
·
În prezent, rolul
funcţionarilor publici în elaborarea politicilor publice este prea redus;
·
În unele cazuri, politicile
publice nu sunt aprobate la nivelul adecvat de decizie;
·
Nu există suficiente
abilităţi pentru elaborarea politicilor publice şi pentru
evaluarea impactului acestora;
·
Analiza financiară a
politicilor publice propuse şi a proiectelor de lege este deficitară.
Pentru a veni în întâmpinarea
acestor aspecte, Secretariatul General al Guvernului (SGG) a elaborat un
document de strategie[17]
în anul 2006 conturând propuneri pentru îmbunătăţirea sistemului
de formulare al politicilor publice la nivel central. Se admite că
evaluarea este un instrument important pentru susţinerea strategiei
şi care contribuie la creşterea eficacităţii sistemului de
politici publice. În prezent, SGG se concentrează pe faza ex-ante a dezvoltării
politicilor publice, dar speră să iniţieze, în timp,
schimbări şi să încorporeze evaluarea în procesul de planificare
până la faza ex-post. Această strategie a fost adoptată de
Guvern în data de 28 iunie 2006.
Şi în alte
instituţii cheie există iniţiative de
îmbunătăţire a planificării şi gestiunii politicilor
publice. În prezent se derulează un proiect cu sprijin Phare
(RO2003/005-551.02.03 Îmbunătăţirea capacităţii de
analiză, prognoză economică şi pregătire a politicilor
economice) în cadrul Comisiei Naţionale de Prognoză, Ministerului
Economiei şi Comerţului şi la nivelul Cancelariei Primului
Ministru (CPM). Scopul său este de a îmbunătăţii
capacitatea de analiză şi de pregătire a prognozelor
macro-economice şi a politicilor economice. Se admite în cadrul acestor
instituţii că este nevoie de îmbunătăţirea
planificării şi implementării politicilor publice iar la nivelul
ierarhic superior al CPM se recunoaşte faptul că macroeconomia nu
poate funcţiona în mod adecvat fără o bună planificare.
Obiectivele proiectului
ţintesc mai departe de îmbunătăţirea planificării
şi acoperă subiecte ca evaluarea ex-ante a impactului, evaluarea
ex-ante, monitorizarea şi evaluarea ex-post. Accentul eforturilor de
îmbunătăţire a evaluării ex-ante a impactului se pune
asupra procesului de legiferare, având în vedere faptul că, în lipsa unei
analize ex-ante adecvate a impactului noilor acte normative, transpunerea
şi implementarea acquis-ului comunitar va fi din ce în ce mai
dificilă. Totodată, se admite că legea economică a
„penuriei de resurse” este un element suplimentar care justifică procesul
de evaluare ex-ante şi ex-post ca mijloc pentru
îmbunătăţirea eficienţei generale a utilizǎrii
resurselor existente.
Parlamentul este beneficiarul
unui proiect finanţat prin Phare (RO2003/005-551.03.02 Întărirea
capacităţii administrative a Parlamentului României) care
urmăreşte să îmbunătăţească capacitatea
administrativă a Parlamentului cu accent pe sprijinirea instituirii unui
mecanism de evaluare a impactului ex-ante a noii legislaţii. Proiectul a
ajutat la creşterea conştientizării în rândul parlamentarilor a
nevoii de a realiza analize ale impactului şi există o mai mare
deschidere acum către a învăţa de la Statele Membre mai
experimentate. În prezent, se schiţează actele normative care vor
permite Parlamentului să ceară şi să utilizeze
evaluările de impact.
Au fost făcute o serie de
eforturi pentru a asigura coerenţa iniţiativelor de schimbare a
legislaţiei în sensul evaluării impactului politicilor publice
şi actelor normative. Proiectul de Înfrăţire Instituţională
între SGG (“Întărirea capacităţii Guvernului României de
gestiune a politicilor publice şi coordonare a procesului de luare a
deciziei”) şi Departamentul pentru Mediul Afacerilor împreună cu
Proiectul de Înfrăţire Instituţională de la Camera Deputaţilor
„Întărirea capacităţii administrative a Parlamentului României”
şi Centrul Român pentru Politici Economice au organizat pe 20 iunie 2006
conferinţa „Întărirea procesului legislativ românesc prin
introducerea evaluării ex-ante a impactului”. Au luat parte la acest
eveniment membri ai Parlamentului care au avut iniţiative legislative în
acest sens.
În ultimii ani s-a manifestat
un interes crescut printre factorii de decizie din cadrul instituţiei
supreme de audit (Curtea de Conturi) pentru realizarea auditului de
performanţă. Mai multe astfel de audituri-pilot au fost realizate de
Curtea de Conturi din proprie iniţiativă. Recent intrata în vigoare
OUG nr 43/14.06.2006 cu privire la organizarea şi funcţionarea
Curţii de Conturi depăşeşte simpla funcţie de audit
financiar şi înaintează către o arie mai mare de
responsabilităţi, care include cerinţa de a realiza audituri de
performanţă (acoperind inclusiv chestiuni ce ţin de evaluare,
cum ar fi eficacitatea sau eficienţa), fie din proprie
iniţiativă fie la cererea Parlamentului.
Programului Operaţional
de Întărire a Capacităţii Administrative din cadrul CNSR
2007-2013[18]
reprezintă o bună oportunitate pentru sprijinirea dezvoltării
capacităţii de evaluare din cadrul administraţiei publice.
Obiectivul PO-ului este de „a contribui la îmbunătăţirea
durabilă a administraţiei publice în România”. Punctul central este
continuarea procesului de reformă a administraţiei publice şi
utilizarea evaluării în scopul gestionării eficiente a
intervenţiilor publice şi creşterii responsabilizării.
PO-ul poate fi un mijloc valoros pentru asigurarea de resurse şi
sprijinirea iniţiativelor în domeniul evaluării, care sunt
întreprinse în prezent de SGG, Ministerul Finanţelor Publice şi de
alţi principali actori cheie în scopul îmbunătăţirii
performanţei intervenţiilor publice. Tabelul de mai jos arată
modul în care au fost integrate în documentul PO-ului iniţiativele privind
evaluarea:
|
Axa
prioritară |
Obiectiv |
Arii
cheie de intervenţie |
|
Consolidarea intervenţiilor de politică
publică la nivelul administraţiei centrale |
Contribuţia la dezvoltarea
capacităţii administrative a administraţiei publice centrale. |
1. Activităţi de management al
reformelor 2. Capacitatea de a formula politici publice,
inclusiv strategiile inter-instituţionale sectoriale şi planurile
strategice instituţionale 3. Implementarea Reformei Funcţiei
Publice 4. Implementarea sistemului naţional de
monitorizare şi evaluare a intervenţiilor publice |
|
Dezvoltarea capacităţiii de
îmbunătăţire a performanţei serviciilor administraţiei
locale. |
Contribuţia la reforma administraţiei
publice la nivel judeţean şi sub-judeţean prin implementarea
unui pachet de reforme de management care se ocupă de elementele cheie
ale ciclului strategic de management. |
1. Activităţi sprijinind
managementul reformelor; 2. Întărirea
capacităţii pentru management strategic şi planificarea
acţiunilor 3. Raţionalizarea
implementării serviciilor locale şi întărirea managementului
resurselor umane |
·
2.7 Fondurile UE de pre-aderare şi
Evaluarea
2.7.1 Phare
Monitorizarea Programului
Phare s-a făcut iniţial de contractori externi şi a fost
preluată treptat de structurile de management din România, la început sub
coordonarea Delegaţiei CE şi mai târziu sub coordonarea Coordonatorului
Naţional al Asistenţei (AMCSC, din cadrul Ministerului
Finanţelor Publice). Capacitatea de monitorizare s-a dezvoltat în mod
treptat şi procedurile sunt acum ferm integrate în activităţile
obişnuite de management Phare.
Nu s-a făcut nicio
evaluare ex-ante externă asupra programelor Phare. Serviciile centrale ale
Comisiei şi mai târziu Delegaţia CE au îndeplinit sarcina de a
verifica calitatea documentelor de programare. Evaluările interimare
şi ex-post au fost făcute de consultanţi
independenţi, contractaţi de Serviciile Comisiei din Bruxelles.
Următorul pas în procesul
de dezvoltare este preluarea de către AMCSC a managementului Schemei de
Evaluare Intermediarǎ a Programului PHARE. Se anticipează că
acest lucru se va întâmpla la sfârşitul anului 2006 odată cu
obţinerea acreditării EDIS pentru România (Sistemul Descentralizat
Extins de Implementare). Contractul de 2 ani pentru realizarea
evaluărilor interimare ale proiectelor în derulare finanţate din
Programul Phare este finanţat din programul Phare 2005.
Procesul prin care este
evaluat programul Phare este puţin diferit de cel propus pentru CNSR.
Evaluarea ex-ante a Programului Phare se face de către AMCSC,
entitatea care supraveghează calitatea programării şi procesul
de planificare.
AMCSC în consultare cu
Unitatea de Implementare de Programe (UIP) din fiecare minister sugerează
modificări în documentele de programare, pentru a se asigura că
obiectivele proiectelor sunt bine adaptate la nevoile sectoriale existente
şi că activităţile propuse sprijină setul de obiective
identificate.
Pentru fiecare din cele 10
sectoare de monitorizare există un Subcomitet Sectorial de Monitorizare
(SMSC) care se întâlneşte de două ori pe an şi care este
prezidat de Coordonatorul Naţional al Asistenţei din cadrul MFP. La întâlnire
participǎ reprezentanţi ai UIP-urilor, Delegaţiei CE şi
Coordonatorului Naţional al Asistenţei din Ministerul Finanţelor
Publice şi se examineazǎ progresul din fiecare sector şi
proiect. În cadrul reuniunilor se decide asupra grupului de proiecte care
urmează să fie evaluate. Evaluarea se face în funcţie de 5
criterii de evaluare: relevanţa,
eficienţa, eficacitatea, impactul şi durabilitatea proiectelor
şi programelor PHARE. De obicei, ca rezultat al rapoartelor de
evaluare intermediarǎ pregătite de evaluatorii externi, sunt propuse
măsuri corective care sunt analizate şi agreate în cadrul unor
reuniuni speciale la care participă reprezentanţi ai
instituţiilor vizate de recomandări. Apoi este responsabilitatea
instituţiilor să se asigure că măsurile corective sunt implementate.
Înainte de fiecare întâlnire a SMCS, fiecare UIP participant
pregăteşte un raport de monitorizare care acoperă toate
proiectele în derulare din gestiunea lor ;i ofer[ detalii cu privire la stadiul
implementării recomandărilor evaluării. Întâlnirile SMSC sunt
prezidate de Coordonatorul Naţional al Asistenţei şi de
Delegaţia CE.
rocesul de evaluare
intermediară este încă sub gestiunea directă a Serviciilor
Comisiei şi este externalizat unor contractori independenţi (în cazul
României, ECOTEC). Din noiembrie 2006, responsabilitatea evaluării
intermediare a programului PHARE va fi preluată de Coordonatorul
Naţional al Asistenţei din cadrul Ministerului Finanţelor
Publice. De obicei, contractele se întind pe o perioadă de 2 ani. În
această perioadă contractorul pregăteşte rapoarte de
evaluare intermediară pentru fiecare sector PHARE (unul pe sector pe an)
acolo unde fondurile de pre-aderare sunt în derulare în această
perioadă, două rapoarte tematice şi o evaluare anuală,
globală, la nivel general de ţară.
Evaluarea ex-post este
gestionată de Serviciile Comisiei şi este externalizată unor
contractori independenţi. Evaluarea ex-post poate avea o acoperire
largă sau limitată. De exemplu, evaluarea ex-post se poate face
pentru un program specific, un sector, un aspect orizontal sau poate acoperi
toate sectoarele care beneficiază de finanţare de pre-aderare pe o
anumită perioadă de timp. Ca un exemplu, două astfel de
contracte au fost externalizate pentru a acoperi toate sectoarele şi
pentru a evalua impactul fondurilor de pre-aderare pe perioadele 1997-1999
şi 1999-2001. Concluziile exerciţiului de evaluare sunt discutate la
o întâlnire cu toţi actorii cheie, ca şi în cazul evaluărilor
intermediare.
Întreg procesul este
monitorizat de Comitetul Comun de Monitorizare România – Uniunea Europeană
care reuneşte reprezentanţi ai actorilor cheie şi este
co-prezidat de Comisia Europeană şi Coordonatorul Naţional al
Asistenţei din cadrul MFP. Odată cu trecerea la EDIS, la
lucrările Comitetului Comun de Monitorizare, Comisia va avea statul de
observator. Reuniunile trec în revistă progresul programelor din fiecare
sector care beneficiază de finanţare de pre-aderare. Sunt
identificate problemele şi sunt propuse şi decise măsuri corective;
fiecărui minister îi revine apoi responsabilitatea asigurării
procesului de urmărire adecvată a implementării deciziilor
luate.
Este important ca
administraţia românească să înţeleagă evoluţia
capacităţii de a gestiona şi evalua programele cu finanţare
UE. Structurile implicate în prezent în evaluare au acumulat o bună
experienţă şi expertiză şi lecţiile obţinute
din experienţa lor de programare, planificare, monitorizare şi
evaluare pot fi foarte importante pentru structurile guvernamentale care nu au
fost implicate în gestiunea programelor cu finanţare UE.
2.7.2 SAPARD
Organigrama Direcţiei
Generale pentru Dezvoltare Rurală din Ministerul Agriculturii,
Pădurilor şi Dezvoltării Rurale include un Departament pentru
Coordonare, Monitorizare şi Promovare ale cărui principale
responsabilităţi sunt :
·
asigură strângerea
datelor statistice;
·
monitorizează indicatorii
care trebuie atinşi;
·
asigură realizarea
evaluărilor ex-ante, interimare şi ex-post a programelor de
dezvoltare rurală;
·
organizează sistemul de
monitorizare şi evaluare.
Unitatea pentru Evaluare
şi Raportare este parte a Direcţiei pentru Coordonare, Monitorizare
şi Promovare. Asigură Secretariatul pentru Comitetul de Monitorizare
pentru Programul SAPARD şi printre responsabilităţile sale se
regăseşte coordonarea exerciţiului de evaluare pentru Programul
SAPARD (şi pentru Programul Naţional de Dezvoltare Rurală)
şi trimiterea evaluărilor la autorităţile naţionale
şi Comisia Europeană.
Conform Articolului 5(1) din
Regulamentul Consiliului 1268/1999, Programul SAPARD a fost subiectul Evaluării
la Mijlocul Perioadei de implementare („Mid-Term Evaluation”-MTE) în 2004 al
cărui obiectiv general a fost „de a oferi informaţii cu privire la
implementarea şi impactul Programului”[19].
MTE s-a axat pe implementarea Programului SAPARD multi-anual 2000-2006 agreat
cu Comisia în iunie 2000[20].
Termenii de Referinţă pentru MTE elaboraţi de Autoritatea de
Management pentru Programul SAPARD (la acea vreme Ministerul Integrării
Europene[21])
cereau ca evaluatorul „să examineze rezultatele iniţiale ale Programului,
consistenţa lor cu evaluarea ex-ante, relevanţa ţintelor şi
măsura în care au fost atinse. De asemenea, va evalua calitatea
monitorizării şi implementării.” Evaluatorilor li s-a cerut
să tragă concluzii cu privire la:
·
Analiza evaluării
ex-ante;
·
Validitatea analizei SWOT;
·
Relevanţa şi
consistenţa strategiei de dezvoltare în cadrul Programului Naţional
pentru Agricultură şi Dezvoltare Rurală;
·
Cuantificarea scopurilor –
rezultate, efecte şi impacte;
·
Eficacitatea şi
eficienţa implementării Programului;
·
Calitatea organizării,
implementării şi monitorizării[22].
Programul SAPARD a fost de asemenea subiectul unei
actualizări a Evaluării Mid-Term – update of the Mid-Term Evaluation
(cunoscută şi sub denumirea de Evaluarea „Finală”) care a fost
încheiată în martie 2006 de Agrotec SPA/Kvistgaard Consult/DDH Consulting[23].
2.7.3 ISPA
Deşi documentele de
programare se referă la evaluarea ex-post a Programului ISPA, nu
există în România activităţi organizate de evaluare a acestui
program. Totuşi, se face o monitorizare detaliată a programului ISPA.
Ministerul Finanţelor Publice, în calitatea sa de Coordonator
Naţional ISPA gestionează funcţia de monitorizare pentru ISPA.
Ca atare, organizează şi coordonează întâlnirile Comitetului de
Monitorizare ISPA (de două ori pe an). Scopul întâlnirii este de a analiza
stadiul implementării proiectelor ISPA care au fost aprobate de Comisia
Europeană şi de a evalua capacitatea instituţională
necesară pentru implementarea proiectelor. Este trecut în revistă
stadiul implementării fiecărui proiect şi sunt discutate aspecte
orizontale cum ar fi aspecte juridice, cooperarea
inter-instituţională, etc. Concluziile întâlnirilor formează
baza viitoarelor îmbunătăţiri ale implementării programului
ISPA în România.
2.8 Evaluarea Cadrului Naţional
Strategic de Referinţă 2007 –2013
Planul Naţional de
Dezvoltare 2007-2013 ia în considerare trei elemente separate: (a) Cadrul
Naţional Strategic de Referinţă (CNSR) care va fi instrumentul
pentru implementarea Politicii de Coeziune a UE care asigură fonduri în
cadrul Instrumentelor Structurale pentru cele şapte Programe
Operaţionale din cadrul obiectivului „Convergenţă” şi
Programele Operaţionale din cadrul „Cooperării Teritoriale Europene”
(b) Planul Naţional pentru Dezvoltare Rurală care stabileşte obiectivele
şi angajamentele care vor fi finanţate de Politica Agricolă
Comună prin instrumentul agricol financiar şi (c) acţiunile de
implementare a Politicii Comune a Pescuitului prin instrumentul financiar
pentru pescuit.
Articolele 45-47 din Propunerea Comisiei Europene pentru un Regulament
al Consiliului privind prevederile generale pentru Fondul European de
Dezvoltare Regională, Fondul Social European şi Fondul de Coeziune
(Proposal for a Council Regulation laying down general provisions on the
European Regional Development Fund, the European Social Fund and the Cohesion
Fund) (28 aprilie 2006) identifică responsabilităţi cu
privire la evaluarea ex-ante, interim şi ex-post a programelor
finanţate de Instrumentele Structurale din 2007-2013 atât la nivelul
Statelor Membre cât şi la nivelul Comisiei. Propunerea stipulează
că evaluarea ex-ante a Programelor Operaţionale va fi
responsabilitatea Statelor Membre iar evaluarea ex-post va fi responsabilitatea
Comisiei. Propunerea menţionează de asemenea că în timpul
perioadei de programare “Statele Membre vor realiza evaluări legate de
monitorizarea Programelor Operaţionale mai ales acolo unde monitorizarea
programelor relevă o îndepărtare semnificativă de la scopurile
stabilite iniţial sau acolo unde sunt făcute propuneri pentru
revizuirea PO....” DG Regio din cadrul Comisiei Europene a trimis Statelor
Membre pentru comentarii Documente Metodologice de Lucru atât privind evaluarea
ex-ante cât şi evaluarea intermediară[24].
(Evaluarea) ex-ante în sine a
PND a fost finalizată în ianuarie 2006 de consultanţii
independenţi Frasier and Associates. Nu se va face nicio evaluare ex-ante
a CNSR înainte de aprobarea sa de către Comisia Europeană dar,
conform Propunerii pentru un Regulament al Consiliului, a fost numit
recent un evaluator extern pentru realizarea evaluării ex-ante a celor
şapte PO-uri (şi a programelor complement) în perioada august 2006 -
februarie 2007[25].
Odată finalizate, PO-urile vor fi revizuite conform rezultatelor şi
recomandărilor evaluării ex-ante şi apoi trimise Comisiei
Europene. Evaluarea ex-ante este gestionată de Autoritatea de Management
pentru Cadrul de Sprijin Comunitar din MFP, prin Unitatea Centrală de
Evaluare.
Grupul de Lucru pe Evaluare a
propus un model pentru evaluarea CSNR şi a PO-ului în timpul
implementării lor şi care este în linii mari în acord cu Documentele
de Lucru (Working Paper) înaintate de Comisie[26].[27]
Fiecare PO va trece prin două evaluări intermediare în timpul
implementării sale, şi anume, în 2009 şi 2012. Aceste
evaluări vor sprijini procesul de management al PO prin identificarea
şi analizarea problemelor care se pot naşte pe parcursul
implementării şi prin formularea de propuneri pentru buna
operaţionalizare a programului. Aceste evaluări intermediare vor fi
gestionate de Unităţi de Evaluare stabilite în cadrul fiecărei
Autorităţi de Management.
Pe lângă evaluările
intermediare programate în timp, se mai propune ca Autorităţile de
Management ale PO-urilor să contracteze evaluări ad hoc ale PO-urilor
care să se adreseze fie chestiunilor de management sau implementare care
apar în fiecare Axă Prioritară sau Domeniu Major de Intervenţie
sau să analizeze aspecte transversale ale PO-urilor, precum felul în care
PO-urile abordează chestiunile orizontale (ex. includerea socială).
Totodată, Unitatea
Centrală de Evaluare va contracta la nivel central evaluările cu
caracter transversal pentru mai multe PO-uri, de exemplu felul în care PO-urile
şi CSNR abordează prioritatea UE a şanselor egale sau orice alt aspect
de implementare (ex. capacitatea de absorbţie) care poate apărea pe
perioada de existenţă a CNSR.
Toate evaluările
contractate în timpul implementării CNSR, atât cele contractate de
Unităţile de Evaluare ale AM cât şi evaluările transversale
contractate de UCE vor fi realizate de consultanţi externi.
Fiecare PO va avea un Comitet
de Coordonare a Evaluării, care se va întruni pentru fiecare
exerciţiu de evaluare. Va include cel puţin membri ai
Unităţii Centrale de Evaluare a AMCSC şi coordonatorul
funcţiei de evaluare din fiecare Autoritate de Management.
În prezent, se propune ca
fiecare Autoritate de Management să aibăo Unitate de Evaluare cu cel
puţin doi angajaţi cu normă întreagă. Fiecare Unitate de
Evaluare va trimite un Plan de Evaluare a PO Unităţii Centrale de
Evaluare la începutul lui 2007 pentru a primi acordul înainte de a fi aprobat
de Comitetul de Monitorizare a PO. Acest Plan de Evaluare a PO ar trebui
să identifice numărul şi tipul de evaluări pe care
Autoritatea de Management planifică să le implementeze pe o perioadă
de 7 ani (planul ar trebui revizuit anual). Când toate Planurile de Evaluare
ale PO-urilor sunt finalizate şi agreate cu Comitetele de Monitorizare ale
PO-urilor şi cu Unitatea Centrală de Evaluare, UCE va trimite pentru
aprobare un Plan de Evaluare a CNSR la DG Regio şi la Comitetul
Naţional de Coordonare a Instrumentelor Structurale.
2.9 Aspecte esenţiale
·
Eforturile de implementare a
reformei administraţiei publice în România au început la mijlocul anilor
90, dar progresul a fost mai mic decât se aştepta.
·
Eforturile recente inclusiv
cele ale SGG, Parlamentului şi Cancelariei Primului Ministru indică
un nivel ridicat de activităţi care urmăresc în primul rând
îmbunătăţirea elaborării şi managementului politicilor
publice şi în al doilea rând îmbunătăţirea
capacităţii de evaluare.
·
În comparaţie cu
legislaţia UE, legislaţia românească are prevederi care cer
să se facă evaluări doar pentru bugetele de co-finanţare,
pentru finanţările UE sau pentru finanţări din partea altor
donori cât şi pentru programele de cercetare. Pentru celelalte
activităţi, deşi subiectul evaluării este menţionat,
cerinţele nu sunt suficient de clare sau nu sunt implementare în mod
corespunzǎtor.
·
Stimularea pentru realizarea
de evaluări vine de la mai mulţi actori: Secretariatul General al
Guvernului (în încercarea de a îmbunătăţii procesul de
planificare a politicilor publice), Ministerul Finanţelor Publice (în
vederea implementării Planului Unic de Acţiuni), Ministerul
Administraţiei şi Internelor (prin PO-ul propus pentru Întărirea
Capacităţii Administrative); Cancelaria Primului Ministru (în vederea
îmbunătăţirii previziunilor şi planificării
economice); Parlamentul (pentru îmbunătăţirea evaluării
ex-ante a legislaţiei) şi în cele din urmă instituţia
supremă de audit, Curtea de Conturi (încercând sa-şi asume pe
lângă rolul exclusiv de audit financiar şi rolul de audit de
performanţă care include întrebări de evaluare).
·
Principala structură de
evaluare care există în prezent este Unitatea Centrală de Evaluare
înfiinţatǎ în cadrul AMCSC din Ministerul Finanţelor Publice
şi unităţile de evaluare din cadrul autorităţilor de
management. UCE se ocupă de evaluarea programului Phare şi a
programelor ce vor fi finanţate prin Cadrul Naţional Strategic de
Referinţă 2007 –2013, precum şi de activităţi de
conştientizare a utilităţii evaluării şi de
creştere a capacităţii de evaluare în România. Chiar dacă
nu este însărcinată stricto senso cu sarcina evaluării,
structura formată prin înfiinţarea UPP-urilor în ministerele de linie
(ianuarie 2006) reprezintă un
element important în procesul de dezvoltare a practicii evaluării pentru
politicile şi programele finanţate de la bugetul naţional.
Capitolul 3: Analiza datelor
3.1 Introducere
Acest capitol va prezenta
şi analiza datele generate de chestionarele care au fost distribuite în
timpul seminariilor de creştere a gradului de conştientizare privind
practica evaluării adresate funcţionarilor publici şi
angajaţilor la nivel ierarhic superior care elaborează politicile
publice, reprezentanţilor administraţiei publice centrale şi
locale, membrilor Parlamentului, ONG-urilor, reprezentanţilor
comunităţii academice, participanţilor la cursul de formare
„Certificat in Politici Publice şi Planificare – Evaluare (Certificate in
Policy and Planning – Evaluation) şi Agenţiilor de Dezvoltare
Regională. Aceste informaţii consolidează datele calitative
generate de interviurile individuale care au oferit informaţii mai
conturate pentru descrierea stadiul curent al culturii de evaluare din România.
Prezentarea datelor va
urmări trei titluri:
·
conştientizarea
evaluării – prezentarea a ceea ce ştiu persoanele
chestionate/intervievate despre evaluare şi a ceea ce înţeleg prin
evaluare (3.2);
·
experienţa în evaluare –
conturarea experienţei persoanelor chestionate/intervievate cu privire la
evaluare în România (3.3);
·
cererea şi oferta de
evaluare - prezentarea părerilor celor chestionaţi cu privire la
cererea de evaluare (3.4).
În acest capitol se va face
referinţă la diferitele grupuri care au fost chestionate în timpul
fazei primare de cercetare şi care sunt detaliate mai departe pentru a fi
clarificate:
(a)
Administraţia publică (129 de persoane), reprezentată de:
1.
cei care elaborează
politicile publice (33) – ex. Secretari de Stat;
2.
administraţia
publică centrală (50) – funcţionari publici angajaţi de
Guvern;
3.
nivel regional/local (43) –
funcţionari publici de la nivelul administraţiei publice locale
(nivelul judeţean şi local);
4.
Parlament (3) – membrii
aleşi ai Parlamentului[28].
(b)
Societatea Civilă (60 de persoane chestionate), reprezentată de:
1.
comunitatea academică
(13) – personal din universităţi şi membrii ai institutelor de
cercetare;
2.
organizaţii
neguvernamentale (ONG) (30);
3.
evaluatori externi (17) –
grupul de profesionişti care au participat la cursul de formare acreditat
NUIG şi încheiat recent „Certificat in Politici Publice şi
Planificare – Evaluare (Certificate in Policy and Planning – Evaluation)
implementat de Proiectul de AT.
În acest capitol
„subiecţii chestionaţi” se referă la persoanele care au
completat chestionarele, „intervievaţii” se referă la persoanele care
au fost intervievate în mod individual, „administraţia locală” se
referă la consiliile judeţene şi nivelul administrativ al
localităţilor , şi „nivelul regional” se referă la
Agenţiile de Dezvoltare Regională.
3.2 Nivelul de conştientizare în raport
de conceptul evaluării
Nivelul de înţelegere al evaluării
83% dintre subiecţii
chestionaţi din categoria administraţiei publice cred că scopul
evaluării nu este bine înţeles în cadrul diferitelor nivele ale
administraţiei guvernamentale în timp ce exact jumătate din cei din
categoria societăţii civile cred că evaluarea este
înţeleasă în cadrul administraţiei publice centrale. Se pare,
deci, că persoanele din afara sistemului administrativ văd într-o
lumină mai bună capacitatea administraţiei publice centrale de a
înţelege evaluarea.
Un aspect important a
apărut în faza interviurilor care aruncă mai multă lumină
asupra acestor date – acest aspect se leagă mai mult de ceea ce percep
oamenii ca evaluare şi limbajul folosit pentru a o descrie. Evaluarea este
privită şi discutată ca o activitate de sine
stătătoare mai degrabă decât ca o componentă constantă
a unui proces mai larg de management. Limbajul utilizat pentru a discuta despre
evaluare a variat considerabil în rândul intervievaţilor: „evaluarea
impactului”, „analiză/evaluare socio-economică”, „analiza
impactului”, „monitorizare”, „raportare”, „analiza/evaluarea nevoilor”,
„strategie”, „efecte”, „măsurarea performanţei”, „audituri”,
„măsurarea impactului”, „evaluare organizaţională”.
Interviurile au relevat
această dificultate de limbaj, care derivă parţial dintr-o
problemă conceptuală a evaluării. Deşi se vorbeşte
despre evaluare, nu există o înţelegere comună a evaluării
sau a scopului său ca instrument de management. S-au purtat discuţii
limitate despre evaluare fără participarea celor care sunt
implicaţi direct în gestiunea programelor finanţate de UE.
Totodată, nu există un cadru comun de lucru, un limbaj comun, recomandări
sau standarde comune. Acest lucru pare să fi creat o anumită confuzie
datorită căreia evaluarea este interpretată diferit de la un
sector la altul, în cadrul sectoarelor şi această confuzie reiese din
analiza datelor.
Implicarea în discuţiile despre evaluare
Mai puţin de
jumătate din cei chestionaţi din sectorul administraţiei publice
(43%) au fost implicaţi într-o anumită formă de discuţie
despre evaluare şi majoritatea discuţiilor care au avut loc au fost
legate de programele cu finanţare externă cum ar fi cele
finanţate de PHARE, USAID şi Banca Mondială. Alte forumuri de
discuţie menţionate au fost sesiunile de formare şi
conferinţele (nu s-a specificat unde) Institutului Naţional de
Administraţie şi Fundaţia Română pentru Mediu şi
Energie.
În afara sectorului
administraţiei publice, 58% dintre cei chestionaţi din categoria
societăţii civile au spus că au fost implicaţi în
discuţii despre evaluare, mai ales în forumuri ca:
·
grupuri de lucru legate de
proiecte internaţionale;
·
evaluarea cursurilor
universitare, dezvoltării regionale şi Proiectelor UE cum ar fi
Leonardo;
·
grupuri de lucru pe mediu
organizate de ONU;
·
seminarii de formare şi
cursuri organizate de ONG-uri;
·
cursul pentru evaluatorii de
întreprinderi organizat de CECCAR (Corpul Experţilor Contabili şi
Contabililor Autorizaţi din România).
Utilizarea evaluării
Majoritatea celor
chestionaţi din categoria administraţiei publice au apreciat
evaluarea ca fiind „foarte utilă” (72%) iar restul au apreciat-o ca fiind
oarecum folositoare. Interesant, majoritatea celor chestionaţi din categoria
societăţii civile, în procent de 62%, au apreciat evaluarea ca fiind
„oarecum folositoare” iar restul (38%) au considerat-o „foarte utilă”.
Tabelul 1 arată
procentele celor chestionaţi care cred că evaluarea poate sprijini
luarea deciziei în anumite priorităţi de politici publice, care cred
că evaluarea sprijină îmbunătăţirea programelor
şi asumarea responsabilităţilor. Cei chestionaţi au
menţionat şi alte utilizări (ale evaluării) în sensul
îmbunătăţirii eficienţei, resurselor alocate, descoperii de
noi probleme şi idei cât şi în sensul schimbări
mentalităţii funcţionarilor publici.
Tabelul 1: Principalele
utilizări ale evaluării
|
|
Administraţia
publică |
Mediul academic |
Evaluatori externi |
ONG |
|
Sprijinirea
procesului de luare a deciziilor |
74% |
100% |
100% |
100% |
|
Îmbunătăţirea
programelor |
83% |
100% |
100% |
93% |
|
Aduce o notă în
plus de responsabilizare |
75% |
100% |
70% |
93% |
Deşi evaluarea este
văzută ca fiind „foarte folositoare”, nivelul său efectiv de
utilizare în cadrul administraţiei publice este foarte scăzut. Doar
7% spun că evaluarea este utilizată în mod frecvent, 38% spun că
este utilizată rar şi 55% spun că nu este utilizată
îndeajuns.
Participanţii
chestionaţi din categoria societăţii civile au fost
întrebaţi dacă apreciază că evaluarea este suficient de
bine utilizată în rândul entităţilor publice şi private.
Concluziile arată un nivel deprimant de utilizare a rapoartelor şi
concluziilor evaluării. Doar 18% cred ca administraţia publică
centrală utilizează concluziile evaluării „destul de bine”.
Situaţia în cazul administraţiilor locale/regionale este cu mult mai
rea, doar 6% crezând că acestea utilizează evaluarea într-o
manieră constructivă.
Coroborând aceste concluzii cu
cele din titlul „nivelul de înţelegere al evaluării” prezentate mai
sus, se poate trage concluzia că scopul evaluării nu este bine
înţeles şi că în instituţiile guvernamentale se face
puţin uz de evaluare. Totuşi, la nivel individual există o
bună înţelegere a felului în care evaluarea poate
îmbunătăţii managementul şi performanţa.
Cunoştinţe cu privire la evaluările
deja implementate
La întrebarea cu privire la
cunoştinţele despre evaluările existente în sistemul
administraţiei publice centrale sau în sectorul privat, 66% dintre cei
chestionaţi în categoria societăţii civile au răspuns
că au cunoştinţe despre aceste evaluări şi anume:
evaluările din cadrul propriilor lor instituţii;
auditurile realizate pentru proiectele Băncii Mondiale;
evaluarea la nivelul Consiliului Judeţean;
evaluările Phare;
evaluările anuale ale administraţiei publice ;
evaluările din cadrul Reformei Protecţiei Copilului;
auditul financiar ISO;
evaluarea centrelor sociale;
evaluarea legată de procesul de acreditare din instituţiile de
educaţie;
evaluarea performanţelor personalului (o practică
obişnuită de resurse umane).
Apare aici problema limbajului
utilizat pentru descrierea evaluărilor. Din cele de mai sus, se
înţelege că evaluările despre care se vorbeşte includ
audituri, raportările anuale ale administraţiei publice şi
analiza stadiului de acreditare a unei anumite instituţii de
educaţie. În timpul interviurilor s-a vorbit despre „evaluarea impactului”
care are loc înainte de intrarea în vigoare a oricărei noi legislaţii
sau a oricărei noi politici fiscale. Persoanele prezente au vorbit de
asemenea despre „analiza impactului socio-economic” care se face pentru orice
program de investiţii cu capital major. Au fost menţionate şi
„evaluările” făcute de (direcţia) Drumuri şi Poduri
contractate de Ministerul Trasporturilor dar implementate pe cale internă.
Membrii Parlamentului au vorbit despre rolul Parlamentului de a „evalua”
activităţile Guvernului cerând fiecărui Minister să
prezinte rapoarte de activitate în faţa diferitelor comisii parlamentare.
Aparent, cultura
dominantă a raportării şi auditului este bine sădită
în minţile oamenilor. Conceptul de „evaluare” ca proces care străbate
managementul administraţiei publice şi buna guvernare se
confundă într-o anumită măsură cu funcţia de raportare
şi control.
3.3 Expertiza şi practica în
domeniul evaluǎrii
Contractarea evaluărilor
Doar 16% dintre cei
chestionaţi din categoria administraţiei publice au încercat
vreodată să contracteze o evaluare. Majoritatea celor contractate au
implicat activităţi cu finanţare Phare urmate de alte tipuri de
evaluări (ex. audituri financiare, management instituţional,
managementul utilităţilor publice). Cea mai mică cerere (cu
excepţia Parlamentului) a venit de la cei care elaborează politici
publice şi de la administraţia centrală, doar 12% dintre cei
chestionaţi raportând că au contractat evaluări. Acestea au fost
legate de evaluarea proiectelor sau a diferite organizaţii.
Având în vedere câteva dintre
concluziile capitolului anterior, se pare că deşi se cunoaşte
destul de bine ce poate face evaluarea, experienţa în contractarea
evaluărilor este foarte limitată.
Implicare în evaluare
78% dintre cei
chestionaţi în categoria societăţii civile au răspuns
că organizaţia lor a fost evaluată în trecut[29].
Această întrebare a fost pusă şi celor intervievaţi
şi, cu excepţia evaluărilor care se fac ca parte a programelor
cu finanţare UE sau cu finanţare din partea altor donori
străini, mulţi dintre ei au răspuns că nu s-a făcut
nicio evaluare.
Cei chestionaţi din
categoria administraţiei publice au fost întrebaţi dacă au fost
vreodată intervievaţi de un evaluator. Mai mult de o treime au
răspuns afirmativ şi majoritatea acestor interviuri au fost legate de
fondurile UE. Celelalte interviuri realizate au fost legate de
performanţele personale şi politicile de resurse umane.
Mai mult de jumătate din
cei chestionaţi (53%) din categoria administraţiei publice au
pregătit cel puţin un raport sau au oferit informaţii pentru o
evaluare şi majoritatea acestora erau legate de rapoartele sau
evaluările UE.
Efectele evaluării asupra muncii lor
64% dintre cei
chestionaţi în categoria administraţiei publice au răspuns
că evaluările au avut un impact asupra muncii lor. Mai mult de trei
pătrimi dintre cei chestionaţi în categoria celor care
elaborează politicile publice, 48% dintre cei chestionaţi în categoria
administraţiei publice centrale şi 91% dintre cei chestionaţi în
categoria nivelului local/regional consideră că evaluarea a avut
efecte asupra muncii lor.
Aţi făcut vreodată o evaluare?
Această întrebare
referitoare la faptul dacă participanţii chestionaţi au realizat
vreodată o evaluare ei înşişi a fost pusă doar categoriei
societăţii civile şi 70% dintre ei au răspuns că au
realizat evaluări în trecut, după cum urmează:
|
Grup |
|
Exemple |
|
Mediul academic |
85% |
activităţi de
turism; consilii judeţene; proiecte Phare; ficienţa
implementării IT şi a resurselor umane; evaluarea companiilor
private şi a bunurilor; evaluarea centrelor medicale
permanente de educaţie; activităţi de
audit. |
|
Evaluatori externi |
70% |
Programul Phare; asigurarea
calităţii; campanie de
conştientizare pentru o companie de telecomunicaţii; accesul populaţiei
rrome la planificarea familială; evaluare de proiecte; legislaţie şi
impact; evaluarea impactului
creşterii impozitului pe micro-întreprinderi; Programul OIM/UNDP. |
|
ONG |
63% |
auto-evaluări; evaluarea
organizaţională pentru ONG-uri similare; Proiecte Phare; evaluarea nevoilor
grupurilor cu dizabilităţi; evaluarea politicilor de
protecţie a copilului; evaluarea internă (a
resurselor umane şi financiare); evaluarea proiectelor
şi programelor din punctul de vedere al integrării
egalităţii de gen; evaluarea proiectelor
Băncii Mondiale; evaluarea proiectului
Biroului de Consiliere pentru Cetăţeni; evaluarea proiectelor
sociale (tabere pentru copii din familii sărace); evaluarea managementului
resurselor umane |
În principiu se pare că
există o anumită capacitate şi un anumit interes în cadrul
societăţii civile pentru realizarea diferitelor tipuri de evaluare
(cu menţiunea că noţiunea de „evaluare” are în mod semnificativ
diferite înţelesuri în cadrul grupurilor de persoane chestionate).
3.4 Cererea şi oferta de evaluare
Cererea de evaluare
În cadrul Guvernului României
au loc activităţi legate de analiză, raportare şi
monitorizare dar, conform intervievaţilor, singura cerere reală de
evaluare, aşa cum este înţeles în contextul mai larg de management de
program, a venit din afara administraţiei româneşti, de la donori
(UE, Banca Mondială, USAID) care cer informaţii cu privire la felul
în care banii pe care i-au donat au fost cheltuiţi.
Aproape toţi
intervievaţii au remarcat că cererea de evaluare în cadrul
administraţiei publice este foarte scăzută. Unul dintre
intervievaţi a remarcat că funcţionarii publici şi
politicienii spun întotdeauna ceea ce trebuie şi folosesc întotdeauna
limbajul care trebuie, dar încă nu există o conştientizare
reală a evaluării şi nicio cerere efectivă pentru aceasta.
Totuşi, se pare că
atitudinile se schimbă încet. Există o cerere în cadrul
Secretariatului General al Guvernului, derivată din obiectivul de
îmbunătăţire a planificării politicilor publice.
Există o cerere în afara Guvernului din partea UE (şi alţi
donori străini) de a monitoriza şi evalua diverse fonduri alocate
ţării. Sunt întreprinse diverse acţiuni în cadrul Cancelariei
Primului Ministru pentru îmbunătăţirea implementării
programului Guvernului şi aici intră şi evaluarea şi
analiza ex-ante a impactului. Programul Guvernului pe 2005-2008 include
„eficienţa” între principiile sale de guvernare şi stipulează
că „politicile publice ar trebui bazate pe obiective bine stabilite care
se adresează nevoilor reale şi ar trebui să reflecte
evaluările ex-ante ale impactului”. În Parlament există
nuclee de gândire şi acţiune care pot sprijini utilizarea analizei
impactului şi evaluării în cazul intrării în vigoare a unei noi
legislaţii sau în analizarea activităţilor Guvernului. Munca
care a fost făcută în domeniul reformei administraţiei va
continua să fie sprijinită de Programul Operaţional de
Întărire a Capacităţii Administrative care propune ca evaluarea
să susţină procesul de reformă în încercarea de a
influenţa buna guvernare. Există posibilitatea de a integra aceste
schimbări într-o abordare mai coordonată astfel încât să fie
creată o anumită mişcare care va ajuta la propagarea
schimbării în sistemul administraţiei publice.
Reprezentanţii ONG-urilor
şi evaluatorii externi au fost întrebaţi când estimează că
va exista un nivel adecvat de cerere care să-i atragă suficient de
mult încât să intre pe piaţa curentă şi să îşi
vândă serviciile de evaluare. Mai puţin de jumătate din ei (48%)
cred că piaţa este atractivă, alţi 37% au răspuns
că va exista o cerere adecvată peste 1-2 ani şi 15% cred că
vor trece mai mult de trei ani înainte ca cererea să stimuleze piaţa.
Având în vedere
experienţa altor State Membre, o cultură progresivă a
evaluării nu se poate naşte dacă este stimulată doar de
cererea externă. Trebuie să fie stimulată din interiorul
administraţiei publice, Parlamentului, Guvernului şi a altor nivele
de guvernare, dar, mai departe de aceasta, societatea civilă are şi
un rol în a pretinde ca banii publici să fie cheltuiţi într-o
manieră care să vină în întâmpinarea nevoilor lor, de o
manieră eficientă şi în a cere ca elaborarea şi
implementarea intervenţiilor publice să se bazeze pe argumente care
contribuie la o guvernare mai transparentă şi responsabilă.
Organizaţii profesionale
Din întreg pachetul de date,
42% dintre cei care au răspuns cred că există o organizare
profesională a evaluatorilor în România. Acest lucru contrazice
informaţiile primite în timpul interviurilor când toţi cei
prezenţi au afirmat că nu există în România o organizaţie
profesională a evaluatorilor. Întrebarea s-a referit la organizaţii
profesionale cum ar fi Societatea Europeană a Evaluatorilor (şi
sucursalele naţionale care există în multe ţări UE).
Datorită inconsistenţei evidente dintre cele două
răspunsuri ar putea exista tentaţia de a ignora datele ca fiind
viciate, de exemplu întrebarea nu a fost formulată corect sau nu au fost
oferite suficiente informaţii celor chestionaţi pentru un
răspuns informat.
Totuşi, credem că
aceste date întăresc consideraţiile noastre anterioare cu privire la
confuzia creată de limbaj şi de diferitele înţelegeri asupra
termenului „evaluare”. Mai multe persoane au menţionat organizaţii
profesionale de evaluatori dar acestea ţin de analiza valorii bunurilor[30]
(în termeni financiari) şi, din păcate, acest tip de activitate este
cunoscut sub denumirea de evaluare în limba română, ceea ce aduce
un plus de confuzie. Astfel de exemple sunt Asociaţia Naţională
a Evaluatorilor din România (ANEVAR), Registrul Naţional al Auditorilor
(RENA) şi Asociaţia Consultanţilor în Management din România
(AMCOR).
Se pare deci că cei
chestionaţi au dreptate, dar se află într-o confuzie: există
asociaţii profesionale ale evaluatorilor, dar nu ţin de conceptul de
evaluare aşa cum există în politica şi dezvoltarea
socio-economică.
Oferta locală
Una din patru persoane (25%)
din categoria administraţiei publice cred că există o
ofertă adecvată de evaluatori locali (români). Mai puţin de 3%
dintre persoanele chestionate din categoria societăţii civile
consideră că există o ofertă adecvată de evaluatori
locali.
Reprezentanţii ONG-urilor
şi evaluatorii externi au fost de asemenea întrebaţi câte persoane au
acumulat expertiză în evaluare în cadrul organizaţiilor lor. Doar 3
din cele 46 de companii/organizaţii chestionate au spus că mai mult
de 3 persoane din compania/organizaţia lor au expertiză în evaluare.
Şi persoanele
intervievate consideră că oferta de evaluatori experimentaţi, cu
o bună expertiză, este slabă şi s-au arătat
îngrijoraţi de capacitatea de a răspunde cererii crescute de
evaluări care va rezulta din implementarea CNSR şi a procesului de
reformă. Deşi anumite firme private pretind că pot realiza
evaluări, persoanele intervievate şi-au arătat preocuparea
pentru calitatea unei astfel de munci şi s-au întrebat dacă
experienţa lor este potrivită pentru administraţia publică
şi politicile, programele, proiectele publice.
Persoanele intervievate cred
că în scurt timp firmele de consultanţă internaţionale
străine vor veni să susţină oferta, dar toţi cei
prezenţi şi-au exprimat dorinţa de a vedea creşterea
capacităţii locale în România pentru a veni în întâmpinarea cererii
galopante.
Există o posibilitate de
a creşte oferta locală cu ajutorul universităţilor,
institutelor de cercetare, think-tank-urilor şi sectorului ONG-urilor,
intervievaţii ţinând însă să menţioneze că
trebuie să se facă training pentru a se asigura că există o
abordare şi înţelegere comune asupra evaluării şi metodelor
de evaluare. De asemenea, a fost exprimată preocuparea că sectorul
educaţiei s-ar putea schimba şi veni în întâmpinarea nevoilor de o
manieră foarte lentă, mai ales pentru că instituţiile
academice sunt axate mai mult pe predare decât pe cercetare. Partea de
ofertă trebuie atât formată cât şi stimulată pentru
creşterea capacităţii locale.
Persoanele chestionate din
categoria societăţii civile au fost întrebate dacă au avut
vreodată ocazia să vândă servicii de evaluare şi 38% au
răspuns afirmativ. Aceste oportunităţi au fost legate de
contribuţii la materiale de pe Intenet, rapoarte, Ghidul Evalsed, Biroul
Naţional al Sindicatelor Comerciale şi evaluarea impactului de gen al
diferitelor programe.
Training pe problematica evaluării
Universităţile în
mod specific au fost întrebate dacă pun la dispoziţie cursuri, module
sau training pe problematica evaluării. Cinci din cele treisprezece
persoane chestionate au răspuns afirmativ şi au indicat:
Diplome de Master pe subiectul Standardelor de Calitate ale UE;
Cursuri pe subiectul Managementului Proiectelor cu finanţare UE;
Cursuri pe subiectul evaluării firmelor private şi a resurselor
umane.
S-a menţionat că
există totuşi o cerere pentru cursuri practice de scurtă
durată cu privire la evaluare care nu sunt prinse în programa de master.
Persoanele intervievate au
ţinut să atragă atenţia cu privire la
universităţi. Mulţi dintre cei intervievaţi au considerat
că universităţile nu au fost atât de proactive pe cât s-ar fi
putut (a) implicându-se în evaluări sau (b) oferind cursuri de formare
pentru creşterea ofertei de evaluatori. S-a spus că instituţiile
academice se schimbă încet şi că nu sunt printre cele mai
flexibile organizaţii.
Intervievaţii au
subliniat importanţa creşterii ofertei de formare atât în cadrul
mediului academic cât şi în cadrul administraţiei publice. Institutul
Naţional de Administraţie Publică face un pas în direcţia
bună introducând noi module, inclusiv unul pe evaluare, în cursul pentru
Managerii Public.
Resursele de evaluare
Persoanele chestionate din
categoria societăţii civile au fost întrebate dacă au avut
vreodată ocazia de a-şi dezvolta expertiza în evaluare. 35% au
răspuns afirmativ şi, detaliind, se pare că aceste ocazii vin
din realizarea efectivă a unor evaluări – învăţatul din
mers. Alte resurse menţionate au fost cursurile de training finanţate
prin Phare, participarea la seminarii ale societăţilor
internaţionale de evaluatori (ex. Societatea Europeană a
Evaluatorilor) şi seminariile organizate în cadrul Programului RICOP cu
finanţare Phare dar şi calitatea de membru al unor comitete de
selecţie de proiecte.
58% dintre persoanele
chestionate din categoria societăţii civile aveau
cunoştinţe despre resursele care îi pot ajuta să-şi
îmbunătăţească cunoştinţele pe subiectul evaluării,
ONG-urile părând să aibă cele mai multe informaţii.
Exemplele de resurse disponibile s-au referit la Fundaţia pentru o
Societate Deschisă, materialele online, oportunităţile de a
colabora cu parteneri străini şi Şcoala Naţională de
Studii Politici şi Administrative.
3.5 Aspecte esenţiale
Scopul evaluării nu este bine înţeles la diferitele nivele ale
administraţiei publice, dar mai ales la nivel judeţean şi local.
Există o confuzie cu privire la conceptul evaluării (ce este
aceasta) şi cu privire la limbajul
folosit pentru a o descrie. Ca atare, evaluarea este interpretată în mod
diferit în cadrul sectoarelor, de la un sector la altul şi în
relaţiile cros-sectoriale.
În cadrul Guvernului Român au loc activităţi legate de
analiză/evaluare, raportare şi monitorizare, dar singura cerere
reală pentru evaluare, aşa cum este înţeleasă în contextul
mai larg de management de program, a venit din afara administraţiei
româneşti, din partea donorilor străini.
Instituţiile guvernamentale se află în urmǎ atunci când vine
vorba de utilizarea evaluării ca instrument de management, deşi
persoanele chestionate au o bună înţelegere a felului în care
evaluarea poate îmbunătăţii performanţa şi
managementul.
Cultura raportării şi auditului este bine implantată în
minţile oamenilor. Conceptul de „evaluare” ca proces care susţine
managementul administraţiei publice şi buna guvernare se
confundă într-o anumită măsură cu funcţiile de
raportare şi control.
Deşi utilizarea evaluării este limitată, impactul
evaluărilor realizate a fost destul de mare.
Nu există în România o organizaţie profesională a
evaluatorilor (în sensul conceptului de evaluare aşa cum există
acesta prin raportarea la politica de dezvoltare socio-economică).
Oferta locală de evaluatori este scăzută, dar se pare
că există o anumită capacitate şi un interes semnificativ
în cadrul societăţii civile pentru realizarea de evaluări.
Oferta de formare şi resursele disponibile în domeniul evaluării
sunt limitate.
Capitolul 4: Analiza culturii de evaluare din România
prin raportarea la criteriile „9+3”
4.1 Introducere
Acest Capitol se bazează
pe datele prezentate în Capitolul 3, pe cercetarea secundară
realizată prin trecerea în revistă a unor rapoarte şi documente
şi pe informaţiile culese din timpul interviurilor, întâlnirilor
şi focus grupului. Cultura de evaluare aşa cum există aceasta în
România se analizează prin raportarea la criteriile „9+3”[31].
Capitolul prezintǎ în
continuare o imagine a situaţiei dezirabile, cu alte cuvinte cum ar
arăta în România, pe baza aceluiaşi set de criterii, o cultură
model a evaluării. În cele din urmă se prezintǎ câteva sugestii
şi recomandǎri care conturează modul în care se poate trece de
la situaţia curentă la cea dezirabilă[32].
Informaţia este prezentată în formă de tabel.
4.2 Criteriul 1: Evaluarea se face în multe
domenii de politicǎ publicǎ
|
Situaţia
prezentă |
§ Evaluarea se află
într-un stadiu incipient şi nu se face încă în multe domenii ale
politicilor publice, dar există o atenţie crescută
îndreptată asupra evaluării în mai multe cercuri (deşi
restricţionate) şi la diferite nivele. De exemplu, în Parlament
(prin Proiectul de Înfrăţire Instituţională cu
finanţare Phare care se derulează în prezent „Întărirea
capacităţii administrative a Parlamentului”), Guvern (în SGG
şi Ministerul Finanţelor Publice), în Ministerul
Administraţiei şi Internelor şi entitatea supremă de
audit (Curtea de Conturi). Această preocupare este mai puţin
vizibilă la alte nivele – de exemplu celelalte ministere, mediul
academic, administraţia publică locală. § Limbajul folosit în prezent
pentru descrierea evaluării este confuz şi, ca atare, se pare
că evaluarea are diferite înţelesuri pentru diferiţi oameni. O
altă problemă în limba română este utilizarea interşanjabilă
a cuvintelor „evaluare/analiză” (assessment), „inspectare/trecere în
revistă” (survey), „scanare/trecere în revistă” (screening) şi
„evaluare” (evaluare). Limbajul utilizat în acest raport a inclus concepte
ca: „analiza/evaluarea impactului”, „analiza/evaluarea socio-economică”,
„analiza de impact”, „monitorizarea”, „raportarea”, „analiza/evaluarea
nevoilor”,”strategie”, „efecte/rezultate”, „măsurarea
performanţei”, „audit” şi „raportare”. § Evaluarea se face mai ales
pentru programele cu finanţare UE sau din partea altor donori
străini şi se află la un nivel scăzut în
administraţia publică în raport cu programele naţionale. § În prezent se fac paşi
pentru a ajunge la momentul în care analiza/evaluarea ex-ante a impactului se
va face ori de câte ori trebuie introdusă o nouă legislaţie
sau o nouă politică fiscală. |
|
Situaţia
dezirabilă |
§ Evaluarea are loc în cadrul
Guvernului şi entităţilor
administraţiei publice centrale şi locale, indiferent de
liniile de finanţare. § Această evaluare se
bazează pe o înţelegere agreată asupra evaluării, un
limbaj comun în jurul evaluării şi recomandări comune de
bună practică care sunt acceptate şi aplicate la toate
nivelele administraţiei. Această înţelegere stă la baza
tuturor activităţilor de evaluare din administraţia
publică. § Evaluarea este recunoscută
ca fiind un proces continuu care susţine bunul management, mai
degrabă decât o finalitate în sine. § Evaluarea este
văzută ca un instrument de învăţare şi
îmbunătăţire, dar şi ca o formă de responsabilizare.
Actorii cheie utilizează rezultatele evaluării în acest scop. |
|
Calea sugerată |
§ Dezvoltarea şi agrearea
unui concept comun al evaluării – ce este şi ce nu este. Totul
trebuie să fie simplu şi explicit. § Dezvoltarea unui limbaj
comun al evaluării pentru administraţia publică care să
fie agreat şi acceptat. § Elaborarea unor
recomandări de bună practică şi proceduri pentru
administraţia publică legate de contractare, asigurarea resurselor
şi managementul evaluării. § Dezvoltarea la nivel central
al unei baze de date cu privire la evaluări de succes care au avut un
impact în România în sensul îmbunătăţirii managementului
şi implementării programelor. § Popularizarea valorii
evaluării prin mai multe canale: § Realizarea de seminarii la
nivel central, local, regional şi naţional. § Elaborarea de
broşuri/ghiduri de evaluare pentru distribuţie; § Realizarea unor
evaluări pilot, de avangardă (1-2) care să exemplifice buna
practică din momentul contractării evaluării până la
momentul implementării recomandărilor evaluării. Puterea
exemplului va fi mai eficientă decât orice alt material-resursă
şi va ajuta la îndepărtarea temerilor pe care politicienii sau
funcţionarii publici le pot avea cu privire la evaluare şi la felul
în care poate fi utilizată. § Trebuie să se ia în
calcul introducerea treptată a cerinţelor legale în cadrul
programelor naţionale, urmându-se anumite etape. De exemplu, în prima
etapă s-ar putea cere ministerelor să evalueze proiectele cu un
anumit buget şi/sau politicile sau programele care sunt noi şi
inovative în cadrul ministerelor. Această cerinţă legală
ar putea fi extinsă după o anumită perioadă de ani la
alte nivele ale administraţiei având obiectivul pe termen lung de a
extinde evaluarea la toate activităţile administraţiei
publice, la toate nivelele. |
4.3 Criteriul 2: Există o ofertă de
evaluatori locali în diferite discipline
|
Situaţia
curentă |
§ Oferta de evaluatori locali
este mică, indiferent de disciplină. § Există o posibilitate
de a forma mai mulţi evaluatori în mediul academic, în institutele de
cercetare, ONG-uri, organizaţii de studiu/grupuri de reflecţie
(think tank-uri) şi sectorul privat. § Universităţile se
află într-o fază incipientă cu privire la auto-evaluare
şi preocuparea pentru subiectul evaluării şi nu la un nivel
aşa de avansat precum s-ar putea aştepta de la viitori formatori
şi promotori ai practicii evaluării. § Piaţa serviciilor de
evaluare a fost lăsată pe seama propriilor dispozitive şi, ca
atare, dezvoltarea a fost circumstanţială, nu sistematică. § Există într-adevăr
un mic grup de evaluatori care şi-au obţinut expertiza prin
combinarea experienţei practice şi a training-ului dar capacitatea
lor încă trebuie dezvoltată. |
|
Situaţia
dezirabilă |
§ Există o ofertă
adecvată de evaluatori locali de bună calitate capabili să
vină în întâmpinarea cererilor din diferite discipline. § Expertiza acestor evaluatori se întinde pe mai multe zone de
politică publică. § Evaluarea este
recunoscută ca o specializare în sine. § Resursele şi expertiza
sunt disponibile în mod sistematic, din mai multe surse şi sunt deschise
participanţilor din sectorul public sau din afara acestuia. § Guvernul îşi asumă un rol în sprijinirea dezvoltării
capacităţii cerând constant evaluări, stimulând training-ul
şi sprijinind dezvoltarea expertizei. |
|
Calea sugerată |
§ Stimularea şi
sprijinirea mediului academic în vederea realizării cursurilor de
training (de scurtă sau lungă durată) pe evaluare ca şi
curs în sine sau într-un modul. Este important ca acest training să se
facă pe mai multe discipline cum ar fi economia, sociologia, ingineria
astfel încât să se formeze specialişti în diverse discipline. § Contractarea unor cursuri de
training pentru administraţia publică, firmele de
consultanţă existente sau posibile firme de consultanţă
pentru întărirea capacităţii lor cu privire la evaluare,
asigurând că se face acest lucru pe o arie de mai multe discipline. § Dezvoltarea unei scheme de
asigurare a calităţii sau a unor recomandări pentru a-i ajuta
pe evaluatori şi contractori să asigure evaluări de calitate. § Utilizarea Strategiei
Naţionale de Evaluare pentru creşterea capacităţii locale
de evaluare de o manieră sistematică şi nu ad-hoc. Aceasta
trebuie să se axeze pe creşterea expertizei persoanelor şi
organizaţiilor dezvoltând în acelaşi timp o bază durabilă
de expertiză şi resurse în domeniul evaluării. § Creşterea cererii va
creşte nivelul de conştientizare şi va orienta oferta
către dezvoltarea serviciilor de evaluare a proiectelor. |
4.4 Criteriul 3: Există un discurs
naţional cu privire la evaluare
|
Situaţia
curentă |
§ Există un anumit nivel
de discurs în cadrul administraţiei publice, care se regăseşte
în anumite instituţii însărcinate cu elaborarea politicilor
publice: Autorităţile de Management şi Autorităţile
de Implementare pentru anumite Programe Phare şi pentru Programele
Operaţionale (şi mai ales în cadrul Autorităţii de
Management pentru PO pentru Întărirea Capacităţii
Administrative); Secretariatul General al Guvernului şi UPP-urile;
Unitatea Centrală pentru Reforma Administraţiei Publice şi
altele; Cancelaria Primului Ministru şi Corpul Suprem de Audit (Curtea
de Conturi). Totuşi, nu există o singură entitate care să
aibă responsabilitatea unificării tuturor acestor eforturi
disparate şi, având în vedere că nu există o înţelegere
acceptată a evaluării, aceste discursuri se ţin în vid. § La nivel regional, instituţiile de implementare care
administrează fondurile UE au un discurs limitat. § În afara acestei sfere, discursul cu
privire la evaluare este limitat. |
|
Situaţia
dezirabilă |
§ Toţi actorii cheie din
administraţia publică cooperează pentru introducerea culturii
evaluării la toate nivele de guvernare. § Evaluarea este
recunoscută şi preţuită la toate nivelele de
administraţie publică. § Există o bună
înţelegere în cadrul societăţii civile cu privire la valoarea
evaluării. Această conştientizare externă este un
stimulent important al cererii şi este o parte esenţială a
bunei guvernări. |
|
Calea sugerată |
§ Ar trebui dezvoltate mai
multe legături între toţi actorii cheie care sunt implicaţi în
prezent în promovarea evaluării. Discuţiile trebuie să se
ţină la nivel înalt între SGG, MFP-AMCSC, Cancelaria Primului
Ministru şi Curtea de Conturi pentru a identifica felul în care aceste
instituţii pot lucra împreună şi pentru a uni eforturile
disparate într-o iniţiativă concertată. Aceasta nu
înseamnă concentrarea eforturilor într-o singură entitate sau o
abordare complet omogenă a evaluării. În principiu înseamnă
că trebuie să se ajungă la un acord (aşa cum este prezentat
în criteriul 1) cu privire la conceptul evaluării, limbajul folosit
pentru a-l descrie şi felul în care va fi folosit. Detaliile cu privire
la momentul în care are loc evaluarea, felul în care este implementată
şi de către cine, etc, sunt decizii pe care diferiţi actori
cheie le vor lua în funcţie de nevoile lor. Ar trebui însă luate pe
fundalul unei înţelegeri comune asupra conceptului de evaluare şi a
existenţei unui circuit efectiv de informaţii între diverşi
actori cheie. În prezent, trebuie să aibă loc discuţii despre
felul în care Unităţile de Evaluare din fiecare Autoritate de
Management şi UPP-urile din ministerele de linie vor colabora pentru
atingerea unui scop comun. Având în vedere conţinutul şi accentul
PO pentru Întărirea Capacităţii Administrative, acest program
ar trebui utilizat ca instrument pentru sprijnirea financiară a
eforturilor tuturor actorilor cheie de a construi o mai bună coordonare
şi cooperare, de exemplu cooperând pentru agrearea unui limbaj şi a
unor concepte comune, a unor publicaţii pe evaluare, finanţarea
unor evaluări pilot comune, etc. § Valoarea evaluărilor
trebui exemplificată făcând, arătând, vorbind şi
diseminând. La fel, acest lucru ar trebui să se facă prin
implementarea unor evaluări pilot, dar fără această
abordare pragmatică va fi foarte dificil să se facă diseminarea
la nivelul extins al societăţii, de exemplu mass media sau publicul
în general. |
4.5 Criteriul 4: Există o
organizaţie profesională a evaluatorilor
|
Situaţia
curentă |
§ Nu există în România o
organizaţie profesională a evaluatorilor din domeniul dezvoltării
socio-economică. Există asociaţii ca Asociaţia
Consultanţilor în Management din România (AMCOR), Asociaţia
Naţională a Evaluatorilor din România (ANEVAR) şi Registrul
Naţional al Auditorilor (RENA). Aceasta demonstrează din nou
că există o confuzie legată de conceptul de evaluare şi
limbajul utilizat pentru a o descrie. Nu există nimic care să
semene unei societăţi de evaluare, ex. Reţeaua Irlandeză
de Evaluare, Societatea de Evaluare a Marii Britanii, aşa cum
există în alte state membre. |
|
Situaţia dezirabilă |
§ Este instituită o
societate a evaluatorilor după modele din alte ţări care este
afiliată Societăţii Europene a Evaluatorilor. § Această societate ar fi
o resursă importantă pentru comunitatea mai largă de evaluare
prin promovarea cunoştinţelor, bunelor practici şi prin
menţinerea inter-relaţionării. |
|
Calea sugerată |
§ Crearea unei
organizaţii profesionale a evaluatorilor după modele similare de
reţele din Marea Britanie, Irlanda, etc. § Ca parte a acestei
iniţiative de evaluare, ar trebui creată o bază de date cu
înregistrare liberă şi care ar putea fi folosită ca instrument
de marketing pentru evaluatori şi sursă pentru potenţiali
clienţi. Baza de date ar putea include informaţii despre evaluator,
aria de expertiză şi experienţă. § Continuarea eforturilor
pentru dezvoltarea unei comunităţi profesionale de evaluatori – se
poate utiliza în acest sens oportunitatea oferită de viitorul Program cu
finanţare Phare
2005/017-553.05.03 “Implementarea Strategiei Naţionale de
Evaluare” gestionat de AMCSC. |
4.6 Criteriul 5: Există un anumit nivel
de instituţionalizare a evaluării la nivelul Guvernului
|
Situaţia
curentă |
§ Interesul pentru evaluare
creşte dar cererea concretă de evaluare este încă în stadiu
incipient. Sunt foarte puţine exemple în care evaluarea (ex-ante sau
ex-post) a fost folosită în afara cadrului programelor cu finanţare
UE. Exemple de instituţii care au realizat evaluări sunt Corpul
Curtea de Conturi, SGG (evaluarea politicilor guvernamentale) şi
Agenţia Naţională pentru IMM-uri. § Gândirea în prezent pare să se axeze pe analiza impactului sau pe
etapa evaluării ex-ante mai degrabă decât pe evaluarea la alte
momente ale managementului ciclului de proiect, program sau politică sau
pe evaluare ca parte a întreg procesului de management. § Programul Operaţional
pentru Întărirea Capacităţii Administrative din cadrul CNSR
2007-2013 elaborat de Ministerul Administraţiei şi Internelor
include printre priorităţile şi ariile sale cheie de intervenţie
întărirea capacităţii de a monitoriza şi evalua
intervenţiile publice atât la nivelul central cât şi la nivelul
local al administraţiei publice. Mai mult, PO-ul urmăreşte
să extindă ciclul de bugetare multi-anuală prin introducerea
unui cadru de lucru pentru monitorizare şi evaluare care creează un
forum pentru analiza performanţei din punct de vedere al efectelor
şi impactului lor social şi care oferă reacţii
(feed-back) procesului de formulare al politicilor publice. § Există o cultură
puternică a raportării. § Cererea este dependentă
de existenţa legislaţiei care prevede efectuarea de evaluări.
Se evidenţiază în mai multe cercuri un val de gândire conform
căruia în absenţa unui cadru legal cererea nu se va dezvolta. § Nu sunt suficient de clare
diferitele dimensiuni ale evaluări – un instrument de control sau un
instrument de management, intern versus extern - şi diferitele tipuri de
evaluare. § Existenţa
evaluării în cadrul sistemului actual de bugetare este discutabilă.
Există propuneri pentru introducerea bugetării multi-anuale care
să fie legată în mod clar de anumite politici, să
definească obiective şi bugete aferente şi care va orienta
procesul bugetar dinspre accentul pe finanţe către planificare
şi performanţe. § Nu există o
instituţionalizare a evaluării la nivelul administraţiei publice
locale (judeţe şi localităţi). Situaţia pare
uşor diferită la nivel regional dar numai pentru că
structurile de la acest nivel au un rol activ în implementarea fondurilor de
pre-aderare. |
|
Situaţia
dezirabilă |
§ Evaluarea este parte
integrantă a sistemului administraţiei publice şi
sprijină procesul de luare a deciziilor şi de management. § Toate nivelele
guvernamentale sunt capabile să contracteze sau să realizeze
evaluări, cunosc întrebările corecte de evaluare şi pot
interpreta efectiv concluziile. § Este recunoscută
importanţa elaborării politicilor pe baza unor dovezi ceea ce
determinǎ creşterea cererii de evaluare. § Concluziile şi
recomandările evaluărilor sunt utilizate la maxim. § Există o procedură oficială prin care sunt stabilite
mecanismele pentru discutarea concluziilor şi recomandărilor unei
evaluări, prin care decidenţii pot discuta implementarea
recomandărilor şi rezultatele acestor discuţii sunt
făcute public. |
|
Calea sugerată |
§ Există în prezent o
propunere de trecere de la procesul bugetar anual care se axează pe
tipuri de cheltuieli, la planificarea bugetară multi-anuală cu
politici corelate cu programe care sunt corelate cu obiective corelate cu
proiecte şi cu bugete. Această propunere este binevenită. În
aşteptarea aprobării, ar mai putea fi făcuţi câţiva
paşi având în vedere căile sugerate mai sus. § AMCSC va lansa în
următoarele luni „Facilitatea de evaluare” (finanţată prin
Programul Phare 2005) care încurajează factorii de decizie şi pe
cei care elaborează politicile publice să contracteze evaluări
şi care sprijină bunul management al exerciţiilor de evaluare.
Facilitatea de evaluare poate pune la dispoziţie experţi evaluatori
pe termen scurt care să realizeze evaluări independente ale politicilor
şi programelor pregătite sau implementate de administraţia
publică românească pe baza cererilor venite de la instituţii
româneşti. Facilitatea de evaluare este o foarte bună oportunitate
pentru realizarea unor exerciţii pilot de evaluare şi administraţia
română ar trebui să profite de existenţa sa. § Trebuie luată în calcul
introducerea treptată a cerinţelor legale pentru evaluare în
programele naţionale (vezi mai sus calea sugerată nr. 4 de la
Criteriul 1 pentru mai multe detalii) § Dezvoltarea şi agrearea
unui concept comun al evaluării (vezi mai sus calea sugerată nr. 1
de la Criteriul 1 pentru mai multe detalii). § Dezvoltarea unui limbaj
comun pentru administraţia publică cu privire la evaluare care
să fie agreat şi acceptat (vezi calea sugerată nr. 1 de la
Criteriul 1 de mai sus). |
4.7 Criteriul 6: Există un anumit grad
de instituţionalizare a evaluării la nivelul Parlamentului
|
Situaţia
curentă |
§ Parlamentul face uz de rolul său de a supraveghea activitatea
Guvernului prin raportare, dar nu s-a dezvoltat încă o practică de
a face apel la contractori externi pentru realizarea serviciilor de evaluare.
În prezent, se bazează pe (auto) evaluări interne realizate de
respectivele Ministere atunci când li se cere să raporteze activitatea
lor în faţa Comisiei specializate a Parlamentului. § Există un sistem de
raportare prin care ministerelor li se cere să raporteze activitatea
lor, dar popularizarea evaluării, a importanţei şi valorii
sale nu s-a făcut la nivelul Parlamentului de o manieră sistematică.
|
|
Situaţia
dezirabilă |
§ Evaluarea face parte din
limbajul membrilor Parlamentului – valoarea sa este recunoscută,
parlamentarii îşi asumă procesul şi cer evaluări în mod
regulat pentru a se asigura că politica publică se dezvoltă
şi este implementată eficient. § Entitatea Supremă de
Audit (Curtea de Conturi) este una dintre instituţiile la care
Parlamentul face apel pentru servicii de evaluare. |
|
Calea sugerată |
§ Având în vedere noul cadru
legal – Ordonanţa de Urgenţă nr. 43/14.06.2006 care permite
şi cere Curţii de Conturi să realizaze audituri de
performanţă, Parlamentul are baza legală pentru a cere
Curţii de Conturi să facă evaluări externe. O evaluare
pilot, de avangardă poate fi asumată iniţial de Curtea de
Conturi în colaborare cu Unitatea de Evaluare din Autoritatea de Management
şi UPP-ul din Ministerul care gestionează unul din cele şapte
PO-uri ale CNSR. Ar trebui iniţiate discuţii între aceste
instituţii pentru a aborda chestiunea înţelegerii şi a
limbajului evaluării şi a felului cum vor conlucra în viitor. § Proiectul Phare care se
derulează în prezent sub coordonarea AMCSC din cadrul MFP -
RO2003/005-551.03.02 Întărirea capacităţii administrative a
Parlamentului României ar trebui să folosească acest moment
pentru a promova exerciţiile pilot de evaluare. |
4.8 Criteriul 7: Există o diversitate de
instituţii şi evaluatori care realizează evaluări în
fiecare domeniu de intervenţie publică
|
Situaţia
curentă |
§ În toate sectoarele,
indiferent de discipline, oferta de evaluatori locali este mică. § Există un
potenţial în mediul academic, în institutele de cercetare,
organizaţiile de studiu/grupurile de reflecţie (think-tank-uri),
ONG-uri şi sectorul privat de creştere a ofertei de evaluatori. § Piaţa serviciilor de
evaluare nu a fost organizatǎ şi, ca atare, dezvoltarea a fost
circumstanţială, nu sistematică. § Există într-adevăr un mic grup de
evaluatori, care şi-au obţinut expertiza prin combinarea
experienţei practice şi a training-ului, dar capacitatea lor
trebuie încă dezvoltată. |
|
Situaţia
dezirabilă |
§ În ONG-uri, instituţii
academice şi firme private de consultanţă capacitatea de
evaluare este adecvată. § Pe piaţă are loc o
competiţie sănătoasă care se naşte dintr-o
ofertă adecvată de evaluatori locali din sectorul privat, sectorul
academic, institutele de cercetare şi organizaţiile de
studiu/grupurile de reflecţie (think-tank-uri). § Cererile de ofertă
pentru serviciile de evaluare sunt diseminate cât mai mult posibil. |
|
Calea sugerată |
§ Se acordă o
atenţie specială dezvoltării pluralismului la nivelul
sectoarelor astfel încât acesta să se dezvolte intr- o manieră
sistematică, de ex. punând la dispoziţie sesiuni de training pentru
aceste sectoare şi stimulându-le, creând cererea de evaluare în mai
multe discipline de politică publică. § Licitaţiile pentru
contractele de evaluare sunt larg popularizate astfel încât să fie
cunoscute la nivelul fiecărui sector care va avea posibilitatea de a
înainta o ofertă, dacă doreşte aceasta. |
4.9 Criteriul 8: Există o funcţie
de evaluare în cadrul Instituţiei Supreme de Audit (Curtea de Conturi)
|
Situaţia
curentă |
§ Există dovada unui
angajament crescând la nivelul Curţii de Conturi pentru realizarea
auditurilor de performanţă, ex. pregătirea manualelor care
includ metodologii pentru realizarea auditurilor de performanţă
şi implementarea unor audituri de performanţă reale. Mai
specific, acest lucru se referă la „o evaluare independentă a
măsurii în care o activitate, un program sau o instituţie
funcţionează economic, eficient şi eficace”. |
|
Situaţia
dezirabilă |
§ Instituţia Supremă
de Audit depăşeşte rolul său exclusiv de audit şi
are un rol în analiza performanţei, a valorii obţinute prin
cheltuirea banilor şi a felului în care au fost gestionate fondurile. § Se face apel la Curtea de
Conturi pentru a realiza evaluări independente ale activităţii
administraţiei publice. |
|
Calea sugerată |
§ Curtea de Conturi ar trebui
implicată în toate discuţiile cu privire la stabilirea unui concept
comun, a unui limbaj şi a unor standarde privind evaluarea şi ar
trebui să folosească această abordare comună în realizarea
evaluărilor. § Curtea de Conturi ar trebui
să facă paşii necesari pentru implementarea prevederilor
noului act normativ. În acest scop ar trebui să se acorde o atenţie
specială dezvoltării expertizei metodologiilor cât şi instituirii
procedurilor şi instrumentelor adecvate. Acest lucru ar trebui să
se facă în colaborare cu ceilalţi actori cheie pentru evaluare ai
administraţiei publice. |
4.10 Criteriul 9: Există o anumită
proporţie de evaluare a efectelor (outcome evaluation) în raport cu
evaluarea rezultatelor imediate (output evaluation) sau cu evaluarea procesului
|
Situaţia
curentă |
§ Cu excepţia fondurile
UE, se implementează foarte puţine evaluări de proces sau de
efect. Sistemul românesc pare să favorizeze evaluarea ex-ante sau
analiza ex-ante a impactului în defavoarea altor tipuri de evaluări. Se
presupune că aceste tipuri de evaluări se fac pentru orice
nouă iniţiativă legislativă pentru a evalua impactul
acesteia înainte de a fi promulgată. Analiza impactului socio-economic
se face şi pentru proiectele de investiţii cu capital major.
Totuşi, se pare că există o lipsă atât a evaluărilor
de proces (felul în care politicile, proiectele, programele sunt dezvoltate
şi gestionate) cât şi a evaluărilor efectelor (care se
axează pe efectele şi impactul unor intervenţii) cu
excepţia celor realizate pentru programe cu finanţare de la donori
străini. § Există o puternică
cultură a raportării, dar accentul cade pe descrierea
activităţii mai degrabă decât pe evaluarea sa. |
|
Situaţia
dezirabilă |
§ Există o clară
distincţie între raportare şi evaluare, între monitorizare şi
evaluare. § Evaluarea în toate formele
sale se practică de la momentul ex-ante până la momentul ex-post
şi se poate implementa la diverse momente ale ciclului
politicii/programului sau proiectului. § Această diversitate de
tipuri de evaluări permite decidenţilor să analizeze un
proiect, program sau politică la orice moment. § Evaluarea este un instrument
central în procesul de îmbunătăţire a guvernării care
stă la baza managementului finanţelor publice indiferent de sursa
lor. § Evaluarea nu este
văzută ca ceva care are un început şi un final, ci ca o
activitate care este parte a procesului de îmbunătăţire a
guvernării şi care stă la baza managementului finanţelor
publice indiferent de sursa lor. |
|
Calea sugerată |
§ Este foarte important
să fie foarte clar ceea ce diferenţiază evaluarea de raportare
sau de monitorizare şi ca standardele de bună evaluare să fie
bine definite şi clare tuturor celor implicaţi în munca de evaluare,
atât pe partea de cerere cât şi pe partea de ofertă. § Capacitatea la toate nivele
administraţiei publice este întărită prin conştientizare,
training sau experienţa efectivă a realizării
evaluărilor, astfel încât contractorii să cunoască
întrebările de evaluare potrivite, să poate examina calitatea
evaluărilor şi să poată interpreta concluziile de o
manieră eficientă. |
4.11 Criteriul 10: Există capacitate de
monitorizare
|
Situaţia
curentă |
§ Există o cultură a
raportării în administraţia românească. Datele sunt strânse pe
formulare tipizate, dar nu de o manieră sistematică. Tipul de date
strânse este mai ales de natură financiară având în vedere că
auditurile financiare sunt principala formă de „evaluare” care se
practică în prezent în administraţia publică. § Proiectele care au primit
finanţare UE de pre-aderare au un sistem bine stabilit de monitorizare
la nivel central, regional şi local astfel că există o
bună capacitate de monitorizare. § O problemă care poate
apărea legată de evaluarea CNSR şi a PO este că
fără îndoială evaluarea ex-ante va face observaţii asupra
indicatorilor de performanţă propuşi şi este important ca
aceste revizuiri să fie incluse în sistemul SMIS (Sistemul Informatic
Unic de Management)– altfel, viitoarele evaluări ale fondurilor
structurale vor fi extrem de dificile. § Se pare că nu
există o corelare a funcţiilor de monitorizare şi evaluare.
Persoanele care creează sistemele de monitorizare ar trebui să
aibă o anumită înţelegere şi cunoştinţe despre
evaluare, având în vedere că datele din monitorizare sunt bazele
viitoarelor evaluări. |
|
Situaţia
dezirabilă |
§ Unităţile de
monitorizare şi evaluare se află în strânsă
legătură, înţelegându-şi interdependenţa
mutuală. § Monitorizarea cheltuirii
banilor publici e a doua natură pentru managerii din cadrul
administraţiei publice. § Administraţia
publică înţelege şi întăreşte dublul rol al
funcţiei de monitorizare: a) strângerea datelor care sunt necesare
evaluării; b) luarea de măsuri corective la timp fără
să se aştepte neapărat sugestiile de la evaluarea
externă. § La toate nivelele
guvernamentale şi în toate agenţiile care cheltuie bani publici
există sisteme calitative de monitorizare. § Maniera de strângere a
datelor de către sistemele de monitorizare este sistematică,
facilă, accesibilă, la timp şi generează date relevante
pentru evaluările interne şi externe şi în final pentru
decidenţi. Tipul de date colectate ar trebui să derive din setul de
indicatori definiţi de funcţia de programare. Aceşti
indicatori ar trebui să acopere toate domeniile relevante ale
evaluării, ex. relevanţa, eficienţa, eficacitatea, impactul
general, sustenabilitatea. |
|
Calea sugerată |
§ Unităţile de
programare ar trebui să lucreze în strânsă colaborare cu
unităţile de evaluare în definirea indicatorilor de
performanţă, pentru a se asigura că există sistemele
adecvate care să genereze datele relevante pentru funcţia de
programare. Aceşti indicatori ar trebui să acopere toate domeniile
relevante ale evaluării, ex. relevanţa, eficienţa,
eficacitatea, impactul general, sustenabilitatea. SGG ar trebui să
înveţe din experienţa CNSR în dezvoltarea indicatorilor pentru
politicile şi programele guvernamentale naţionale şi să
se asigure că sunt introduşi indicatori măsurabili, semnificativi,
corelaţi cu obiectivele politicii şi care pot genera
informaţiile necesare. § Ar trebui analizate modelele
de bună practică din alte state UE cât şi procesul curent de
monitorizare, pentru a se trage învăţăminte pentru dezvoltarea
unui sistem adecvat de monitorizare la toate nivelele guvernamentale acolo
unde sunt cheltuiţi bani publici. § Administratorii sunt
încurajaţi să găsească metode pentru a utiliza resursele
cu mai multă eficienţă şi eficacitate. |
4.12 Criteriul 11: Există o diversitate a
evaluării la nivel de: strategie, politici publice, programe, proiecte
|
Situaţia
curentă |
§ Având în vedere nivelul
scăzut de evaluări care se fac în prezent, diversitatea
evaluării este limitată. UPP-ul din SGG încearcă să
încorporeze evaluarea în eforturile sale de a îmbunătăţii
planificarea politicilor publice la nivelul strategic şi cel politic.
Evaluările care se fac pentru fondurile UE de pre-aderare
analizează relevanţa, performanţa şi impactul
programului. Curtea de Conturi urmăreşte să-şi extindă
funcţia de audit pentru a include şi întrebări de evaluare.
Proiectul din Parlament RO2003/005-551.03.02 Întărirea
capacităţii administrative a Parlamentului României
urmăreşte să-i întărească capacitatea
administrativă, inclusiv capacitatea de evaluare. |
|
Situaţia
dezirabilă |
§ Evaluarea este
înţeleasă ca un instrument care stă la baza bunului management
şi a bunei guvernări şi poate interveni la toate nivelele
ciclului de dezvoltare a intervenţiei publice – de la planificarea
politicii, la strategie, programe şi proiecte, de la luarea deciziei la
managementul performanţei şi analiza ex-post. Este cunoscută
ca un proces ciclic care oferă informaţii despre toate stadiile
dezvoltării intervenţiei. § Analiştii de politici
publice din UPP-uri şi personalul Unităţilor de Evaluare din
cadrul autorităţilor de management au relaţii de muncă
strânse. |
|
Calea sugerată |
§ UPP-ul şi Unitatea de
Evaluare a Autorităţii de Management dintr-un anumit minister de
linie ar trebui să implementeze împreună un proiect pilot de
evaluare, axându-se pe o anumită politică publică şi tot
ceea ce are legătură cu aceasta (strategie, program, proiecte),
integrând evaluarea la fiecare nivel diferit astfel încât să se dezvolte
un model de bună practică pentru alte tipuri de iniţiative
similare. § UPP-ul din SGG, UCE în
AMCSC, Cancelaria Primului Ministru şi Curtea de Conturi ar trebui
să aibă o strânsă colaborare cu sprijinul PO pentru
Întărirea Capacităţii Administrative pentru a dezvolta o
abordare singulară a culturii evaluării – limbaj comun, concept,
recomandări, publicaţii, training. |
4.13 Criteriul 12: În Guvern există un
circuit de informaţii cu privire la evaluare
|
Situaţia
curentă |
§ La nivelul Guvernului circuitul de informaţii se află într-un
stadiu incipient. De exemplu, se poartă discuţii între diverşi
actori legate de ciclul de planificare al politicilor publice (SGG,
reprezentanţii Parlamentului, Ministerul Finanţelor Publice)
şi PO pentru Întărirea Capacităţii Administrative
conţine planuri concrete pentru dezvoltarea capacităţii de
monitorizare şi evaluare la nivelul central şi la nivelele locale
ale administraţiei publice. Toţi aceşti actori sunt acum
angajaţi în discuţii. Sunt implicate şi alte
entităţi specializate ale administraţiei publice cum ar fi
Comisia Naţională de Prognoză care lucrează în prezent cu
Ministerul Economiei şi Comerţului şi Cancelaria Primului
Ministru pentru îmbunătăţirea printre altele a
capacităţii de a realiza evaluări ex-ante ale impactului în
cadrul Proiectului cu sprijin Phare RO2003/005-551.02.03 Îmbunătăţirea
capacităţii de analiză, prognoză macro-economică
şi pregătire a politicilor economice. |
|
Situaţia
dezirabilă |
§ În Guvern, discuţiile
despre evaluări sunt coordonate, adecvate şi continue având ca
bază un fundament agreat asupra înţelesului, limbajului şi
abordării. § Acolo unde evaluarea are
impact asupra altor ministere sau entităţi publice, există o
procedură formală prin care ministerul contractor îi
identifică pe ceilalţi actori cheie şi iniţiază un
proces de consultare şi diseminare a informaţiilor. § Există o procedură
formală prin care sunt stabilite mecanismele pentru discutarea
concluziilor şi recomandărilor unei evaluări, prin care
decidenţii pot discuta implementarea recomandărilor şi
rezultatele acestor discuţii sunt disponibile publicului. |
|
Calea sugerată |
§ Cererea de informaţii
şi interesul demonstrat pentru practica de evaluare trebuie să
vină de sus în jos, de la Guvern şi Parlament. Acest lucru ar fi
crucial pentru stimularea circuitului de informaţii. § Ar trebui stabilite procedurile de consultare a altor ministere cât
şi mecanismele pentru implementarea recomandărilor – ar trebui
luate în considerare exemplele de bună practică din alte
ţări. |
Capitolul 5: Consideraţii finale
Evaluarea este o practică
care s-a dezvoltat în mod constant pentru programele cu finanţare de la
alţi donori, dar este încă sub-dezvoltată pentru
activităţile finanţate de bugetul naţional românesc.
Totuşi, există o dovadă clară a interesului crescând
şi a acţiunilor întreprinse la diferite nivele pentru
îmbunătăţirea managementului politicilor publice şi
programelor, incluzând evaluarea.
Baza juridică a
evaluării se îmbunătăţeşte treptat. Trebuie
menţionat că procesul de implementare a legislaţiei este la fel
de important ca şi cel de promulgare pentru că experienţa
arată că în România şi atunci când există prevederile
legislative necesare, fie nu sunt bine înţelese, fie nu sunt implementate.
Pot fi identificate trei zone
de acţiune:
Continuarea dezvoltării cadrului legal;
Pregătirea unei baze adecvate de expertiză: metodologii,
recomandări, publicaţii.
Creşterea capacităţii managerilor publici de a gestiona
procesul de evaluare
Există un număr
semnificativ de iniţiative în primele două domenii pentru
îmbunătăţirea elaborării intervenţiilor publice
şi a calităţii generale a managementului, implementării
şi evaluării programelor cu finanţare publică. Dacă
aceste iniţiative ar fi coroborate s-ar obţine sinergia şi,
deci, impactul tendinţelor pozitive ar fi mai semnificativ. Este
încurajator să observăm că acest proces de cooperare între
diverse iniţiative a început deja şi se recomandă
menţinerea şi creşterea sa.
Strategia Naţională
de Evaluare (SNE) este un instrument important care poate reuni toate
iniţiativele disparate în domeniul evaluării şi poate contribui
astfel la consolidarea poziţiei evaluării. Revine României meritul
pentru acest pas şi, având în vedere eforturile curente, există o
mare oportunitate acum pentru dezvoltarea unei culturi a evaluării care
să fundamenteze o guvernare mai eficace în ţară.
Cooperarea dintre structurile
cu atribuţii în gestionarea evaluării procesului CNSR şi
structurile care vor gestiona evaluarea activităţilor cu
finanţare naţională este importantă din cel puţin
două motive: a) experienţa dobânditǎ prin evaluarea PO poate fi
o sursă de lecţii valoaroasă; b) ambele structuri ar trebui
să stabilească o abordare comună a evaluării, aplicată
atât la fondurile europene cât şi la cele naţionale. Pentru aceasta
este important să se clarifice felul în care unităţile de evaluare
din AM-uri şi UPP-urile din ministerele de linie vor colabora.
În ceea ce priveşte
gestiunea procesului de evaluare, opinia autorilor este că evaluarea este
o parte integrală a managementului şi, ca atare, ar trebui să
devină parte integrantă a practicii de zi cu zi a managerilor publici.
Chiar managerii publici trebuie fie să realizeze evaluări interne,
fie să le contracteze extern. Aceasta este singura cale de a promova
evaluarea ca instrument managerial.
Evaluarea este folosită
şi pentru control, pentru responsabilizare. Astfel, contractarea trebuie
să se facă de o altă structură decât cea evaluată
şi acest lucru justifică existenţa entităţilor
independente responsabile de gestiunea procesului de evaluare, cum ar fi Curtea
de Conturi sau unităţi independente create în cadrul aparatului
administraţiei publice.
Trecerea de la obligativitatea
cerinţelor de evaluare impuse de cadrul juridic la cadrul de management al
performanţei este un pas necesar pentru ca evaluările să nu mai
fie simple raportări şi să devină un instrument pentru
îmbunătăţire. Experienţa sugerează că acest
proces poate dura foarte mult timp şi se recomandă ca managerii
implementării Strategiei Naţionale de Evaluare să ţină
cont de acest lucru şi să fie pregătiţi pentru un efort
susţinut pe termen lung.
Pentru unificarea şi
întărirea eforturilor tuturor actorilor sunt recomandaţi anumiţi
paşi:
Strategia Naţională de Evaluare ar trebui să evite
obiectivele prea ambiţioase mai ales pe termen mediu. Experienţa din
alte State Membre şi Ghidul Evalsed arată că o evoluţie cu
un ritm încet şi constant a fost eficientă în construirea culturii de
evaluare în alte State Membre.
Trebuie create legături puternice şi menţinute sistemele de
comunicare între principalii actori care promovează noile practici de
evaluare.
Dacă este posibil, ar trebui să se agreeze ca unul dintre
aceşti actori să preia un rol conducător în implementarea SNE
şi în promovarea generală a practicii evaluării în
ţară; fiecare actor îşi poate menţine rolul conducător
în aria sa respectivă.
Mai întâi trebuie creată între actori o înţelegere comună a
conceptelor legate de evaluare, a domeniului său de aplicare şi a
vocabularului aferent. Utilizarea
diferiţilor termeni sau diferitelor titluri este prea confuză
şi, dacă cei din vârful ierarhiei sunt confuzi, cu
siguranţă această confuzie se va transmite în întreg sistemul.
Trebuie încercată armonizarea metodologiilor şi a manualelor care
sunt pregătite în prezent de diverşi actori.
Odată ce se aprobă şi se agreează SNE, sarcinile
trebuie împărţite astfel încât fiecare actor să aibă
responsabilităţi clare pentru un anumit tip de acţiuni
Fiecare actor ar trebuie să implementeze câteva evaluări pilot în
ariile lor respective şi apoi rezultatele ar trebuie
împărtăşite cu ceilalţi actori. Acest lucru ar putea
implica instituţiile care sunt cel mai mult deschise ideii astfel încât
să se stabilească un model de bună practică la un stadiu
timpuriu, oamenii să vadă cum se face şi cum se foloseşte
evaluarea, înlăturând orice reţinere pe care o pot avea. Astfel, se
va sprijini trecerea de la cultura controlului şi raportării la
cultura învăţării şi analizei. Evaluările pilot ar
trebui urmate de exerciţii ulterioare care să urmărească
îmbunătăţirea metodologiilor aplicate până când se
obţine un proces satisfăcător care poate fi transpus într-un
model şi un manual metodologic.
Este important ca toate Ministerele să-şi asume Strategia
Naţională de Evaluare şi, acest lucru înseamnă consultarea
şi implicarea şefilor departamentelor în pregătirea şi
diseminarea sa.
În acelaşi timp, pe măsură ce cererea este stimulată ar
trebui luate măsuri pentru creşterea cererii şi
capacităţii atât în interiorul cât şi în afara
administraţiei publice.
Bibliografie
“Cadrul Naţional
Strategic de Referinţă”, Guvernul României, (DATE)
“Programul de guvernare 2005 –
2008”, Guvernul României, (2004)
“Planul Unic de Acţiune pentru
îmbunătăţirea sistemelor de management ale fondurilor UE din
România”, (2005), Ministerul Finanţelor Publice.
Raportul “Cadrul juridic
relevant care reglementează managementul fondurilor UE în România”, Victor
Canghizer (2006)
“Guide to Good Practices of
Evaluation Capacity Building” (Ghid de bune practici pentru întărirea
capacităţii de evaluare), Consorţiul EMS şi contractat de
Grupul de Consiliere pe Evaluare, (februarie 2004)
“Benchmarking Evaluation
Capacity in the New Member States” (Repere ale capacităţii de
evaluare din noile State Membre), Jack Malan, Centrul pentru Strategii şi
Servicii de Evaluare (septembrie 2004)
Secretariatul General al
Guvernului, “Strategia pentru îmbunătăţirea sistemului de
formulare şi planificare a politicilor publice la nivel central” (2006)
“Programul Operaţional
pentru Capacitate Administrativă”, Ministerul Administraţiei şi
Internelor (martie 2006)
“Thematic Report on Support to
PAJC in Bulgaria and Romania”, (Raportul
tematic cu privire la sprijinul acordat APCJ – Administraţiei Publice
şi Capacităţii Juridice în România şi Bulgaria) ECOTEC
(2006).
“Evaluarea ex-post a
Programelor Phare din România”, MWH, (iunie 2006)
“Updating the Mid-term
Evaluation of the SAPARD Programme in Romania for the period 2000 – 2005”,
(Aducerea la zi a Evaluării la Mijloc de Termen a Programului SAPARD în
România pentru perioada 2000 – 2005) Raportul Final (24 martie 2006).
“Evaluation of Socio-Economic
Development – The Guide” (Evaluarea dezvoltării socio-economice – Ghidul),
Directoratul General pentru Politică Regională.
Anexa 1. Chestionar pentru sectorul societăţii
civile
Răspunsurile pe
care le veţi da la acest chestionar vor contribui la Analiza Culturii
Evaluării, activitate care se va încheia la sfârşitul lunii august.
Informaţia strânsă pe perioada investigaţiei va pune bazele
viitoarei Strategii Naţionale de Evaluare.
1: Detalii
|
Nume |
|
|
Instituţie/companie/organizaţie |
|
|
Funcţie |
|
|
Adresa de e-mail |
|
|
Număr de telefon |
|
2: A fost vreodată
evaluată organizaţia/instituţia dumneavoastră?
DA NU
3:
a)
Organizaţia/instituţia dumneavoastră a făcut vreodată
evaluări?
Da Nu
Dacă da, vă
rugăm să oferiţi
detalii:____________________________________________
b) Dumneavoastră
aţi făcut vreodată evaluări?
Da Nu
Dacă da, vă
rugăm să oferiţi detalii:
___________________________________________
4: Aţi auzit de
evaluări care s-au făcut în cadrul administraţiei publice sau în
sectorul privat?
Da Nu
Dacă da, vă
rugăm să oferiţi
detalii:____________________________________________
5: După părerea
dumneavoastră, există suficienţi evaluatori români?
DA NU
6: Din câte ştiţi, există în
România o organizaţie profesională a evaluatorilor?
DA NU
7: Aţi participat vreodată la
discuţii despre evaluare?
Da Nu Dacă da,
vă rugăm să oferiţi
detalii:_____________________________________________
8: Aţi avut vreodată
şansa să vă dezvoltaţi expertiza pe evaluare ca şi
domeniu în sine?
DA NU Dacă da,
vă rugăm să oferiţi
detalii:___________________________________________
9: Există resurse
disponibile (în ţară sau în afara ţării) care să
vă sprijine în formarea unei baze de cunoaştere şi
expertiză pe subiectul evaluării?
DA NU Dacă da,
vă rugăm să oferiţi detalii:__________________________________________
10: Aţi avut
vreodată ocazia să prestaţi servicii de evaluare în baza unui
contract?
DA NU Dacă da,
vă rugăm să oferiţi detalii (tipul clientului, aria de
activitate, etc): ________________________________________________________________________
11: Câte persoane din
organizaţia dumneavoastră au acumulat expertiză pe evaluare?
Nici-una Între 1-3
Mai mult de 3 ٱ
12: Când credeţi că
piaţa prestărilor de servicii de evaluare va deveni atractivă
pentru organizaţia dumneavoastră?
Chiar acum este
atractivă peste 1-2
ani
Peste mai mult de 3 ani
13: Credeţi că
evaluarea este folositoare pentru următoarele?
|
|
DA |
NU |
|
Sprijină
procesul de luare a deciziilor |
|
|
|
Îmbunătăţeşte
gestiunea programelor/proiectelor |
|
|
|
Îmbunătăţeşte
rezultatele programului/proiectului |
|
|
|
Îmbunătăţeşte
procesul de planificare a politicilor publice |
|
|
|
Aduce o notă în
plus de responsabilizare |
|
|
14: Credeţi că
există o înţelegere asupra evaluării:
|
|
DA |
NU |
|
La nivelul
administraţiei publice centrale |
|
|
|
La nivelul
administraţiei regionale |
|
|
|
La nivelul
consiliului judeţean |
|
|
|
La nivelul
administraţiei publice locale |
|
|
|
La nivelul
comunităţii de afaceri |
|
|
|
La nivelul
sindicatelor |
|
|
|
La nivelul mass media |
|
|
|
La nivelul ONG-urilor |
|
|
|
La nivelul
comunităţii academice |
|
|
|
La nivelul publicului
general |
|
|
15: Credeţi că
evaluarea este suficient de folosită …
|
|
DA |
NU |
|
La nivelul
administraţiei publice centrale |
|
|
|
La nivelul
administraţiei regionale |
|
|
|
La nivelul
consiliului judeţean |
|
|
|
La nivelul administraţiei
publice locale |
|
|
|
La nivelul
comunităţii de afaceri |
|
|
|
La nivelul
sindicatelor |
|
|
|
La nivelul mass media |
|
|
|
La nivelul ONG-urilor |
|
|
|
La nivelul
comunităţii academice |
|
|
|
La nivelul publicului
general |
|
|
16: Credeţi că
există o cerere de evaluare:
|
|
DA |
NU |
|
La nivelul
administraţiei publice centrale |
|
|
|
La nivelul
administraţiei regionale |
|
|
|
La nivelul
consiliului judeţean |
|
|
|
La nivelul
administraţiei publice locale |
|
|
|
La nivelul
comunităţii de afaceri |
|
|
|
La nivelul
sindicatelor |
|
|
|
La nivelul mass media |
|
|
|
La nivelul ONG-urilor |
|
|
|
La nivelul
comunităţii academice |
|
|
|
La nivelul publicului
general |
|
|
17: Credeţi că
evaluarea este de obicei văzută ca fiind…
|
Foarte folositoare |
|
Oarecum folositoare |
|
Deloc folositoare |
|
Vă mulţumim
foarte mult pentru colaborarea dumneavoastră în completarea acestui
chestionar.
Semnătură: Dată:
Anexa 2: Lista persoanelor intervievate/Contacte
|
Organizaţie |
Persoană |
Nr. |
|
Delegaţia CE |
Liliana
Barbulescu – Task Manager Monitorizare şi Evaluare |
1 |
|
Experţi străini |
John
Barker – Ecotec (Evaluatori Phare) John
Bedingfield – Consilierul de pre-aderare al Proiectului de
Înfrăţire Instituţională „Întărirea
Capacităţii Administrative a AMCSC” Nathalie
Dournovo – Consilier de pre-aderare pentru Proiectul de Înfrăţire
Instituţională de la Parlament Baiba
Petersone – Consilier de pre-aderare pentru Proiectul de Înfrăţire
Instituţională de la Secretariatul General al Guvernului |
4 |
|
Nivelul administraţiei centrale |
Claudia
Bedea – Şeful Unităţii Centrale de Evaluare Razvan
Cotovelea – Directorul General al AMCSC Dragos
Dinu – UPP-ul din SGG Claudiu
Craciun – UPP-ul din SGG Perla
Simion – UCRAP, Ministerul Administraţiei şi Internelor Alina
Ungureanu – Unitatea de Evaluare a Ministerului Administraţiei şi
Internelor |
6 |
|
National Policy Makers (decidenţi în
politici publice la nivel naţional) |
Septimiu
Buzasu – Secretar de Stat la Ministerul Transporturilor Victor
Giosan – Secretar de Stat la Secretariatul General al Guvernului Istvan
Jakab – Secretar de Stat în Ministerul Finanţelor Publice Istvan
Csutak – Secretar de Stat în Ministerul Integrării Europene Liviu
Radu - Secretar de Stat în Ministerul Administraţiei şi Internelor Mihai
Constantin Seitaru - Secretar de Stat în Ministerul Muncii, Familiei şi
Solidarităţii Sociale Constantin
Ciupagea – Consilier de Stat, Cabinetul Primului Ministru |
7 |
|
Nivelul judeţean/local |
Ionel
Chirita, preşedinte al Asociaţiei Oraşelor din România şi
primar Hârşova |
1 |
|
Evaluatori profesionişti |
·Întâlnirea cu
participanţii la cursul de training „Certificate in Policy and Planning
– Evaluation” (Certificat în Politici Publice şi Planificare – Evaluare) |
17 |
|
Mediul academic |
Cezar
Scarlat – Universitatea Politehnică din Bucureşti Dragos
Pislaru – Grupul de economie aplicată |
2 |
|
Parlament |
Ivan
Cismaru, Senator Liana
Dumitrescu, Deputat |
2 |
|
Entităţi de Control |
Stefan
Ioan, Corpul Suprem de Audit (Curtea de Audit) |
1 |
Anexa 3: Termeni de referinţă
Termeni de
referinţă pentru expertul local pe termen scurt însărcinat cu
cercetarea culturii evaluării în România
1. Cadrul general
Proiectul
Phare de Asistenţă Tehnică Îmbunătăţirea
Programării, Monitorizării şi Evaluării se implementat
de GDSI Irlanda din septembrie 2005. Scopul proiectului este de a întări
capacitatea Autorităţii de Management pentru Cadrul de Sprijin Comunitar
din Ministerul Finanţelor Publice în domeniile Programării,
Monitorizării şi Evaluării. Prin componenta de evaluare,
proiectul sprijină Unitatea Centrală de Evaluare (UCE) în cinci arii:
|
4.1 |
Dezvoltarea la nivelul Unităţii Centrale de Evaluare a capacităţii
manageriale de evaluare |
|
4.2 |
Susţinerea Funcţiei de Evaluare Intermediarǎ Phare |
|
4.3 |
Elaborarea Strategiei Naţionale de Evaluare |
|
4.4 |
Creşterea gradului de conştientizare privind evaluarea în
România |
|
4.5 |
Dezvoltarea capacităţii de evaluare din România |
Aceşti
termeni de referinţă sunt în legătură cu Activitatea 4.3
Dezvoltarea Strategiei Naţionale de Evaluare, al cărei obiectiv
constǎ în elaborarea unui document intitulat Strategia Naţională
de Evaluare care să ia în calcul nevoile actuale şi să reflecte
viitoarele cerinţe de evaluare ale României ca Stat Membru al UE.
Strategia va contura activităţile, resursele, timpul şi
responsabilităţile Guvernului României necesare pentru a construi o
cultură a evaluării în România, care să corespundă culturilor
din alte State Membre UE.
Obiectivele cercetării
Obiectivul acestei sarcini
este cercetarea culturii evaluării din România pentru a oferi
informaţii cu privire la situaţia curentă şi la premisele
pentru dezvoltarea culturii evaluării în România. Această cercetare
va permite elaborarea Strategiei Naţionale de Evaluare, care include
formularea căii către o abordare comună şi integrată a
evaluării la nivelul tuturor programelor cu finanţare publică,
inclusiv cele finanţate de la bugetul naţional.
Acolo unde este posibil, concluziile cercetării ar trebui să
susţină cele două contracte de evaluare care vor fi contractate
în fişa Phare 2005 a proiectului de evaluare în vederea abordării
neajunsurilor identificate prin analiza criteriilor inclusă în
această cercetare.
Criteriile UE „9+3” pentru întărirea capacităţii de evaluare
vor reprezenta cadrul de lucru cu ajutorul căruia cultura evaluării
va fi măsurată şi comparată.
Criteriile sunt următoarele:
Evaluarea se face în multe domenii de politicǎ publicǎ;
Există o ofertă de evaluatori locali în diferite discipline
Există un discurs naţional în ceea ce priveşte evaluarea;
Există o organizaţie profesională a evaluatorilor
Există un anumit grad de instituţionalizare a evaluării
la nivelul Guvernului
Există un anumit grad de instituţionalizare a evaluării
la nivelul Parlamentului
Există un pluralism de instituţii şi evaluatori care fac
evaluări în fiecare domeniu de politică publică
Există o funcţie de evaluare în cadrul Corpului Suprem de
Audit (Curtea de Conturi)
Există o anumită proporţie a evaluărilor efectelor
(outcome evaluation) în raport cu evaluarea rezultatelor imediate (output
evaluation) sau evaluarea procesului
Cele trei criterii suplimentare pentru statele candidate sunt:
Există capacitate de monitorizare;
Există o diversitate a evaluării la nivel de: strategii,
politici publice, programe, proiecte.
Există un circuit al informaţiilor cu privire la evaluare în
cadrul Guvernului.
Activităţile care trebuie realizate
Consultantul va lucra ca
membru al echipei din care fac parte experţi internaţionali şi
locali în evaluare. În timpul perioadei de cercetare consultantul va fi
responsabil de:
Colectarea şi analizarea datelor, folosind cele mai potrivite metode
cum ar fi: chestionarul, focus-grupul, discuţii cu persoanele care sunt
invitate să participe la activităţile de „popularizare a
evaluării” planificate să înceapă la finalul lunii iunie 2006;
O serie de interviuri cu persoane relevante din mediul academic,
administraţia publică, organizaţii internaţionale şi
sectorul privat selectate pentru interviu, având în vedere implicarea lor
curentă sau viitoare în evaluările din România;
Analiza datelor şi informaţiilor strânse cu ajutorul criteriilor
„9+3” pentru întărirea capacităţii de evaluare;
Redarea concluziilor într-un proiect de raport, care să fie în acord
cu structura agreată pentru raportul final şi
Informări orale sau scrise în funcţie de cerinţele membrilor
echipei de evaluare
Rezultatele şi încadrarea lor în timp
Se întrevede că expertul va lucra 15 zile, în
luna iunie 2006.
Expertul
va trebui să raporteze astfel:
Până pe 7 iunie – lista persoanelor care vor fi intervievate şi
programarea interviurilor şi un rezumat de 2 pagini al
metodologiei pe care experţii o vor folosi pentru îndeplinirea sarcinii;
Până la 30 iunie – raportul final, în engleză, de cel puţin
25 de pagini, care să abordeze in detaliu toate aspectele menţionate
în termenii de referinţă.
Documente
Ar trebui să fie folosit ca referinţă documentul elaborat de
dl. Victor Canghizer, atât în română cât şi în engleză, cu
privire la cadrul juridic al evaluării (documentul va fi pus la
dispoziţie de Expertul Cheie pe Evaluare).
Orice alt document tehnic sau academic legat de evaluare în România;
Orice alt document considerat necesar pentru cercetare;
Experienţă şi competenţe
Consultantul
ar trebui să aibă:
Educaţie universitară relevantă şi experienţă
profesională în evaluare;
Cunoştinţe cu privire la funcţionarea Guvernului României
şi la procesul de decizie asupra politicilor publice/strategiilor;
Cunoştinţe despre procesul de evaluare al UE şi
experienţă aferentă;
Experienţă profesională relevantă în domeniul
evaluării în România;
O bază de cunoştinţe şi înţelegere a
evaluării în România.
Anexa 4 –
Raport asupra implementării campaniei de creştere a gradului de
conştientizare privind evaluarea
În perioada 23 mai – 27 iunie, 2006 Unitatea Centrală de Evaluare din
cadrul Autorităţii de Management a Cadrului de Sprijin Comunitar a
implementat un plan de „popularizare a evaluării” cu ajutorul Proiectului
de Asistenţă Tehnică pentru Programare, Monitorizare şi
Evaluare. Acest document reprezintă un raport cu privire la evenimentele
respective şi la locul pe care îl ocupă acestea în cadrul celorlalte activităţi
planificate de UCE în vederea implementării Planului Unic de Acţiune
al Ministerului Finanţelor Publice, plan care urmăreşte să
îmbunătăţească sistemele de management pentru operarea
fondurilor UE în România (Activitatea 6.4 – Implementarea Planului de
Acţiune pentru Popularizarea Evaluării).
Planul de conştientizare a fost elaborat în februarie de Expertul
Local pe Termen Scurt al Proiectului de AT, Cătălina Manolescu. Pe
perioada următoarelor 2 luni Planul a fost revizuit şi
îmbunătăţit, ajungând la forma finală la sfârşitul
lunii aprilie în urma unor întâlniri între reprezentanţii Proiectului de
AT şi reprezentanţii UCE (copia Planului de Popularizare este în
anexa 1).
Obiectivul celor şase conferinţe a fost să abordeze
deficienţele de cunoştinţe ale administraţiei publice româneşti,
axându-se pe următoarele chestiuni: definiţia evaluării,
principii şi metodologii de evaluare, prezentarea cazurilor de bună
practică din experienţa de evaluare a Statelor Membre ale UE şi
Comisiei Europene, cât şi diseminarea de informaţii relevante legate
de evaluare, ca instrument pentru îmbunătăţirea
performanţei, eficienţei şi eficacităţii
administraţiei publice dar şi ca instrument de responsabilizare.
Firma ICG Events SRL a fost contractată pentru managementul logistic
al evenimentelor de popularizare şi toate cele 6 evenimente de
conştientizare/popularizare s-au derulat la Camera de Comerţ şi
Industrie a României în Bucureşti. UCE s-a ocupat de pregătirea
listelor de participanţi şi transmiterea invitaţiilor, după
ce s-a agreat împreună cu Proiectul de AT agenda conferinţelor
S-au selectat următoarele grupuri ţintă pentru cele 6
evenimente:
a. Administraţia
publică centrală (ministere şi alte instituţii publice) –
23 mai
b. Factorii
de decizie de la nivelul Guvernului (Secretari de Stat şi personal de la
nivel de cabinet) – 30 mai
c. Administraţia
publică locală şi regională – 6 iunie
d. Membrii
Parlamentului şi funcţionarii publici de la nivelul Parlamentului –
12 iunie
e. Personal
academic al Universităţilor – 20 iunie
f. ONG-uri
şi societatea civilă – 27 iunie
Tabelul urmǎtor cuprinde numărul total de participanţi la
cele 6 seminare:
|
Grup ţintă |
Număr de
participanţi |
Număr planificat |
% planificare
îndeplinită |
|
Administraţia
publică centrală, 23.05.2006 |
74 |
120 |
62% |
|
Factorii de decizie
de la nivelul Guvernului, 30.05.2006 |
75 |
120 |
63% |
|
Administraţia
publică locală şi regională, 06.06.2006 |
67 |
120 |
56% |
|
Parlament, 12.06.2006 |
12 |
45 |
27% |
|
Universităţi,
20.06.2006 |
33 |
|
|
|
Organizaţii
neguvernamentale şi societatea civilǎ , 27.06.2006 |
37 |
||
|
Total |
298 |
480 |
62% |
La cele 6 seminarii, au susţinut prezentări 7 experţi
străini:
g. Niall
McCann, Proiectul de AT pentru Programare, Monitorizare şi Evaluare –23
mai, 30 mai, 6 iunie, 12 iunie, 20 iunie, 27 iunie
h. David
Hegarty, Evalcon Consulting, fostul şef la Unităţii irlandeze de
Evaluare NDP/CSF – 23 mai
i. Elliot
Stern, fost Preşedinte al Societăţii Europene a Evaluatorilor –
30 mai
j. John
Bedingfield, Consilier de pre-aderare pentru Proiectul de Înfrăţire
Instituţională, AMCSC – 30 mai
k. Rene
Laurent Ballaguy, Unitatea de Evaluare a DG Regio, Comisia Europeană – 6
iunie
l. Costas
Georgiou, South Yorkshire Obiectivul 1 Autoritatea de Management, UK – 6 iunie
m. Dr. John
Barker, Director de Ţară – România, ECOTEC – 6 iunie
n. Hilary
Curley, Proiectul de AT pentru Programare, Monitorizare şi Evaluare – 12
iunie, 20 iunie, 27 iunie.
Din partea Comisiei Europene
au mai participat: Dl. Augusto Bonucci, Director, Direcţia de Resurse, DG
Extindere, CE (30 mai), Dl. Jonathan Scheele, Şeful Delegaţiei (30
mai) şi Dl. Giorgio Ficcarelli, Şeful Secţiei Phare,
Delegaţia CE în România (23 mai, 30 mai).
Din partea Autorităţii de Management a Cadrului de Sprijin
Comunitar, Dl. Istvan Jakab a ţinut discursuri la două seminarii, iar
Dl. Razvan Cotovelea a susţinut prezentări la cinci seminarii. Dna.
Claudia Bedea a prezidat cinci seminarii (23 mai, 30 mai, 6 iunie, 12 iunie, 27
iunie) şi Dna. Monica Medeleanu (UCE) seminarul din 20 iunie.
Toţi participanţii de la cele şase conferinţe au primit
copii ale prezentărilor PowerPoint cât şi o broşură pe
evaluare cu rol introductiv (anexa 2) care a fost elaborată de Proiectul
de AT şi cuprinde câteva dintre aspectele esenţiale ale
evaluării cum ar fi definiţia evaluării, diferitele tipuri de
evaluare, ciclul evaluării, principiile şi întrebările
evaluării cât şi exemple de bună practică din Olanda,
Irlanda şi Italia. Broşura conţine şi o descriere a
activităţii curente de evaluare din România, inclusiv modelul de
evaluare planificat în Cadrul Naţional Strategic de Referinţă
2007-2013.
Au fost distribuite chestionare tuturor participanţilor de la
seminarii pentru a măsura nivelul lor de cunoştinţe despre
evaluare şi interacţiunea cu domeniul evaluării. Datele generate
de aceste chestionare au fost folosite de cei doi consultanţi care s-au
ocupat de cercetarea culturii evaluării în România, Dna. Hilary Curley
şi Dl. Eugen Perianu, pentru a precede elaborarea Strategiei
Naţionale Evaluare de către Proiectul de TA în perioada iulie/august.
191 de chestionare au fost completate de către participanţi (vezi
chestionarul în anexa 3).
În anexa 4 se regǎsesc agendele acestor întâlniri şi scurte
rezumate ale discuţiilor.
Cele şase evenimente de conştientizare reprezintă principala
activitate din planul de conştientizare al UCE derulat în vederea îndeplinirii
obligaţiilor din cadrul Planului Unic de Acţiune pentru
îmbunătăţirea sistemelor de management pentru operarea
fondurilor UE în România (Activitatea 6.4 – Implementarea Planului Unic de
Acţiune pentru creşterea geadului de conştientizare privind evaluarea).
Alte activităţi care contribuie la îndeplinirea sarcinilor UCE sunt:
o. Traducerea
integrală în limba română a Ghidului privind evaluarea dezvoltării socio-economice - „Guide to
Socio Economic Development Evaluation” www.evalsed.info
va începe în august, de îndată ce website-ul este actualizat. Copii ale
Ghidului, Metodologiei şi Fişelor Informative pentru Întărirea
Capacităţii vor fi distribuite la nivelul administraţiei publice
locale şi regionale. Vor fi distribuite copii si mediului academic,
societăţii civile şi sectorului firmelor private de evaluare.
p. Realizarea
unui website al UCE în septembrie 2006. Va fi un depozit web la nivel central
pentru materiale pe evaluare atât din România cât şi din CE. Se prevede
că se vor putea descărca de pe site rapoarte de evaluare, metodologii
şi literatură cu recomandări.
Anexa 1 – Planul de popularizare a evaluării pentru
anul 2006
1 Introducere
Planul de popularizare a
evaluării a fost elaborat de Dna. Cătălina Manolescu, expert
local pe termen scurt în cadrul sarcinii 4.4.1 sub activitatea 4.4. –
Creşterea popularităţii evaluării în România din Planul de
Lucru al Proiectului.
Scopul Activităţii
4.4 este de a crea un cadru de lucru care sa faciliteze transferul de
informaţii si cunoştinte privind evaluarea către grupurile
ţintă.
Faptul că România preia
Evaluarea Phare Interimara de la Comisia Europeana in 2006 constituie un punct
de început pentru dezvoltarea sistemului naţional de evaluare capabil sa
evalueze strategii, politici, programe şi proiecte. Autoritatea de
Management pentru Cadrul de Sprijin Comunitar (AMCSC) a instituit deja Unitatea
Centrala de Evaluare (UCE) care se afla în prezent în procesul de angajare de
personal si pentru care se dezvoltă proceduri de lucru în conformitate cu
cerinţele EDIS. Principalele dificultăţi aferente acestei
oportunităţi sunt timpul limitat de care dispune administraţia
publică pentru instituirea şi întărirea noilor structuri
dedicate evaluării si dezvoltarea pieţei private a evaluării
care este o sarcina şi mai dificilă.
Toţi actorii cheie ar
trebui sa fie conştienţi de faptul ca procesul de întărire a
capacităţii de evaluare va dura ani de zile si va cere foarte mult
efort instituţional. Primul pas in acest proces este popularizarea evaluării
ca principal instrument de management pentru întărirea
eficacităţii, eficienţei şi responsabilizării în ceea
ce priveşte cheltuirea banilor publici.
De îndată ce evaluarea
Phare interimara şi funcţia de evaluare pentru instrumentele
structurale devin operaţionale, se vor crea premisele pentru extinderea
funcţiei de evaluare la toate fondurile publice cheltuite în România, nu
doar pentru cele care vin de la UE sau alţi donori dar si cele din bugetul
naţional si bugetele locale.
Popularizarea/conştientizarea
este un instrument esenţial tipic unei faze timpurii care
urmăreşte sa ofere informaţii generale cu privire la evaluare
decidenţilor şi beneficiarilor finali creând si crescând de o maniera
constanta cererea pentru evaluare, accentul cazând pe beneficiile directe aduse
grupurilor ţintă identificate.
2. Grupuri
Ţintă
2.1 Parlament
Se presupune ca Parlamentul ca
entitate legislativa este principalul beneficiar al procesului de evaluare.
Iniţiativele legislative înaintate de membrii ai Senatului sau Camerei
Deputaţilor ar trebui sa se bazeze pe o analiza detaliată şi pe
datele obţinute din evaluarea politicilor, strategiilor implementate
anterior. Aceste informaţii vor fi puse la dispoziţie de serviciile
tehnice ale Senatului şi Camerei. Parlamentul va fi principala entitate
care va cere rezultatele evaluării, pe de o parte si, pe de alta parte
singura care sa impună stabilirea acestei funcţii la nivel
naţional.
Datorita acestei funcţii
importante propunem sa se organizeze un seminar de jumătate de zi pentru
membrii parlamentului şi personalul tehnic, aproximativ 50 de persoane:
17 comisii din Camera;
15 comisii din Senat;
8 comisii comune;
6 grupuri parlamentare;
1 grup al
minorităţilor
un grup al
independenţilor
un aparat extins.
2.2 Decidenţii de la nivel guvernamental
Crearea cererii de evaluare la
nivelul politic (minister, secretar de stat) acolo unde sunt elaborate
politicile publice şi sunt luate decizii de implementat ar putea
intări procesul de asumare al acestei funcţii.
În momentul în care
politicienii din corpurile de execuţie centrale vor înţelege şi
internaliza nevoia de evaluare ca instrument pentru elaborarea de
politici/strategii, iniţiative legislative, ca instrument pentru
planificare şi implementare, s-ar putea totodată să vadă în
evaluare posibilitatea de a-şi îmbunătăţii munca mai
degrabă decât un sistem punitiv pentru performanţe slabe.
Planificăm ca 100 de
persoane să participe în 4 sesiuni, 25 de persoane la fiecare întâlnire:
15 ministere de linie – în
medie 4 secretari de stat pe minister;
24 de agenţii
guvernamentale – 1 participant;
alte instituţii publice
sub coordonarea ministerelor.
2.3 Administraţia publică centrală
La nivel central
funcţionarii publici din departamentele care oferă suport tehnic
pentru elaborarea de politici/strategii şi cei din departamentele care se
ocupă cu elaborarea şi implementarea de programe/proiecte
(finanţate de UE şi/sau BM & alţii) se află în cea mai
bună poziţie de a crea disponibilitatea serviciilor de evaluare în
vederea sprijinirii muncii lor şi de a contribui astfel la creşterea
cererii interne de evaluare. l
Planificăm ca în total
120 de persoane să participe din:
15 ministere de linie – 4
participanţi din fiecare minister (60 de persoane);
24 de agenţii
guvernamentale – 2 participanţi din fiecare agenţie (48 persoane);
alte instituţii sub
coordonarea miniştrilor/prim-ministrului.
2.4 Administraţia publică locală/regională
Descentralizarea
administraţiei publice se află în prezent într-un stadiu timpuriu. În
scurt timp autorităţile locale/regionale se vor afla în poziţia
de a elabora şi asuma propriile lor strategii de dezvoltare şi de a
le implementa utilizând propriile lor resurse cât şi cele de la UE, prin
Instrumentele Structurale şi/sau de la alţi donori sau alte instituţii
financiare internaţionale.
Eforturile
autorităţilor locale/regionale în elaborarea/amendarea strategiilor
de dezvoltare şi intervenţiilor de tip program/proiect pentru
implementarea strategiilor vor fi foarte bine susţinute de rezultatele
evaluării asupra a ceea ce s-a făcut deja (strategiile şi
intervenţiile care sunt acum în implementare).
Se anticipează că
funcţionarii publici care sunt în prezent implicaţi în implementarea
de programe/proiecte vor constitui principalul grup care va exercita presiune
asupra decidenţilor pentru a operaţionaliza un sistem care să
ofere datele necesare serviciilor de evaluare.
Astfel, acest grup va
contribui şi la creşterea cererii interne de servicii de evaluare.
Planificăm să oferim training pentru 110 persoane din acest grup:
41 de judeţe – 2 participanţi
din fiecare judeţ (prefectură şi consiliu judeţean);
8 regiuni – 2
participanţi din fiecare regiune;
6 sectoare în Bucureşti –
2 participanţi din fiecare sector.
2.5 Universităţile
Dacă cererea de evaluare
va creşte în mod semnificativ în următorii ani, dezvoltarea ofertei
locale pentru a balansa piaţa va dura şi mai mult timp.
Pe termen scurt vor fi
angajaţi pentru sarcinile de evaluare atât consultanţi locali cât
şi experţi UE. În acest sens o altă componentă a
Proiectului se află în derulare în prezent.
Pentru perspectiva pe termen
lung universităţile ar trebui să se angajeze în a oferi cursuri
de evaluare (adaptate la profilul lor) la diferite nivele (facultate, master,
specializări pe termen scurt, etc). Universităţile vor
pregăti absolvenţi cu un nivel minim de experienţă şi
formare la locul muncii care să fie capabili să-şi ofere
asistenţa în misiunile de evaluare.
Sunt planificaţi 50 de
participanţi din această categorie, din Bucureşti şi din
ţară.
2.7 ONG-uri
Şi această categorie
va contribui în mod semnificativ la creşterea cererii externe de evaluare.
În ultima vreme ONG-urile sunt din ce în ce mai prezente în mediul
socio-economic românesc. Societatea civilă devine un partener de
discuţii din ce în ce mai puternic pentru Guvern. În acest dialog, ambele
părţi au nevoie de argumente pentru a-şi susţine
poziţia, argumente care nu mai sunt atât de vagi sau bazate în principal
pe declaraţii ci argumente bazate mai ales pe fapte şi cifre.
Sunt planificaţi 100 de
reprezentanţi ai ONG-urile din Bucureşti şi din ţară.
3. Rezumatul
evenimentelor
3.1. Schiţa
evenimentelor
|
Nr. |
Grup ţintă |
Descriere |
Dată |
Participanţi/sesiune |
Durata sesiunii |
|
1. |
Decidenţi de la nivelul Guvernului |
Secretari de Stat, reprezentanţi ai
agenţiilor guvernamentale şi ai instituţiilor publice aflate
sub coordonarea ministerelor. |
23 mai |
120 |
10.00-13.00 |
|
2. |
Administraţia publică centrală |
Funcţionari publici de nivel ierarhic
superior implicaţi în oferirea de sprijin tehnic elaborării de
politici/strategii cât şi elaborării şi implementării de
programe/proiecte. Vor veni şi membrii ai Senatului, Camerei şi
personalului tehnic. |
30 mai |
120 |
10.00-16.00 |
|
3. |
Administraţia publică
regională/locală |
Sesiuni de informare pentru funcţionarii
publici care sunt acum implicaţi în implementarea de programe/proiecte
şi, posibil, pentru decidenţi i |
6 iunie |
120 |
10.00-15.00 |
|
4. |
Parlament |
Sesiuni de informare pentru membrii Senatului,
Camerei Deputaţilor |
13 iunie |
45 |
10.00-13.00 |
|
5. |
Universităţi |
Sesiuni de informare pentru reprezentanţii
universităţilor din Bucureşti şi din ţară |
|
75 |
10.00-16.00 |
|
6. |
ONG-uri |
Sesiuni de informare (sau conferinţă de
presă) pentru reprezentanţii ONG-urilor din Bucureşti şi
din ţară |
|
60 |
10.00-13.00 |
|
|
Total |
|
|
540 |
|
Remarcă: fiecare eveniment este prezentat separat
în fişă de eveniment în anexa A.
3.2. Planificarea
evenimentelor
Zilele propuse pentru evenimente sunt
următoarele:
|
Eveniment pentru |
Data |
Prezidat de |
|
Decidenţi la nivel guvernamental |
23 mai, 06 |
Ministru/Secretar de Stat al MFP |
|
Administraţia publică centrală |
30 mai, 06 |
Directorul AMCSC/Director UCE |
|
Administraţia publică regională
şi locală |
6 iunie, 06 |
Directorul AMCSC/Director UCE |
|
Parlament |
13 iunie, 06 |
Ministru/Secretar de Stat al MFP |
|
Universităţi şi ONG-uri |
21 iunie, 06 |
Director AMCSC/Secretar de Stat al MFP |
|
Media |
27 iunie, 06 |
Ministru/Secretar de Stat al MFP |
Planificarea evenimentelor este prezentată mai
jos.
|
Nr. |
Grupul ţintă/luna |
Mai 06 |
Iunie 06 |
|
||||||||
|
|
|
W21 |
W22 |
W23 |
W24 |
W25 |
W26 |
|
||||
|
1. |
Parlament |
|
|
|
|
|
|
|||||
|
2. |
Decidenţi la nivel guvernamental |
|
|
|
|
|
|
|||||
|
3. |
Administraţia publică centrală |
|
|
|
|
|
|
|||||
|
4. |
Administraţia publică locală
şi regională |
|
|
|
|
|
|
|||||
|
5. |
Universităţi |
|
|
|
|
|
|
|||||
|
6. |
Mass media |
|
|
|
|
|
|
|||||
|
7. |
ONG-uri |
|
|
|
|
|
|
|||||
Remarcă: Nici-un eveniment nu va avea loc
vinerea.
Anexa A. Fişele evenimentelor
1. Parlament
|
Element |
Detalii |
|
Titlu |
Seminar de informare |
|
Grupul ţintă |
Membrii ai Senatului, Camerei şi
personalului tehnic |
|
Dimensiunea grupului |
45 |
|
Durată |
10.00-13.00 (13 iunie 2006) în Bucureşti |
|
Obiective |
Prezentarea generală a conceptului
evaluării Popularizarea în rândul membrilor grupului
ţintă a beneficiilor rezultate din instituirea şi
funcţionarea sistemului de evaluare Conştientizarea grupului ţintă cu
privire la rolul său în instituirea unui sistem naţional de
evaluare |
|
Conturarea conţinutului |
Prezentarea conceptului evaluării Prezentarea experienţei UE în domeniu Prezentarea cu titlu de exemplu a viitoarei
Evaluări Interimare Phare |
|
Metodele care vor fi folosite |
Prezentări Discuţii |
|
Materiale |
Prezentări PowerPoint Diverse alte materiale |
|
Formatori |
Ministru/Secretar de Stat din partea MFP, Expert
pe termen scurt, Expertul Cheie + Experţii Locali pe Termen Scurt |
2. Guvern
– Decidenţi
|
Element |
Detalii |
|
Titlu |
Seminar de informare |
|
Grupul ţintă |
Secretari de Stat, reprezentanţi ai
agenţiilor guvernamentale şi instituţiilor publice aflate în
coordonarea ministerelor |
|
Dimensiunea grupului |
120 |
|
Durată |
10.00-13.00 (23 mai) în Bucureşti |
|
Obiective |
Prezentarea generală a conceptului
evaluării Popularizarea în rândul membrilor grupului
ţintă a beneficiilor rezultate din instituirea şi
funcţionarea sistemului de evaluare Conştientizarea grupului ţintă cu
privire la rolul său în instituirea unui sistem naţional de
evaluare |
|
Conturarea conţinutului |
Prezentarea conceptului evaluării Prezentarea experienţei UE în domeniu Prezentarea cu titlu de exemplu a viitoarei
Evaluări Interimare Phare |
|
Metodele care vor fi folosite |
Prezentări Discuţii |
|
Materiale |
Prezentări PowerPoint Diverse alte materiale |
|
Formatori |
Ministru/Secretar de Stat din partea MFP, Expert
pe termen scurt, Expertul Cheie + Experţii Locali pe Termen Scurt |
3. Administraţia
publică centrală
|
Element |
Detalii |
|
Titlu |
Seminar de informare |
|
Grupul ţintă |
Funcţionarii publici implicaţi în
oferirea de sprijin tehnic elaborării de politici/strategii şi în
elaborarea şi implementarea proiectelor/programelor. |
|
Dimensiunea grupului |
120 |
|
Durată |
10.00-16.00 (30 mai)în Bucureşti |
|
Obiective |
Conştientizarea grupului ţintă cu
privire la beneficiile instituirii şi funcţionării sistemului
de evaluare Conştientizarea grupului ţintă cu
privire la rolul său în creşterea cererii interne de evaluare Obţinerea contribuţiilor necesare
pentru cercetarea culturii de evaluare |
|
Conturarea conţinutului |
Prezentarea conceptului evaluării Prezentarea experienţei UE în domeniu Prezentarea cu titlu de exemplu a viitoarei
Evaluări Interimare Phare |
|
Metodele care vor fi folosite |
Prezentări Discuţii |
|
Materiale |
Prezentări PowerPoint Diverse alte materiale |
|
Formatori |
Directorul AMCSC/Directorul UCE, Expertul Local
pe Termen Scurt, Expertul Cheie + Expertul Local pe Termen Scurt |
4. Administraţia
publică locală/regională
|
Element |
Detalii |
|
Titlu |
Seminar informare |
|
Grupul ţintă |
Funcţionarii publici care sunt în prezent
implicaţi în implementarea de programe/proiecte şi, dacă este
posibil, decidenţii |
|
Dimensiunea grupului |
120 |
|
Durată |
10.00-15.00 (6 iunie) în Bucureşti |
|
Obiective |
Conştientizarea grupului ţintă cu
privire la beneficiile instituirii şi funcţionării sistemului
de evaluare Conştientizarea grupului ţintă cu
privire la rolul său în creşterea cererii interne de evaluare Obţinerea contribuţiilor necesare
pentru cercetarea culturii de evaluare |
|
Conturarea conţinutului |
Prezentarea conceptului evaluării Prezentarea experienţei UE în domeniu Prezentarea cu titlu de exemplu a viitoarei
Evaluări Interimare Phare |
|
Metodele care vor fi folosite |
Prezentări Discuţii |
|
Materiale |
Prezentări PowerPoint Diverse alte materiale |
|
Formatori |
Directorul AMCSC/Directorul UCE, Expertul Cheie +
Expertul Local pe Termen Scurt |
5. Universităţi
|
Element |
Detalii |
|
Titlu |
Seminar de informare |
|
Grupul ţintă |
Reprezentanţi ai universităţilor
din Bucureşti şi din ţară |
|
Dimensiunea grupului |
75 |
|
Durată |
10.00-16.00 (20 iunie) în Bucureşti |
|
Obiective |
Prezentarea generală a conceptului
evaluării Popularizarea în rândul membrilor grupului
ţintă a beneficiilor rezultate din instituirea şi
funcţionarea sistemului de evaluare Conştientizarea grupului ţintă cu
privire la rolul său în instituirea unui sistem naţional de
evaluare |
|
Conturarea conţinutului |
Prezentarea conceptului evaluării Prezentarea experienţei UE în domeniu Prezentarea cu titlu de exemplu a viitoarei
Evaluări Interimare Phare |
|
Metodele care vor fi folosite |
Prezentări Discuţii |
|
Materiale |
Prezentări PowerPoint Diverse alte materiale |
|
Formatori |
Directorul AMCSC/Directorul UCE, Expertul Cheie +
Expertul Local pe Termen Scurt |
6. ONG-uri
|
Element |
Detalii |
|
Titlu |
Seminar de informare sau conferinţă de
presă |
|
Grupul ţintă |
Reprezentanţi ai mass media din
Bucureşti şi din ţară |
|
Dimensiunea grupului |
50 |
|
Durată |
10.00-13.00 (27 iunie) |
|
Obiective |
Prezentarea generală a conceptului
evaluării Popularizarea în rândul membrilor grupului
ţintă a beneficiilor rezultate din instituirea şi
funcţionarea sistemului de evaluare Conştientizarea grupului ţintă cu
privire la rolul său în creşterea cererii externe de evaluare |
|
Conturarea conţinutului |
Prezentarea conceptului evaluării Prezentarea experienţei UE în domeniu Prezentarea cu titlu de exemplu a viitoarei
Evaluări Interimare Phare |
|
Metodele care vor fi folosite |
Prezentări Discuţii |
|
Materiale |
Prezentări PowerPoint Diverse alte materiale |
|
Formatori |
Ministru/Secretar de Stat în MFP, Expert pe
Termen Scurt, Expert Cheie + Expert Cheie pe Termen Scurt |
Anexa 2 – Broşura pe evaluare
|
|
MINISTERUL FINANŢELOR PUBLICE Autoritatea de Management pentru Cadrul de Sprijin
Comunitar Unitatea Centrală de Evaluare |
Ce este evaluarea?
În ultima
perioadă, se remarcă un interes din ce în ce mai mare din partea
societăţii pentru ca managerii de programe finanţate din fonduri
publice să justifice continuarea suportului public pentru programele pe
care le implementează. Parlamentari, reprezentanţi ai
societăţii civile, reprezentanţi ai principalilor donori
internaţionali (Banca Mondială, Uniunea Europeană etc.), precum
şi un mare număr de cetăţeni au devenit preocupaţi de
rentabilitatea proiectelor şi programelor plătite din banii
contribuabililor.
Astfel, se conturează un nou principiu
deosebit de important pentru modul de folosire a resurselor financiare publice:
“responsabilizarea”.
Aceste aspecte reprezintă obiectul unei
practici relativ noi în managementul financiar din sectorul public –
Evaluarea.
Evaluarea poate fi
descrisă ca o “analiză independentă a unei intervenţii,
în funcţie de rezultatele, impactul şi nevoile pe care respectiva
intervenţie intenţionează să le satisfacă” (sursa
- Comisia Europeană).
Nu este evaluarea acelaşi lucru cu monitorizarea?
Toate programele si proiectele finanţate din surse publice (fie din bugetul naţional al României, fie din bugetul Uniunii Europene sau de la alţi donori internaţionali, cum ar fi Banca Mondială, USAID, etc.) sunt monitorizate pe parcursul implementării lor.
Programele care sunt
implementate pe baza multi-anuală (cum ar fi cele finanţate prin
Instrumentele Structurale ale Uniunii Europene) au o perioadă finită
pentru implementare. Programele sunt mai întâi elaborate înainte de începerea
unei noi “runde” de programare şi apoi sunt implementate (şi
finalizate) în cadrul perioadei de programare prestabilite. Pentru fiecare an al
perioadei de programare, aceste programe trebuie să atingă anumite
nivele de performanţă financiară, nivele care sunt stabilite
anterior debutului fazei de implementare.
Măsurarea
progresului fizic al unui program este un proces mai complex, care depinde în
principal de stabilirea şi dezvoltarea unor indicatori de performanţă
bine determinaţi. În acest context, pentru a aprecia performanţa
unui anumit program, pe lângă cunoaşterea sumelor alocate este
deosebit de importantă stabilirea unor elemente (indicatori) în baza
cărora să se poată afla ceea ce s-a realizat sau obţinut cu
banii folosiţi.
Indicatorii de
performanţă permit managerilor unui program, celor implicaţi în
activitatea de monitorizare, precum şi evaluatorilor să măsoare
progresul programului, la diferitele sale nivele de implementare.
La nivel
internaţional, în teoria şi practica evaluării, indicatorii sunt
clasificaţi în: indicatori de rezultate imediate (output
indicators), indicatori de rezultat (result indicators) şi indicatori
de impact (impact indicators).
Indicatorii de
rezultate imediate măsoară rezultatele fizice ale unui
program.
Această primă analiză conduce la noi
întrebări:
- Este suficient să ştim ce lungime de
drum am construit ?
- Construim drumuri doar de dragul de a le construi
?
Aici intervin indicatorii de rezultat, care
ne permit să măsurăm beneficiul real al rezultatelor imediate
asupra grupului ţintă.
În cele din urmă, donorii, cei implicaţi
în faza de programare, precum şi factorii de decizie din Guvern vor ca
programele finanţate să aibă un impact.
La ce întrebări încearcă să
răspundă evaluarea?
Activitatea
de evaluare este strâns corelată cu procesul de monitorizare, întrucât datele obţinute din acest proces reprezintă una din
sursele de informaţii folosite în evaluare. Evaluarea examinează
însă mult mai multe aspecte decât cel privind gradul în care progresele
financiare şi fizice înregistrate la un anumit moment în implementarea
programului sunt în conformitate cu planificarea iniţială.
Pentru ca activitatea
de evaluare să răspundă scopurilor urmărite de acest proces
complex, la nivelul Uniunii Europene s-au conturat 5 criterii folosite
în cadrul oricărui exerciţiu de evaluare - criteriile “DAC”. Acestea sunt:
Relevanţa
Eficienţa
Eficacitatea
Impactul
Sustenabilitatea
Criteriile de evaluare
|
Criteriu |
Descriere |
|
Relevanţa |
Relevanţa
unui proiect reprezintă măsura în care obiectivele stabilite
şi planul de implementare propus
adresează corect problemele identificate. Schimbările privind natura problemelor
identificate iniţial sau anumite circumstanţe în care are loc
implementarea proiectului, fie acestea fizice, economice,
instituţionale sau politice, pot face proiectul irelevant pentru
problemele/nevoile pe care a fost menit să le rezolve. |
|
Eficienţa |
Criteriul de eficienţă se referă
la cât de bine au fost folosite resursele disponibile pentru a transforma activităţile
propuse în rezultatele intenţionate. Acest criteriu vizează aspecte legate de
rentabilitate şi anume dacă ar fi putut fi obţinute rezultate
mai bune prin alte modalităţi şi, în acelaşi timp, mai
ieftine. |
|
Eficacitatea |
Criteriul de eficacitate încearcă
să identifice dacă proiectul şi-a atins obiectivele stabilite
în faza de programare. Întrebarea cheie este ce beneficiu a adus
proiectul în practică, prin raportarea la măsura în care
subiecţii vizaţi au beneficiat în mod real de pe urma produselor
sau serviciilor pe care proiectul le-a făcut disponibile. |
|
Impactul |
Termenul impact se referă la efectul
de ansamblu al beneficiilor aduse de un anumit proiect, asupra unui
număr mai mare de persoane decât principalii beneficiari dintr-un
anumit sector, o anumită regiune sau chiar din întreaga ţară. |
|
Sustenabilitatea |
Criteriul de sustenabilitate arată
dacă există probabilitatea ca rezultatele pozitive ale proiectului
să continue şi după terminarea perioadei de finanţare
externă şi totodată, dacă impactul pe termen lung al
programului asupra procesului mai amplu de dezvoltare poate fi menţinut
la nivel de sector, regiune sau ţară. |
Exerciţiile de evaluare nu examinează
neapărat toate cele cinci criterii de evaluare. Procesul unei
programări multi-anuale şi sistemul de monitorizare aferent au permis
dezvoltarea unui “ciclu de evaluare”, care “urmăreşte”
exerciţiul de programare. În
consecinţă, cele cinci criterii de evaluare nu sunt examinate în mod
obligatoriu în cadrul oricărei evaluări, ci sunt adaptate în
funcţie de momentul la care intervine evaluarea, stadiul
implementării programului şi obiectivele evaluării.
Ciclul de evaluare
|
Stadiul
ciclului de programare |
Stadiul
ciclului de evaluare |
Legătura
dintre stadii |
Cel
mai important criteriu de evaluare |
|
Elaborarea si pregătirea finală a
programelor, înainte de implementare |
Ex-ante |
Evaluarea ex-ante analizează critic
programele propuse, examinându-le obiectivele, planurile de implementare
şi rezultatele estimate, etc., cu intenţia de a determina dacă
sunt cele mai potrivite intervenţii pentru a îndeplini obiectivele
relevante ale politicii. |
Relevanţa |
|
Implementarea programelor |
Intermediară |
Evaluarea intermediară analizează în ce
măsură programele sunt implementate în modul cel mai eficient
şi eficace, conform programării iniţiale şi
stabileşte dacă programele sunt la fel de relevante ca în faza de
programare, pentru satisfacerea nevoilor identificate. |
Eficienţa, Eficacitatea |
|
Finalizarea programelor |
Ex-post |
Evaluarea ex-post analizează impactul
programelor, prin raportare la nevoile pe care programul a urmărit sa le
satisfacă şi, totodată, să determine dacă efectele
pozitive ale programului sunt sustenabile în timp şi după finalizarea
implementării programului. |
Impactul, Sustenabilitatea |
Cum
evaluăm?
Organizarea şi
desfăşurarea unei evaluări implică mult mai mult decât
observarea din afară şi redactarea unei analize independente a
programului în discuţie. Unul dintre cele mai complexe aspecte cu care se
confruntă evaluatorii profesionişti se referă la stabilirea
felului în care îşi vor derula activitatea şi la modalitatea în care
vor identifica şi formula concluziile şi recomandările evaluării.
Metodologia aleasă pentru evaluarea programului este de o importanţă vitală în
asigurarea transparenţei acestui exerciţiu. Natura acestei
activităţi (care implică o analiză evaluativă sau un
raţionament asupra beneficiilor unei intervenţii) poate avea
rezultatul ca managerii publici să caute motive de justificare,
fiind mai puţin entuziaşti în legătură cu activitatea de
evaluare. Prin urmare, este de o importanţă vitală ca
evaluatorii să poată demonstra că au adoptat o abordare
metodologică
amănunţită şi credibilă în realizarea
evaluării.
Un bun evaluator va
studia programul sau proiectul care urmează a fi evaluat şi va
propune o metodologie de evaluare fezabilă, luând în considerare o
serie de factori, precum:
Sursele de informaţie
disponibile;
Costul colectării de
informaţii suplimentare celor disponibile în cadrul sistemului de
monitorizare;
Perioada de timp
alocată pentru evaluare.
O dată ce
evaluatorul a propus metodologia de lucru şi aceasta este acceptată
de managerul evaluării, evaluatorul trebuie să acţioneze conform
planului agreat şi să prezinte rezultatele evaluării sub forma
unui raport final de evaluare.
Punctul de pornire în
activitatea de evaluare
Fiecare exerciţiu
de evaluare trebuie să pornească de la un set de termeni de
referinţă, elaboraţi de către managerul procesului de
evaluare, document care trebuie să prezinte în mod clar întrebările
de evaluare la care trebuie să se răspundă în cadrul
exerciţiului de evaluare.
Tabelul de mai jos
oferă câteva exemple de întrebări de evaluare care pot fi adresate de
către responsabilul/managerul procesului de evaluare.
Întrebări de evaluare
|
Program |
A fost identificată o problemă? |
Întrebări de evaluare |
|
Un program de finanţare pentru IMM-uri, de
tipul “primul venit, primul servit” |
Da, monitorizarea datelor indică o cerere
scăzută de fonduri din partea IMM-urilor |
Este relevant programul pentru
necesităţile grupului ţintă? Este programul slab elaborat? Este posibil ca mesajul să nu ajungă la
grupul ţintă potrivit? Ar putea fi folosită o metodă
alternativă de stabilire a grupurilor ţintă, care să
vizeze direct, de exemplu, IMM-urile din sectoarele relevante? |
|
Un program de intervenţie directă
pentru cei care sunt şomeri de mult timp, pentru a-i plasa la cursuri de
instruire potrivite pentru calităţile lor |
Da, responsabilii cu implementarea programului
spun că acesta nu are popularitate în rândul grupului
ţintă şi are nivel scăzut de asimilare a
cunoştinţelor |
De ce nu are programul popularitate? Au fost membrii grupului ţintă
beneficiar consultaţi in timpul elaborării programului? Este gama opţiunilor de instruire problema
sau nu există nici o motivaţie pentru beneficiari de a participa? |
|
Un program de investiţii în aeroporturile
regionale |
Da, monitorizarea datelor indică faptul ca preţul
unui zbor este mult mai mare decât cel anticipat iniţial |
Este programul implementat în mod eficient? Sunt procedurile de licitaţie corect
urmărite în selecţia firmelor de construcţii? |
Principiile evaluării
În efectuarea unui
exerciţiu de evaluare, există 4 principii ale evaluării
care sunt necesare pentru a inspira încredere în procesul de evaluare
şi pentru a asigura credibilitatea evaluării5.
Aceste principii sunt:
|
Principiu |
Descriere |
|
Imparţialitate şi
independenţă |
Trebuie să existe o separare completă
între funcţia de evaluare şi funcţiile de programare şi
implementare. În forma cea mai simplă, persoanele şi
unităţile responsabile de elaborarea şi/sau implementarea
programelor nu trebuie să fie cele care evaluează. |
|
Credibilitate |
În desfăşurarea evaluării trebuie
folosiţi experţi competenţi şi independenţi. |
|
Participarea factorilor interesaţi |
Implicarea factorilor interesaţi în evaluare
este crucială pentru a garanta faptul că diferite perspective sunt
luate în considerare şi reflectate în rezultatele evaluării.
Determinarea factorilor interesaţi relevanţi reprezintă un pas
crucial în desfăşurarea evaluării. Obţinerea acordului
din partea celor cu un interes îndreptăţit în evaluarea programului
– fie din partea beneficiarilor, fie a managerilor de program, membrilor
grupului ţinta etc. – este un pas esenţial pentru conferirea
sentimentului de “posesiune” asupra rezultatelor şi recomandărilor
evaluării. |
|
Utilitate |
Concluziile şi recomandările unui
raport de evaluare trebuie să fie utile şi fezabile. Credibilitatea
unei evaluări poate fi afectată dacă recomandările par
să fie motivate politic sau ideologic sau dacă nu reies direct din
corpul principal al raportului. |
Evaluarea în
România
Până în prezent,
evaluarea în România s-a concentrat în principal asupra fondurilor Uniunii
Europene. Programele finanţate din bugetul naţional al României au
fost tradiţional neînsoţite de evaluare.
Hotărârea
Guvernului nr. 775/2005 pentru aprobarea Regulamentului privind planificarea,
monitorizarea şi evaluarea politicilor publice la nivel central prevede înfiinţarea unor Unităţi de Politici Publice
în cadrul ministerelor şi al celorlalte instituţii ale
administraţiei publice centrale, al căror rol va include evaluarea
politicilor publice, aşa cum sunt acestea definite prin lege.
Conform Sistemului
Extins de Implementare Descentralizată (Extended Decentralisation
Implementation System) prevăzut să fie preluat de România
până la finalul anului 2006 şi care va transfera sarcini
adiţionale de management al programelor cu finanţare UE de la
Bruxelles României, Autoritatea de Management pentru Cadrul de Sprijin
Comunitar înfiinţată în cadrul Ministerului de Finanţe Publice
va prelua managementul Schemei de Evaluare Intermediară a programului
PHARE.
Evaluarea Programelor Operaţionale 2007-2013
Ca urmare a
aderării la UE, România va deveni eligibilă pentru Instrumentele
Structurale (Fondurile Structurale şi Fondul de Coeziune). Planul de
cheltuieli pentru aceste fonduri, estimate să ajungă la 17 miliarde
de euro în perioada 2007-2013, este trasat de Cadrul Strategic Naţional de
Referinţă şi de cele 7 Programe Operaţionale, care
conţin planuri detaliate de investiţii în domenii diverse, cum ar fi
Transporturile, Dezvoltarea Resurselor Umane, Mediu etc.
Evaluarea în alte state membre UE şi lecţiile
de învăţat pentru România
Evaluarea este o
practică stabilită în multe ţări ale Uniunii Europene.
Ţări ca Olanda, Marea Britanie şi ţările scandinave au
istorii de evaluare care se întind pe decenii. Imboldul pentru evaluare a venit
de la instituţiile europene, în particular în legătură cu cel 3
runde precedente ale Fondurilor Structurale (1989-93, 1994-99 si 2000-2006).
Experienţe utile: Olanda, Irlanda, Italia
Olanda
În cazul Olandei, se
face o distincţie între evaluarea ex ante, ex post
şi evaluarea organizaţională. Accentul cel mai puternic
se pune pe evaluarea ex post, care reprezintă 70% din ansamblul
activităţilor de evaluare efectuate în Olanda.
În urma criticilor
Curţii Naţionale a Auditorilor de-a lungul anilor ‘80 pentru lipsa
evaluării sistematice a politicilor publice, Guvernul a emis un pachet
legislativ prin care ministerele trebuie să evalueze periodic
eficienţa şi eficacitatea politicilor publice, în principiu, cel
puţin o dată la fiecare 5 ani. Programul VBTB (abrevierea olandeza
pentru “De la politica bugetară la responsabilitate pentru
politică”), implementat de Ministerul de Finanţe începând cu anul
1999, contribuie la creşterea transparenţei în procesul de management
financiar şi bugetar al ministerelor, precum şi la corelarea acestuia
cu scopurile politicilor publice (obiectivele, performanţa şi
resursele sunt elemente strâns legate unele de altele). VBTB se centrează
pe trei întrebări:
Aceste trei
întrebări reprezintă principiile de elaborare a “noului stil de
politică bugetară”. La sfârşitul anul bugetar, raportul naţional
anual al guvernului trebuie să răspundă echivalentului celor
trei întrebări.
Rezultatul este o
trecere de la “responsabilizarea financiară” pură la “responsabilizarea
faţă de politica publică” şi, prin urmare, noul stil de
politică bugetară conţine indicatorii de rezultat ce permit
analizarea performanţei.
Programul
de Revizuire a Evaluării la nivel naţional (National Evaluation Overview) lansat recent de autorităţile olandeze,
propune folosirea unui chestionar anual despre evaluare şi
monitorizare trimis în atenţia departamentelor guvernamentale de
către Curtea Naţională a Auditorilor, care are menirea de a
informa asupra evaluărilor planificate şi rezultatele aşteptate.
Irlanda
În Irlanda, pentru
perioada de programare 1994-1999, s-a înfiinţat o Unitate Centrală
de Evaluare a Cadrului de Sprijin Comunitar, care a înlocuit
unităţile individuale ale Programelor Operaţionale
înfiinţate anterior.
Unitatea Centrală
de Evaluare s-a implicat atât în contractarea evaluării elementelor
PND/CSC, cât şi în gestionarea de evaluări la nivel intern.
Unitatea a activat
şi ca punct central de consiliere
şi orientare a ministerelor.
În viitor, începând cu
anul 2007, este planificat ca Unitatea de Evaluare PND/CSC să se
transforme într-o Unitate Centrală de Evaluare pentru Departamentul de
Finanţe, având responsabilitatea generală pentru coordonarea
exerciţiilor de evaluare a programelor cu finanţare publică
(atât fonduri UE cât şi fonduri din bugetul naţional irlandez).
Italia
Departamentul Italian
pentru Politici de Dezvoltare şi Coeziune Socială (DPS) a întâmpinat
o serie de provocări în perioada în care s-a început să se dezvolte
capacitatea de a evalua programele de dezvoltare (anii ‘90).
Eforturile DPS de a construi capacitatea de
evaluare a programelor de dezvoltare s-
au bazat iniţial pe cadrul european de
evaluare a Fondurilor Structurale.
Din 1998 de când a fost
realizată prima evaluare ex-ante a Planului de Dezvoltare Regională
Mezziogiorno, s-a evidenţiat un număr de lecţii generale
pentru cei interesaţi în construirea capacităţii de evaluare.
Experienţa italiană este cu atât mai interesantă pentru noile
state membre cu cât, în Italia, influenţa cea mai puternică pentru
dezvoltarea capacităţii de evaluare a fost cea a Uniunii Europene.
Aici abordarea normativă a evaluării s-a evidenţiat cel mai clar
întrucât, iniţial, nici publicul general şi nici administraţia
nu a perceput valoarea evaluării.
Lecţii
învăţate de Italia:
Dezvoltarea ghidurilor
naţionale şi a activităţilor pentru crearea
capacităţii de evaluare în cadrul administraţiilor publice (cum
ar fi implicarea administraţiei în exerciţii de auto-evaluare şi
stabilirea unităţilor de evaluare) construiesc baza de
cunoaştere a conceptului de evaluare.
Trebuie asigurată
instruirea în domeniul evaluării pentru toate entităţile
publice.
Restricţionarea
accesului pe piaţa de evaluare a intervenţiilor Fondurilor
Structurale şi accentul pe marile contracte, diminuează calitatea
produsului evaluării pentru că există mai puţină
competiţie, mai ales de la micile firme specializate în evaluare.
Tendinţa unora
dintre entităţile publice de a vedea recomandările de evaluare
ca un “negativ” şi de a le adopta într-o manieră superficială
şi mecanică mai degrabă decât de a le face semnificative în contextul
diferitelor programe sau politici nu creează sentimentul de posesiune
necesar pentru ca managerii de program şi pentru cei care formulează
politicile să perceapă beneficiile evaluării. Participarea
managerilor de programe în forumurile tehnice şi discuţiile cu
membrii de peste tot ai comunităţii de evaluare asupra limitelor
posibile ale evaluării, poate sprijini dezvoltarea cooperării pe
parcursul întregului proces de evaluare între cei care decid că este
nevoie de o evaluare şi cei care fac evaluarea.
Contact
Ministerul Finanţelor Publice
Autoritatea de Management pentru Cadrul de Sprijin Comunitar
Unitatea Centrală de Evaluare
Bld. Mircea Voda, nr. 44, sector 3, Bucuresti 030669; Telefon: 021 302 52 07; Fax: 021 302 52 64
Anexa 5 – Agendele şi rezumatul pentru fiecare
seminar
1. Evaluarea – o provocare pentru
administraţia publică – 23/05/2006, 10.00 – 16.00
Agenda
|
10.00-10.30 |
Discursuri de deschidere – Romania, UE şi evaluarea Răzvan Cotovelea, Director General,
Autoritatea de Management pentru Cadrul de Sprijin Comunitar (AMCSC),
Ministerul Finanţelor Publice Giorgio Ficcarelli, Şeful
Departamentului Phare, Delegaţia Comisiei Europene în România |
|
|
|
|
10.30-11.00 |
Activitatea de evaluare în România în
prezent şi în viitor şi rolul evaluării în managementul
programelor finanţate de Uniunea Europeană Claudia Bedea, Şeful
Unităţii Centrale pentru Evaluare, Autoritatea de Management pentru
Cadrul de Sprijin Comunitar (AMCSC), Ministerul Finanţelor Publice |
|
|
|
|
11.00-11.30 |
Pauză de cafea |
|
|
|
|
11.30-13.00 |
Experienţa internaţională
în evaluare –
alte State Membre ale UE, Statele Unite şi altele David Hegarty, Şeful Unităţii de
Prognoză Economică, Departamentul Buget, Ministerul Irlandez de
Finanţe/Ann Morton Hyde, Expert Twinning, AMCSC |
|
|
|
|
13.00-14.00 |
Prânz |
|
|
|
|
14.00-15.15 |
Cum
facem evaluarea? Metodologii de
bază şi exemple de elaborare a unei metodologii pentru
măsurarea impactului programelor în ariile: (a) transport, (b) resurse
umane, şi (c) competitivitatea economică. Niall McCann,
Expert Cheie pe Evaluare, Proiectul AT pentru Programare, Monitorizare
şi Evaluare, AMCSC/David Hegarty, Ministerul Irlandez de Finanţe |
|
|
|
|
15.15-16.00 |
Un
exemplu practic de evaluare în România– Schema Phare de Evaluare Interimară John Barker,
ECOTEC/Niall McCann, MACSF |
Acest grup ţintă a fost format din
funcţionari publici la nivel senior sau junior angajaţi în
structurile administraţiei publice centrale, mai ales în cele care se
ocupă de implementarea Programelor Phare cât şi din cei care lucrează
în Unităţile de Politici Publice recent stabilite în ministerele de
linie.
Principalul aspect menţionat de
audienţă a fost în legătură cu corelarea
activităţilor de evaluare din cadrul Fondurilor Structurale şi
de Coeziune cu activităţile de evaluare realizate de Unităţile
de Politici Publice cu privire la politicile publice. O altă chestiune
abordată a fost legată de instituirea Unităţilor de
Evaluare în structura Autorităţilor de Management pentru Programele
Operaţionale, mai ales gradul de independenţă al acestor
unităţi cât şi metoda de a realiza evaluări (la nivel
intern şi extern).
Grupul de experţi a răspuns că
evaluarea din cadrul Fondurilor Structurale şi de Coeziune este o
activitate care completează sarcinile de evaluare specifice politicilor
publice, ambele tipuri de exerciţii urmărind să promoveze
responsabilizarea în cheltuirea banilor publici cât şi un management
financiar sănătos. România ca viitor Stat Membru UE va trebui să
instituie în contextul managementului Fondurilor Structurale sisteme şi
proceduri adecvate de evaluare în vederea îndeplinirii sarcinilor de evaluare
aşa cum sunt prevăzute în Regulamentul Consiliului.
Aşadar, instituirea unităţilor de
evaluare este doar o etapă în procesul de construire a
capacităţii instituţionale de evaluare. În ceea ce priveşte
evaluarea celorlalte programe cu finanţare publică acesta este un
aspect care va evolua în timp; aşadar, eforturile asumate cu privire la
exerciţiile de evaluare legate de Fondurile Structurale trebuie corelate
cu cele asumate de Unităţile de Politici Publice în domeniul
formulării şi implementării intervenţiilor publice.
2. România, UE şi Evaluarea, 30/05/2006, 10.00
– 14.00
Agenda
|
09.30 - 10.00 - |
Înregistrarea participanţilor |
|
10.00 - 10.30 - |
Deschiderea lucrărilor Domnul István Jakab, Secretar de Stat, Ministerul
Finanţelor Publice Excelenţa Sa, Domnul Ambasador Jonathan Scheele,
Şeful Delegaţiei Comisiei Europene în România |
|
10.30 - 11.00 - |
(Titlul
intervenţiei urmează a fi confirmat) Domnul Director Augusto Bonucci, Direcţia Resurse,
Directoratul General Extindere - Comisia Europeană |
|
11.00 - 11.30 - |
Strategia pentru „Îmbunătăţirea
sistemului de elaborare, planificare şi coordonare a politicilor publice
la nivelul administraţiei publice centrale” Domnul Victor Giosan, Secretar de Stat, Secretariatul
General al Guvernului |
|
11.30 – 12.00 - |
Pauză de cafea |
|
12.00 – 12.15 - |
Cadrul Strategic Naţional de Referinţă
şi Programele Operaţionale aferente perioadei 2007 -2013 –
prezentare generală Domnul Răzvan Cotovelea, Director General,
Autoritatea de Management pentru Cadrul de Sprijin Comunitar, Ministerul Finanţelor Publice |
|
12.15 – 12.30 - |
Rolul evaluării în managementul programelor
finanţate din fonduri UE Domnul Niall McCann, Expert în evaluare, Proiectul
Phare 2003 - Asistenţă Tehnică pentru Programare, Monitorizare
şi Evaluare, Ministerul Finanţelor Publice |
|
12.30 - 13.15 - |
Experienţa în evaluare a Statelor Membre UE –
beneficii şi provocări Domnul Elliot Stern, Preşedinte Fondator al
Societăţii de Evaluare din Marea Britanie, ex-Preşedinte Societatea
Europeană de Evaluare, Redactor “Evaluation Journal” |
|
13.15 - 13.30 - |
Concluzii |
|
13.30
- - - |
Masa
de prânz |
Grupul ţintă a fost format din
decidenţi de la nivel guvernamental (secretari de stat, înalţi funcţionari
publici) care au fost invitaţi având în vedere rolul lor politic în
promovarea uzului şi utilităţii evaluării, mai ales la
nivelul administraţiei publice centrale.
În discursul său, Dl. Bonucci a vorbit despre
rolul evaluării în legătură cu principiul bunei practici.
Principalele utilizări ale evaluării se pot observa în cadrul
următoarelor procese/contexte:
procesul de
luare a deciziei
creşterea
transparenţei şi a responsabilizării (analiza rezultatelor
obţinute vs. rezultatele anticipate)
lărgirea
ariei de cunoştinţe şi implicarea cetăţenilor în ceea
ce trebuie făcut la nivelul fiecărei comunităţi
procesul prin
care se demonstrează că banii publici sunt cheltuiţi în
conformitate cu principiile unui management financiar sănătos
Există mai multe motive pentru ca evaluarea
să fie extinsă de la nivelul fondurilor UE către toate fondurile
publice, cel mai important motiv fiind nevoia de responsabilizare în cheltuirea
banilor.
Dl. Giosan, Secretar de Stat în cadrul
Secretariatului General al Guvernului a explicat că scopul Strategiei de
îmbunătăţire a sistemului de elaborare, planificare şi
coordonare la nivelul administraţiei publice centrale este de a dezvolta
un sistem simplu şi eficient de formulare a politicilor publice.
Principalele acţiuni întrevăzute în strategie sunt: definirea
instrumentelor care sunt menite să asigure un sistem coerent al
formulării politicilor publice şi programării bugetare şi
definirea clară a rolului funcţionarilor publici în formularea,
planificarea şi coordonarea politicilor publice.
Toţi vorbitorii au subliniat nevoia de a
corela eforturile legate de Strategie cu activităţile realizate de
Unitatea Centrală de Evaluare. Principalele principii, metodologii şi
bune practici dezvoltate în contextul Fondurilor Structurale ar trebui să
fie similare cu cele aplicate intervenţiilor publice cu finanţare
naţională. În acelaşi timp, aceste elemente ar trebui extinse de
la nivelul central la nivelul local pentru a asigura o abordare uniformă a
chestiunilor legate de evaluare.
Dl. Ambasador Jonathan Scheele a menţionat de
asemenea importanţa evaluării pentru decidenţi ca parte a bunei
guvernări şi aspect al unei mai bune elaborări a politicilor
publice. Evaluarea pune întrebări şi oferă răspunsuri utile
actorilor cheie în procesul de luare a deciziilor care au loc în mediul complex
actual.
Dl. Elliot Stern a încheiat lucrările
conferinţei cu prezentarea beneficiilor şi dificultăţilor
pe care le aduce evaluarea. A subliniat importanţa de a dezvolta o
capacitate solidă a evaluării (atât pe partea de cerere cât şi
pe partea de ofertă) cât şi o cultură a evaluării, ambele
ajustate la realităţile naţionale şi instituţionale
(pentru a fi durabile şi uşor de instituţionalizat).
3. Evaluarea – componentă esenţială
în eficientizarea intervenţiilor
publice la nivel local şi regional
– 6/6/2006, 09.30 – 15.00
Agenda
|
09.30-10.00 |
Înregistrarea participanţilor |
|
10.00-10.20 |
Deschiderea lucrărilor ·1 Ministerul Finanţelor Publice ·2 Delegaţia Comisiei Europene la Bucureşti |
|
10.20-11.00 |
Evaluarea programelor şi proiectelor
socio-economice – o perspectivă europeană Domnul René-Laurent
Ballaguy, Unitatea de Evaluare, DG Regio, Comisia Europeană |
|
11.00-11.30 |
Schema de
Evaluare Interimară a programelor PHARE şi impactul evaluării
asupra programelor implementate la nivel local John Barker, ECOTEC/ Niall McCann, Expert Principal pe
Evaluare |
|
11.30-12.00 |
Pauză de cafea |
|
12.00-12.45 |
Evaluarea şi programele finanţate din fonduri
europene implementate la nivel local – experienţa acumulată în cadrul
unei regiuni eligibile pentru obiectivul 1 din Marea Britanie Domnul Costas Georgiou, Manager Evaluare şi
Cercetare, Directoratul Program Obiectivul 1, South Yorkshire, Marea Britanie |
|
12.45-14.00 |
Prânz |
|
14.00-14.15 |
Cadrul Strategic Naţional de Referinţă
şi Programele Operaţionale aferente perioadei 2007 -2013 –
prezentare generală Domnul Ştefan Ciobanu, Director, Autoritatea de
Management pentru Cadrul de Sprijin Comunitar, Ministerul Finanţelor Publice |
|
14.15-14.45 |
Activitatea prezentă şi viitoare în România
şi rolul evaluării în managementul programelor finanţate din
fonduri UE Domnul Niall McCann, Expert în evaluare, Proiectul
Phare 2003 - Asistenţă Tehnică pentru Programare, Monitorizare
şi Evaluare, Ministerul Finanţelor Publice |
|
14.45-15.00 |
Concluzii |
Grupul ţintă a fost format din
funcţionari publici de la nivele regionale şi locale cât şi din
oficialităţi alese/nominalizate în judeţele româneşti (primari, preşedinţi
ai consiliilor judeţene).
Dl. Rene-Laurent Ballaguy a explicat în prezentarea
sa – Evaluarea programelor & proiectelor socio-economice, o
perspectivă europeană contextul legislativ, socio-politic,
economic şi financiar al evaluării, principalele metodologii care vor
fi folosite cât şi cele 5 premise ale unei evaluări de succes.
Acestea sunt: obiective clare şi consistente, un sistem de monitorizare
performant, respectarea rolurilor respective (AM/CE, evaluatori/AM),
parteneriatul şi implicarea actorilor cheie, orientarea politicii şi
implementarea procedurilor de supraveghere/urmărire a implementării
(follow up). Principala sa concluzie a fost că „acest moment trebuie
văzut ca o oportunitate pe care autorităţile române trebuie
să o folosească pentru a recupera dezavantajele şi pentru a
accelera viteza de învăţare”.
În ceea ce priveşte rolul pe care actorii
locali îl au în procesul de evaluare, Dl. Ballaguy a menţionat 3 tipuri de
abordări: un rol care ţine de stadiul de început (stabilirea cadrului
de lucru pe evaluare în sensul identificării şi formulării
nevoilor de evaluare şi pregătirii procesului de evaluare), un rol în
timpul exerciţiului de evaluare (facilitarea activităţii
evaluatorilor) şi un rol care ţine de stadiul de încheiere
(asigură controlul de calitate al rapoartelor de evaluare, asigură
urmărirea activităţilor de evaluare prin stabilirea procedurilor
de implementare a recomandărilor evaluărilor, organizarea
dezbaterilor publice, diseminarea şi publicarea rezultatelor
activităţii de evaluare).
Dl. Costas Georgiou, Manager de Cercetare şi
Evaluare în cadrul Directoratului Programului Obiectivului 1 a elaborat şi
explicat în prezentarea sa, în detaliu şi de o manieră practică
aspectele teoretice legate de evaluare. Participanţilor le-a fost
oferită posibilitatea de a examina procesul de evaluare aşa cum s-a
derulat cu un program implementat într-o regiune eligibilă în Regatul Unit
al Marii Britanii.
În acelaşi spirit practic, Dl. John Barker de
la ECOTEC a prezentat pe scurt procesul de Evaluare Interimară pentru
Programele Phare din România.
Participanţii au abordat chestiuni interesante
nu numai cu privire la evaluare dar şi la eligibilitatea posibililor
beneficiari, schemele de grant care sunt disponibile în CNSR şi rata de
co-finanţare pentru nivelele locale.
4. Evaluarea – componentă esenţială
în procesul european de formulare şi implementare a intervenţiilor
publice – 12/6/2006, 10.00 – 13.00
Agenda
|
09.30 - 10.00 - |
Înregistrarea participanţilor |
|
10.00 - 10.15 - |
Deschiderea lucrărilor Domnul István Jakab, Secretar de Stat, Ministerul
Finanţelor Publice |
|
10.15 - 10.30 - |
Cadrul Strategic Naţional de Referinţă
şi Programele Operaţionale aferente perioadei 2007 -2013 –
prezentare generală Domnul Răzvan Cotovelea, Director General,
Autoritatea de Management pentru Cadrul de Sprijin Comunitar, Ministerul Finanţelor Publice |
|
10.30 - 11.00 - |
Activitatea de evaluare în România în prezent şi
în viitor; rolul evaluării în managementul programelor finanţate de
Uniunea Europeană Claudia Bedea, Coordonator al Unităţii
Centrale de Evaluare, Autoritatea de Management pentru Cadrul de Sprijin
Comunitar (AMCSC), Ministerul Finanţelor Publice |
|
|
|
|
11.00 - 11.30 - |
Pauză de cafea |
|
|
|
|
11.30 - 12.15 - |
Evaluarea viitoare a programelor româneşti cu
finanţare europeană? Scopul Strategiei Naţionale de Evaluare. Hillary Curley, TA Expert pentru Evaluare, Proiectul
Phare 2003 - Asistenţă Tehnică pentru Programare, Monitorizare
şi Evaluare, Ministerul Finanţelor Publice |
|
12.15 – 13.00 - |
Experienţa în evaluare a Statelor Membre UE –
beneficii şi provocări Domnul Niall McCann, Expert în evaluare, Proiectul
Phare 2003 - Asistenţă Tehnică pentru Programare, Monitorizare
şi Evaluare, Ministerul Finanţelor Publice |
|
|
Masa
de prânz |
Grupul ţintă a fost format din membrii ai
Parlamentului care au fost invitaţi datorită rolului lor politic în
promovarea uzului şi utilităţii evaluării în formularea
şi implementarea intervenţiilor publice. Deşi numărul de
participanţi a fost mai mic decât anticipat (12), aceştia au fost foarte
activi şi doritori să se implice în definirea cadrului naţional
de lucru pentru evaluare.
Discuţiile s-au concentrat pe modul în care
membrii Parlamentului pot contribui la crearea culturii evaluării în
România cât şi pe măsura în care este posibilă instituţionalizarea
evaluării în practica administraţiei publice şi în procesul
legislativ care are loc la nivelul Parlamentului.
Dl. Cotovelea a insistat asupra nevoii de a
disemina la nivelul Parlamentului cât mai multe informaţii cu privire la
evaluare şi beneficiile sale în procesul de elaborare a politicilor
publice în vederea sprijinirii formării culturii evaluării în
România.
5. Evaluarea în managementul intervenţiilor
publice. Între analiză teoretică şi abordare practică –
20/6/2006, 10.00 – 13.15
Agenda
|
09.30 - 10.00 - |
Înregistrarea participanţilor |
|
10.00 - 10.30 - |
Deschiderea lucrărilor Domnul István Jakab, Secretar de Stat, Ministerul
Finanţelor Publice Domnul Răzvan Cotovelea, Director General,
Autoritatea de Management pentru Cadrul de Sprijin Comunitar, Ministerul Finanţelor Publice Domnul Giorgio Ficcarelli, Coordonator Secţia
Phare, Delegaţia Comisiei Europene în România |
|
10.30 - 11.00 - |
Cadrul Strategic Naţional de Referinţă
şi Programele Operaţionale aferente perioadei 2007 -2013 –
prezentare generală Domnul Ştefan Ciobanu, Director, Autoritatea de
Management pentru Cadrul de Sprijin Comunitar, Ministerul Finanţelor Publice |
|
11.00 - 11.30 - |
Rolul evaluării în “buna guvernare” Doamna Hillary Curley, Expert în evaluare, Proiectul
Phare 2003 - Asistenţă Tehnică pentru Programare, Monitorizare
şi Evaluare |
|
11.30 - 12.00 - |
Pauză de cafea |
|
12.00 - 12.30 - |
Evaluarea în managementul programelor finanţate de
Uniunea Europeană Domnul Niall
McCann, Expert principal în evaluare, Proiectul Phare 2003 -
Asistenţă Tehnică pentru Programare, Monitorizare şi
Evaluare |
|
12.30 - 13.00 - |
Construcţia capacităţii de evaluare –
rolul mediului academic şi al societăţii civile Prof. Dr. Paul
Rinderu, Universitatea Craiova |
|
13.00-13.15 - |
Concluzii |
|
13.15
- - - |
Masa
de prânz |
Grupul ţintă al acestui eveniment a fost
format din membrii ai mediului academic invitaţi datorită posibilului
lor rol în dezvoltarea unei pieţe autohtone de evaluare.
Participanţii s-au arătat foarte doritori în a ştii cât mai
multe despre procesul de evaluare în sine dar şi despre tipurile de
acţiuni în care este implicată în prezent Unitatea Centrală de
Evaluare şi mijloacele de colaborare între Universităţi şi
Unitate.
Dna. Curley a ţinut să sublinieze că
în societăţile democratice evaluarea a ajuns să ocupe o
poziţie cheie ca parte integrantă a managementului public şi a
proceselor de elaborare a politicilor publice. Ţinta generală a
evaluării este de a învăţa cum se pot elabora şi atinge
ţintele stabilite, cum se poate îmbunătăţi implementarea,
cum se poate dezvolta şi întări capacitatea, reţelele sociale
şi instituţiile.
Profesorul Rinderu a atras atenţia că
evaluarea este un concept larg care cuprinde atât cererea cât şi oferta de
evaluare şi că e nevoie de timp pentru dezvoltarea competenţelor
de ambele părţi. Ca atare, acest proces ar trebui să fie abordat
încet şi în etape adaptate la realităţile naţionale şi
regionale în vederea unei instituţionalizări de succes şi
durabilă.
Implicarea universităţilor
în procesul de construire a capacităţii s-ar putea face prin
următoarele acţiuni: strângerea şi analiza datelor, construirea
instrumentelor şi modelelor de evaluare, oferirea de sesiuni de training pe
evaluare, comunicarea şi raportarea progresului şi
constatărilor.
Participanţii s-au arătat foarte doritori
să afle mai multe despre procesul de evaluare în sine dar şi despre
acţiunile în care este implicată în prezent Unitatea Centrală de
Evaluare şi mijloacele de colaborare între Universităţi şi
Unitate. La finalul evenimentului aceştia şi-au exprimat interesul
şi angajamentul de a sprijini Unitatea Centrală de Evaluare în
activităţile implementate de aceasta pentru dezvoltarea
capacităţii şi culturii de evaluare în România.
6. Evaluarea – componentă esenţială
în procesul european de formulare şi implementare a
intervenţiilor publice –
27/06/2006, 10.00 – 13.00
Agenda
|
09.30 - 10.00 - |
Înregistrarea participanţilor |
|
10.00 - 10.10 - |
Deschiderea lucrărilor Ministerul Finanţelor Publice – Dl. Isvan Jakab,
secretar de stat |
|
10.10 – 10.40 |
Evaluarea – componentă esenţială în
procesul european de formulare şi implementare a intervenţiilor
publice Ministerul Finanţelor Publice – Dl. Răzvan
Cotovelea, director general al Autorităţii de Management pentru
Cadrul de Sprijin Comunitar |
|
10.40 – 11.00 |
Cadrul
Strategic Naţional de Referinţă şi Programele
Operaţionale aferente perioadei 2007 -2013 – prezentare generală Ministerul Finanţelor Publice - Domnul Ştefan
Ciobanu, Director, Autoritatea de Management pentru Cadrul de Sprijin
Comunitar |
|
|
|
|
11.00 - 11.30 - |
Pauză de cafea |
|
|
|
|
11.30 - 12.15 - |
Activitatea de evaluare în România, rolul
evaluării în managementul programelor finanţate de UE şi
Societatea Naţională de Evaluare Domnul Niall McCann, Expert în evaluare, Proiectul
Phare 2003 - Asistenţă Tehnică pentru Programare, Monitorizare
şi Evaluare, Ministerul Finanţelor Publice |
|
12.15 – 13.00 - |
Evaluarea şi îmbunătăţirea
managementului financiar al sectorului public – exemple de bună
practică internaţională Domnul Peter Dahler Larson, Universitatea din
Danemarca, preşedintele Societăţii Europene de Evaluare /
Doamna Hillary Curley, TA Expert pentru Evaluare, Proiectul Phare 2003 -
Asistenţă Tehnică pentru Programare, Monitorizare şi
Evaluare, Ministerul Finanţelor Publice |
|
|
Masa
de prânz |
Grupul ţintă a fost format din membrii ai
societăţii civile din România şi mai ales din membrii ai
organizaţiilor neguvernamentale. Multe dintre discuţii nu s-au axat
numai pe evaluare per se dar şi pe posibilităţile de
finanţare din CNSR şi PO.
Concluzii
Campania de
popularizare promovată de Ministerul Finanţelor Publice – Unitatea
Centrală de Evaluare în timpul acestor conferinţe a reprezentat un
prim pas într-un proces complex de popularizare a evaluării.
Conferinţele
s-au dovedit a fi şi o importantă sursă de informaţii în
analiza preliminară a culturii evaluării în România, principalul
aspect care va fi abordat de Strategia Naţională de Evaluare – un
document politic care trebuie elaborat de Unitatea Centrală de Evaluare
până la finalul lunii august 2006.
Deşi sunt
foarte multe de făcut pentru a inculca o practică şi o
cultură a evaluării în România, Unitatea Centrală de Evaluare cu
sprijinul Programelor Phare 2005 şi 2006 va continua eforturile sale în
construirea capacităţii de evaluare la nivel individual şi
instituţional cât şi în diseminarea de informaţii legate de
evaluare.
Unitatea
Centrală de Evaluare va implica principalii actori cheie în elaborarea
Strategiei Naţionale de Evaluare ca instrument pentru dezvoltarea
procesului de evaluare, mentalităţii de evaluare, cererii şi
ofertei de evaluare în România.
Unitatea Centrală de Evaluare va continua
să se bazeze pe sprijinul valoros oferit de Directoratului General
Politică Regională şi Directoratului General Extindere pentru
dezvoltarea cadrului instituţional şi procedural al evaluării în
România cât şi pentru construirea capacităţii naţionale de
evaluare.