9.2.1. Детаљи корака у процесу вредновања учинака

Процес вредновања учинака се одвија у више фаза и њима припадајућих корака. Аналогно, фазе и кораци су примењиви и у процесу спровођења ex-post анализе ефеката.

Фаза припреме:

  1. Формирање радне (референтне) групе за вредновање (радна група). Радну групу формира надлежни предлагач, односно институција која је задужена за праћење спровођења и извештавање о документу јавне политике или пропису. Ову групу најчешће чине службеници институција које су задужене за спровођење документа јавне политике или прописа.

 

Радна група контролише квалитет и одобрава финални извештај о вредновању. Уколико се за потребе вредновања ангажују независни стручњаци, радна рупа би требало да дефинише пројектни задатак и да управља процесом набавке услуга вредновања. У супротном, радна група је та која спроводи вредновање. У случају када је радна група задужена да спроведе вредновање, води се рачуна о томе да њени чланови нису директно одговорни за спровођење активности и мера јавних политика или решења у прописима, односно да барем не чине већину чланова радне групе, како би се осигурале независност и непристрасност у вредновању.

  1. Дефинисање обима, циљева и методологије вредновања, као и мапирање релевантних циљних група и заинтересованих страна које ће бити консултоване током процеса вредновања. Циљеви вредновања зависе од намене извештаја о вредновању, пре свега, од тога да ли се ради о вредновању током или након завршетка спровођења документа јавне политике или прописа. Такође, приликом израде плана вредновања, потребно је узети у обзир 1) ко су крајњи корисници (извештаја о вредновању) – сам орган, заинтересована лица, професионална удружења, невладин сектор, 2) каква су очекивања у погледу времена и обухвата вредновања, као и 3) на који начин ће корисници имати највећу корист од спроведеног вредновања.

Начин на који ће документ јавне политике или пропис бити вредновани зависи од тога колико су јасно утврђени циљеви и описане активности у документу јавне политике односно решења у прописима, од квалитета утврђених показатеља учинака за циљеве,  мере документа јавне политике или решења у пропису, као и од тога да ли постоји логична веза између јавних политика, циљева и активности, односно циљева прописа и решења утврђених тим прописом.

У пракси, вредновањем је потребно је утврдити:

  • Проблем који се решава јавном политиком или прописом и циљеве (општи, посебни)?

 

 

На методологију вредновања утичу и критеријуми за вредновање. У складу са Законом о планском систему Републике Србије, основни критеријуми који се користе за вредновање, укључују:

  • релевантност/значај – процена нивоа у којем донети прописи или документи јавних политика допринносе решењу идентификованих проблема или остваривању промене због које су донети, као и процену тренутне релевантности раније дефинисаних циљева;
  • ефективност – процена нивоа остварења циљева због којих је пропис, односно документ јаве политике донет и разлози који су допринели остварењу циљева, односно изостанку резултата или остварењу резултата испод очекиваног нивоа. Многи исходи су последица бројних фактора, од којих је спроведена јавна политика често пресудан, али не и једини узрок. Стога није једноставно одговорити на питање „Шта би се догодило да није било интервенције?“ Квалитет вредновања зависи од области у којој се јавна политика или пропис спроводе, расположивости података, начина на који су утврђени показатељи, али и од самог приступа вредновању.
  • ефикасност – процена мере у којој су ангажовани ресурси за спровођење документа јавне политике, односно прописа коришћена ефикасно и разлога за субоптимално трошење ресурса. ово вредновање. Вредновање ефикасности може се спроводити на више нивоа (на нивоу мера, посебних циљева и на нивоу општег циља, или циља због којег је пропис донет и решења која су њиме утврђена). Током овог вредновања користе се различите технике – анализа ефективности трошкова којом се изражавају резултати спровођења јавне политике или прописа.
  • одрживост - оцену мере у којој су расположиви ресурси довољни за даље спровођење прописа, односно документа јавне политике и колико утицаја могу имати друге околности на даље спровођење.

Више о критеријумима вредновања погледајте овде.

Најзад, вредновања могу имати шире или уже постављене циљеве, и могу се односити на документ јавне политике или пропис у целини или на неки специфичан сегмент (нпр. на само један од посебних циљева), на начин спровођења, те је у том смислу добро и спровести вредновање процеса – Како се јавна политика или пропис спроводе? Вредновање процеса је заправо оцена начина на који се управљало спровођењем документа јавне политике или прописа. Обухвата вредновање начина на који је јавна политика планирана, (укључујући и транспарентност и инклузивност процеса), како се спроводила, да ли су разматрани ризици који су се јављали и какве корективне мере су установљене да би се ризици предупредили и ублажили..

  1. Дефинисање питања за процес вредновања са хипотезама и показатељима учинка за свако питање. Основно питање при вредновању учинака је да ли је и којој мери спровођење јавне политике, односно прописа, утицало на достизање утврђених резултата, исхода и ефекта? Поред тога, могуће је размотрити низ потпитања, на пример: Шта се сматра успешном јавном политиком или прописом? Како ће се утврдити да су јавна политика или пропис били успешни? Шта су били кључни очекивани исходи и ефекти, као и да ли их је могуће квантификовати? Које исходе је неопходно прецизно утврдити? Да ли је потребно квантификовати ефекте? Да ли је логика интервенције била разумљива, и да ли постоје јавне везе између интервенције и планираних резултата, исхода и ефеката? Колико је комплексно утврдити логику интервенције уколико то није случај и како то урадити?

У одређеним случајевима, за успешно вредновање је довољно одговорити на мањи број питања и дати релевантне квантитативне и квалитативне одговоре. Међутим, врло често, за боље разумевање стешпена успешности јавне политике или прописа, неопходно је формулисати скуп детаљнијих питања.

У Прилогу 12. Уредбе наводе се четири кључне области питања за вредновање учинака докумената јавних политика, које могу усмерити формулисање питања, које се базирају на четири критеријума: релевантност/значај, ефективност, ефикасност и одрживост. Питања се аналогно могу применити и на прописе.

Утврђивање питања за вредновање није увек једносмеран процес. Иницијална листа питања се најчешће ревидира како би се број питања свео на разуман број, у зависности од комплексности јавне политике или прописа и циљева вредновања. Овако дефинисана питања су кључна питања, која се затим кроз интервјуе, фокус групе и друге методе консултација и прикупљања података даље разрађују, водећи рачуна да се не промене смер и циљеви вредновања.

Фаза спровођења вредновања:

  1. Прикупљање података и информација и детаљна анализа расположиве документације. Најчешћи облици прикупљања података су:
  • Преглед литературе и докумената. Неопходно је упознати се с комплетним опсегом доступних писаних извора: информације о интервенцијама, документи у вези са јавним политикама и прописима, академска литература, архиве итд. Важна ствар на коју треба обратити пажњу јесте поузданост података. Најбољи извор почетних информација за вредновање јавних политика и прописа су извештај о ex ante анализи ефеката спроведеној у процесу доношења тог документа јавне политике или прописа, и уколико су на располагању, извештаји о ex-post анализи ефеката ових аката.
  • Интервју са кључним учесницима. Зависно од сврхе и природе података који се траже, најчешће се користи структуриран, полуструктуриран и неструктуриран интервју. У почетној, оријентационој фази углавном се користи неструктуриран интервју како би се добило што је могуће више мишљења и тачака гледишта од испитаника.
  • Фокус групе. Једна од најчешћих форми за прикупљање података је дискусија у фокус групама, где је интеракција са саговорницима користан извор података. Такође, фокус групе су одличан метод истраживања када треба проверити конфликтне резултате претходних истраживања (на пример анкете) или кад треба разјаснити или продубити резултате истраживања.
  • Директно мерење. Доста података који се могу квантификовати може се прикупити једноставним евидентирањем и бројањем. То је логички приступ, нарочито на нивоу резултата. Директно мерење је нарочито корисно ако се користе подаци из евиденције које воде органи јавне управе.
  • Директно посматрање. Методе посматрања могу се ограничити на физичке резултате активности која се спроводи, као и на одређене процесе. Технике посматрања (помоћу аудио-визуелних метода и помагала или без њих) играју важну улогу у истраживању на терену. Вредновање често подразумева (структуриране или мање структуриране) посете физичким локацијама, учествовање на барем једном састанку циљних група и сл. Треба напоменути и то да су те методе веома захтевне временски.
  • Анкетирање. Циљ анкетирања јесте да се прикупи велики број стандардизованих података од ширег узорка циљних група и других заинтересованих страна који су подесни за статистичку анализу. У анкетама се користе претходно израђени упитници (који су претходно тестирани), а одговори на питања могу се дати писаним путем (у електронској или штампаној форми) или усмено. Анкете су неопходне да би се утврдила почетна ситуација (базни сценарио) и незаменљиве су у вредновању учинака. Да би се уштедело време и други ресурси, лица која спроводе вредновање често користе резултате претходних упитника или модуле који се додају на постојеће анкете, тако да оне могу послужити за више намена.
  • Студије случаја. Студије случаја су дубинске анализе малог броја конкретних интервенција. Оне омогућавају да се размотри перцепција заинтересованих страна и реконструишу догађаји. Студије случаја су важан додатак ширем процесу анкета пошто пружају прилику да се испитају и образложе односи који постају очигледни из статистичке анализе. Ако је вредновање засновано на серији студија случаја, неопходно је утврдити у којој мери су одабрани случајеви репрезентативни.

 

  1. Систематизација, анализа и укрштање прикупљених података и информација. Након прикупљања података и информација неопходних за вредновање учинака, треба их систематизовати и анализирати у циљу добијања резултата вредновања. Потребно је интегрисати податке, налазе, питања, критеријуме прикупљене и утврђене у претходним корацима у модел вредновања (евалуациони модел) – који ће објединити све те елементе и показати да ли су јавна политика или пропис били успешни, током или по завршетку спровођења.

Овај корак представља примену критичког размишљања, расуђивања и здравог разума да би се сагледало да ли се елементи јавних политика или решења у пропису, као и начин њиховог спровођења међусобно уклапају, као и да ли је оно што је урађено дало очекиване резултате.

Развијени су различити алати за вредновање (исти као они за ex-ante анализу ефеката), као што су: анализа трошкова и користи, анализа ефективности трошкова, регресиона анализа итд. Они се могу примењивати само ако државни органи имају ресурсе (време и средства) и ако су користи од њихове примене веће од уложених напора и инвестиција. У идеалном случају, приликом вредновања, примениће се методи које су већ коришћени током ex ante анализе ефеката, овога пута са стварним, уместо раније коришћеним планираним или пројектованим подацима.

Једноставан метод за спровођење вредновања је модел input-output. Тај модел омогућава да се сви елементи јавних политика, односно прописа, који су утврђени у претходним корацима сврстају у логички оквир (циљеви, ресурси, резултати, исходи, узрочно-последичне везе итд.) за потребе процењивања успеха јавне политике, односно прописа, на основу утврђених питања и критеријума вредновања. Пример овог метода можете наћи овде.

Некад је потребно да прође доста времена да би се постигли ефекти јавних политика или прописа (образовање, социјална заштита итд.). Модел input-output треба да се користи током спровођења такве јавне политике, односно прописа, како би се благовремено утврдила потребна унапређења и спровела побољшања, али се може користити и након завршетка спровођења.

Постоје различити методи за подршку вредновању у општем смислу, као и аналитички процеси потребни за овај корак конкретно. Треба правити разлику између квалитативних и квантитативних метода вредновања. Ове технике нису међусобно искључиве, већ су комплементарне. Квантитативне технике могу да дају статистичку основу за квалитативну анализу, док квалитативна анализа може да објасни односе који су успостављени квантитативним истраживањем. Без теоријског оквира и квалитативног истраживања механизама који се налазе у основи претпостављених односа, статистичка анализа нема суштину.

Квалитативни методи истраживања више су усредсређени на процесе и истичу понашање различитих актера укључених у спровођење јавне политике. Они су флексибилни и могу да ставе налазе у културолошки и политички контекст. Квалитативни приступ може да пружи уверљиво образложење зашто нека јавна политика има или нема ефекта у одређеном контексту. Није увек могуће генерализовати налазе квалитативног истраживања.

Квантитативно истраживање, с друге стране, уобичајено захтева велику количину поузданих података који ће омогућити да се формира узорак популације, а затим да се на основу статистичких техника изолују ефекти интервенције.

Фаза синтезе резултата вредновања:

У овој фази се, на основу одговора, доносе и синтетизују основни закључци и препоруке у извештају о вредновању учинака. Овај корак омогућава да се донесе оцена о томе да ли су конкретне јавне политике успешне и задовољавајуће. Основни закључци се у највећем делу могу извести из резултата модела input-output.

  1. Израда нацрта извештаја о вредновању, односно ex post анализи

Израда нацрта извештаја о вредновању представља синтезу прикупљених података и изведених закључака према питањима и критеријумима вредновања.

Такође, нацрт извештаја, треба да садржи препоруке, које су резтултат закључака вредновања, које сугеришу могуће одлуке које треба донети у вези са елементима јавне политике, односно решењима у пропису у смислу њихове даље примене, побољшања или укидања. Препоруке могу да се крећу од мањих корекција до великих, фундаменталних измена. Међутим, препоруке треба да буду усклађене са циљевима вредновања и њихова примена не сме да буде прескупа. Ако вредновање указује на потребу да се изврше велике промене у јавној политици или пропису, следећи корак који треба спровести је ex-ante анализа ефеката алтернативних опција јавне политике, односно решења у пропису.

  1. Прикупљање недостајућих одговора на питања и решавање конфликтних или неусаглашених налаза. Може се догодити да током израде нацрта извештаја о вредновању недостају подаци неопходни за утемељено закључивање и израду препорука. У том случају, приступа се додатним консултацијама, као и примени других метода прикупљања података како би се добили одговори. У овом кораку је важно активно учешће радне групе која треба да провери квалитет извештаја о вредновању, да утврди да ли је вредновање дало одговоре на сва питања у односу на критеријуме, циљеве и кориснике вредновања, као и да укаже на начин на који треба употпунити извештај о вредновању.
  2. Израда извештаја о вредновању, односно ex post анализи. Када су недостајући одговори добијени, систематизовани и обрађени, приступа се финализацији извештаја о вредновању.
  3. Одобрење, односно усвајање и објава извештаја. Усвајање извештаја о вредновању требало би да буде задатак заједничког тела или пројектне групе, које надлежни предлагач формира за потребе праћења спровођења јавних политика или прописа, а која се формирају у складу са Законом о државној управи, или повременог радног тела које у исте сврхе, у складу са Пословником формира Влада.

Уколико је тако предвиђено посебним прописом, извештај о вредновању, односно о ex post анализи усваја Влада.

Извештај о вредновању објављује се на интернет страницама надлежног предлагача и на порталу еКонсултације.

На следећим линковима можете погледати предлог садржаја извештаја о вредновању, односно о ex post анализи ефеката јавних политика и прописа.