Stronkowski Piotr

O autorze:

Jak poprawić interwencję publiczną? Za nami dziesięć lat doświadczeń związanych z programowaniem i wdrażaniem programów finansowanych ze środków europejskich. Obecnie stoi przed nami nowa, siedmioletnia, prawdopodobnie ostatnia tak hojna dla Polski perspektywa finansowa. Co nam ona przyniesie? Chcielibyśmy, by dostępne środki i zaangażowanie wielu osób przełożyły się na konkretną, odczuwalną zmianę w jakości życia Polaków. Dotychczasowe doświadczenia pokazują jednak, że nie zawsze tak się dzieje – pomimo naszych dużych oczekiwań, nie wszystkie projekty przynoszą zakładane rezultaty. Przygotowując się do nowej perspektywy, pojawia się naturalnie pytanie: w jaki sposób poprawić skuteczność polityki publicznej? Nie jest to jedynie polski problem – w wielu krajach trwa ciągła, ożywiona dyskusja na ten temat. Rozwiązanie nie jest łatwe. Nie należy szukać prostych i jednoznacznych odpowiedzi.

W wielu obszarach wyznaczone wartości wskaźników są osiągane, a zmiana nie jest widoczna. Co więcej, zdarza się, że wskaźniki stają się powodem „psucia” polityki publicznej.

Za jeden z kierunków uskuteczniania pomocy publicznej uznaje się większe zorientowanie programów i projektów na osiąganie wymiernych efektów – rezultatatów. Panuje przekonanie, że takie podejście pozwala na poprawę działania instytucji publicznych, ale również na zwiększenie rozliczalności (accountability) administracji publicznej, co ma znaczenie dla jakości debaty publicznej. Zarządzanie poprzez rezultaty nie jest podejściem wolnym od ograniczeń (takie prawdopodobnie nie istnieją), a dotychczasowe doświadczenia jego wdrażania dowodzą, że jest ono wymagające. Elementy tego kierunku pojawiają się również w kontekście funduszy europejskich. Jednakże w Polsce, szczególnie w przypadku środków unijnych, dyskusja na temat rezultatów została w dużym stopniu sprowadzona do kwestii wskaźników. Z jednej strony powinno to cieszyć – wreszcie działania administracji publicznej zorientowane są w większym stopniu na osiąganiu konkretnych efektów (mierzonych wskaźnikami) i nie koncentrują się na samym działaniu i zapewnianiu zgodności z procedurami. Wydaje się, że jest to zdecydowany postęp w stosunku do praktyk stosowanych w politykach publicznych finansowanych ze środków krajowych.

Zdarza się, że konkursy wygrywają projekty, które „pracują” na wskaźnik, a nie te, które mogą prowadzić do faktycznej zmiany społecznej.

Okazuje się jednak, że skupienie się na wskaźnikach, przy pominięciu innych elementów zarządzania zorientowanego na rezultaty, przynosi efekty poniżej oczekiwań. Nacisk na osiąganie wyznaczonych w projektach wartości liczbowych nie przynosi odczuwalnej poprawy jakości polityki publicznej. W wielu obszarach są one osiągane, a zmiana nie jest widoczna. Co więcej, zdarza się, że stają się one powodem „psucia” polityki publicznej. Przekłada się to na zniechęcenie i negatywne nastawienie do idei wskaźników – w coraz większym stopniu są one traktowane jako kolejny biurokratyczny wymóg, który ogranicza możliwość prowadzenia mądrej polityki publicznej, nie przyczyniając się do jej ulepszenia. Warto zastanowić się, z czym związane są nasze problemy ze wskaźnikami. Wskaźniki stają się celem Bywa, że interwencja koncentruje się nie na osiąganiu zamierzonej zmiany, lecz na wypracowaniu założonego wskaźnika. W skrajnych przypadkach znaczenie przestaje mieć to, czy projekt jest potrzebny, dobrze zaplanowany i przemyślany – kluczowe staje się, na ile pozwala on osiągnąć wyznaczony wskaźnik. Dlatego też w przypadku m.in. projektów finansowanych z Europejskiego Funduszu Społecznego zdarza się, że większe szanse na otrzymanie wsparcia mają przedsięwzięcia większe, obejmujące wielu beneficjentów, a równocześnie stosunkowo tanie. Przegrywają z nimi projekty kierowane do mniejszej grupy odbiorców, zakładające indywidualną, długotrwałą pracę, bliską relację między trenerem lub doradcą a osobą znajdującą się w kłopotach. A przecież właśnie tego typu inicjatywy mogą w większym stopniu przyczynić się do poprawy ich sytuacji. Wygrywają projekty, które „pracują” na wskaźnik, a nie te, które mogą prowadzić do faktycznej zmiany społecznej. Tendencja ta jest trudno uchwytna, lecz niestety często potwierdzana przez osoby pracujące w systemie funduszy unijnych (zwykle w rozmowach kuluarowych). Sytuacje takie stają się bardziej prawdopodobne, gdy cel interwencji nie jest jasno określony (w postaci rezultatu) i gdy brak jest pogłębionej i systematycznej refleksji nad tym, w jakim stopniu interwencja przyczynia się do jego realizacji. W takim przypadku konkretnym punktem odniesienia dla osób zarządzających programem staje się wskaźnik. Trzeba również pamiętać, że wskaźniki dotyczą zwykle pewnego fragmentu interwencji i niemal zawsze są z założenia niedoskonałym narzędziem zmiany społecznej. Zbyt duże skupianie się na nich prowadzić może do koncentrowania się na najbardziej standardowych typach operacji. Jest to jednoznaczne z pomijaniem przedsięwzięć innowacyjnych, z szerszym spektrum korzyści, osiągających efekty trudnomierzalne. Takie podejście (określane czasami jako tune vision) w praktyce zubaża interwencję publiczną i prowadzi do wzrostu schematyzmu w działaniach.

Zdarzają się sytuacje, w których wskaźniki stają się wręcz jednym z głównych powodów świadomego „psucia interwencji”. Mówi się wtedy, że wskaźnik jest korupcjogenny – dążenie do jego osiągnięcia wypacza logikę i sens działania.

Wskaźniki mogą psuć interwencję Zdarzają się sytuacje, w których wskaźniki stają się wręcz jednym z głównych powodów świadomego „psucia interwencji”. Mówi się wtedy, że wskaźnik jest korupcjogenny – dążenie do jego osiągnięcia wypacza logikę i sens działania. Najbardziej klasycznym przykładem jest stopa bezrobocia rejestrowanego. Jeśli urząd pracy rozliczany jest ze stopy bezorobocia, to proste działania administracyjne (np. częstsze wzywanie bezrobotnych do potwierdzania gotowości do pracy) prowadzić mogą do obniżenia jej wartości, choć nie musi to mieć żadnego związku ze zmianą sytuacji na rynku pracy. Niestety, podobny mechanizm może działać również w przypadku projektów finansowanych ze środków europejskich. Niektóre wskaźniki mogą również prowadzić do nasilania się efektów ubocznych, obniżających faktyczną skuteczność projektów. Przykładem może być wskaźnik efektywności zatrudnienia, który od jakiegoś czasu jest obowiązkowym w projektach dotyczących wspierania osób bezrobotnych. Zgodnie z założeniami, na zakończenie projektu, co najmniej 45% uczestników powinno podjąć pracę. Wartość ta jest zróżnicowana ze względu na grupę docelową (np. niższa dla osób niepełnosprawnych). Jeśli projektodawcy będą zachowywać się racjonalnie, to przygotują projekty, w których prawdopodobieństwo osiągnięcia tego wskaźnika jest wysokie. Oznacza to, że będą do niego rekrutowane przede wszystkim osoby z wyższym wykształceniem, młodsze, lepiej radzące sobie na rynku pracy. Jak pokazuje wiele badań, radzą sobie one na nim całkiem nieźle nawet bez pomocy (określając to bardziej formalnie – prawdopodobieństwo podjęcia przez nich pracy jest wyższe niż w przypadku innych grup, niezależnie od zakresu interwencji). Co więcej, w niektórych przypadkach mogą pojawić się wręcz efekty negatywne – objęcie danej osoby pomocą może opóźnić podjęcie przez nią pracy (w porównaniu do osób, które nie korzystały ze wsparcia). Wynikać to może ze spadku aktywności w poszukiwaniu zatrudnienia w związku z np. udziałem w szkoleniach. W efekcie duża część inwestycji prowadzona jest na tzw. jałowym biegu (deadweight) – działania są wykonywane, ale ich rzeczywisty wpływ na sytuację na rynku pracy jest niewielki. Dążąc do faktycznej realizacji celów programu należałoby wspierać tych, którzy bez takiego wsparcia mają niższe szanse na znalezienie pracy niż np. osoby starsze, o niskich kwalifikacjach, mieszkające na terenach wiejskich. W ich przypadku interwencja publiczna faktycznie może przynieść istotną zmianę. Oczywiście, szanse na osiągnięcie wymaganego wskaźnika są wśród tych ludzi zdecydowanie niższe. I tak koło się zamyka. Problem wartości docelowych Wyznaczanie wartości docelowych wskaźników jest zawsze trudne. Jest to próba znalezienia punktu równowagi pomiędzy ambicjami a tym, co jest osiągalne. Dlatego też ich ustalanie jest często przedmiotem negocjacji. Normą jest, że wartości założone na początku przedsięwzięcia na koniec okazują się przeszacowane lub niedoszacowane. Należy jednak zdawać sobie sprawę, że gdy z osiągnięciem wskaźników powiązane są konsekwencje finansowe, pojawia się silna presja na określanie wartości docelowych na poziomie suboptymalnym. W skali programu, czy też polityk publicznych, prowadzi to naturalnie do obniżenia ich skuteczności. Co zrobić? Powyższe (i inne) problemy związane ze wskaźnikami powodują, że nie tylko nie przyczyniają się one do poprawy jakości polityk publicznych, ale mogą wręcz obniżać jej skuteczność. Nie należy jednak wyciągać pochopnych wniosków – wskaźniki same w sobie nie są bowiem przyczyną powyższych trudności. Wynikają one raczej z niekonsekwentnego i fragmentarycznego wykorzystania tego instrumentu przy programowaniu i wdrażaniu funduszy europejskich. Osiąganie zamierzonych wartości liczbowych to tylko jeden z elementów zarządzania zorientowanego na rezultaty. Aby mogły być dobrze wykorzystane, konieczne jest:

• jasne określenie zmiany społecznej, która ma być efektem interwencji (rezultatów),
• przemyślenie, w jaki sposób zmianę tę można mierzyć (ilościowo i jakościowo) lub też uznanie, że pomiar w niektórych przypadkach będzie nieuzasadniony (np. zbyt kosztowny),
• mądre wykorzystywanie informacji pochodzących z pomiaru efektów do zarządzania polityką publiczną.

Rezultaty – precyzyjne i mierzalne określenie zmiany – powinny wynikać z planów strategicznych. Niestety w wielu dokumentach strategicznych punkt ciężkości kładzie się na opisie planowanych działań, a nie ich efektów.

Planowanie strategiczne Podstawową trudnością dla właściwego wykorzystania wskaźników jest konkretne określenie tego, co ma być mierzone. Rezultaty, a więc jasne, precyzyjne i mierzalne określenie zmiany, powinny wynikać z planów strategicznych. Niestety, jak pokazuje doświadczenie, w wielu dokumentach strategicznych cele są określone na dużym poziomie ogólności, a punkt ciężkości kładzie się na opisie planowanych działań, a nie ich efektów. Często też na tym etapie pojawiają się problemy związane z zachowaniem logiki interwencji – jasnym rozróżnieniem, co jest wkładem, co jest działaniem, co jest produktem, a co rezultatem. Szczególnie istotne, choć często pomijane, jest określenie związków przyczynowo­-skutkowych pomiędzy nimi. Pomiar może dotyczyć każdego z tych elementów (choć pomiar rezultatów nie zawsze jest możliwy i uzasadniony). Faza planowania strategicznego (planowania rezultatów) jest kluczowa. Jeśli na tym etapie nie zdefiniowano jasno rezultatów, naturalną konsekwencją są trudności w dobraniu wskaźników, a następnie wykorzystaniu ich do zarządzania. Trudno jest dobrać miarę, jeśli nie ustalono dokładnie, co ma być osiągnięte oraz co i w jakim stopniu ma się zmienić. W takich sytuacjach dobór wskaźników jest często przypadkowy – wybiera się te, które już istnieją i w jakiś sposób wiążą się z interwencją, jednak niekoniecznie najlepiej służą pomiarowi efektów.

Wskaźniki powinny być przede wszystkim wiarygodne i użyteczne. Dlatego też warto ograniczać ich liczbę – skupić się na kilku, kilkunastu naprawdę kluczowych miarach, inwestując w ich jakość i wiarygodność.

Dobór mierników Wskaźniki powinny być przede wszystkim wiarygodne i użyteczne dla zarządzania projektem lub programem. Dlatego też warto ograniczać ich liczbę – skupić się na kilku, kilkunastu naprawdę kluczowych miarach, inwestując w ich jakość i wiarygodność. W przypadku programów i projektów finansowanych ze środków europejskich powinno skoncentrować się na wskaźnikach mierzących faktyczne rezultaty – dotyczących korzyści odnoszonych przez bezpośrednich odbiorców wsparcia. Może to wymagać dokonywania bardziej złożonych pomiarów, np. z wykorzystaniem próby kontrolnej. Jest to jednoznaczne z tym, że do pozyskania potrzebnych danych w niektórych przypadkach konieczne jest zainwestowanie odpowiednich zasobów. W razie wątpliwości należy zestawić korzyści, jakie może przynieść przemyślany pomiar efektów dla długofalowej skuteczności programu z kosztami potrzebnymi do jego przeprowadzenia. Najczęstsze błędy popełniane na tym etapie to wskazywanie zbyt wielu wskaźników (rodzi to chaos informacyjny), wybór wskaźników, które luźno wiążą się z planem strategicznym (ale dają się mierzyć), wskaźników, na wartość których program ma ograniczony wpływ czy też wskaźników korupcjogennych. Skazuje to często całe przedsięwzięcie na niepowodzenie.

Wprowadzenie proponowanego mechanizmu, sztywno wiążącego wartości wskaźników z dostępem do środków finansowych, spowoduje nasilenie wszystkich dotychczas obserwowanych negatywnych zjawisk i obniży skuteczność podejmowanych działań.

Jak (nie) zarządzać? Zarządzanie zorientowane na rezultaty to przede wszystkim podejmowanie decyzji zarządczych na podstawie informacji o wynikach interwencji. Aby było możliwe, muszą być one wykorzystywane w mądry sposób – ze świadomością ich mocnych stron, ale również ograniczeń. Powinny być analizowane regularnie i w sposób zorganizowany. Ich analiza musi być pogłębiona i prowadzona z uwzględnieniem kontekstu, w jakim była realizowana interwencja, jak również odnosząc się do innych danych i wyników badań i analiz. Jeśli wskaźniki służą głównie do przygotowywania obszernych raportów i sprawozdań, ich przydatność jest znikoma. Dzieje się tak, gdy wskaźniki są źle dobrane i niosą nikłą wartość informacyjną lub też szacowane są na podstawie danych o niskiej jakości (mało wiarygodnych). Druga niebezpieczną skrajnością jest podejmowanie decyzji finansowych głównie w oparciu o osiągane wartości wskaźników. Badania pokazują, że powiązanie to prowadzi do nasilania się negatywnych efektów związanych z wykorzystywaniem wskaźników w polityce publicznej. Nowa perspektywa – te same błędy? Niestety, w projektach rozporządzeń, które określać mają zasady zarządzania środkami europejskimi w latach 2014–2020, Komisja Europejska proponuje mechanizmy, które niewątpliwie powodować będą nasilanie się opisanych powyżej negatywnych zjawisk i najprawdopodobniej przyczynią się do obniżenia skuteczności podejmowanych działań. Chodzi tu o tzw. ramy wykonania i rezerwę wykonania. Mechanizm ten ma polegać na tym, że na poziomie każdej z osi priorytetowych wyznaczona zostanie rezerwa na poziomie 7%. Dodatkowo, dla każdej z osi zostanie ustalony zestaw mierników (wskaźników lub kamieni milowych), na podstawie których oceniany będzie postęp realizacji. Mierniki muszą „pokrywać” co najmniej 75% wartości interwencji. W trakcie realizacji programów dokonywany będzie przegląd. Jeśli w przypadku choć jednego z mierników osiągnięta wartość będzie poniżej 95% ustalonej wartości, rezerwa przepadnie (zostanie ona rozdzielona wśród tych, którzy osiągnęli założone wartości wszystkich mierników). Jeśli odnotowana zostanie poważniejsza porażka, wtedy płatności dla całej osi mogą zostać wstrzymane, a w skrajnych przypadkach może zostać dokonana korekta finansowa. Tłumacząc te zapisy – jeśli nie zostaną osiągnięte wyznaczone wartości, powodować to będzie poważne konsekwencje finansowe. Wprowadzenie tak restrykcyjnego mechanizmu, sztywno wiążącego wskaźniki z dostępnością środków finansowych, powodować będzie naturalnie dążenie instytucji zarządzających do wyznaczenia takich wskaźników, w przypadku których ryzyko porażki będzie najmniejsze – niekoniecznie tych, które są najbardziej istotne dla rozwoju społeczno – gospodarczego. Ponadto wybierane będą w pierwszej kolejności te przedsięwzięcia, które będą „pracować na wskaźnik”. Pojawić się może silna (również polityczna) presja na zachowania, które powodować będą „podbijanie” wskaźnika, nawet jeśli będą one na granicy prawa czy choćby przyzwoitości. Innymi słowami: na etapie planowania strategicznego cały wysiłek będzie kierowany na wyznaczenie bezpiecznych wskaźników, a nie określenie pożądanej zmiany społecznej, a na etapie wdrażania działania koncentrować się będą na osiągnięciu wskaźników, a nie spowodowaniu tejże zmiany. W efekcie wszystkie, dotychczas obserwowane negatywne zjawiska mogą się dodatkowo nasilić.