Zoek op trefwoord :
Prestatiemeting stuit op heterogeniteit overheidsproductie
Verschenen in 'B&G' - 23-09-2001

P. Bordewijk en H.L. Klaassen

Ons onderzoek naar het gebruik van kengetallen in de jaarstukken van grote gemeenten, heeft veel respons opgeleverd, ook in dit blad. Enerzijds richtten de reacties zich op onze kritiek op de productbegroting als instrument voor allocatie, sturing en verantwoording. Anderzijds was ons onderzoek aanleiding om ons te betrekken bij pogingen om indicatoren te vinden om de prestaties van complete organisaties te meten, uiteenlopend van afzonderlijke politiekorpsen tot het geheel van de Nederlandse gemeenten. Steeds blijkt dat er een grote discrepantie is tussen de behoefte om prestaties te meten en de weerbarstigheid van de praktijk. Die is vooral het gevolg van de gebrekkige homogeniteit van de geleverde prestaties.

Het is een mop met een baard, maar hij komt steeds terug wanneer we over prestatiemeting praten:



Een dronken man ligt op zijn knieën onder een lantaarnpaal.

Een voorbijganger vraagt: ‘zoek je wat?’

‘Mijn portemonnee’, is het antwoord.

‘Waar ben je die dan verloren?’

’Daarginds’.

‘Waarom zoek je daar dan niet?’

‘Daar is geen licht’.


Oftewel: omdat we datgene dat we zouden willen niet kunnen meten, meten we maar wat anders, ook al is dat niet relevant.

Gemeenten hebben behoeften om hun prestaties te meten en op basis daarvan te beslissingen te nemen over de inzet van middelen (allocatie), hun diensten aan te sturen en tot een vorm van afrekening te komen. De minister van Binnenlandse Zaken en Koninkrijksrelaties wil graag weten wat de best presterende politiekorpsen zijn in Nederland, en wat voor extra prestaties de gemeenten in Nederland de laatste jaren hebben geleverd als gevolg van de accressen in het gemeentefonds.

Stel dat gemeenten maar een klein aantal producten zouden leveren. Stel dat die producten alle goed gedefinieerd waren, en daardoor zonder veel transactiekosten door externe bedrijven geleverd konden worden tegen een prijs die van tevoren bekend is en tot stand komt op een markt waar volledige concurrentie heerst. En stel dan ook nog eens, dat het de gemeente zelf is, die bepaalt hoeveel er van die producten geleverd moeten worden, en dat dat niet afhangt van de vraag van de burger.

Dan zouden de ideale condities aanwezig zijn voor een productbegroting. En dan kon de minister van BZK precies volgen wat er gebeurt met het geld uit het gemeentefonds en uit lokale belastingen. Politiekorpsen konden dan beschouwd worden als bedrijven die producten leveren aan het Rijk, waarbij de minister kan vergelijken door welk politiekorps hij het best bediend wordt.

Zo zit de wereld echter niet in elkaar. Bovendien is het de vraag, of wanneer een dergelijke prestatiemeting wel mogelijk was, het nuttig is om die te gebruiken op de manier die de minister voor ogen staat.

De productbegroting



In ons onderzoek hebben wij als een productbegroting beschouwd: een begroting die is opgebouwd vanuit de producten, en waarbij de te autoriseren bedragen worden verkregen door de prijs per product te vermenigvuldigen met het aantal gewenste producten, gekoppeld aan de opdracht om die producten dan ook te leveren.

Wij constateerden dat veel gemeenten de ambitie hebben om zo’n begroting op te stellen, maar dat geen van de door ons onderzochte gemeenten zo’n begroting had. In feite was er vooral sprake van sturing op input als incrementeel proces, waarbij de gepresenteerde prestatiegegevens alleen als illustratie dienden. Ditzelfde bleek te gelden voor gemeenten die zich naar aanleiding van ons onderzoek tot ons gewend hebben, ook al noemden zij hun begroting een productbegroting. Als belangrijkste verklaring gaven wij, dat slecht weinig producten voldoen aan de eis van homogeniteit, waardoor het aantal producten onvoldoende zegt over de kwaliteit van de dienstverlening aan de burgers.

In zijn artikel in B & G van juli/augustus stelt Van Helden dat wij daarmee te hoge eisen stellen. "BK hanteren een extreme variant van NPM als toetssteen bij hun empirische onderzoek." Het verbaast hem niet, dat we deze variant in de Nederlandse praktijk bij grote gemeenten niet zijn tegen gekomen. "Wie een karikatuur maakt van een bepaald idee, zal weinig moeite hebben dat idee te verwerpen."

De vraag is echter, of de manier waarop wij New Public Management en de rol van de productbegroting daarin geïnterpreteerd hebben, werkelijk als een karikatuur kan worden beschouwd. In de meeste gemeenten die wij onderzocht hebben, leefde wel degelijk de ambitie van een productbegroting zoals wij die omschreven hebben. Die gemeenten kunnen zich daarbij ook baseren op publicaties van Van Helden zelf, zoals bij voorbeeld zijn oratie van 1994:

"De essentie van outputbudgettering is dat men per relevant geachte overheidstaak produkten definieert, om vervolgens taakstellende aantallen per produkt aan te geven, met inbegrip van de daartoe benodigde middelen; dit laatste impliceert dat ook de kosten per eenheid van elk der produkten kunnen worden berekend."


Nog in 1998 omschreef Van Helden de productbegroting als een begroting ‘die gebaseerd is op prestatiegegevens’, zij het dat hij datzelfde jaar ook de veel mildere definitie hanteerde van een begroting ‘waarin per beleidsterrein prestatie-indicatoren worden aangegeven’. Dit laatste komt overeen met de prestatiebegroting zoals Van Helden hem in zijn recente artikel definieert. Wanneer hij de begrotingen van de door hem onderzochte gemeenten getoetst had aan de eerst geciteerde definitie, zou het beeld van de toepassing van de productbegroting heel wat minder rooskleurig geweest zijn dan nu hij de tweede hanteerde.

Nu is het bepaald niet zo, dat wij Van Helden het recht op voortschrijdend inzicht willen onthouden. Juist vanwege het grote aantal gemeenten waar men nog steeds de orthodoxie van de productbegroting belijdt, juichen wij het toe dat Van Helden hier duidelijk afstand van neemt. Ook tijdens het onlangs gehouden Seminar New Public Management 2001 heeft hij op het probleem van het ontwikkelen van goede prestatie-indicatoren gewezen. Maar het gaat ons als ongelovigen wat ver om van iemand die zich nog kort geleden overtuigd toonde dat de Aarde geschapen is in zeven dagen, te horen dat wij het zijn die van het geloof een karikatuur maken.

Onze verwerping van de productbegroting heeft uiteraard de vraag opgeroepen, wat ons alternatief is. De discussies daarover deden vaak denken aan de dronken man onder de lantaarnpaal. Het verschil is hooguit, dat als het om het meten van overheidsprestaties gaat, de dronken man niet zelf onder de lantaarnpaal zoekt, maar dat heeft opgedragen aan een organisatiebureau, dat na tien jaar zoeken nog steeds meldt dat het de portemonnee bijna gevonden heeft.

Hoewel erkend wordt dat de productbegroting niet werkt en niet kan werken, wil men daar toch aan vasthouden bij gebrek aan alternatief. Toch was de outputbegroting niet zomaar een vormvoorschrift was, maar werd deze gepresenteerd als een middel om meer overwogen te begroten, als een middel om het politieke proces van allocatie duidelijk te scheiden van de bedrijfsvoering, en als een middel om af te kunnen rekenen op resultaten.

Wij denken niet dat er op dit moment een kant en klaar begrotingsrecept voor handen is. Een nieuw begrotingsmodel zal in ieder geval recht moeten doen aan de grote diversiteit aan overheidstaken, en aan de verschillende vormen van aansturing die verschillende taken behoeven. Het werk van Mintzberg kan daarbij een goede ingang zijn.

De prestatiebegroting



Of raadsleden wat opschieten met de prestatiebegroting zoals Van Helden die schetst, is de vraag. In feite is dit wat de meeste gemeenten als productbegroting presenteren. Men legt dan niet echt een relatie tussen de gevoteerde bedragen en de te leveren prestaties. De functie van de prestatiegegevens is vooral om de raadsleden ervan te overtuigen dat het ambtelijk apparaat van de gemeente goed volgt wat er gebeurt. Maar dat voor de prestaties zoals de bibliotheek ze in het voorbeeld van Van Helden gaat leveren, inderdaad een bedrag van ƒ 3.200.000 nodig is, zullen de raadsleden op gezag van het college moeten aannemen.

Of het niet met minder kan, welk bedrag nodig is voor kapitaallasten, hoeveel geld voor personeel, en hoeveel er besteed wordt aan de aankoop van boeken, dat is input, en daar mogen raadsleden zich niet mee bemoeien. Dat geldt ook voor de vergelijking van die bedragen met vorige jaren. En een vergelijking van het totaal met andere gemeenten zou alleen kunnen gaan over de input, en dat is al evenzeer taboe. De door Van Helden bepleite prestatiegegevens zijn daarmee niet nutteloos, maar zij krijgen slechts betekenis in een meerjarig perspectief, waarin besloten wordt over bijstelling van de dienstverlening door de bibliotheek. Gerealiseerde prestaties hebben daarbij meer betekenis dan streefwaarden in de begroting.

Dergelijke streefwaarden kunnen ook niet werken als sturings- of als afrekeningsinstrument. Wanneer er minder boeken worden uitgeleend, heeft dat dan gevolgen voor het budget van de bibliotheek? Of wordt dat gewoon bepaald door de kapitaallasten, de personeelskosten en de kosten voor andere bestedingen zoals ze in de begroting stonden? Wij denken het laatste.

De programmabegroting


Uit een recente publicatie van het Ministerie van BZK blijkt, dat men ook daar niet meer gelooft in de productbegroting als sturingsinstrument voor de gemeenteraad. Wel ziet men de productbegroting een middel voor de interne aansturing. Dan zal men daarbij echter toch ook moeten differentiëren naar producten met verschillende karakteristieken, die een verschillende soort aansturing vragen, en bovendien er rekening mee houden dat het vaak niet het gemeentebestuur of het ambtelijk management is dat bepaalt hoeveel van elk product geleverd moet worden, maar de burger. Wanneer het gaat om gladheidsbestrijding blijken het zelfs de weergoden te zijn.

Waar het de aansturing door de Raad betreft, pleit men voor een indeling in 10 á 15 (beleids)programma’s. Wanneer deze overeen zouden komen met de clusterindeling die gebruikt wordt bij de verdeling van het gemeentefonds, zou dit in ieder geval betekenen dat de raad het gemakkelijker krijgt om zich langs deze weg een mening over de input wil vormen.

De betreffende bedragen zouden moeten worden onderbouwd met politieke doelen en beoogde effecten, dus met de hoofdlijnen van het beleid. Of dit het budgetrecht van de raad versterkt is zeer twijfelachtig. Het overschat de mogelijkheden om overheidsactiviteiten rechtstreeks af te leiden uit een doelstellingenhiërarchie. Veel activiteiten dienen ook meerdere doelstellingen.

Onderwijs dient de persoonlijke ontplooiing, maar ook de toegang tot de arbeidsmarkt. Hygiëne op school is een te lang verwaarloosd beleidsterrein, dat niet alleen maar als dienstbaar aan de schoolresultaten kan worden gezien, maar ook niet zonder meer afgeleid kan worden uit een programmadoelstelling op het terrein van volksgezondheid. Werkgelegenheid is gediend met een goed vestigingsklimaat, dat even zeer bepaald wordt door culturele voorzieningen als door veiligheid op straat. En terugdringen van de werkloosheid kan daarbij weer helpen.

Een gemeenteraad zal niets kunnen met 15 grote bedragen die gekoppeld zijn aan abstracte beleidsdoelstellingen. En de koppeling aan concrete beleidseffecten, zoals die steeds meer in de mode komt, is een schromelijke overschatting van de maakbaarheid van de samenleving. Gemeenteraden moeten daarom de mogelijkheid houden om uitspraken te doen over concrete activiteiten: over afzonderlijke subsidies, over de frequentie van schoonmaken in de scholen, over de reiskosten van het college, ook al is het lang niet altijd mogelijk dat aan een beoogd maatschappelijk effect te koppelen.

Ze moeten kunnen uitspreken dat voor zulke dingen meer of minder geld moet worden uitgegeven, en dan niet te horen krijgen dat sinds de dualisering gemeenteraden daar niet meer over mogen praten. Ze moeten ook bevoegd blijven ten aanzien van investeringsuitgaven, ook al zijn die strikt genomen budgettair neutraal, en is het college bevoegd tot de daarbij horende privaatrechtelijke handelingen. Ze moeten zelf de bevoegdheid houden om te bepalen op welk niveau zij de bedragen autoriseren. Zonder dit alles verdampt het budgetrecht van de Raad.



Maten voor gemeenten



De problematiek van het meten van prestaties speelt niet alleen op het niveau van individuele gemeenten. De minister van Binnenlandse Zaken en Koninkrijksrelaties heeft het ‘Plan van Aanpak Transparantie in de financiële verhouding’ (PLAVAT) opgesteld, om zich een bestuurlijk oordeel te vormen over de uitkomsten van de normering van het Gemeentefonds. In dat kader is het Sociaal en Cultureel Planbureau nagegaan ‘op welke wijze prestatie-indicatoren in samenhang met gegevens over de uitgaven kunnen worden gebruikt bij een analyse van de relatie tussen de gemeentelijke taken en middelen’.

Opmerkelijk is dat deze behoefte aan een bestuurlijke toets is opgekomen in een tijd waarin de afgesproken koppeling tussen de netto-rijksuitgaven en het Gemeentefonds tot een aanzienlijk accres leidt. In de tijd dat die koppeling tot bezuinigingen op het gemeentefonds leidde, was die behoefte aanzienlijk kleiner. Toen was het wel makkelijk dat een bezuiniging van ƒ 100 miljoen op de rijksuitgaven nog een extra bezuiniging van ƒ 20 miljoen op het gemeentefonds opleverde. Maar nu een intensivering van ƒ 100 miljoen bij de rijksuitgaven ook tot een extra storting van ƒ 20 miljoen in het gemeentefonds impliceert, is er behoefte aan een ‘bestuurlijke toets’. Om inzicht te krijgen in de prestaties van de gemeenten, onderscheidt het SCP 39 taakvelden van de gemeenten, die door één of een klein aantal prestatie-indicatoren worden gekenschetst. Daarbij worden vijf typen indicatoren gehanteerd: fysieke prestatie-indicatoren (14 % van de uitgaven), gedefleerde opbrengsten (24 %), gebruiksindicatoren (48 %), gedefleerde materiële uitgaven (9 %), en normeringsindicatoren (5 %).

Voorbeelden van fysieke prestatie-indicatoren zijn het aantal mutaties in het bevolkingsregister, het aantal repressieve activiteiten van de brandweer, de aantallen reizigerskilometers stadsvervoer, en het aantal aanslagen en taxaties voor de OZB. Gedefleerde opbrengsten worden onder meer als indicator gehanteerd bij de riolering, de inzameling van afval en de nutsbedrijven. Deze opbrengst wordt geacht maatgevend te zijn voor de gemeentelijke prestaties, waarbij impliciet wordt uitgegaan van volledige kostendekking.

Gebruiksindicatoren worden onder meer gehanteerd bij onderwijs (aantal leerlingen), kinderopvang en bijstandsverlening. De gedefleerde uitgaven worden als indicator gehanteerd bij taken waar uitbesteding tegen marktprijzen overheerst, zoals bij onderhoud van wegen. Hier wordt verondersteld dat het marktmechanisme voldoende garantie voor een optimale doelmatigheid biedt.

Normeringsindicatoren worden gebruikt in die gevallen waarin de output volstrekt heterogeen is. Er wordt dan teruggevallen op een indicator zoals ook in gebruik bij de verdeling van het gemeentefonds, en die wij eerder hebben aangeduid als inputindicator. Kuhry en Van der Torre constateren dat bij slechts bij 5 % van de uitgaven een beroep hoeft te worden gedaan op normeringskengetallen.

Kritiek



De gekozen aanpak faalt echter om meerdere redenen. In de eerste plaats beperkt deze zich niet tot uitgaven die de gemeenten bekostigen uit de algemene middelen, maar heeft deze ook betrekking op uitgaven die bekostigd worden uit specifieke uitkeringen, zoals bij sommige gemeenten het openbaar vervoer. Toch richt de vraagstelling zich op de koppeling van het gemeentefonds aan de gecorrigeerde rijksuitgaven. Wanneer men zich zou beperken tot uitgaven die daaruit worden bekostigd, zou men flink wat ruis elimineren.

Bij het gebruik van gedefleerde opbrengsten gaat men ervan uit, dat die rechtstreeks samenhangen met geleverde prestaties. Gemeenten zijn echter niet gehouden tot kostendekkende tarieven. Soms zullen zij om budgettaire redenen tarieven verhogen tot volledige kostendekking. In andere gevallen, zoals bij riolering en reiniging, zien we een tendens om de tarieven te verlagen en in plaats daarvan de onroerende-zaakbelasting te verhogen, om de totale last billijker over de bevolking te spreiden. De sterke waardestijging van juist de goedkope woningen bij de laatste taxatie heeft dat gestimuleerd. Gebruik van de gedefleerde opbrengsten suggereert dan een sterke daling van de productie van de gemeenten, in strijd met de waarheid.

Als alternatief suggereert men bij de reiniging de hoeveelheid ingezameld huisvuil, gedifferentieerd naar verwerkingsmethode. Die laatste differentiatie geeft al aan, dat men inzameling van huisvuil niet als homogeen product mag beschouwen, hoewel het daar op het eerste gezicht een voor de hand liggend voorbeeld van is. Maar ook wanneer men differentieert naar verwerkingsmethode, zal men inzameling van te verbranden afval als een homogeen product beschouwen. Investeringen in een beter type verbrandingsoven ziet men dan niet terug bij de meting van de gemeentelijke productie, terwijl die wel in de prijs daarvan tot uitdrukking komt.

Dit laatste geldt ook voor veel van de taken waar Kuhry en Van der Torre prestatie- of gebruikersindicatoren menen gevonden te hebben. Die indicatoren zijn alleen zinvol wanneer ze de eigen inspanningen van de gemeenten representeren, zoals in het geval van het aantal kinderen in peuterspeelzalen. Dat aantal kan een gemeente rechtstreeks beïnvloeden door meer geld beschikbaar te stellen.

Wanneer de gemeente echter meer geld voor onderwijs beschikbaar stelt, zal dat niet resulteren in meer leerlingen, maar in een hogere kwaliteit van het onderwijs of van de materiële omstandigheden waaronder het onderwijs plaats vindt. Wil men daar iets van terugvinden, dan moet men als prestatie-indicator kiezen het aantal malen per week dat de WC’s worden schoongemaakt, en wel door daarvoor betaald personeel, niet door de docenten. Dat zijn dingen die het CBS niet bijhoudt. Zo blijkt het ook in de gezondheidszorg moeilijk om de echte prestaties te meten, en vindt men wanneer men deze reduceert tot het aantal behandelde of verzorgde patiënten, een daling van de arbeidsproductiviteit.

Zulke problemen gelden voor veel van de geselecteerde prestatie- en gebruiksindicatoren. Extra inspanningen van de gemeente bij de brandweer leiden als het goed is niet tot meer gebluste branden maar tot minder. Hetzelfde geldt voor het aantal bijstandscliënten. Het aantal mutaties in het bevolkingsregister is voor gemeenten geen resultaat van hun inspanningen, maar een extern gegeven. Wanneer ze meer geld krijgen kunnen ze wel meer service verlenen aan de gebruikers, maar dat valt buiten de meting.

Kuhry en Van der Torre erkennen wel dat kwaliteitsverbeteringen zoals een kleinere groepsgrootte in het onderwijs of meer handen aan het bed in het verzorgingshuis niet in hun prestatie-indicatoren tot uitdrukking komen. In feite zijn de beschouwde producten dan dus niet homogeen. Maar de SCP’ers verbinden daar niet de conclusie aan dat een groot aantal van hun prestatie- en gebruikersaantallen in hun categorisering in feite als normeringskengetallen zouden moeten worden aangemerkt, omdat die aspecten van de productie die beïnvloedbaar zijn door de gemeente er niet door worden weergegeven. Toch geldt dit naar onze opvatting in ieder geval voor het aantal mutaties in het bevolkingsregister, voor het aantal repressieve activiteiten van de brandweer, voor het aantal leerlingen van de diverse soorten onderwijs, en voor het aantal ontvangers van bijstandsuitkeringen en andere inkomensvoorzieningen.

De gehanteerde methode brengt noodzakelijk met zich mee, dat op veel terreinen extra inspanningen van de gemeenten niet zichtbaar worden. Gelet op de betekenis van het onderzoek voor de toekomstige vulling van het gemeentefonds, is dit voor de gemeenten een zeer bedreigende situatie. Natuurlijk kan men er over twisten of het glas half vol is of half leeg. Maar die discussie is weinig relevant wanneer men de ambitie heeft om de tuin te spuiten.

Politiekorpsen



Bij de pogingen om de prestaties van politiekorpsen in kaart te brengen, heeft men zich zeer goed gerealiseerd aan welke eisen dergelijke indicatoren moeten voldoen. Van belang is vooral dat de indicatoren niet manipuleerbaar zijn. Ze dienen alleen beïnvloedbaar te zijn door het korps door dat daadwerkelijk meer te presteren.

De eis van niet manipuleerbaarheid is direct gerelateerd aan de eis dat de gemeten productie homogeen is: het moet niet mogelijk zijn tot een hoger aantal prestatie-eenheden te komen door zich meer te richten op die activiteiten die per prestatie-eenheid minder inspanning kosten. Er mag bij voorbeeld van het systeem geen prikkel uitgaan om de aandacht te verschuiven van gecompliceerde misdrijven naar misdrijven die gemakkelijk op te helderen zijn.

Dit is echter wat in het voorgestelde systeem juist wel gebeurt, door het aantal verdachten van wie een proces-verbaal naar het Openbaar Ministerie verzonden is te gebruiken zonder differentiatie naar de inspanning die daarvoor nodig is geweest, of zelfs naar de ernst van het misdrijf. Het kan toch niet zo zijn, dat de politie alleen nog werkt aan de opheldering van die misdrijven waarbij men verwacht dat daarvoor een betrekkelijk gering aantal uren nodig is. Of vertrouwt men erop dat de effecten van het systeem van prestatiebeloning onvoldoende zullen zijn om het gedrag van de politie te beïnvloeden?

Het systeem wordt ook manipuleerbaar doordat men het aantal verdachten deelt door het aantal aangiften. Daarmee zet men een premie op weigerachtig gedrag van agenten ten opzichte van burgers die aangifte willen doen van een misdrijf. Ook dit komt ons zeer ongewenst voor.

In het rapport wordt aangegeven dat wij geen alternatief hebben aangereikt. Dat is ook in dit geval juist: waar men de portemonnee verloren was stond geen lantaarnpaal.

Principiële aspecten



Ook wanneer prestatiemeting wel goed mogelijk zou zijn, doordat de prestaties van gemeenten en van politiekorpsen volledig waren op te delen in homogene producten waarvan de aantallen goed meetbaar zijn, is het echter nog de vraag of de minister van BZK op de goede weg is. In het geval van de politiekorpsen heeft hij de wens van de Kamerleden Niederer en Van Heemst overgenomen dat inwoners van gebieden waar de politie toch al slecht presteert, er in hun veiligheid verder op achteruit gaan. Daarmee komt de veiligheidssituatie in die regio’s in een negatieve spiraal.

Wanneer het al mogelijk is om vast stellen dat de politie in een bepaalde regio slecht functioneert, en dat niet het gevolg is van tekortkomingen in het verdeelmodel, lijkt het beter dat de minister de korpsbeheerder in staat stelt om niet vrijblijvende afspraken met het management over verbetering te maken, dan de inwoners daarvan de dupe te laten worden.

De storting in het gemeentefonds dient niet afhankelijk te zijn van een genormeerde taakvervulling door de gemeenten, maar van evenwicht tussen de bedragen waarover centraal en decentraal beschikt wordt. Het mag ook niet zo zijn dat prestatiemeting bij de gemeenten gaat leiden tot een systeem van beloning van afzonderlijke gemeenten, waarvoor soms gepleit wordt. Wanneer de prestaties van afzonderlijke gemeenten vergeleken zouden kunnen worden, zouden het de kiezers en de gemeentebesturen moeten zijn die daar consequenties aan verbinden, en niet de minister van BZK.

B & G september 2001 p. 26-31