Naar Inhoud



Metrics horror verhalen

door Andre Heijstek

Meten is weten, you can’t manage what you can’t measure. Twee bekende uitspraken die het gebruik van metingen in management populair hebben gemaakt. En er zit ook wel wat in. Als je een brug bouwt wil je graag precies weten hoever beide oevers van elkaar liggen. Metingen zijn noodzakelijk. Toch heb ik een haat-liefde verhouding met metingen. Want ik zie het zo vaak misgaan. In de loop der jaren heb ik nogal wat misbruik van metingen gezien, en een aantal daarvan zet ik in deze blog op een rijtje, ‘ter leringh ende vermaeck’.

Metrics horror verhalen

Targets voor rattenvangers

Om de productiviteit van rattenvangers te verbeteren werd besloten ze een SMART target ze te geven en te belonen voor het aantal gevangen muskusratten. Een mooi streven, die ratten zijn zeer gevaarlijk voor onze dijken. Maar rattenvangers zijn slimmer dan een SMART target. Als ze een zwanger vrouwtje zien lopen, laten ze haar gaan. Want nu levert ze maar 1 punt op en straks als ze bevallen is een boel meer!

De target wordt elk jaar gehaald, maar het aantal ratten neemt nog steeds toe.

Targets in ziekenhuizen

We willen niet dat patiënten overlijden op de operatietafel. Je gaat ten slotte naar het ziekenhuis om beter te worden. Dus onze beleidsmakers probeerden de artsen te motiveren met een target. Maximaal zoveel promille van de mensen mogen overlijden tijdens de operatie. Weer een mooi metertje op het dashboard voor de ziekenhuis-benchmark.

Helaas is het gevolg niet dat onze gezondheidszorg beter wordt. Om de target te halen worden patiënten die heel erg ziek zijn gewoon niet meer geopereerd. Gaan ze wel dood, maar niet tijdens de operatie…. Mooi gevalletje van operatie geslaagd, patiënt overleden.

Misbruik van CMMI targets

In mijn vak, software ontwikkeling, is het CMMI model beroemd en berucht. Op zich is CMMI een nuttig model dat best practices voor software engineering op een rijtje zet zodat je jezelf kritisch kan toetsen tegen deze standaard. Helaas is het CMMI een Maturity Model, zijn de best practices ingedeeld in vijf volwassenheidsniveaus. Het gevolg is dat managers dan erg snel tot simpele doelstellingen komen, Maturity Level 2 in 2012, Level 3 in 2013.

Dat heeft tot gevolg dat degenen die deze target krijgen opgelegd gaan op zoek naar de gemakkelijkste manier om het level te bereiken. Vaak levert dat allerlei processen op die een bijna letterlijke kopie zijn van de best practices uit het model maar niet of nauwelijks aansluiten bij de organisatie van de software ontwikkelingsafdeling. Combineer dat met een assessmentprocedure waarbij de organisatie die het level wil behalen de assessor betaalt, en je kan erop rekenen dat dit soort verwrongen processen toch nog een beloning oplevert. Het management krijgt z’n bonus, de ontwikkelaars zitten met de gebakken peren.

Fault density als target

Software ontwikkelaars moeten hoge kwaliteit software opleveren. Dat spreekt voor zich. Echter, kwaliteit valt niet echt meetbaar te maken. Maar er kunnen wel allerlei benaderingen van kwaliteit gemaakt worden. De meest bekende benadering is foutdichtheid of fault density. Het aantal gevonden fouten per 1000 regels code (of per functiepunt, of iets dergelijks). Op zich weer een prima poging. Fault density dekt zeker niet alles af van kwaliteit (gebruikersvriendelijkheid valt er niet of nauwelijks onder), maar is er wel een belangrijk onderdeel van.

Echter, zodra fault density een target wordt, worden mensen erg creatief. Hoe vaak ik al niet diverse fouten samengepakt heb gezien in één foutrapport kan ik me niet meer herinneren. Erg goed voor de fault density, maar erg slecht voor het systematisch oplossen van fouten en dus erg slecht voor de kwaliteit van het product.

Even tussendoor

Even een intermezzo om hier wat abstracter naar te kijken.

  1. What gets measured gets done is een beroemde management uitspraak. Helaas is what gets measured gets manipulated dichter bij de waarheid.
  2. De uitspraak you can’t manage what you can’t measure komt van Tom DeMarco een van de guru’s in software ontwikkeling. Recent schreef hij een kort artikel in IEEE software (July/Augustus 2009) waarin hij deze uitspraak terugnam. Tom kijkt terug op zijn boek Controlling Software Projects: Management, Measurement, and Estimation en vraagt zich dan af “was its advice correct at the time, is it still relevant, and do I still believe that metrics are a must for any successful software development effort?” Zijn antwoorden: no, no and no.

Indrukwekkend dat iemand zo eerlijk durft te zijn. Jammer dat dit artikel veel minder gelezen is dan dat boek uit 1982.

Targets van de NS

De vertraging van de NS is ook een beroemd voorbeeld. Onze regering wil dat de NS beter op tijd rijdt (en willen wij dat niet allemaal?) en, als je wilt dat iets gebeurt dan verzin je een target en een bonus/malus programma. Zo krijgt de NS minpuntjes voor elke trein die meer dan (ik meen) 5 minuten te laat komt. Gevolg: de NS neemt zo mogelijk treinen uit de dienstregeling die al een behoorlijke vertraging hebben. Tellen alle volgende stations niet meer mee in de statistiek. Goed voor de bonus, jammer voor de reiziger.

Is dit alles?

De bonnenquota van de politie hoef ik hier verder niet te beschrijven, die kent iedereen al.

Dit is mijn lijstje van horror stories. Wie helpt me de lijst aanvullen?

NB. En, André, ouwe azijnpisser, wat is je alternatief? Oeps, als het moeilijk wordt helpt alleen nog de vertragingstactiek: dat komt in een volgende blog.

Reacties (0 totaal)

Er zijn nog geen reacties

Plaats een Reactie (Tijdelijk buiten gebruik)

Let op: Uw reactie wordt gepubliceerd. Voor privé-reacties kunt u rechtstreeks mailen met de auteur. Voor contact mogelijkheden bekijk het auteur profiel van Andre Heijstek

(Verplicht)

(Verplicht, wordt niet gepubliceerd)

Over de Auteur

Andre Heijstek André heeft de laatste 20 jaar in diverse functies binnen software ontwikkeling gewerkt, heeft de laatste jaren een passie voor Agile en Scrum ontwikkeld en is gecertificeerd CMMI Trainer en Lead Appraiser en Scrum Master.
Lees Meer in Profiel

Deel dit Artikel

Artikelen door Andre Heijstek

Andre Heijstek op Twitter

ImproveFocus: RT @andreheijstek: Diverse opleidingen toegevoegd op mijn website. Met name diverse opleidingen rond #verandermanagement #organiseren ht ...

ImproveFocus: My week on twitter: 2 new followers. Via: http://t.co/MX7tKxXS

ImproveFocus: Interesse in een #Scrum training? 30 en 31 oktober van 16:00 - 21:30. Laat even weten als het wat voor je is!

ImproveFocus: RT @jurgenappelo: Published... Nonviolent Communication (Stop It!) http://t.co/g2txBkYe #NVC #change

ImproveFocus: RT @NielsTalens: Dear people outside the team:Velocity is not for you. It is a tool for us to elim. waste. We use it to keep planning ju ...