För flera år sedan lyssnade jag på ett intressant föredrag som handlade om effektiviteten i den brittiska ambulanssjukvården. Vi fick veta att man under många år haft problem med mätningarna av måluppfyllelse – och att de lett till olyckliga resultat:

”Man hade ett mål om att man skulle nå patienten inom en viss tidsrymd, t.ex. 10 minuter”, berättade föredragshållaren. ”Det här blev förödande i ett fall som fick mycket media-uppmärksamhet. Två larm kom in samtidigt, det fanns bara en ambulans. I ett av fallen kunde man klara tidsmålet, i det andra inte. Man valde då att gå på tidsmålet. Problemet var att den skadade var så illa däran (befann sig i dödsögonblicket) att hen inte levde när ambulansen kom fram inom rätt tidsrymd (detta framgick vid anropet). Den andra skadade personen levde betydligt längre och hade klarat att ambulansen tog mer tid på sig – men även hen dog eftersom ingen ambulans kom. I realiteten var detta förstås ett mardrömsresultat, men statistiskt visade agerandet på bättre effektivitet” .

Hur mäter vi verksamhet?

Jag kom att tänka på de här berättelsen häromdagen i ett samtal om hur vi mäter resultat. Jag gjorde en sökning på nätet och såg att problematiken kvarstod i Storbritannien  (se t.ex. detta BBC-inslag från i år). Det fick mig att fundera över hur det ser ut i Sverige. En fortsatt sökning på nätet ledde till ett antal svenska media-träffar. Även i Sverige förekommer tidsmål liknande det brittiska (patienten med vissa diagnoser ska nås inom x minuter). Målen verkar inte enklare att nå i Sverige. Svårigheten att mäta illustreras i träffarna; här kommer några klipp ur olika tidningar:

1) Sveriges television uppmärksammade frågan tidigare i år. I ett inslag visade SVT på stora regionala skillnader.

Räddningstjänsten i Söderhamn är kritiska mot Region Gävleborg eftersom de upplever att det allt oftare händer att ambulansen dröjer för länge. Divisionschefen Helena Björkman försvarade sig under torsdagen med att ambulansen uppfyller sina mål väl, men siffror som SVT har tagit del av visar att under de senaste åren är det bara ambulanserna i Gävle som klarar att nå patienterna i rätt tid.

I inslaget fick man veta hur målet för regionen beskrivs: vid 90 procent av alla prio 1-larm ska ambulansen ha kommit fram inom 20 minuter. När SVT granskade statistiken visade det sig att målet nåddes bara i Gävle. Längst ifrån att nå målet var Ockelbo med 79 procents måluppfyllelse.

2) Frågan engagerade  även tidningen Medicinsk access som 2015 gjorde en granskning där förklaringar till det årets bristande måluppfyllelse fördes fram:

Samtidigt som allt högre krav ställs på ambulanssjukvården svarar endast hälften, 52 procent, av ambulansstationerna i Sverige att de klarar sina uppsatta mål för prio 1-larm, det visar den nya Demoskop-undersökningen Ambulansrapporten från Riksförbundet HjärtLung.

De tre vanligaste orsakerna till att ambulansstationerna inte lyckas uppfylla målen är för långa avstånd, för lite resurser och för hög belastning.

I artikeln finns också lite fakta om mätetalen som användes 2015.

Målen som är uppsatta inom varje landsting eller region för när man ska nå patienten vid ett prio 1-larm varierar stort. Andelen av befolkningen som ska nås inom 20 min varierar till exempel mellan 65 och 100 procent. Samtidigt är det 15 procent som anger ett snabbare mål än 20 minuter.

Ett prio 1-larm skickas ut vid en olycka eller när någon har akut livshotande symtom, som till exempel en hjärtinfarkt. Det finns fyra olika prioriterings-larm.

3) I Medtech Magazine finns också uppgifter om mätningar från 2014.

Totalt har 120 ambulanschefer som representerar 381 stationer i Sverige tillfrågats om målsättningen för utryckningstiden.  Fyra av tio har målet att nå 85 – 95 procent av befolkningen inom 20 minuter. I Götaland och storstadslänen har 6 av 10 samma mål. 63 procent av landets samtliga ambulansstationer anser att man lever upp till sitt mål, nära fyra av tio säger att man inte gör det, vilket är en liten förbättring från föregående år. I Norrland uppger var tredje att de inte har eller inte vet om man har ett uppsatt mål. Ambulanscheferna uppger att det framförallt är avstånden i kombination med begränsade resurser i förhållande till ökat antal transporter som innebär stora hinder för att nå hela vägen fram till sina mål.

När ansvariga såg att man inte kunde nå målen började de fundera på om de kan mäta på ett annat sätt. Tidningen Medtech Magazine  berättade att alternativa mätmetoder tagits fram på vissa håll för att man skulle kunna nå målen enklare.

Undersökningen visar på ett nytt sätt att mäta målen, något som kallas kvittenstid. Kvittenstid innebär att man mäter om ambulansen lämnat stationen inom 90 sekunder istället för att ta tid på hur snabbt ambulansen kommer fram till patienten. I de två tidigare undersökningar Demoskop genomfört … var det ingen som mätte måluppfyllelse i kvittenstid. I år är det en av tio stationschefer som anger kvittenstid som mål för prio 1-larm. I storstadslänen är siffran mer än den dubbla, fler än två av tio anger kvittenstid som mål.

– Att mäta kvittenstid bidrar till förbättrad statistik men ger inte underlag till bättre ambulansvård. Kvittenstid tar heller inte in de geografiska utmaningarna i beräkningen. För en person i akut behov av den hjälp och vård en ambulans kan ge spelar det ingen roll att ambulansen lämnat stationen inom 90 sekunder om den ändå inte hinner fram i tid, säger … [en företrädare för HjärtLung som låtit göra undersökningen].

 Problem med mätmetoderna

Den snabba genomgången av svenska nätträffar visar att problemet verkar ha funnits under flera år (2014-2016). Varje år reflekterar man över problemen, men läget verkar inte förbättras. Detta kan bero på att man gör prestationsmätningar, använder numeriska mätetal.

Redan 2007 pekade Styrutredningen i sitt slutbetänkande på ett antal bieffekter med alltför stark resultatorientering i offentliga tjänster:

1. Prestationsmätning kan öka mängden prestationer i förhållande till vissa kriterier, trots att prestationerna inte är de som är de mest ändamålsenliga i förhållande till målen för verksamheten.

2. Prestationsmätningar kan motverka innovation.

3. Prestationsmätning behöver inte säga något om de verkliga prestationerna.

Till det kommer risken för medvetet fuskande när numeriska mätetal används (gäller i alla sektorer). W Edvards Deming sammanfattar detta så här:

Will a numerical goal be achieved? Anyone can achieve almost any goal by:

• Redefinition of terms
• Distortion and faking
• Running up costs

(I ett tidigare inlägg finns exempel från Deming på just detta)

 

Dessa båda iakttagelser  verkar vara högst relevanta för den svenska och brittiska ambulanssjukvården. Mycket möda (dvs arbetstid för personer som inte direkt ägnar sig åt att rädda liv i fält) verkar onekligen läggas ned i frågan om måluppfyllelse – utan att läget för sjuka och skadade verkar bli bättre. Jag ser ett antal saker som är värda att reflektera över:

• Att skapa nya numeriska mätetal, t.ex. kvittenstider, har inte lett till förbättringar för sjuka/skadade – även om statistiken kanske ser snyggare ut. En annan sak man skulle kunna frestas att göra för att nå målen och hyfsa statistiken är att omdefiniera om vad som är prio 1-alarm. Genom att göra den gruppen snävare torde målen bli lättare att nå – men inte heller detta lär gagna de sjuka/skadade.
• Det finns som Deming pekar på incitament att fuska med statistiken – i UK rapporteras  att detta också sker i verkligheten. Ett exempel handlar om en chef som lät patienter som ringde ett nummer medvetet vänta längre för att frisera siffrorna. Denna effekt är inte oväntad. (se tidigare inlägg om W Edvards Demings syn på mätetal
• De prestationsmätningar som beskrivs säger inte något om de verkliga prestationerna. Vi får veta när ambulansen ryckte ut respektive när den kom fram – men inte något om kvaliteten i arbetet. Vad får vi egentligen för strategisk information av siffrorna?
• Hur hanteras de problem som lyfts i artiklarna – avstånd och kapacitet – genom nya mätetal? Adresseras de?
• Skapar arbetet med att fastställa mål- och mätetal värde för de sjuka/skadade? Hjälper de personalen att göra ett bättre arbete med sjuka/skadade? Om inte, är det relevant att fortsätta lägga resurser på ytterligare förfining av mätetalen?
• Är inte allt arbete med mål- och mätetal  ett bra exempel på att försöka göra fel sak lite mer rätt? Istället för att ställa sig frågan – som förespråkare för systemsyn gör: Gör vi rätt saker? 

 

Åter till föredraget jag lyssnade på för flera år sedan

”Vad ska man då göra?” frågade någon i publiken.

”Titta på det som är relevant för kunden (dvs den sjuka/skadade)”, svarade föredragshållaren. ”Vad skulle du själv tycka var relevant om du var i den situationen? Jo – om du blev omhändertagen på ett sådant sätt att du blev bättre, optimalt att du blev frisk. Låt personalen använda sin innovationskraft att förbättra utifrån det värdet.”

Flytta alltså fokuset från skapandet av det perfekta mätetalet – och börja istället reflektera över varför verksamheten bedrivs – och se den från kundens perspektiv (vad skulle du vilja ha som kund?) . W Edwards Deming sammanfattar detta bra:

”The emphasis should be on why we do a job.”