Öka tillgången till hälso- och sjukvårdspersonal i underförsörjda områden: en konceptuell ram för att mäta resultat

Luis Huicho a, Marjolein Dieleman b, James Campbell c, Laurence Codjia d, Dina Balabanova e, Gilles Dussault f & Carmen Dolea g

a. Institutionen för pediatrik, Universidad Peruana Cayetano Heredia, Lima, Peru.
b. KIT Development, Policy and Practice, Royal Tropical Institute, Amsterdam, Nederländerna.
c. Instituto de Cooperación Social, Integrare, Barcelona, Spanien.
d. Global Health Workforce Alliance, Genève, Schweiz.
e. London School of Hygiene and Tropical Medicine, London, England.
f. Intituto de Higiene e Medecina Tropical, Universidade Nova de Lisboa, Lisboa, Portugal.
g. Department of Human Resources for Health, World Health Organization, 20 avenue Appia, 1211 Geneva 27, Switzerland.

Korrespondens till Carmen Dolea (e-post: ).

(Inskickad: 05 oktober 2009 – Reviderad version mottagen: 19 november 2009 – Accepterad: 05.05.2009 – Reviderad version:

Bulletin of the World Health Organization 2010;88:357-363. doi: 10.2471/BLT.09.070920

Introduktion

Hälsovårdspersonalens vilja att praktisera i underförsörjda områden, t.ex. på landsbygden, i avlägsna områden eller i fattiga områden, är en erkänd utmaning när det gäller att uppnå en rättvis tillgång till hälso- och sjukvårdstjänster. Många länder har utvecklat strategier för att attrahera och behålla kvalificerad vårdpersonal i dessa områden. Men bevisen för att sådana åtgärder har varit framgångsrika eller misslyckade är få och svaga, och det är svårt att jämföra lärdomar och mäta resultat från de få utvärderingar som finns tillgängliga.1-3

Det har gjorts betydande framsteg när det gäller att skapa en gemensam förståelse och debatt om hur man kan utvärdera effekterna av utvecklingsinsatser och om att använda en enhetlig terminologi för övervakning och utvärdering, t.ex. ”output”, ”utfall” och ”effekt”.4-6 Detta har dock ännu inte tillämpats på utvärderingen av insatser för mänskliga resurser för hälso- och sjukvårdsområdet och särskilt inte på insatser som syftar till att öka tillgången till hälso- och sjukvårdspersonal i underförsörjda områden. Det finns ett brådskande behov av att nå en överenskommelse och stärka den evidens som kan ligga till grund för sunda politiska rekommendationer på detta område.

I syfte att åtgärda denna brist föreslås i detta dokument en begreppsram som ska vägleda chefer, beslutsfattare och utvärderare vid bedömningen av insatser som syftar till att öka tillgången till hälso- och sjukvårdspersonal i underförsörjda områden. Ramverket syftar till att stödja alla stadier av policyutvecklingen. Den föreslår en logisk sekvens som kan följas när man beslutar om en insats som tar upp frågor som rör attraktion och bibehållande av personal och hjälper till att formulera nyckelfrågor som ska besvaras när man utformar, övervakar och utvärderar sådana insatser. Den innehåller exempel på indikatorer för att informera processen, som kan anpassas till ett specifikt sammanhang. En omfattande översikt över indikatorer för att övervaka hälso- och sjukvårdspersonalen i allmänhet finns på annat håll.7

Utvärderingsutmaningar

Politiska beslutsfattare och beslutsfattare måste veta om ingripanden fungerar eller inte, varför de fungerar och i vilket sammanhang. Därför är det viktigt att ha information om insatsernas effekter, men också om de faktorer som gjorde att insatsen lyckades eller misslyckades (de frågor som handlar om ”när, varför, hur och under vilka omständigheter sådana insatser fungerar bra eller misslyckas”).8

Utvärdering av insatser för att förbättra personalresurserna för hälsa är komplex av olika skäl. För det första är det mycket svårt att relatera dessa insatser till hälsotillståndet på grund av de breda socioekonomiska, kulturella, politiska och hälsosystemfaktorer som påverkar hälsan. Även om förbättrade hälsoresultat, t.ex. minskad mödradödlighet, är direkt kopplade till ökad tillgång till hälso- och sjukvårdspersonal, är det till exempel svårt att hänföra förbättringen direkt till en viss åtgärd för hälso- och sjukvårdspersonal.9,10 Exemplariska fallstudier från olika länder visade att Afghanistan och Etiopien har genomfört omfattande strategier för hälso- och sjukvårdssektorn med flera samtidiga åtgärder, t.ex. rekrytering av hälso- och sjukvårdspersonal i lokalsamhället, som kan ha främjat tillgången till livräddande tjänster och därmed förbättrat hälsostatusen.11

Ett annat problem är att många utvärderingar saknar ett utgångsläge mot vilket resultaten kan bedömas, särskilt i länder med stor brist på hälso- och sjukvårdspersonal,3,10,12 liksom en specifik interventionslogik som klargör förväntningarna hos dem som utformade interventionen (S Kane, B Gerretsen, R Scherpbier, M Dal Poz, MA Dieleman, opublicerade uppgifter, 2009).13 Dessutom beaktas sällan den sociala, politiska och ekonomiska kontext i vilken interventionerna utformas och genomförs i övervakningen och utvärderingen av insatser på personalområdet.14,15

De största utmaningarna för utvärderare är således relaterade till insatsernas flerdimensionella karaktär och svårigheten att bedöma kontextuella faktorers inflytande. För att kunna utvärdera sådana interventioner i komplexa system finns det ett behov av flermetodiga och tvärvetenskapliga övervaknings- och utvärderingsmetoder som omfattar alla relevanta intressenter.16 En annan utmaning är att generera lärdomar över regioner och länder för att informera den globala hälsodagordningen och främja en meningsfull dialog på både nationell och internationell nivå. Det finns ett tydligt behov av ett ramverk som erbjuder en modell för övervakning och utvärdering av insatser för att behålla vårdpersonal med hänsyn till sådana utmaningar.

Konceptuellt ramverk

Det föreslagna ramverket bygger på en systemansats och skiljer mellan ”insatser”, ”resultat”, ”utfall” och ”påverkan”, när det gäller resultaten av insatser för att locka till sig och behålla vårdpersonal i underförsörjda områden. Det bygger på den föreslagna gemensamma ramen för övervakning av resultat och utvärdering av framsteg i uppskalningen för bättre hälsa17 och föreslår indikatorer för att mäta framstegen i genomförandet av olika strategier, vilket gör det möjligt för användarna att avgöra vad som fungerar och vad som inte fungerar, och att utforska kontextuella faktorer som påverkar deras framgång eller misslyckande. Ramverket har två syften: (i) att vägleda tänkandet vid utvärderingen av en insats för att öka tillgången till sjukvårdspersonal i underförsörjda områden, från inlednings- och utformningsfasen till resultaten, genom att föreslå nyckelfrågor om insatsens relevans, effektivitet, ändamålsenlighet, ändamålsenlighet och hållbarhet, och (ii) att vägleda övervakningen av insatserna genom att fokusera på en rutinmässig insamling av en uppsättning indikatorer som är tillämpliga på det specifika sammanhanget.

Vi använde följande definitioner för utvärdering och övervakning:4

Vi definierar ”utvärdering” som en systematisk och objektiv bedömning av ett pågående eller avslutat projekt, program eller policy, dess utformning, genomförande och resultat. Syftet är att fastställa om målen är relevanta och uppfyllda, om utvecklingen är effektiv, ändamålsenlig, ändamålsenlig, verkningsfull och hållbar.

Vi definierar ”övervakning” som en fortlöpande funktion som använder sig av systematisk insamling av uppgifter om specificerade indikatorer för att förse ledningen och de viktigaste intressenterna för en pågående utvecklingsinsats med indikationer på i vilken utsträckning målen har uppnåtts och i vilken utsträckning de har uppnåtts, samt hur de tilldelade medlen har använts.

Längre fram i detta dokument undersöker vi hur ramverket kan tillämpas på de olika stadierna i utvecklingen av en politik: utformning, genomförande, övervakning och utvärdering (fig. 1). Ordningsföljden i utformnings- och genomförandefaserna innebär inte nödvändigtvis en linjär politisk process, eftersom övervakning och utvärdering kan bidra till att identifiera ett behov av nya insatser. De är i själva verket en del av en pågående politisk cykel.

Figur 1. Den konceptuella ramen för att mäta insatser för att öka tillgången till hälso- och sjukvårdspersonal i underförsörjda områden

IMR, spädbarnsdödlighet; MMR, mödradödlighet.

Utformning

Utvärderingen av utformningsfasen bör identifiera i vilken utsträckning den valda insatsen var relevant och adekvat i förhållande till behovet, befolkningens förväntningar och hälso- och sjukvårdsystemets kontext samt skälen till att ett visst alternativ valdes.18 Med relevans menas i vilken utsträckning målen och insatstyperna är förenliga med mottagarnas krav, landets behov, de globala prioriteringarna och partner- och givarpolitiken.4 Frågan om relevans kan och bör också tas upp i efterhand, och då är frågan om målen för en insats eller dess utformning var och är fortfarande lämpliga med tanke på förändrade omständigheter.4

Frågor som en utvärderare bör ställa sig är: svarade insatsen på ett dokumenterat behov, var den lämplig för den givna kontexten och hur valdes den ut? Är valet av insats baserat på evidens eller åtminstone på robusta argument?

Bedömningen av situationsanalysen bör kontrollera om problemet med begränsad tillgång till hälso- och sjukvårdspersonal har beskrivits tydligt. Beror det på ett otillräckligt antal studenter som är villiga att arbeta i områden där det inte finns tillräckligt med vårdpersonal, eller på en otillräcklig produktion av vårdpersonal, eller fanns det andra orsaker? Utvärderingen måste bedöma om en analys av arbetsmarknaden för hälso- och sjukvårdspersonal har genomförts för att fastställa om den bristande tillgången till hälso- och sjukvårdspersonal i underförsörjda områden berodde på otillräcklig efterfrågan, otillräckligt utbud eller otillräcklig ersättning och otillräckliga incitament och oattraktiva arbetsförhållanden.19

I analysen av situationen bör det också fastställas om man har bedömt de faktorer som finns på plats för att stödja genomförandet av insatsen och om man har gjort en genomförbarhetsanalys före valet av insatsen. Strategier för att öka tillgången till hälso- och sjukvårdspersonal i underförsörjda områden kräver deltagande av intressenter från olika sektorer. Därför bör följande frågor ställas: fanns och användes mekanismer för att engagera flera intressenter, analyserades regelverken före ingripandet, beräknades kostnaderna för ingripandet och ansågs de vara överkomliga (tillgång till medel), analyserades den organisatoriska kapaciteten för att stödja genomförandet? I detta skede är handlingsplanen för mänskliga resurser för hälsa ett erkänt verktyg som kan användas för att vägleda situationsanalysen (fig. 2).21 Den omfattar hälso- och sjukvårdssystemets dimensioner, t.ex. politik, ekonomi, utbildning, partnerskap, ledarskap och system för förvaltning av mänskliga resurser.

Figur 2. Den anpassade handlingsramen för mänskliga resurser för hälsa20

HRMS, system för förvaltning av mänskliga resurser.

I slutet av den här fasen kan en strategi föreslås för att ta itu med det upplevda behovet av bristande tillgång till hälso- och sjukvårdspersonal i områden med sämre tillgång till hälso- och sjukvårdspersonal och av en felaktig fördelning av hälso- och sjukvårdspersonal. En sådan strategi kan finnas inom ett eller flera av följande tematiska områden: utbildning, reglering, ekonomi och/eller förvaltning och stöd, som beskrivs på annat håll.3

Implementering

När implementeringen av en intervention utvärderas kan frågorna omfatta följande: skedde aktiviteterna enligt plan, skedde det några förändringar i implementeringskapaciteten eller i sammanhanget som påverkade implementeringen av interventionskomponenterna? Har det skett några förändringar när det gäller intressenternas delaktighet och engagemang? Vilka och varför? Vidtog man några åtgärder för att anpassa insatsen till förändringarna? Vad gjordes och varför? Eller varför vidtogs inga åtgärder? Övervakning av framstegen i genomförandet kan informeras genom systematisk insamling och analys av en uppsättning nyckelindikatorer, som diskuteras ytterligare i detta dokument.

Resultat

Interventionsresultat kan utvärderas på olika nivåer (fig. 1): output, mellanliggande resultat, resultat och effekt. Frågor som bör ställas är bland annat: uppnådde interventionen de avsedda resultaten på nivån output, utfall eller effekt? Är insatsen hållbar? Vilka kontextuella faktorer (politiska, ekonomiska, sociala eller organisatoriska) har påverkat resultaten?

Nivån ”output” är den direkta effekten som kan tillskrivas insatsen, t.ex. ökad attraktivitet för områdena eller yrket, förbättrad rekrytering och utplacering samt ökad bibehållande av hälso- och sjukvårdspersonal i dessa områden.

Nivån för de mellanliggande ”resultaten” är nivån för förbättrad hälso- och sjukvårdspersonal, vars dimensioner har beskrivits i Världshälsorapport 2006 som ”tillgänglighet, kompetens, lyhördhet och produktivitet”.10 Vissa åtgärder för att locka till sig och behålla personal kan också ha en direkt effekt på dessa dimensioner. Exempelvis kan förändringar i läroplanerna på landsbygden förbättra kompetensen för att ta itu med hälsoproblem på landsbygden och resultatbaserade ekonomiska incitament kan förbättra produktiviteten. Ofta kan dock förbättrade resultat för hälso- och sjukvårdspersonalen inte tillskrivas enbart åtgärder för att behålla personal, eftersom det finns många andra faktorer som bidrar, t.ex. utbildningsstrategier eller reformer av förvaltningen av hälso- och sjukvårdssektorn.

Nivån för ”utfall” är den för ökade resultat för hälso- och sjukvårdssystemen, mätt genom ökad täckning och utnyttjande av tjänsterna samt förbättrad reaktionsförmåga. Förbättrade resultat för hälso- och sjukvårdspersonalen kan bidra till förbättrade resultat för hälso- och sjukvårdssystemen, men en mängd andra faktorer kan också bidra, t.ex. tillgång till läkemedel, infrastruktur och utrustning.22

Slutligen, nivån ”påverkan” förstås som effekten på hälsoresultaten och ett förbättrat hälsostatus och andra oväntade effekter på samhällen med sämre förutsättningar (t.ex. att locka till sig/behålla andra yrkesutövare eller tjänster). Detta kan inte direkt tillskrivas åtgärder för bibehållande av personal, eftersom den enkla tillgången till hälso- och sjukvårdspersonal inte direkt kan förbättra hälsoresultaten i avsaknad av effektiva komponenter som läkemedelsförsörjning, fungerande anläggningar och god klinisk praxis.9 Men en välfungerande hälso- och sjukvårdspersonal är en viktig del av ett starkt hälso- och sjukvårdssystem som tillsammans med andra sociala bestämningsfaktorer kan leda till en förbättrad hälsostatus.22

Utvärderingar av alla åtgärder för att attrahera och behålla personal måste ta hänsyn till de kontextuella faktorer som kan förklara varför och hur sådana åtgärder har uppnått de avsedda resultaten, utfallen och effekterna, dvs. det sociala, ekonomiska och politiska sammanhanget. Detta inbegriper en analys av intressenterna, inklusive deras respektive maktbaser och intressen, samt en analys av hälso- och sjukvårdssektorns kapacitet att genomföra åtgärderna. Utvärderingarna bör använda både kvalitativa och kvantitativa metoder för att mäta resultat och effekter, men också för att analysera formella och informella politiska processer som åtföljer utformningen och genomförandet av insatser. För att ta reda på om en åtgärd för att attrahera och behålla personal fungerar eller inte skulle det helst behövas en randomiserad och kontrollerad studie med en lämplig kontrollgrupp, men detta kanske inte är genomförbart eller etiskt försvarbart i det ”verkliga livet”. Dessutom är orsakskedjorna ofta komplexa i folkhälsoinsatser, vilket gör att resultaten av randomiserade kontrollerade studier kan modifieras i olika populationer.20 Alternativa observationsmetoder, t.ex. före-efter- och plausibilitetsstudier, kan också övervägas, varvid man bör se till att dokumentera och kontrollera de kontextuella faktorerna på lämpligt sätt.20,23 Studier med adekvat och rimlighetsdesign kan förbättra både den interna och externa validiteten hos randomiserade kontrollerade prövningar, och rimlighetsstudier är ofta det enda genomförbara alternativet för att få giltiga bevis på effekt när man försöker utvärdera storskaliga interventioner.23

Övervakning

I det ramverk som avbildas i figur 1 föreslås ett verktyg för att vägleda övervakningen av interventioner som syftar till att öka tillgången till hälso- och sjukvårdspersonal i områden med sämre tillgång till sjukvårdspersonal. I varje skede av genomförandeprocessen föreslås indikatorer för att bedöma om genomförandet är på rätt spår.

Indikatorer för övervakning i utformningsskedet bör vara sådana som gör det möjligt att göra en detaljerad beskrivning av lager och flöden av hälso- och sjukvårdspersonal inom olika sektorer, ålders- och könskategorier, geografiska områden och yrken. Detaljerad beskrivning av dessa indikatorer, liksom datakällor för övervakning av hälso- och sjukvårdspersonal, beskrivs på annat håll.7

När man övervakar genomförandet av insatser krävs systematisk datainsamling om den planerade verksamheten, genom att man ständigt granskar produktionskapaciteten samt organisations- och ledningskapaciteten. För att övervaka genomförandet krävs också att man följer förändringar i sammanhanget och hos intressenterna, så att man kan anpassa insatserna när det behövs.

När det gäller övervakningen av insatsens resultat är det på nivån ”output” viktigt att övervaka om dimensionerna ”attraktionskraft”, ”engagemang/rekrytering”, ”utplacering” och ”bibehållande” har uppnåtts. Indikatorer för att övervaka framstegen i dessa avseenden kan t.ex. vara förändringar i studenters eller hälsovårdares avsikter att flytta, bosätta sig i eller lämna underförsörjda områden (attraktionskraft). De tillgängliga finansierade tjänsterna i underförsörjda områden kan vara en indikator på effektivt engagemang, medan antalet rekryterade hälso- och sjukvårdspersonal och förändringar i antalet lediga tjänster kan vara indikatorer på effektiv utplacering och rekrytering. Slutligen kan effekterna av en insats på bibehållandet av personal mätas med hjälp av varaktighet i tjänsten, omsättning, frånvaro, stabilitetsindex eller till och med överlevnadssiffror.24,25

När det gäller ”resultat” föreslås att man övervakar framstegen när det gäller förbättrade resultat för hälso- och sjukvårdspersonal och hälso- och sjukvårdssystem genom de dimensioner och indikatorer som föreslås i Världshälsorapporten 2006 (tabell 1).10 Som tidigare nämnts bör bedömningen av de långsiktiga effekterna av personalinsatser på hälsoresultaten göras inom ramen för ett bredare sammanhang av faktorer som påverkar hälsostatusen.

• Tabell 1. Dimensioner och indikatorer för att bedöma hälso- och sjukvårdspersonalens resultat11
  html, 2kb

Effektiviteten av åtgärder för att attrahera och behålla personal kan endast mätas på resultatnivå och, i viss utsträckning, på resultatnivå. Dessutom kan det ta många år att genomföra åtgärder för att behålla personal innan några resultat kan ses, till exempel när det gäller att skapa nya skolor på landsbygden eller att införa ekonomiska incitamentssystem. Starka informationssystem för mänskliga resurser, kopplade till nationella informationssystem för hälso- och sjukvård, samt tydligt definierade och överenskomna mått eller indikatorer krävs för att övervaka framstegen med sådana åtgärder när det gäller ökad attraktionskraft, förbättrad rekrytering och vistelsetid, ökad tillgänglighet, förbättrad kompetens, produktivitet och lyhördhet. I tabell 2 görs ett försök att ta fram en uppsättning nyckelfrågor och indikatorer som ska användas vid utvärdering och övervakning av åtgärder för att behålla personal inom hälso- och sjukvården.

• Tabell 2. Föreslagna frågor och indikatorer för utvärdering och övervakning av insatser för att öka tillgången till hälsovårdspersonal i underförsörjda områden
  html, 3kb

Den konceptuella ram som presenteras här måste testas i stor omfattning och kommer att förfinas genom ytterligare bidrag från olika källor. Det finns pågående planer på att tillämpa den i flera länder som håller på att utforma och genomföra strategier för att attrahera och behålla personal i områden med sämre service. Man kommer också att försöka se till att utvärderingsverktyget är användarvänligt. För att underlätta resonemanget presenteras ett hypotetiskt exempel på dess potentiella användning i ruta 1.

Vägen framåt

I detta ramverk föreslås ett gemensamt tillvägagångssätt för att underlätta utvärdering och övervakning av interventioner som syftar till att öka tillgången till hälso- och sjukvårdspersonal i underförsörjda områden. Den föreslår att ett övergripande tillvägagångssätt måste användas för utformning, genomförande, övervakning, utvärdering och översyn av sådana insatser. Ramverket är inte avsett att vara normativt och kan tillämpas flexibelt i varje enskilt land. Förhoppningen är att den ska främja användningen av en gemensam förståelse/logik för hur åtgärder för att locka till sig och behålla personal fungerar, med hjälp av ett systemperspektiv. Den börjar med en gemensam uppsättning indikatorer som gör det möjligt att jämföra olika fall och underlättar granskningar av publicerade studier. Som sådan kan den användas för att övervaka och utvärdera insatser, antingen med hjälp av en metodbaserad eller en teoribaserad utvärderingsmetod med en specifik uppsättning indikatorer.

Finansiering:

Detta arbete finansierades av Världshälsoorganisationen, Hälsosystem och hälsovårdstjänster, avdelningen för mänskliga resurser för hälsa, enheten för migration och bibehållande av arbetskraft inom hälso- och sjukvården, Genève, Schweiz. Ytterligare stöd erhölls från WHO Collaborating Centre on Human Resources for Health vid Royal Tropical Institute (KIT), Nederländerna.

Kompletterande intressen:

Inga deklarerade.

• Grobler L, Marais BJ, Mabunda SA, Marindi PN, Reuter H, Volmink J. Interventioner för att öka andelen hälso- och sjukvårdspersonal som praktiserar på landsbygden och i andra underförsörjda områden. Cochrane Database Syst Rev 2009; 1: CD005314- pmid: 19160251.
• Wilson NW, Couper ID, De Vries E, Reid S, Fish T, Marais BJ. En kritisk granskning av åtgärder för att rätta till den orättvisa fördelningen av hälso- och sjukvårdspersonal på landsbygden och i avlägsna områden. Rural Remote Health 2009; 9: 1060- pmid: 19530891.
• Dolea C, Stormont L, Braichet J-M. Utvärderade strategier för att öka attraktion och bibehållande av hälso- och sjukvårdspersonal i avlägsna områden och på landsbygden. Bull World Health Organ 2010; 88: 379-385.
• Kommittén för utvecklingsbistånd. Ordlista över nyckeltermer inom utvärdering och resultatbaserad förvaltning. Paris: Organisation för ekonomiskt samarbete och utveckling; 2002. Tillgänglig från: http://www.oecd.org/dataoecd/29/21/2754804.pdf .
• Leeuw F, Vaessen J. Impact evaluations and development: NONIE-vägledning om konsekvensbedömning. Washington, DC: The Network of Networks on Impact Evaluation; 2009. Tillgänglig från: http://siteresources.worldbank.org/EXTOED/Resources/nonie_guidance.pdf .
• White H. Theory-based impact evaluation: principles and practice. New Delhi: International Initiative for Impact Evaluation (3ie); 2009.
• Dal Poz M, Gupta N, Quain E, Soucat ALB. Handbok om övervakning och utvärdering av mänskliga resurser för hälsa – med särskilda tillämpningar för låg- och medelinkomstländer. Genève: Världshälsoorganisationen; 2009.
• Mills A, Gilson L, Hanson K, Palmer N, Lagarde M. What do we mean by rigorous health-systems research? Lancet 2008; 372: 1527-9 doi: 10.1016/S0140-6736(08)61633-5 pmid: 18984174.
• Anand S, Bärnighausen T. Human resources and health outcomes: cross-country econometric study. Lancet 2004; 364: 1603-9 doi: 10.1016/S0140-6736(04)17313-3 pmid: 15519630.
• Världshälsorapport 2006: Att arbeta tillsammans för hälsa. Genève: Världshälsoorganisationen; 2006.
• Peters DH, El-Saharty S, Siadat B, Janovsky K, Vujicic M, red. Improving health service delivery in developing countries: from evidence to action. Washington, DC: The World Bank; 2009.
• Terms of reference for an independent evaluation of the impact of Malawi’s Emergency Human Resources Programme. Lilongwe: Department for International Development (UK); 2009.
• Dieleman M, Gerretsen B, van der Wilt GJ. Interventioner inom personalförvaltning för att förbättra hälso- och sjukvårdspersonalens prestationer i låg- och medelinkomstländer: en realistisk genomgång. Health Res Policy Syst 2009; 7: 7- doi: 10.1186/1478-4505-7-7-7 pmid: 19374734.
• Dieleman MA, Kane S, Zwanikken P, Gerretsen B. Identifying patterns in retention intervention studies: revisiting the evidence from a realist perspective. Genève: Världshälsoorganisationen; 2009.
• Fogarty L, de Vries D, Reavely E, Bunch E. Indicators for evaluating human resources for health capacity-building. I: Evaluation 2009: context and evaluation, American Evaluation Association, Orlando, 11-14 november 2009.
• Bristow G, Farrington J, Shaw J, Richardson T. Developing an evaluation framework for crosscutting policy goals: the Accessibility Policy Assessment Tool. Environ Plan A 2009; 41: 48-62 doi: 10.1068/a4092.
• Monitoring and Evaluation Working Group of the International Health Partnership and related initiatives (IHP+). Övervakning av resultat och utvärdering av framsteg vid uppskalning för bättre hälsa: ett förslag till gemensam ram. Genève: Världshälsoorganisationen; 2009. Tillgänglig från: http://www.internationalhealthpartnership.net//CMS_files/documents/a_proposed_common_framework_EN.pdf .
• Codjia L, Jabot F, Dubois H. Evaluation du programme d’appui à la médicalisation des aires de santé rurales au Mali. Genève: Världshälsoorganisationen; 2008. På franska.
• Lemiere C, Herbst C, Jahanshani N, Smith A, Soucat A. Reducing geographical imbalances of health worker distribution: what works, what does not and why? Ett arbetsmarknadsperspektiv på hälsoskillnader mellan städer och landsbygd, politiska lösningar och erfarenheter i Afrika söder om Sahara. Washington, DC: Världsbanken; 2009.
• Habicht J-P, Victora CG, Vaughan JP. Utvärderingsdesign för tillräcklighet, rimlighet och sannolikhet när det gäller folkhälsoprogrammens resultat och effekter. Int J Epidemiol 1999; 28: 10-8 doi: 10.1093/ije/28.1.10 pmid: 10195658.
• Human Resources for Health (HRH) Action Framework . Tillgänglig från: http://www.capacityproject.org/framework/ .
• Everybody’s business: strengthening health systems to improve health outcomes. Genève: Världshälsoorganisationen; 2007. Tillgänglig från: http://www.who.int/healthsystems/strategy/everybodys_business.pdf .
• Victora CG, Habicht JP, Bryce J. Evidence-based public health: moving beyond randomized trials. Am J Public Health 2004; 94: 400-5 doi: 10.2105/AJPH.94.3.400 pmid: 14998803.
• Buchan J. The benefits of AHP workforce stability. Edinburgh: Scottish Executive Health Department; 2005.
• Rabinowitz HK, Diamond JJ, Markham FW, Rabinowitz C. Long-term retention of graduates from a program to increase the supply of rural family physicians. Acad Med 2005; 80: 728-32 doi: 10.1097/00001888-200508000-00004 pmid: 16043525.