Luis Huicho a, Marjolein Dieleman b, James Campbell c, Laurence Codjia d, Dina Balabanova e, Gilles Dussault f & Carmen Dolea g

a. Afdeling Kindergeneeskunde, Universidad Peruana Cayetano Heredia, Lima, Peru.
b. KIT Ontwikkeling, Beleid en Praktijk, Koninklijk Instituut voor de Tropen, Amsterdam, Nederland.
c. Instituto de Cooperación Social, Integrare, Barcelona, Spanje.
d. Global Health Workforce Alliance, Genève, Zwitserland.
e. London School of Hygiene and Tropical Medicine, Londen, Engeland.
f. Intituto de Higiene e Medecina Tropical, Universidade Nova de Lisboa, Lisboa, Portugal.
g. Department of Human Resources for Health, World Health Organization, 20 avenue Appia, 1211 Geneva 27, Switzerland.

Correspondentie aan Carmen Dolea (e-mail: ).

(Ingediend: 05 oktober 2009 – Herziene versie ontvangen: 19 november 2009 – Geaccepteerd: 05 januari 2010.)

Bulletin van de Wereldgezondheidsorganisatie 2010;88:357-363. doi: 10.2471/BLT.09.070920

Inleiding

De bereidheid van gezondheidswerkers om te werken in onderbediende gebieden, zoals landelijke, afgelegen of arme gebieden, is een erkende uitdaging bij het bereiken van billijke toegang tot gezondheidsdiensten. Veel landen hebben strategieën ontwikkeld om gekwalificeerde gezondheidswerkers in deze gebieden aan te trekken en te behouden. Maar het bewijs voor het succes of falen van dergelijke interventies is schaars en zwak, en het is moeilijk om lessen te vergelijken en resultaten te meten van de weinige evaluaties die beschikbaar zijn.13

Er is aanzienlijke vooruitgang geboekt bij het tot stand brengen van een gemeenschappelijk inzicht in en debat over manieren om het effect van ontwikkelingsmaatregelen te evalueren, en over het gebruik van consistente monitoring- en evaluatieterminologie, zoals “outputs”, “uitkomsten” en “impact”.4-6 Dit is echter nog niet toegepast op de evaluatie van maatregelen op het gebied van gezondheidswerkers, en met name op maatregelen om de toegang tot gezondheidswerkers in achterstandsgebieden te verbeteren. Er is dringend behoefte aan overeenstemming en versterking van het bewijsmateriaal dat de basis kan vormen voor gedegen beleidsaanbevelingen op dit gebied.

Teneinde deze leemte aan te vullen, wordt in dit document een conceptueel kader voorgesteld om managers, beleidsmakers en beoordelaars te begeleiden bij de beoordeling van maatregelen om de toegang tot gezondheidswerkers in achtergestelde gebieden te vergroten. Het kader is bedoeld om alle stadia van beleidsontwikkeling te ondersteunen. Het stelt een logische volgorde voor die kan worden gevolgd bij het nemen van een beslissing over een interventie die gericht is op het aantrekken en vasthouden van gezondheidswerkers en helpt bij het formuleren van de belangrijkste vragen die moeten worden beantwoord bij het ontwerpen, controleren en evalueren van dergelijke interventies. Het bevat voorbeelden van indicatoren voor het proces, die aan een specifieke context kunnen worden aangepast. Een uitvoerige beschouwing van indicatoren voor het volgen van het medisch personeel in het algemeen wordt elders gegeven.7

Uitdagingen bij evaluatie

Beleidsmakers en besluitvormers moeten weten of interventies al dan niet werken, waarom ze werken en in welke context. Daarom is het belangrijk informatie te hebben over de effecten van de interventies, maar ook over de factoren die de interventie doen slagen of mislukken (de vragen die gaan over “wanneer, waarom, hoe, en in welke omstandigheden dergelijke interventies goed werken of niet werken”).8

Het evalueren van interventies ter verbetering van de menselijke hulpbronnen voor de gezondheid is om verschillende redenen ingewikkeld. Ten eerste is het zeer moeilijk om deze interventies te relateren aan de gezondheidstoestand, vanwege de brede sociaal-economische, culturele, politieke en gezondheidsstelselfactoren die van invloed zijn op de gezondheid. Hoewel bijvoorbeeld verbeterde gezondheidsresultaten, zoals een daling van de moedersterfte, rechtstreeks gecorreleerd zijn met een grotere beschikbaarheid van gezondheidswerkers, is het moeilijk om de verbetering rechtstreeks toe te schrijven aan een bepaalde interventie van gezondheidswerkers.9,10 Uit illustratieve casestudies per land blijkt dat Afghanistan en Ethiopië alomvattende strategieën voor de gezondheidssector hebben uitgevoerd met meerdere, naast elkaar bestaande interventies, zoals de aanwerving van gezondheidswerkers in de gemeenschap, die de toegang tot levensreddende diensten kunnen hebben bevorderd en zo de gezondheidstoestand kunnen hebben verbeterd.11

Een ander probleem is dat bij veel evaluaties een basislijn ontbreekt waaraan de resultaten kunnen worden getoetst, met name in landen met een groot tekort aan gezondheidswerkers3,10,12 , evenals een specifieke interventielogica die de verwachtingen van de ontwerpers van de interventie verduidelijkt (S Kane, B Gerretsen, R Scherpbier, M Dal Poz, MA Dieleman, ongepubliceerde gegevens, 2009).13 Bovendien wordt de sociale, politieke en economische context waarin interventies worden ontworpen en uitgevoerd, zelden in aanmerking genomen bij de monitoring en evaluatie van personeelsinterventies.14,15

De belangrijkste uitdagingen waarmee evaluatoren worden geconfronteerd, houden dus verband met de multidimensionele aard van interventies en de moeilijkheid om de invloed van contextuele factoren te beoordelen. Om dergelijke interventies in complexe systemen te kunnen beoordelen, is er behoefte aan een multimethodische en multidisciplinaire monitoring- en evaluatieaanpak, waarbij alle relevante belanghebbenden worden betrokken.16 Een andere uitdaging is het genereren van lessen over regio’s en landen heen om de mondiale gezondheidsagenda van informatie te voorzien en een zinvolle dialoog op zowel nationaal als internationaal niveau te bevorderen. Er is duidelijk behoefte aan een kader dat een model biedt voor het volgen en evalueren van interventies om gezondheidswerkers in gebieden met weinig zorg te houden, rekening houdend met dergelijke uitdagingen.

Conceptueel kader

Het voorgestelde kader is gebaseerd op een systeembenadering en maakt onderscheid tussen “input”, “output”, “uitkomsten” en “impact”, met betrekking tot de resultaten van interventies om gezondheidswerkers in gebieden met weinig zorg aan te trekken en vast te houden. Het bouwt voort op het voorgestelde gemeenschappelijke kader voor de monitoring van de prestaties en de evaluatie van de vooruitgang bij de schaalvergroting voor een betere gezondheid17 en stelt indicatoren voor om de vooruitgang bij de uitvoering van verschillende strategieën te meten, zodat de gebruikers kunnen bepalen wat werkt of niet, en de contextuele factoren kunnen onderzoeken die van invloed zijn op het succes of het falen ervan. Het kader heeft twee doelen: (i) richting geven aan het denken bij het evalueren van een interventie om de toegang tot gezondheidswerkers in onderbediende gebieden te vergroten, vanaf de ontwerp-/ontwerpfase tot en met de resultaten, door kernvragen te suggereren over de relevantie, doeltreffendheid, doelmatigheid en duurzaamheid van de interventie; en (ii) richting geven aan het monitoren van interventies, door de nadruk te leggen op een routinematige verzameling van een reeks indicatoren, toepasbaar op de specifieke context.

Wij hebben de volgende definities voor evaluatie en toezicht gebruikt:4

Wij definiëren “evaluatie” als de systematische en objectieve beoordeling van een lopend of voltooid project, programma of beleid, de opzet, uitvoering en resultaten ervan. Het doel is de relevantie en de verwezenlijking van de doelstellingen, de ontwikkelingsefficiëntie, de doeltreffendheid, de impact en de duurzaamheid vast te stellen.

Wij definiëren “monitoring” als een permanente functie die gebruik maakt van het systematisch verzamelen van gegevens over gespecificeerde indicatoren om het management en de voornaamste belanghebbenden van een lopende ontwikkelingsinterventie aanwijzingen te geven over de mate van voortgang en verwezenlijking van de doelstellingen en de voortgang bij het gebruik van de toegewezen middelen.

Verderop in dit document onderzoeken wij de toepassing van het kader op de fasen van beleidsontwikkeling: ontwerp, uitvoering, monitoring en evaluatie (Fig. 1). De volgorde in de ontwerp- en uitvoeringsfasen impliceert niet noodzakelijkerwijs een lineair beleidsproces, aangezien monitoring en evaluatie kunnen helpen bij het vaststellen van de behoefte aan nieuwe maatregelen. Zij maken in feite deel uit van een doorlopende beleidscyclus.

Fig. 1. Het conceptuele kader voor het meten van inspanningen om de toegang tot gezondheidswerkers in onderbediende gebieden te verbeteren
Fig. 1. Het conceptuele kader voor het meten van inspanningen om de toegang tot gezondheidswerkers in achtergestelde gebieden te vergroten

IMR, infant mortality rate; MMR, maternal mortality rate.

Design

De evaluatie van de ontwerpfase moet vaststellen in hoeverre de gekozen interventie relevant was en voldeed aan de behoefte, de verwachtingen van de bevolking en de context van het gezondheidssysteem, en de redenen om voor een bepaalde optie te kiezen.18 Met relevantie bedoelen we de mate waarin de doelstellingen en de elementen van de interventie overeenstemmen met de behoeften van de begunstigden, de behoeften van het land, de mondiale prioriteiten en het beleid van de partners en donoren.4 De kwestie van de relevantie kan en moet ook retrospectief worden aangepakt; de vraag is dan of de doelstellingen van een interventie of het ontwerp ervan nog steeds geschikt waren en zijn gezien de gewijzigde omstandigheden.4

Vragen die een beoordelaar moet stellen zijn: beantwoordde de interventie aan een gedocumenteerde behoefte, was zij geschikt voor de gegeven context en hoe werd de interventie gekozen? Is de keuze van de interventie gebaseerd op bewijsmateriaal of op zijn minst op steekhoudende argumenten? Bij de beoordeling van de situatieanalyse moet worden nagegaan of het probleem van de beperkte toegang tot gezondheidswerkers duidelijk is beschreven. Is het te wijten aan een ontoereikend aantal studenten dat bereid is om in onderbediende gebieden te werken, of aan een ontoereikende productie van gezondheidswerkers, of waren er andere redenen? Bij de evaluatie moet worden nagegaan of er een arbeidsmarktanalyse in de gezondheidszorg is uitgevoerd, om vast te stellen of het gebrek aan toegang tot gezondheidswerkers in onderbediende gebieden te wijten was aan onvoldoende vraag, onvoldoende aanbod, of onvoldoende beloning en stimulansen, en onaantrekkelijke arbeidsomstandigheden.19

Bij de situatieanalyse moet ook worden nagegaan of de elementen ter ondersteuning van de uitvoering van de interventie zijn beoordeeld en of er een haalbaarheidsanalyse aan de keuze van de interventie is voorafgegaan. Strategieën om de toegang tot gezondheidswerkers in achterstandsgebieden te verbeteren, vereisen deelname van belanghebbenden uit verschillende sectoren. Daarom moeten de volgende vragen worden gesteld: zijn er mechanismen voor betrokkenheid van meerdere belanghebbenden ingevoerd en gebruikt, zijn de regelgevingskaders vóór de interventie geanalyseerd, zijn de interventiekosten berekend en betaalbaar geacht (beschikbaarheid van middelen), is de organisatorische capaciteit om de uitvoering te ondersteunen geanalyseerd? In dit stadium is het Human Resources for Health Action Framework een erkend instrument dat kan worden gebruikt als leidraad voor de situatieanalyse (fig. 2).21 Het omvat dimensies van het gezondheidssysteem, zoals beleid, financiën, onderwijs, partnerschap, leiderschap en systemen voor personeelsbeheer.

Fig. 2. Het aangepaste actiekader voor human resources voor gezondheid20
Fig. 2. The adapted Human Resources for Health Action Frameworksup20/sup

HRMS, human resources management systems.

Aan het eind van deze fase kan een strategie worden voorgesteld om de geconstateerde behoefte aan onvoldoende toegang tot gezondheidswerkers in onderbediende gebieden en aan een slechte spreiding van gezondheidswerkers aan te pakken. Een dergelijke strategie kan betrekking hebben op een of meer van de volgende themagebieden: onderwijs, regelgeving, financiën en/of management en ondersteuning, die elders zijn beschreven.3

Uitvoering

Wanneer de uitvoering van een interventie wordt geëvalueerd, kunnen de volgende vragen aan de orde komen: zijn de activiteiten volgens plan verlopen, zijn er veranderingen opgetreden in de uitvoeringscapaciteit of in de context die van invloed zijn geweest op de uitvoering van de interventieonderdelen? Zijn er veranderingen opgetreden met betrekking tot de betrokkenheid en inzet van belanghebbenden? Welke en waarom? Is er actie ondernomen om de interventie aan de veranderingen aan te passen? Wat is er gedaan en waarom? Of waarom is er geen actie ondernomen? Het toezicht op de voortgang van de implementatie kan worden gebaseerd op de systematische verzameling en analyse van een reeks sleutelindicatoren, die in dit document verder worden besproken.

Resultaten

De resultaten van een interventie kunnen op verschillende niveaus worden geëvalueerd (Fig. 1): outputs, tussentijdse uitkomsten, resultaten en impact. Vragen die gesteld moeten worden zijn onder andere: heeft de interventie de beoogde resultaten bereikt op het niveau van outputs, uitkomsten of impact? Is de interventie duurzaam? Wat waren de contextuele factoren (politiek, economisch, sociaal of organisatorisch) die van invloed zijn geweest op de resultaten?

Het niveau van de “outputs” is het directe effect, toe te schrijven aan de interventie, zoals een toegenomen aantrekkelijkheid van de gebieden en/of het beroep, een verbeterde werving en inzet, en een toegenomen retentie van gezondheidswerkers in die gebieden.

Het niveau van de intermediaire “uitkomsten” is dat van de verbeterde prestaties van gezondheidswerkers, waarvan de dimensies in het Wereldgezondheidsverslag 2006 zijn beschreven als “beschikbaarheid, bekwaamheid, reactievermogen en productiviteit”.10 Sommige maatregelen voor het aantrekken en vasthouden van gezondheidswerkers kunnen ook een direct effect op deze dimensies hebben. Zo kunnen veranderingen in de leerplannen voor het platteland de competenties verbeteren om de gezondheidsproblemen op het platteland aan te pakken en kunnen prestatiegerichte financiële stimulansen de productiviteit verbeteren. Vaak kunnen betere prestaties van gezondheidswerkers echter niet alleen worden toegeschreven aan retentiemaatregelen, aangezien er veel andere factoren zijn die bijdragen, zoals onderwijsstrategieën of hervormingen van het beheer van de gezondheidssector.

Het niveau van de “resultaten” is dat van betere prestaties van de gezondheidsstelsels, gemeten aan de hand van een grotere dekking en gebruik van diensten, en een betere respons. Verbeterde prestaties van gezondheidswerkers kunnen bijdragen tot betere prestaties van gezondheidsstelsels, maar een groot aantal andere factoren kan eveneens een bijdrage leveren, zoals de beschikbaarheid van geneesmiddelen, infrastructuur en apparatuur.22

Tot slot wordt het niveau “effect” opgevat als het effect op gezondheidsresultaten en een verbeterde gezondheidstoestand, en andere onverwachte effecten op onderbediende gemeenschappen (bv. aantrekken/behouden van andere gezondheidswerkers of diensten). Dit kan niet rechtstreeks worden toegeschreven aan retentie-interventies, aangezien de loutere beschikbaarheid van gezondheidswerkers de gezondheidsresultaten niet rechtstreeks kan verbeteren bij afwezigheid van doeltreffende componenten zoals geneesmiddelenvoorziening, functionerende faciliteiten en goede klinische praktijken.9 Maar een goed presterend zorgpersoneel is een belangrijk onderdeel van een sterk gezondheidssysteem dat, samen met andere sociale determinanten, kan leiden tot een betere gezondheidstoestand.22

Bij evaluaties van een interventie voor het aantrekken en vasthouden van personeel moet rekening worden gehouden met de contextuele factoren die kunnen verklaren waarom en hoe dergelijke interventies de beoogde output, uitkomsten en impact hebben bereikt, d.w.z. de sociale, economische en politieke context. Dit omvat een analyse van de belanghebbenden, met inbegrip van hun respectieve machtsbases en belangen, alsook een analyse van de implementatiecapaciteit van de gezondheidssector. Bij de evaluaties moeten zowel kwalitatieve als kwantitatieve methoden worden gebruikt om de resultaten en effecten te meten, maar ook om formele en informele beleidsprocessen te analyseren die de opzet en uitvoering van interventies begeleiden. Idealiter zou een gerandomiseerde clustergewijze gecontroleerde trial met een adequate controlegroep nodig zijn om na te gaan of een interventie voor het aantrekken en vasthouden van gezondheidswerkers al dan niet werkt, maar dit is in het “echte leven” van een beleidsscenario wellicht niet haalbaar of ethisch verantwoord. Bovendien zijn causale ketens bij volksgezondheidsinterventies vaak complex, waardoor resultaten van gerandomiseerde gecontroleerde onderzoeken onderhevig zijn aan effectmodificatie in verschillende populaties.20 Alternatieve observationele methoden zoals before-after en plausibiliteitsontwerpen kunnen ook worden overwogen, waarbij erop moet worden gelet dat de contextuele factoren op de juiste wijze worden gedocumenteerd en gecontroleerd.20,23 Studies met adequaatheids- en plausibiliteitsontwerpen kunnen zowel de interne als externe validiteit van gerandomiseerde gecontroleerde studies verbeteren, en plausibiliteitsstudies zijn vaak de enige haalbare optie om valide bewijs van impact te verkrijgen bij de evaluatie van grootschalige interventies.23

Monitoring

Het in Fig. 1 afgebeelde kader stelt een instrument voor om de monitoring te begeleiden van interventies om de toegang tot gezondheidswerkers in onderbediende gebieden te verbeteren. In elke fase van het implementatieproces worden indicatoren voorgesteld om te beoordelen of de implementatie op schema ligt.

De indicatoren voor monitoring in de ontwerpfase zouden die moeten zijn welke een gedetailleerde beschrijving mogelijk maken van de voorraden en stromen van gezondheidswerkers over sectoren, leeftijds- en geslachtscategorieën, geografische gebieden en beroepen. Een gedetailleerde beschrijving van deze indicatoren, alsmede van de gegevensbronnen voor de monitoring van het gezondheidspersoneel, worden elders beschreven.7

Bij de monitoring van de uitvoering van de maatregelen moeten systematisch gegevens worden verzameld over de geplande activiteiten, door de productiecapaciteit, alsmede de organisatie- en beheerscapaciteit voortdurend te evalueren. Bij het toezicht op de uitvoering moeten ook veranderingen in de context en bij de belanghebbenden worden gevolgd, zodat de maatregelen zo nodig kunnen worden aangepast.

Wat het toezicht op de resultaten van de maatregelen betreft, is het op het niveau van de “outputs” van belang na te gaan of de dimensies “aantrekkelijkheid”, “inzet/aanwerving”, “inzet” en “behoud” zijn bereikt. Indicatoren om de vooruitgang op deze gebieden te volgen kunnen bijvoorbeeld veranderingen zijn in de intentie van studenten of gezondheidswerkers om te verhuizen naar of te wonen in onderbediende gebieden of deze te verlaten (aantrekkelijkheid). De beschikbare gefinancierde posten in onderbediende gebieden kunnen een indicator zijn van een doeltreffende inzet, terwijl het aantal aangeworven gezondheidswerkers en veranderingen in het aantal vacatures indicatoren kunnen zijn van een doeltreffende inzet en aanwerving. Ten slotte kunnen de effecten van een interventie op de retentie worden gemeten aan de hand van de duur van de aanstelling, het verloop, het absenteïsme, de stabiliteitsindex of zelfs de overlevingspercentages.24,25

Op het niveau van de “uitkomsten” wordt voorgesteld de vooruitgang op het gebied van betere prestaties van gezondheidswerkers en gezondheidsstelsels te volgen aan de hand van dimensies en indicatoren die zijn voorgesteld in het Wereldgezondheidsrapport 2006 (tabel 1).10 Zoals gezegd moet de beoordeling van het langetermijneffect van personeelsinterventies op gezondheidsuitkomsten plaatsvinden binnen de bredere context van factoren die van invloed zijn op de gezondheidstoestand.

  • Tabel 1. Dimensies en indicatoren om de prestaties van gezondheidswerkers te beoordelen11
    html, 2kb

De doeltreffendheid van maatregelen voor het aantrekken en vasthouden van personeel kan alleen worden gemeten op het niveau van de output en, tot op zekere hoogte, op het niveau van de uitkomsten. Bovendien kan de uitvoering van maatregelen om personeel te behouden vele jaren duren voordat resultaten zichtbaar worden, bijvoorbeeld bij de oprichting van nieuwe scholen in plattelandsgebieden of bij de invoering van financiële stimuleringsregelingen. Er zijn sterke personeelsinformatiesystemen nodig, gekoppeld aan nationale gezondheidsinformatiesystemen, alsmede duidelijk omschreven en overeengekomen maatstaven of indicatoren om de vorderingen van dergelijke maatregelen te volgen in termen van grotere aantrekkingskracht, verbeterde aanwerving en verblijfsduur, grotere beschikbaarheid, verbeterde bekwaamheid, productiviteit en reactievermogen. In tabel 2 wordt een poging gedaan om een reeks kernvragen en -indicatoren op te stellen die kunnen worden gebruikt bij de evaluatie van en het toezicht op retentiemaatregelen voor personeel in de gezondheidszorg.

  • Tabel 2. Voorgestelde vragen en indicatoren voor de evaluatie van en het toezicht op maatregelen om de toegang tot gezondheidswerkers in achterstandsgebieden te verbeteren
    html, 3kb

Het hier gepresenteerde conceptuele kader moet uitgebreid worden getest en zal worden verfijnd aan de hand van verdere input uit verschillende bronnen. Er zijn plannen om het toe te passen in verschillende landen die bezig zijn met het ontwerpen en uitvoeren van strategieën om mensen aan te trekken en vast te houden in achterstandsgebieden. Er zullen ook inspanningen worden geleverd om ervoor te zorgen dat het evaluatie-instrument gebruikersvriendelijk is. Ter illustratie wordt in kader 1 een hypothetisch voorbeeld gegeven van het mogelijke gebruik ervan.

Kader 1. Een hypothetisch gebruik van het conceptuele kader

Het kader kan worden toegepast op een hypothetisch scenario van land X. Bij de evaluatie zal worden onderzocht: (i) Beantwoordt de interventie aan het vastgestelde probleem en heeft de interventie de beoogde resultaten opgeleverd? (ii) Welke verbeteringen in de interventie en de beleidsopzet zijn nodig, of zijn alternatieve strategieën vereist? (iii) Welke indicatoren moeten worden gebruikt om de resultaten te meten?
Stap 1: situatieanalyseBij wijze van voorbeeld: in land X is uit een situatieanalyse gebleken dat er een tekort is aan gezondheidswerkers in plattelandsgebieden. Uit een onderzoek naar de intentie van jonge afgestudeerden om hun beroep uit te oefenen, bleek dat gezondheidswerkers niet bereid zijn om naar die gebieden te gaan vanwege een gebrek aan mogelijkheden voor professionele ontwikkeling en lage salarissen. De voornaamste knelpunten lijken dus te liggen in het aanvankelijk aantrekken van personeel naar plattelandsgebieden.
Stap 2: keuze van de steunmaatregelenDe ten uitvoer gelegde steunmaatregel was gericht op het “creëren van meer scholen in plattelandsgebieden” (onderwijscategorie) en op het invoeren van een “plattelandstoelagenregeling” (financiële categorie) voor bepaalde categorieën gezondheidswerkers, alsmede op het verbeteren van de ondersteuning en het toezicht (management). Het beoogde resultaat van deze interventie op meerdere niveaus was het aantrekkelijker maken van het platteland voor gezondheidswerkers en het verbeteren van de toegang tot beroepsopleidingen voor studenten met een plattelandsachtergrond, alsmede een langere verblijfsduur van de categorieën gezondheidswerkers die onder de regeling vielen.
Stap 3: het meten van de resultaten met behulp van een selectie van voor het land geschikte indicatorenDe indicatoren die werden gekozen om de vooruitgang te volgen en de directe effecten (“outputs”) van de interventie te meten, zouden zijn: “de intentie om na het afstuderen naar plattelandsgebieden te gaan”, “het aantal kandidaten met een plattelandsachtergrond voor de nieuw ontwikkelde scholen in vergelijking met stedelijke”, “het aantal afgestudeerden dat ervoor kiest op het platteland te gaan werken”, “de duur van het verblijf in functie van de gezondheidswerkers die onder het programma vallen”. De indicatoren voor het meten van de indirecte effecten (“uitkomsten”) van de maatregel zouden zijn: “veranderingen in de personeelsratio binnen drie jaar”, “toename van het aantal polikliniekbezoeken” voor en na, “veranderingen in de tevredenheid van het personeel”, “tevredenheid van de gebruikers”, perceptie van de vertegenwoordigers van de gemeenschap over de mate waarin de dienst aan de behoeften beantwoordt. De outputs en uitkomsten kunnen statistisch worden gerelateerd aan het gebruik van opleidingsprogramma’s, aan het percentage personeelsleden dat financiële stimulansen krijgt en door een ervaren manager wordt ondersteund, om een correlatie vast te stellen en plausibele verklaringen te formuleren voor het effect van de verschillende soorten stimulansen op de wijze waarop de interventie heeft gefunctioneerd. Uiteindelijk kan het uiteindelijke effect van de interventie worden geschat aan de hand van verbeterde “gezondheidsresultaten”, waarbij niet uit het oog mag worden verloren dat deze veranderingen niet volledig aan de interventie zelf kunnen worden toegeschreven.
Stap 4: monitoringAnalyse van longitudinale gegevens van indicatoren om na te gaan hoe de situatie is veranderd, waarbij met name wordt getracht onbedoelde gevolgen van de tenuitvoerlegging van de interventie op te sporen. Het aantrekken van personeel in plattelandsgebieden kan er bijvoorbeeld toe hebben geleid dat zij werden aangeworven door niet-gouvernementele organisaties en particuliere voorzieningen in plaats van in de overheidssector te werken.

De weg vooruit

In dit kader wordt een gemeenschappelijke aanpak voorgesteld om de evaluatie van en het toezicht op interventies ter verbetering van de toegang tot gezondheidswerkers in onderbediende gebieden te vergemakkelijken. Het stelt voor een alomvattende aanpak te gebruiken voor het ontwerpen, uitvoeren, volgen, evalueren en herzien van dergelijke maatregelen. Het kader is niet prescriptief bedoeld en kan flexibel worden toegepast op de context van elk land. Gehoopt wordt dat het het gebruik zal bevorderen van een gemeenschappelijke opvatting/logica over hoe steunmaatregelen voor het aantrekken en vasthouden van mensen werken, met gebruikmaking van een systeemperspectief. Er wordt uitgegaan van een gemeenschappelijke reeks indicatoren, die vergelijking tussen verschillende gevallen mogelijk maken, en reviews van gepubliceerde studies vergemakkelijken. Als zodanig kan het worden gebruikt voor het monitoren en evalueren van interventies, hetzij met behulp van een op methoden gebaseerde of een op theorie gebaseerde evaluatiebenadering met een specifieke set indicatoren.

Financiering:

Dit werk werd gefinancierd door de Wereldgezondheidsorganisatie, Health Systems and Services, Department of Human Resources for Health, Health Workforce Migration and Retention Unit, Genève, Zwitserland. Aanvullende steun werd ontvangen van het WHO Collaborating Centre on Human Resources for Health van het Koninklijk Instituut voor de Tropen (KIT), Nederland.

Belangenverstrengeling:

Geen verklaard.

  • Grobler L, Marais BJ, Mabunda SA, Marindi PN, Reuter H, Volmink J. Interventies voor het verhogen van het aandeel van gezondheidswerkers die werkzaam zijn in rurale en andere onderbediende gebieden. Cochrane Database Syst Rev 2009; 1: CD005314- pmid: 19160251.
  • Wilson NW, Couper ID, De Vries E, Reid S, Fish T, Marais BJ. A critical review of interventions to redress the inequitable distribution of healthcare professionals to rural and remote areas. Rural Remote Health 2009; 9: 1060- pmid: 19530891.
  • Dolea C, Stormont L, Braichet J-M. Evaluated strategies to increase attraction and retention of health workers in remote and rural areas. Bull World Health Organ 2010; 88: 379-385.
  • Commissie voor ontwikkelingsbijstand. Glossary of key terms in evaluation and results-based management. Parijs: Organisatie voor Economische Samenwerking en Ontwikkeling; 2002. Available from: http://www.oecd.org/dataoecd/29/21/2754804.pdf .
  • Leeuw F, Vaessen J. Impact evaluations and development: NONIE-richtsnoeren voor effectevaluatie. Washington, DC: Het netwerk van netwerken voor effectevaluatie; 2009. Available from: http://siteresources.worldbank.org/EXTOED/Resources/nonie_guidance.pdf .
  • White H. Theory-based impact evaluation: principles and practice. New Delhi: International Initiative for Impact Evaluation (3ie); 2009.
  • Dal Poz M, Gupta N, Quain E, Soucat ALB. Handbook on monitoring and evaluation of human resources for health – with special applications for low- and middle-income countries. Genève: Wereldgezondheidsorganisatie; 2009.
  • Mills A, Gilson L, Hanson K, Palmer N, Lagarde M. What do we mean by rigorous health-systems research? Lancet 2008; 372: 1527-9 doi: 10.1016/S0140-6736(08)61633-5 pmid: 18984174.
  • Anand S, Bärnighausen T. Human resources and health outcomes: cross-country econometric study. Lancet 2004; 364: 1603-9 doi: 10.1016/S0140-6736(04)17313-3 pmid: 15519630.
  • Het wereldgezondheidsrapport 2006: samen werken aan gezondheid. Genève: World Health Organization; 2006.
  • Peters DH, El-Saharty S, Siadat B, Janovsky K, Vujicic M, editors. Improving health service delivery in developing countries: from evidence to action. Washington, DC: The World Bank; 2009.
  • Terms of reference for an independent evaluation of the impact of Malawi’s Emergency Human Resources Programme. Lilongwe: Department for International Development (UK); 2009.
  • Dieleman M, Gerretsen B, van der Wilt GJ. Human resource management interventions to improve health workers’ performance in low and middle income countries: a realist review. Health Res Policy Syst 2009; 7: 7- doi: 10.1186/1478-4505-7-7 pmid: 19374734.
  • Dieleman MA, Kane S, Zwanikken P, Gerretsen B. Identifying patterns in retention intervention studies: revising the evidence from a realist perspective. Genève: World Health Organization; 2009.
  • Fogarty L, de Vries D, Reavely E, Bunch E. Indicators for evaluating human resources for health capacity-building. In: Evaluation 2009: context and evaluation, American Evaluation Association, Orlando, 11-14 november 2009.
  • Bristow G, Farrington J, Shaw J, Richardson T. Developing an evaluation framework for crosscutting policy goals: the Accessibility Policy Assessment Tool. Environ Plan A 2009; 41: 48-62 doi: 10.1068/a4092.
  • Monitoring and Evaluation Working Group of the International Health Partnership and related initiatives (IHP+). Monitoring van prestaties en evaluatie van vooruitgang bij de schaalvergroting voor een betere gezondheid: een voorgesteld gemeenschappelijk kader. Genève: World Health Organization; 2009. Beschikbaar via: http://www.internationalhealthpartnership.net//CMS_files/documents/a_proposed_common_framework_EN.pdf .
  • Codjia L, Jabot F, Dubois H. Evaluation du programme d’appui à la médicalisation des aires de santé rurales au Mali. Genève: Wereldgezondheidsorganisatie; 2008. In het Frans.
  • Lemiere C, Herbst C, Jahanshani N, Smith A, Soucat A. Reduceren van geografische onevenwichtigheden in de verdeling van gezondheidswerkers: wat werkt, wat werkt niet en waarom? Een arbeidsmarktperspectief op de gezondheidsverschillen tussen stad en platteland, beleidsoplossingen en ervaringen in Afrika ten zuiden van de Sahara. Washington, DC: De Wereldbank; 2009.
  • Habicht J-P, Victora CG, Vaughan JP. Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. Int J Epidemiol 1999; 28: 10-8 doi: 10.1093/ije/28.1.10 pmid: 10195658.
  • Human Resources for Health (HRH) Action Framework . Available from: http://www.capacityproject.org/framework/ .
  • Everybody’s business: strengthening health systems to improve health outcomes. Genève: Wereldgezondheidsorganisatie; 2007. Available from: http://www.who.int/healthsystems/strategy/everybodys_business.pdf .
  • Victora CG, Habicht JP, Bryce J. Evidence-based public health: moving beyond randomized trials. Am J Public Health 2004; 94: 400-5 doi: 10.2105/AJPH.94.3.400 pmid: 14998803.
  • Buchan J. The benefits of AHP workforce stability. Edinburgh: Scottish Executive Health Department; 2005.
  • Rabinowitz HK, Diamond JJ, Markham FW, Rabinowitz C. Long-term retention of graduates from a program to increase the supply of rural family physicians. Acad Med 2005; 80: 728-32 doi: 10.1097/00001888-200508000-00004 pmid: 16043525.