Luis Huicho a, Marjolein Dieleman b, James Campbell c, Laurence Codjia d, Dina Balabanova e, Gilles Dussault f & Carmen Dolea g

a. Departamento de Pediatria, Universidad Peruana Cayetano Heredia, Lima, Peru.
b. KIT Desenvolvimento, Política e Prática, Royal Tropical Institute, Amsterdam, Holanda.
c. Instituto de Cooperación Social, Integrare, Barcelona, Espanha.
d. Global Health Workforce Alliance, Genebra, Suíça.
e. London School of Hygiene and Tropical Medicine, Londres, Inglaterra.
f. Intituto de Higiene e Medecina Tropical, Universidade Nova de Lisboa, Lisboa, Portugal.
g. Department of Human Resources for Health, Organização Mundial da Saúde, 20 avenue Appia, 1211 Geneva 27, Switzerland.

Correspondência para Carmen Dolea (e-mail: ).

(Enviado em: 05 de outubro de 2009 – Versão revisada recebida: 19 de novembro de 2009 – Aceito: 05 de janeiro de 2010.)

Boletim da Organização Mundial da Saúde 2010;88:357-363. doi: 10.2471/BLT.09.070920

Introdução

A vontade dos trabalhadores da saúde de praticar em áreas carentes, como áreas rurais, remotas ou pobres, é um desafio reconhecido na obtenção de acesso equitativo aos serviços de saúde. Muitos países desenvolveram estratégias para atrair e reter profissionais de saúde qualificados nessas áreas. Mas a evidência sobre os sucessos ou fracassos de tais intervenções é escassa e fraca, e é difícil comparar lições e medir os resultados das poucas avaliações disponíveis.1-Houve progresso significativo na geração de entendimento e debate comum sobre formas de avaliar o impacto das intervenções de desenvolvimento e no uso de terminologia consistente de monitoramento e avaliação, como “resultados”, “resultados” e “impacto”.4-6 Entretanto, isso ainda não foi aplicado na avaliação de recursos humanos para intervenções de saúde e, especificamente, para aqueles que buscam aumentar o acesso a profissionais de saúde em áreas carentes. Há uma necessidade urgente de chegar a um acordo e reforçar as evidências que sustentariam recomendações políticas sólidas nesta área.

Buscando abordar esta lacuna, este documento propõe uma estrutura conceitual para orientar gestores, formuladores de políticas e avaliadores na avaliação das intervenções para aumentar o acesso aos profissionais de saúde em áreas carentes. O quadro visa apoiar todas as etapas do desenvolvimento de políticas. Sugere uma seqüência lógica que pode ser seguida ao decidir sobre qualquer intervenção que trate de questões de atração e retenção e auxilia na formulação de perguntas-chave a serem respondidas ao projetar, monitorar e avaliar tais intervenções. Ela inclui exemplos de indicadores para informar o processo, que podem ser adaptados a um contexto específico. Uma consideração abrangente de indicadores para monitorar a força de trabalho de saúde em geral é oferecida em outros lugares.7

Desafios na avaliação

Os tomadores de decisão e as políticas precisam saber se as intervenções funcionam ou não, por que funcionam e em que contexto. Portanto, é importante ter informações sobre os efeitos das intervenções, mas também sobre os fatores que fizeram a intervenção ter sucesso ou falhar (as perguntas que tratam de “quando, por que, como e em que circunstâncias tais intervenções funcionam bem ou não funcionam”).8

Avaliar intervenções para melhorar os recursos humanos para a saúde é complexo por diferentes razões. Primeiro, relacionar essas intervenções ao estado de saúde é muito difícil devido a amplos fatores socioeconômicos, culturais, políticos e dos sistemas de saúde que influenciam a saúde. Por exemplo, embora melhores resultados de saúde, como a redução da mortalidade materna, estejam diretamente correlacionados com o aumento da disponibilidade de trabalhadores de saúde, é difícil atribuir a melhoria diretamente a uma determinada intervenção da força de trabalho de saúde.9,10 Estudos de caso ilustrativos dos países mostraram que o Afeganistão e a Etiópia implementaram estratégias abrangentes para o setor de saúde com múltiplas intervenções coexistentes, como o recrutamento de trabalhadores comunitários de saúde, que podem ter promovido o acesso a serviços que salvam vidas, melhorando assim o estado de saúde.11

Outro problema é que muitas avaliações carecem de uma linha de base para avaliar os resultados, particularmente em países com um grande défice de trabalhadores de saúde,3,10,12 bem como de uma lógica de intervenção específica que clarifique as expectativas dos projectistas das intervenções (S Kane, B Gerretsen, R Scherpbier, M Dal Poz, MA Dieleman, dados não publicados, 2009).13 Além disso, o contexto social, político e económico em que as intervenções são concebidas e implementadas raramente é considerado na monitorização e avaliação das intervenções de recursos humanos.14,15

Assim, os principais desafios que os avaliadores enfrentam estão relacionados à natureza multidimensional das intervenções, e à dificuldade de avaliar a influência de fatores contextuais. Para ser capaz de avaliar tais intervenções em sistemas complexos, há necessidade de abordagens de monitoramento e avaliação multimétodo e multidisciplinar, incluindo todas as partes interessadas relevantes.16 Outro desafio é gerar lições entre regiões e países para informar a agenda global de saúde e promover um diálogo significativo tanto em nível nacional como internacional. Há uma clara necessidade de uma estrutura que ofereça um modelo de monitoramento e avaliação das intervenções de retenção de profissionais de saúde levando em conta tais desafios.

Quadro conceptual

A estrutura proposta baseia-se numa abordagem sistêmica e diferencia entre “entradas”, “saídas”, “resultados” e “impacto”, no que diz respeito aos resultados das intervenções para atrair e reter profissionais de saúde em áreas mal servidas. Baseia-se no quadro comum proposto para monitorar o desempenho e avaliar o progresso na expansão para uma melhor saúde,17 e propõe indicadores para medir o progresso na implementação de várias estratégias, permitindo aos usuários determinar o que funciona ou não, e explorar fatores contextuais que influenciam o seu sucesso ou fracasso. A estrutura tem dois objetivos: (i) orientar o pensamento na avaliação de uma intervenção para aumentar o acesso dos trabalhadores de saúde em áreas carentes, desde a sua fase inicial/desenho até aos seus resultados, sugerindo questões-chave sobre a relevância, eficácia, eficiência, eficácia e sustentabilidade da intervenção; e (ii) orientar o acompanhamento das intervenções, através do foco numa recolha rotineira de um conjunto de indicadores, aplicáveis ao contexto específico.

Usamos as seguintes definições para avaliação e monitoramento:4

Definimos “avaliação” como a avaliação sistemática e objetiva de um projeto, programa ou política em andamento ou concluída, sua concepção, implementação e resultados. O objectivo é determinar a relevância e o cumprimento dos objectivos, eficiência do desenvolvimento, eficácia, impacto e sustentabilidade.

Definimos “monitorização” como uma função contínua que utiliza a recolha sistemática de dados sobre indicadores específicos para fornecer à gestão e aos principais intervenientes de uma intervenção de desenvolvimento em curso indicações sobre o grau de progresso e cumprimento dos objectivos e progressos na utilização dos fundos atribuídos.

Mais adiante neste documento, examinamos a aplicação da estrutura às fases de desenvolvimento da política: concepção, implementação, monitorização e avaliação (Fig. 1). A seqüência nas fases de concepção e implementação não implica necessariamente um processo linear de políticas, pois o monitoramento e avaliação podem ajudar a identificar a necessidade de novas intervenções. Com efeito, elas fazem parte de um ciclo contínuo de políticas.

Fig. 1. A estrutura conceitual para medir os esforços para aumentar o acesso dos trabalhadores de saúde em áreas carentes
Fig. 1. O marco conceitual para medir esforços para aumentar o acesso a trabalhadores de saúde em áreas carentes

IMR, taxa de mortalidade infantil; MMR, taxa de mortalidade materna.

Desenho

A avaliação da fase de desenho deve identificar até que ponto a intervenção escolhida foi relevante e adequada à necessidade, às expectativas da população e ao contexto do sistema de saúde, e as razões para a seleção de uma determinada opção.18 Por relevância, entendemos até que ponto os objetivos e os elementos da intervenção são consistentes com os requisitos dos beneficiários, as necessidades do país, as prioridades globais e as políticas dos parceiros e doadores.4 A questão da relevância também pode e deve ser tratada retrospectivamente; e então a questão é se os objetivos de uma intervenção ou sua concepção foram e ainda são apropriados dadas as circunstâncias alteradas.4

As perguntas que um avaliador deve fazer são: a intervenção respondeu a uma necessidade documentada, foi apropriada para o contexto dado e como foi selecionada? A escolha da intervenção é baseada em evidências ou pelo menos em argumentos sólidos?

A avaliação da análise da situação deve verificar se o problema do acesso limitado aos profissionais de saúde foi claramente descrito. É devido a um número insuficiente de estudantes dispostos a trabalhar em áreas mal servidas, ou a uma produção insuficiente de profissionais de saúde, ou houve outras razões? A avaliação precisa avaliar se uma análise do mercado de trabalho de saúde foi realizada, para identificar se a falta de acesso aos trabalhadores de saúde em áreas carentes foi uma questão de demanda insuficiente, oferta insuficiente, ou remuneração e incentivos insuficientes, e condições de trabalho pouco atraentes.19

A análise da situação também deve identificar se os elementos em vigor para apoiar a implementação da intervenção foram avaliados e se uma análise de viabilidade precedeu a escolha da intervenção. As estratégias para aumentar o acesso dos trabalhadores de saúde em áreas carentes requerem a participação de partes interessadas de diferentes setores. Portanto, as perguntas a serem feitas incluem: foram criados e utilizados mecanismos de engajamento de múltiplos atores, foram analisados marcos regulatórios antes da intervenção, foram os custos da intervenção calculados e considerados acessíveis (disponibilidade de fundos), foi analisada a capacidade organizacional para apoiar a sua implementação? Nesta fase, o Quadro de Acção de Recursos Humanos para a Saúde é uma ferramenta reconhecida que pode ser utilizada para orientar a análise da situação (Fig. 2).21 Compreende dimensões do sistema de saúde como política, finanças, educação, parcerias, liderança e sistemas de gestão de recursos humanos.

Fig. 2. O Quadro de Acção de Recursos Humanos para a Saúde adaptado20
Fig. 2. O Quadro de Acção de Recursos Humanos para a Saúde adaptado20/sup

HRMS, sistemas de gestão de recursos humanos.

No final desta fase, uma estratégia pode ser proposta para abordar a percepção da necessidade de falta de acesso aos trabalhadores da saúde em áreas mal servidas e de má distribuição dos trabalhadores da saúde. Tal estratégia pode estar em uma ou mais das seguintes áreas temáticas: educação, regulamentação, financeira e/ou de gestão e apoio, descritas em outra parte.3

Implementação

Quando a implementação de uma intervenção é avaliada, as questões podem incluir: as atividades aconteceram de acordo com o plano, ocorreram mudanças na capacidade de implementação ou no contexto que influenciou a implementação das componentes da intervenção? Ocorreu alguma mudança no envolvimento e compromisso das partes interessadas? Quais e porquê? Foi realizada alguma ação para adaptar a intervenção às mudanças? O que foi feito e porquê? Ou por que não foi tomada nenhuma ação? O monitoramento do progresso na implementação pode ser informado pela coleta e análise sistemática de um conjunto de indicadores-chave, que são discutidos mais detalhadamente neste artigo.

Resultados

Resultados da intervenção podem ser avaliados em diferentes níveis (Fig. 1): resultados, resultados intermediários, resultados e impacto. As perguntas a serem feitas incluem: a intervenção alcançou os resultados pretendidos ao nível dos produtos, resultados ou impacto? A intervenção é sustentável? Quais foram os fatores contextuais (políticos, econômicos, sociais ou organizacionais) que influenciaram os resultados?

O nível de “outputs” é o efeito direto, atribuível à intervenção, como o aumento da atratividade das áreas/ou da profissão, melhor recrutamento e implantação, e maior retenção de profissionais de saúde nessas áreas.

O nível de “resultados” intermediários é o de um melhor desempenho da força de trabalho de saúde, cujas dimensões foram descritas no relatório mundial de saúde de 2006 como “disponibilidade, competência, capacidade de resposta e produtividade”.10 Algumas intervenções de atração e retenção podem ter um efeito direto também sobre essas dimensões. Por exemplo, as mudanças nos currículos rurais podem melhorar as competências para enfrentar os problemas de saúde rural e os incentivos financeiros baseados no desempenho podem melhorar a produtividade. Contudo, muitas vezes o desempenho melhorado da força de trabalho em saúde não pode ser atribuído apenas às intervenções de retenção, pois há muitos outros fatores que contribuem, tais como estratégias educacionais ou reformas na gestão do setor de saúde.

O nível de “resultados” é o de um maior desempenho dos sistemas de saúde, medido por uma maior cobertura e utilização dos serviços, e uma melhor capacidade de resposta. Um melhor desempenho da força de trabalho de saúde poderia contribuir para um melhor desempenho do sistema de saúde, mas uma série de outros fatores também pode contribuir, como a disponibilidade de medicamentos, infra-estrutura e equipamentos.22

Finalmente, o nível de “impacto” é entendido como o efeito sobre os resultados de saúde e uma melhoria do estado de saúde, e outros efeitos inesperados sobre comunidades carentes (por exemplo, atração/retenção de outros profissionais ou serviços). Isto não pode ser diretamente atribuído a intervenções de retenção, pois a simples disponibilidade de trabalhadores da saúde não pode melhorar diretamente os resultados de saúde na ausência de componentes efetivos, tais como o fornecimento de medicamentos, instalações em funcionamento e boas práticas clínicas.9 Mas uma força de trabalho de saúde com bom desempenho é um componente significativo de um sistema de saúde forte que, juntamente com outros determinantes sociais, pode levar a uma melhoria do estado de saúde.22

As avaliações de qualquer intervenção de atração e retenção precisam considerar os fatores contextuais que podem explicar porque e como tais intervenções alcançaram os produtos, resultados e impacto pretendidos, ou seja, o contexto social, econômico e político. Isto inclui uma análise das partes interessadas, incluindo suas respectivas bases de poder e interesses, bem como uma análise da capacidade do setor de saúde de implementar. As avaliações devem utilizar métodos qualitativos e quantitativos para medir resultados e impactos, mas também para analisar processos políticos formais e informais que acompanham a concepção e implementação de intervenções. Idealmente, para descobrir se uma intervenção de atração e retenção funciona ou não, seria necessário um ensaio controlado aleatório de cluster com um grupo de controle adequado, mas isto pode não ser viável ou ético no cenário de políticas da “vida real”. Além disso, as cadeias causais são muitas vezes complexas nas intervenções de saúde pública, fazendo com que os resultados de estudos controlados aleatórios estejam sujeitos a modificações de efeito em diferentes populações.20 Métodos observacionais alternativos, como antes-depois e desenhos de plausibilidade também podem ser considerados, tendo o cuidado de documentar e controlar os fatores contextuais adequadamente.20,23 Estudos com desenhos de adequação e plausibilidade podem melhorar tanto a validade interna quanto externa de ensaios controlados aleatórios, e estudos de plausibilidade são freqüentemente a única opção viável para obter evidências válidas de impacto ao tentar avaliar intervenções em larga escala.23

Monitoramento

A estrutura descrita na Fig. 1 propõe uma ferramenta para orientar o monitoramento de intervenções para aumentar o acesso a trabalhadores de saúde em áreas carentes. Em cada fase do processo de implementação, são propostos indicadores para avaliar se a implementação está no caminho certo.

Os indicadores para a monitorização na fase de concepção devem ser aqueles que permitirão uma descrição detalhada dos stocks e fluxos de trabalhadores de saúde entre sectores, categorias de idade e sexo, áreas geográficas e profissões. A descrição detalhada desses indicadores, assim como as fontes de dados para o monitoramento da força de trabalho da saúde, são descritas em outros lugares.7

Ao monitorar a implementação das intervenções, é necessária a coleta sistemática de dados sobre as atividades planejadas, através da revisão constante da capacidade de produção, assim como da capacidade de organização e gestão. O monitoramento da implementação também requer o acompanhamento de mudanças no contexto e nas partes interessadas, de modo a poder adaptar as intervenções quando necessário.

Em relação ao monitoramento dos resultados da intervenção, no nível dos “outputs” é importante monitorar se as dimensões de “atratividade”, “engajamento/recrutamento”, “implantação” e “retenção” são alcançadas. Os indicadores para monitorar o progresso nestas dimensões podem incluir, por exemplo, mudanças nas intenções dos estudantes ou dos trabalhadores da saúde de se deslocarem, residirem ou deixarem áreas mal servidas (atractividade). Os cargos financiados disponíveis em áreas mal servidas podem ser um indicador de engajamento efetivo, enquanto o número de profissionais de saúde recrutados e as mudanças nas taxas de vagas podem ser indicadores de engajamento e recrutamento efetivos. Finalmente, os efeitos de uma intervenção na retenção podem ser medidos pela duração do posto, rotatividade, absenteísmo, índice de estabilidade ou mesmo taxas de sobrevivência.24,25

Ao nível dos “resultados”, propõe-se monitorar o progresso na melhoria do desempenho da força de trabalho em saúde e do desempenho dos sistemas de saúde, através de dimensões e indicadores propostos pelo The world health report 2006 (Tabela 1).10 Como dito anteriormente, a avaliação do impacto a longo prazo das intervenções de recursos humanos nos resultados em saúde deve ser feita dentro do contexto mais amplo dos fatores que influenciam o estado de saúde.

  • Tabela 1. Dimensões e indicadores para avaliar o desempenho da força de trabalho em saúde11
    html, 2kb

A eficácia das intervenções de atração e retenção só pode ser medida ao nível dos resultados e, em certa medida, ao nível dos resultados. Além disso, a implementação de intervenções de retenção de recursos humanos pode levar muitos anos até que quaisquer resultados possam ser vistos, por exemplo, no caso da criação de novas escolas em áreas rurais ou da implementação de esquemas de incentivos financeiros. São necessários sistemas de informação de recursos humanos fortes, ligados aos sistemas nacionais de informação de saúde, bem como métricas ou indicadores claramente definidos e acordados para monitorizar o progresso de tais intervenções em termos de maior atractividade, melhor recrutamento e duração da estadia, maior disponibilidade, maior competência, produtividade e capacidade de resposta. A Tabela 2 faz uma tentativa de avançar um conjunto de questões-chave e indicadores a serem utilizados na avaliação e monitorização das intervenções de retenção de recursos humanos para a saúde.

  • Tabela 2. Questões e indicadores propostos para a avaliação e monitoramento de intervenções para aumentar o acesso dos trabalhadores de saúde em áreas carentes
    html, 3kb

A estrutura conceitual aqui apresentada precisa ser extensivamente pilotada e será refinada através de mais contribuições de diferentes fontes. Existem planos em curso para a sua aplicação em vários países que estão no processo de concepção e implementação de estratégias de atracção e retenção em áreas mal servidas. Também serão feitos esforços para garantir que a ferramenta de avaliação seja de fácil utilização. Por uma questão de argumentação, um exemplo hipotético de seu uso potencial é apresentado na Caixa 1.

Box 1. Um uso hipotético da estrutura conceptual

A estrutura pode ser aplicada a um cenário hipotético do país X. A avaliação irá explorar: (i) A intervenção responde ao problema identificado e tem a intervenção alcançado os resultados pretendidos? (ii) Que melhorias na intervenção e no desenho de políticas são necessárias, ou são necessárias estratégias alternativas? (iii) Que indicadores devem ser usados para medir os resultados?
Passo 1: análise da situaçãoPor exemplo, no país X, uma análise da situação identificou uma falta de profissionais de saúde nas áreas rurais. Um estudo das intenções dos jovens licenciados em praticar a saúde identificou a relutância dos profissionais de saúde em ir para essas áreas, devido à falta de oportunidades de desenvolvimento profissional e aos baixos salários. Assim, os principais estrangulamentos parecem estar inicialmente na atracção de pessoal para as zonas rurais.
Passo 2: escolha das intervenções A intervenção que foi implementada procurou “criar mais escolas nas zonas rurais” (categoria de educação) e implementar um “esquema de subsídio rural” (categoria financeira) para algumas categorias de trabalhadores de saúde, e melhorar o apoio e supervisão (gestão). O resultado pretendido desta intervenção a vários níveis foi aumentar a atractividade da prática rural para as profissões de saúde e melhorar o acesso à formação profissional dos estudantes com formação rural, bem como um aumento da duração da estadia das categorias de trabalhadores de saúde abrangidas pelo esquema.
Passo 3: medir os resultados utilizando uma selecção de indicadores apropriados ao paísOs indicadores escolhidos para monitorizar o progresso e medir os efeitos directos (“outputs”) da intervenção seriam: “intenção de ir para as zonas rurais após a graduação”, “número de candidatos de origem rural para as escolas recém-desenvolvidas em comparação com as urbanas”, “número de graduados que escolhem trabalhar nas zonas rurais”, “duração da permanência no posto de trabalho dos trabalhadores de saúde abrangidos pelo esquema”. Os indicadores para medir os efeitos indiretos (“resultados”) da intervenção seriam: “mudanças na proporção de pessoal dentro de 3 anos”, “aumento das visitas externas” antes e depois, “mudanças na satisfação do pessoal”, “satisfação do usuário” percepções dos representantes da comunidade sobre a capacidade de resposta dos serviços às necessidades. Os produtos e resultados podem ser relacionados estatisticamente à aceitação de programas de treinamento, à porcentagem de pessoal coberto por esquemas de incentivos financeiros e apoiado por um gerente experiente, para estabelecer correlação e formular explicações plausíveis para o efeito dos diferentes tipos de incentivos sobre a forma como a intervenção tem sido realizada. Eventualmente, o impacto final da intervenção pode ser estimado através de melhores “resultados de saúde”, tendo em mente que essas mudanças não podem ser inteiramente atribuídas à própria intervenção.
Passo 4: monitoramentoAnálise de dados longitudinais de indicadores para examinar como a situação mudou, especialmente procurando identificar conseqüências não intencionais da implementação da intervenção. Por exemplo, atrair pessoal nas áreas rurais pode ter resultado no seu recrutamento por organizações não governamentais e instalações privadas em vez de trabalhar no sector público.

O caminho a seguir

Esta estrutura propõe uma abordagem comum para facilitar a avaliação e monitorização de intervenções para aumentar o acesso a trabalhadores de saúde em áreas mal servidas. Ela sugere que uma abordagem abrangente precisa ser usada para a concepção, implementação, monitoramento, avaliação e revisão de tais intervenções. A estrutura não pretende ser prescritiva e pode ser aplicada de forma flexível ao contexto de cada país. Espera-se que promova o uso de um entendimento/lógica comum sobre como funcionam as intervenções de atração e retenção, usando uma perspectiva sistêmica. Começa com um conjunto comum de indicadores, que permitem a comparação entre vários casos, e facilita a revisão de estudos publicados. Como tal, pode ser usado para monitorar e avaliar intervenções, usando uma abordagem de avaliação baseada em métodos ou uma abordagem teórica com um conjunto específico de indicadores.

Funding:

Este trabalho foi financiado pela Organização Mundial da Saúde, Sistemas e Serviços de Saúde, Departamento de Recursos Humanos para a Saúde, Unidade de Migração e Retenção da Força de Trabalho da Saúde, Genebra, Suíça. Apoio adicional foi recebido do Centro Colaborador de Recursos Humanos para a Saúde da OMS no Royal Tropical Institute (KIT), Holanda.

Interesses concorrentes:

Nenhum declarado.

  • Grobler L, Marais BJ, Mabunda SA, Marindi PN, Reuter H, Volmink J. Intervenções para aumentar a proporção de profissionais de saúde que praticam em áreas rurais e outras áreas mal servidas. Cochrane Database Syst Rev 2009; 1: CD005314- pmid: 19160251.
  • Wilson NW, Couper ID, De Vries E, Reid S, Fish T, Marais BJ. Uma revisão crítica das intervenções para corrigir a distribuição desigual dos profissionais de saúde para áreas rurais e remotas. Rural Remote Health 2009; 9: 1060- pmid: 19530891.
  • Dolea C, Stormont L, Braichet J-M. Estratégias avaliadas para aumentar a atração e retenção de trabalhadores da saúde em áreas remotas e rurais. Bull World Health Organ 2010; 88: 379-385.
  • Comitê de Assistência ao Desenvolvimento. Glossário de termos-chave em avaliação e gestão baseada em resultados. Paris: Organização para a Cooperação e Desenvolvimento Económico; 2002. Disponível em: http://www.oecd.org/dataoecd/29/21/2754804.pdf .
  • Leeuw F, Vaessen J. Impact evaluations and development: NONIE guidance on impact evaluation. Washington, DC: The Network of Networks on Impact Evaluation; 2009. Disponível a partir de: http://siteresources.worldbank.org/EXTOED/Resources/nonie_guidance.pdf .
  • White H. Theory-based impact evaluation: principles and practice. Nova Deli: International Initiative for Impact Evaluation (3ie); 2009.
  • Dal Poz M, Gupta N, Quain E, Soucat ALB. Handbook on monitoring and evaluation of human resources for health – with special applications for low and middle-income countries. Genebra: Organização Mundial da Saúde; 2009.
  • Mills A, Gilson L, Hanson K, Palmer N, Lagarde M. O que entendemos por pesquisa rigorosa de sistemas de saúde? Lancet 2008; 372: 1527-9 doi: 10.1016/S0140-6736(08)61633-5 pmid: 18984174.
  • Anand S, Bärnighausen T. Recursos humanos e resultados em saúde: estudo econométrico entre países. Lancet 2004; 364: 1603-9 doi: 10.1016/S0140-6736(04)17313-3 pmid: 15519630.
  • O relatório mundial de saúde 2006: trabalhando juntos pela saúde. Genebra: Organização Mundial da Saúde; 2006.
  • Peters DH, El-Saharty S, Siadat B, Janovsky K, Vujicic M, editores. Melhorar a prestação de serviços de saúde nos países em desenvolvimento: da evidência à ação. Washington, DC: The World Bank; 2009.
  • Termos de referência para uma avaliação independente do impacto do Programa de Recursos Humanos de Emergência do Malawi. Lilongwe: Department for International Development (Reino Unido); 2009.
  • Dieleman M, Gerretsen B, van der Wilt GJ. Intervenções de gestão de recursos humanos para melhorar o desempenho dos trabalhadores da saúde em países de baixa e média renda: uma revisão realista. Health Res Policy Syst 2009; 7: 7- doi: 10.1186/1478-4505-7-7 pmid: 19374734.
  • Dieleman MA, Kane S, Zwanikken P, Gerretsen B. Identificando padrões em estudos de intervenções de retenção: revisitando as evidências a partir de uma perspectiva realista. Genebra: Organização Mundial da Saúde; 2009.
  • Fogarty L, de Vries D, Reavely E, Bunch E. Indicadores para avaliar os recursos humanos para a capacitação em saúde. In: Evaluation 2009: context and evaluation, American Evaluation Association, Orlando, 11-14 November 2009.
  • Bristow G, Farrington J, Shaw J, Richardson T. Developing an evaluation framework for crosscutting policy goals: the Accessibility Policy Assessment Tool. Plano Ambiental A 2009; 41: 48-62 doi: 10.1068/a4092.
  • Grupo de Trabalho de Monitoramento e Avaliação da Parceria Internacional de Saúde e iniciativas relacionadas (IHP+). Monitoramento do desempenho e avaliação do progresso na escalada para uma melhor saúde: uma proposta de estrutura comum. Genebra: Organização Mundial da Saúde; 2009. Disponível a partir de: http://www.internationalhealthpartnership.net//CMS_files/documents/a_proposed_common_framework_EN.pdf .
  • Codjia L, Jabot F, Dubois H. Evaluation du programme d’appui à la médicalisation des aires de santé rurales au Mali. Genebra: Organização Mundial da Saúde; 2008. Em francês.
  • Lemiere C, Herbst C, Jahanshani N, Smith A, Soucat A. Reduzir os desequilíbrios geográficos da distribuição dos trabalhadores de saúde: o que funciona, o que não funciona e porquê? Uma perspectiva do mercado de trabalho das disparidades de saúde urbana e rural, solução política e experiências na África Subsaariana. Washington, DC: The World Bank; 2009.
  • Habicht J-P, Victora CG, Vaughan JP. Projetos de avaliação para adequação, plausibilidade e probabilidade de desempenho e impacto de programas de saúde pública. Int J Epidemiol 1999; 28: 10-8 doi: 10.1093/ije/28.1.10 pmid: 10195658.
  • Quadro de Acção de Recursos Humanos para a Saúde (RHH) . Disponível em: http://www.capacityproject.org/framework/ .
  • O negócio de todos: fortalecer os sistemas de saúde para melhorar os resultados de saúde. Genebra: Organização Mundial da Saúde; 2007. Disponível em: http://www.who.int/healthsystems/strategy/everybodys_business.pdf .
  • Victora CG, Habicht JP, Bryce J. Evidence-based public health: moving beyond randomized trials. Am J Saúde Pública 2004; 94: 400-5 doi: 10.2105/AJPH.94.3.400 pmid: 14998803.
  • Buchan J. The benefits of AHP workforce stability. Edimburgo: Scottish Executive Health Department; 2005.
  • Rabinowitz HK, Diamond JJ, Markham FW, Rabinowitz C. Retenção a longo prazo de graduados de um programa para aumentar a oferta de médicos de família rurais. Acad Med 2005; 80: 728-32 doi: 10.1097/00001888-200508000-00004 pmid: 16043525.