Walmir dos Reis Miranda Filho UFJF. Com Marcel de Toledo Vieira (UFJF) e Cristiano Ferraz (UFPE) 17 de outubro de 2017

Transcrição

1 WST2 - Avaliação de Políticas Públicas Pareamento por Escore de Propensão para Avaliação do Impacto de Políticas Públicas a partir de Dados Amostrais Complexos Walmir dos Reis Miranda Filho UFJF walmir.reis.miranda.filho@gmail.com Com Marcel de Toledo Vieira (UFJF) e Cristiano Ferraz (UFPE) 17 de outubro de / 28

2 Sumário 1 Introdução 2 Estimação dos Escores de Propensão 3 Pareamento pelo Escore de Propensão 4 Balanceamento nas Amostras Pareadas 2 / 28

3 Sumário 1 Introdução 2 Estimação dos Escores de Propensão 3 Pareamento pelo Escore de Propensão 4 Balanceamento nas Amostras Pareadas 3 / 28

4 Introdução Pesquisas amostrais têm sido amplamente utilizadas por órgãos ociais para denir a adoção de políticas públicas. Em geral, elas empregam um Plano Amostral Complexo (PAC). Um PAC é todo plano que usa pelo menos um recurso distinto da Amostragem Aleatória Simples (AAS) para selecionar os elementos da população. Ainda hoje, muitas análises ignoram o PAC na obtenção de estimativas pontuais e do erro-padrão associado, supondo uso exclusivo da AAS. 4 / 28

5 Introdução Nesta exposição, será investigada a inferência realizada quando indevidamente se ignora o PAC no Pareamento por Escore de Propensão (PEP) para um tratamento binário. O estudo será feito com dados dos adultos (maiores de 14 anos) pesquisados na Yemen National Social Protection Monitoring Survey (Yemen NSPMS Final Report, 2014). O tratamento de interesse é o Social Welfare Fund (SWF), uma política pública de transferência de renda. O PEP será, portanto, feito para duas abordagens: ignorando e considerando o PAC empregado na Yemen NSPMS. 5 / 28

6 Sumário 1 Introdução 2 Estimação dos Escores de Propensão 3 Pareamento pelo Escore de Propensão 4 Balanceamento nas Amostras Pareadas 6 / 28

7 Estimação dos Escores de Propensão Para modelar os escores de propensão, se cria uma variável binária que assumirá os valores 0 ou 1 para controles e tratados, respectivamente. Um indivíduo é denido como controle se, em todas as rodadas da pesquisa longitudinal, o domicílio em que reside não possuía nenhum beneciário. Um indivíduo é tratado se na 1 a rodada ele não residia com nenhum beneciário, mas esta condição muda em pelo menos uma das demais rodadas. Denotemos, no contexto da Yemen NSPMS, a variável de atribuição da classe (controle ou tratado) por RSWF (Recebimento do Social Welfare Fund). 7 / 28

8 Estimação dos Escores de Propensão O conceito escore de propensão foi introduzido por Rosenbaum & Rubin (1983) para a situação em que há apenas duas classes para atribuição. Dado um indivíduo i, sejam R i a variável resposta de interesse; T i a variável da atribuição da classe e x i o vetor de variáveis observadas na pesquisa. Denotemos por Pr(T i = 1 x i ) = c(x i ) a probabilidade, ou escore de propensão, do indivíduo i pertencer à classe dos tratados. Logo, 0 < c(x i ) < 1 (hipótese de sobreposição). Como T é uma variável binária, não podemos ajustá-la por um modelo de regressão linear clássico. 8 / 28

9 Estimação dos Escores de Propensão Assim, aplicamos uma função de distribuição ao preditor linear Xβ, em que β = (β 1,..., β q ) é um vetor de q parâmetros desconhecidos. Com isso, garantimos que o escore pertencerá ao intervalo I = (0, 1), havendo variação em todas as q covariáveis dada a classe. Aqui, usamos a função de distribuição logística (modelo logit) para modelar os escores dos adultos da Yemen NSPMS. O modelo logit é um exemplo da classe de Modelos Lineares Generalizados. Sob AAS, β é estimado pela Máxima Verossimilhança (MV) tradicional. 9 / 28

10 Estimação dos Escores de Propensão Porém, na presença de dados amostrais complexos, é necessário adaptar a estimação por MV. Dada uma população nita, os pesos amostrais serão considerados através da estimação por Máxima Pseudoverossimilhança (Pessoa & Silva, 1998). Para selecionar as covariáveis na modelagem dos escores para os adultos da Yemen NSPMS, serão tomados como w i os pesos amostrais longitudinais para as quatro rodadas. Cuidados com relação à natureza das covariáveis também devem ser tomados. 10 / 28

11 Estimação dos Escores de Propensão Somente variáveis relativas aos critérios de elegibilidade para o tratamento, ou pelo menos fortemente correlacionadas com estes, podem ser especicadas. Elas também devem inuenciar uma resposta R, caso seja de interesse avaliar o impacto do tratamento nesta variável, e ser observadas na 1 a rodada ou xadas ao longo do tempo. Não se deve adicionar muitas covariáveis. Se ĉ(x i ) estiver muito perto de 0 ou 1, o indivíduo i sempre pertencerá a uma das duas classes e não poderá ser pareado (Caliendo & Kopeinig, 2008). 11 / 28

12 Estimação dos Escores de Propensão Por m, variáveis signicativas (dado um nível nominal α), obedecidas as restrições anteriores, devem estar presentes na especicação do modelo. Se supusermos a existência de um PAC, testes usuais para comparação de MLG's encaixados também devem ser adaptados quando quisermos considerá-lo. Neste estudo, será usado o teste da Razão de Verossimilhanças (RV) será usado como critério para seleção de covariáveis. 12 / 28

13 Estimação dos Escores de Propensão A estatística do teste adaptado para dados amostrais complexos, denominado Razão de Pseudoverossimilhanças (RP), é estudada em detalhes por Lumley & Scott (2014). Variáveis não signicativas serão retiradas uma a uma a partir do maior valor-p a cada novo ajuste, até encontrarmos um modelo que especique apenas as variáveis signicativas. Para a Yemen NSPMS, serão ajustados dois modelos para o escore de propensão. As mesmas variáveis candidatas à especi- cação serão utilizadas nas abordagens AAS e com PAC. 13 / 28

14 Estimação dos Escores de Propensão AI: Adulto é Idoso (pelos critérios de SWF); AMCD: Adulto é Mulher e Chefe do Domicílio, desde que solteira, divorciada ou viúva; API: Adulto é Portador de Invalidez; DRC: Domicílio Recebe Caridade; DRFP: Domicílio Recebe Fundos de Pensão; DRR: Domicílio Recebe Remessas, de parentes ou amigos próximos; NPD: Nível de Pobreza do Domicílio. Temos então os resultados para os testes da RV (RP) no modelo completo para os adultos classicados na Yemen NSPMS, ao nível de 5% de signicância: 14 / 28

15 Estimação dos Escores de Propensão Tabela 1: Teste da RV (RP) no modelo completo do escore nos adultos Variável G. L. Valor do Desvio Valor-p χ 2 (F ) EPAA AMCD 1 (1; 542) 000,03 (001,32) 0,8736 (0,2344) 0,92 API 1 (1; 541) 006,47 (017,96) 0,0110 (<0,0001) 0,98 DRFP 1 (1; 540) 018,65 (001,75) <0,0001 (0,5598) 5,22 AI 1 (1; 539) 001,51 (016,92) 0,2184 (0,0546) 4,49 DRC 1 (1; 538) 020,94 (103,63) <0,0001 (0,0126) 16,33 DRR 1 (1; 537) 003,36 (004,17) 0,0667 (0,4200) 6,41 NPD 3 (3; 534) 112,21 (332,25) <0,0001 (0,0004) 11,68 Exemplo. Pela tabela 1, há 4 variáveis signicativas na abordagem que ignora o PAC (API; DRFP; DRC e NPD) e 3 na que o considera (as mesmas exceto DRFP). 15 / 28

16 Estimação dos Escores de Propensão Retirando as variáveis de cada modelo completo, uma a uma, obtemos a seguinte tabela para o modelo inicial: Tabela 2: Teste da RV (RP) no modelo inicial do escore nos adultos Variável G. L. Valor do Desvio Valor-p χ 2 (F ) EPAA API 1 (1; 542) 006,48 (018,07) 0,0109 (<0,0001) 0,98 DRFP 1 () 018,67 () <0,0001 () DRC 1 (1; 541) 020,95 (103,81) <0,0001 (0,0166) 17,74 NPD 3 (3; 538) 111,09 (326,45) <0,0001 (0,0005) 12,04 Exemplo. Assim como no modelo completo, na especicação reduzida a quantidade de covariáveis selecionadas também é distinta entre as duas abordagens (com e sem PAC). 16 / 28

17 Estimação dos Escores de Propensão Portanto, ignorar o PAC empregado pode alterar as covariáveis escolhidas para o modelo inicial do escore de propensão. Denimos então o modelo inicial para pareamento pelos escores preditos de indivíduos controles e tratados, para ambas as abordagens. Veremos a seguir como fazer o pareamento pelos escores preditos e como julgar a qualidade da amostra pareada, subconjunto da amostra original. 17 / 28

18 Sumário 1 Introdução 2 Estimação dos Escores de Propensão 3 Pareamento pelo Escore de Propensão 4 Balanceamento nas Amostras Pareadas 18 / 28

19 Pareamento pelo Escore de Propensão Se desejarmos avaliar o impacto de um tratamento em R, os indivíduos para análise devem ser comparáveis ao mesmo tempo em que pertencem a classes distintas. Assim, para cada tratado deve haver um controle que seja o mais similar possível nas covariáveis do modelo inicial, para pareamento pelo escore de propensão. Dizemos então que a amostra pareada para avaliação deve ser balanceada. logo, a amostra original é reduzida até conter apenas pares de tratados e controles similares entre si. Para vericarmos se a nova amostra pareada está balanceada nas duas classes, fazemos novos testes de hipóteses, agora nos valores de cada covariável e do escore predito. 19 / 28

20 Pareamento pelo Escore de Propensão Tais testes tomam como hipótese nula a equivalência, entre controles e tratados, para pelo menos uma característica distribucional da variável testada. Somente após conferir se houve balanceamento em cada covariável e no escore predito é que podemos avaliar o impacto da política sob estudo. Por ter um bom desempenho em termos de viés a um baixo custo computacional, será adotado o Pareamento pela Distância Euclidiana (PDE), mais conhecido como Método do Vizinho mais Próximo (Caliendo & Kopeinig, 2008). 20 / 28

21 Sumário 1 Introdução 2 Estimação dos Escores de Propensão 3 Pareamento pelo Escore de Propensão 4 Balanceamento nas Amostras Pareadas 21 / 28

22 Balanceamento nas Amostras Pareadas Denidas as amostras pareadas em cada abordagem, é preciso vericar se cada uma delas está balanceada dadas as classes de controles e tratados. Para checar o balanceamento, dois testes não-paramétricos serão adotados. Ambos possuem correções desenvolvidas na literatura para a abordagem que considera o PAC. Para as covariáveis categóricas dos modelos iniciais, usaremos o teste χ 2 de Pearson para independência entre as observações de ambas as classes. E para o escore predito, o teste de Mann- Whitney (MW) para homogeneidade. 22 / 28

23 Balanceamento nas Amostras Pareadas Apresentamos a seguir, para as duas amostras pareadas na Yemen NSPMS, os resultados dos testes de balanceamento. Assim como feito para o teste da RV (RP), resultados sob abordagens distintas (sem e com PAC) estarão na mesma tabela. Novamente, o nível nominal de signicância é xado em 5%. Porém, se deseja agora não rejeitar a hipótese nula nos testes χ 2 de Pearson e MW para conrmar o balanceamento nas amostras pareadas. 23 / 28

24 Balanceamento nas Amostras Pareadas Tabela 3: Teste χ 2 de Pearson para independência nas amostras original e pareada (*) com o modelo inicial dos adultos, sem (com) PAC Variável Est. Pearson χ 2 (F ) Valor-p Balanceou? API 5,95 (14,14) 0,0148 (0,0002) Não (Não) DRFP 20,92 () <0,0001 () Não () DRC 21,85 (7,68) <0,0001 (0,0058) Não (Não) NPD 122,53 (13,02) <0,0001 (<0,0001) Não (Não) API* <0,01 (2,29) >0,9999 (0,1307) Sim (Sim) DRFP* <0,01 () >0,9999 () Sim () DRC* <0,01 (0,34) >0,9999 (0,5599) Sim (Sim) NPD* <0,01 (1,14) >0,9999 (0,3246) Sim (Sim) Sem PAC, temos 1 g. l. para API e DRC e 3 g. l. para NPD, em cada amostra. Com PAC, na distribuição F para API e DRC temos (1, 543) g. l. na amostra original e (1, 488) g. l. na amostra pareada. Para NPD, temos os pares de valores aproximados (2,13; 1156,60) e (2,35; 1144,70) nas amostras original e pareada, respectivamente. 24 / 28

25 Balanceamento nas Amostras Pareadas Como não houve rejeição, podemos então testar o balanceamento nos escores preditos através do teste MW, como mostra a tabela 4. Tabela 4: Teste de MW para homogeneidade nas amostras original e pareada (*) com o modelo inicial para os adultos, sem (com) PAC Variável Est. MW χ 2 (t) Valor-p Balanceou? Escore 127,64 (4,63) <0,0001 (<0,0001) Não (Não) Escore* <0,01 (1,82) >0,9999 (0,0701) Sim (Sim) Na distribuição χ 2 para o teste MW, temos 1 g. l. para as amostras original e pareada. Já na distribuição t, temos 542 e 487 g. l. para as amostras original e pareada, respectivamente. 25 / 28

26 Balanceamento nas Amostras Pareadas Para o escore predito, os resultados para a amostra pareada pelo teste MW são análogos aos obtidos para as covariáveis na tabela 3 pelo teste χ 2 de Pearson. Assim, podemos utilizar a amostra pareada de adultos para avaliar o impacto do SWF na resposta de interesse R. Note que, para a amostra original, os testes χ 2 de Pearson e MW rejeitam a respectiva hipótese nula. Isto mostra que o pareamento pelos escores de tratados com controles foi necessário para obtermos pares comparáveis adequados para uma possível avaliação de impacto. 26 / 28

27 Referências Bibliográcas I AUSTIN, P. C. Optimal caliper widths for propensity-score matching when estimating dierences in means and dierences in proportions in observational studies. Pharmaceutical Statistics. v. 10, p , CALIENDO, M.; KOPEINIG, S. Some practical guidance for the implementation of propensity score matching. Journal of Economic Surveys. v. 22, n. 1, p.31-72, IPCIG; UNICEF. Yemen National Social Protection Monitoring Survey (NSPMS): Final Report. Brasília: IPCIG, LUMLEY, T.; SCOTT; A. Tests for regression models tted to survey data. Australian & New Zealand Journal of Statistics. v. 56, n. 1, p.1-14, LUMLEY, T.; SCOTT, A. Two-sample rank tests under complex sampling. Biometrika. v. 100, 4, p , / 28

28 Referências Bibliográcas II OHLSSON, E. Sequential Poisson Sampling. Journal of Ocial Statistics. v. 14, 2, p , PESSOA, D. G. C. ; SILVA, P. L. D. N. Análise de Dados Amostrais Complexos. Rio de Janeiro: IBGE, RAO, J. N. K.; SCOTT, A. J. The analysis of categorical data from complex sample surveys. American Statistical Association Conference. Washington, D. C., ROSENBAUM, P. R.; RUBIN, D. B. The central role of the propensity score in observational studies for causal eects. Biometrika. v. 70, n. 1, p , THOMAS, D. R.; RAO, J. N. K. Small-sample comparisons of level and power for simple goodness-of-t statistics under cluster sampling. Journal of the American Statistical Association. v. 82, n. 398, p , / 28