1º Econometric Game São Paulo CASE RESOLVIDO FEA-USP 05/11/2016

1º Econometric Game São Paulo CASE RESOLVIDO FEA-USP 05/11/2016

Tema: Efeitos da Redução da Velocidade nas vias de São Paulo Motivação: Política: redução da velocidade de diversas vias da cidade a partir de 20/07/2015 pela Prefeitura de São Paulo Objetivo: reduzir o número de acidentes e mortes no trânsito da cidade Perguntas a serem respondidas*: Qual é o real efeito da política sobre o número de acidentes? Qual é o custo de política, em termos de tempo adicional de deslocamento? Com base nos resultados encontrados, é possível dizer que a política é custobenéfica? * Os dados não observados foram simulados. Boa parte da base de dados foi extraída de fontes reais.

Dados de São Paulo antes e depois da política Não podemos inferir causalidade ao comparar as mortes no trânsito (ou taxas de acidentes) em São Paulo antes e depois da política. Veja que há tendência de redução de acidentes: Fonte: CET. Dados para o Estado de São Paulo.

Dados de São Paulo antes e depois da política Potenciais variáveis que explicam a taxa de acidentes no trânsito, e que possivelmente estão correlacionadas com os períodos antes e depois da política: Comportamentais (conscientização da população) Outras políticas (lei seca, multas) Conjunturais (desemprego, que gera menos deslocamentos para trabalho) Mudanças de preços relativos (substituição dos veículos individualizados por transportes coletivos) Entre outras.

Etapa 1: Dados de São Paulo em comparação com Guarulhos (Modelo de Regressão Simples) A comparação no tempo pode apresentar correlações espúrias (por desconsiderar vários outros fatores que explicam a redução da taxa de acidentes e estão variando no tempo) O primeiro exercício consistia em comparar as taxas de acidentes em São Paulo, impactada pela política, com uma cidade vizinha, que não sofreu impacto da política. A regressão simples abaixo ilustra o primeiro exercício esperado (cross-section de vias das duas cidades para 2006): Taxa de acidentes i = β 0 + β 1 DummySP i + u i

Etapa 1: Dados de São Paulo em comparação com Guarulhos A estimação da regressão simples gerou os seguintes resultados*: taxa_acidentes Coef. Est. Erro Pad. t P> t [95% Intervalo Conf.] dummysp -0,003739 0,0001678-22,28 0,000-0,00407-0,00341 constante 0.0123274 0,0001626 75,80 0,000 0,01200 0,01264 O efeito de -0,003739 não é uma porcentagem (é uma redução da taxa, i.e. em pp). Comparando com a taxa média de acidentes, o efeito estimado, em termos percentuais, seria de -0,43, isto é, uma redução de 43% *Estimação Robusta para a matriz de variância-covariância dos estimadores.

Etapa 1: Dados de São Paulo em comparação com Guarulhos Críticas às estimações da Etapa 1: O efeito estimado não pode ser interpretado como causal, pois há outros fatores que explicam a taxa de acidentes (incorporados no termo de erro) e que podem diferir entre as duas cidades (isto é, serem correlacionados com a variável dummy para São Paulo), tais como: Políticas mais específicas de cada cidade (tais como a lei seca, multas diferenciadas) Conjunturais e setoriais (a composição da atividade econômica de cada cidade pode ter sofrido de forma diferenciada com a crise econômica) Entre outras.

Etapa 2: Dados de São Paulo em comparação com Guarulhos antes e depois da política (Modelo de Diferenças-em-diferenças) Uma forma de estimar o efeito pretendido sobre a taxa de redução de acidentes seria comparar os acidentes nas vias das cidades de Guarulhos e de São Paulo antes e depois da política. Esse método é conhecido por Método de Diferenças-em-diferenças (DD). Para estimá-lo, podemos escrever a seguinte equação: Taxa de acidentes it = β 0 + β 1 DummySP i + β 2 DummyPósPolítica t + β 3 DummySP i DummyPósPolítica t + u it O modelo acima controla pelas especificidades de cada região (dummysp) e por choques que tenham ocorrido em ambas as cidades no período da política (dummypolítica) Estamos interessados na estimação do parâmetro β 3

Etapa 2: Dados de São Paulo em comparação com Guarulhos antes e depois da política (Modelo de Diferenças-em-diferenças) β 3 pode ser interpretado como causal (i.é. como o verdadeiro efeito da política) caso a evolução da taxa de acidentes, na ausência da política, seja igual para as duas cidades (mesmo que ambas tenham diferentes taxas), conforme o gráfico abaixo ilustra:

Etapa 2: Dados de São Paulo em comparação com Guarulhos antes e depois da política (Modelo de Diferenças-em-diferenças) A estimação gerou os seguintes resultados*: taxa_acidentes Coef. Est. Erro Pad. t P> t [95% Intervalo Conf.] dummy_sp -0,0027729 0,0001678-16,53 0,000-0,0031018-0,002444 dummy_política -0,0001 0,00023-0,43 0,664-0,0005508 0,0003508 dummysp*dummypp -0,0009662 0,0002373-4,07 0,000-0,0014313-0,000501 Constante 0,0124274 0,0001626 76,42 0,000 0,0121086 0,0127461 Para interpretar em termos percentuais (em relação à média de São Paulo), o efeito estimado seria de -0,100075, isto é, uma redução de 10% *Estimação Robusta para a matriz de variância-covariância dos estimadores.

Etapa 2: Dados de São Paulo em comparação com Guarulhos antes e depois da política (Modelo de Diferenças-em-diferenças) Críticas e considerações sobre as estimações da Etapa 2: O efeito estimado não pode ser interpretado como causal caso existam mudanças ocorrendo (que impactem a taxa de acidentes) em ambas as cidades no período posterior à política De qualquer forma, nota-se que o controle de outros fatores (na estimação por DD) faz com que o efeito estimado de 43% se reduza para 10%, indicando que, possivelmente, a estimativa do efeito por regressão simples seja viesada. O modelo DD é bastante sensível à escolha da cidade do grupo de controle (ou seja, que não sofreu o impacto da política). Assim, a próxima etapa pretende verificar as semelhanças e diferenças entre as cidades.

Etapa 3: Teste de Médias entre as cidades de São Paulo e Guarulhos Nesta etapa, implementamos um teste de igualdade de média (ou teste de distribuição, ou teste de variâncias) para comparar as características de ambas as cidades. As seguintes variáveis foram consideradas: Área PIB per capita, PIB da indústria, de serviços, da agrocpecuária Despesas com transporte (absolutas e em termos %), receitas tributárias per capita Educação (analfabetismo) Frota de motos e de automóveis (total e percentual)

Etapa 3: Teste de Médias entre as cidades de São Paulo e Guarulhos Os testes rejeitaram a hipótese de igualdade nas médias e variâncias amostrais de todas as características das cidades Uma hipótese aventada por estes resultados seria de que Guarulhos pode diferir muito de São Paulo em características importantes que influenciam a taxa de acidentes e estão mudando no tempo, tais como: frota de veículos, despesas com políticas de transporte, atividade econômica, entre outras. Assim, a etapa 4 propõe a aplicação de um modelo de controle sintético, para buscar cidades de controle (contrafactuais) mais adequado para São Paulo.

Etapa 4: Método de Controle Sintético O método de controle sintético é geralmente aplicado: à avaliação de políticas pontuais (como no caso da cidade de São Paulo, que foi a única unidade tratada no estado); e a dados agregados. A abordagem consiste em encontrar unidades, dentro de um grupo de possíveis controles (chamado de donor pool e não impactados pela política), que repliquem a trajetória da taxa de acidentes de São Paulo. Esse grupo é considerado o grupo de controle sintético. Ao final do procedimento, o grupo sintético tem os valores de suas variáveis explicativas bastante próximos às da cidade tratada.

Etapa 4: Método de Controle Sintético O método de controle sintético gerou os seguintes resultados: Cidades consideradas na construção do grupo de controle sintético: Cidades Pesos (%) Osasco 25.9 Santo André 36 Santos 9.6 São Caetano do Sul 22.5 Taboão da Serra 6.1

Etapa 4: Método de Controle Sintético A comparação de algumas variáveis da cidade de São Paulo com a variável simulada para o grupo de controle sintético foi: Variável Tratado (SP) Sintético PIB per capita 15.277,72 16.673,29 Densidade pop. 6.978,42 6.837,63 %PIB serviços 0,62 0,55 População urbana 10 milhões 5 milhões %Gastos mun transp 0,11 0,055 Proporção homens 0,476 0,478 Taxa analfabetismo 4,15 5,77 Proporção automov 0,38 0,32 Proporção motos 0,045 0,041

Etapa 4: Método de Controle Sintético A comparação de algumas variáveis da cidade de São Paulo com a variável simulada para o grupo de controle sintético foi:.0095.0085.01 taxa_acidentes.009 Em termos percentuais, o efeito foi de 0,0085/0,0093 = 7,85%.008 2014 2014.5 2015 2015.5 2016 ano treated unit synthetic control unit

Etapa 4: Método de Controle Sintético Críticas e considerações sobre as estimações da Etapa 4: O efeito estimado pelo controle sintético foi próximo ao efeito estimado pelo modelo de DD, indicando que a redução da velocidade das vias de São Paulo tenha reduzido em 7,85% a taxa de acidentes Problemas do método: São observados poucos períodos anteriores à política para ajustar um grupo de controle sintético mais próximo Os resultados são bastante sensíveis à escolha das variáveis

Etapa Final: Avaliação de Custo-Benefício Por fim, as equipes deveriam fazer uma comparação do custo-benefício da política a partir de: efeitos estimados; dados fornecidos; e outras hipóteses sobre os custos de oportunidade das pessoas impactadas pela política: Benefício: Redução da taxa de acidentes e, consequentemente, da mortalidade no trânsito (vidas salvas) Custo: Aumento do tempo de deslocamento das pessoas que circulam nas vias cuja velocidade média foi reduzida* Hipóteses possíveis**: Valor estatístico da vida Custo de oportunidade do tempo Número de pessoas que circulam nas vias com redução da velocidade *Foram fornecidos dados sobre esse custo, embora a política tenha outros custos, como os de fiscalização (efetivo policial, radares, placas). ** Sabemos que poderiam ser feitas outras hipóteses. A criatividade e originalidade nas hipóteses estavam em avaliação.

Etapa Final: Avaliação de Custo-Benefício Modelo Redução acidentes em um ano Mortos em acidentes de trânsito na cidade (média 2005-2014)¹ Redução mortes prevista no ano Valor de uma vida (R$) Benefício ao ano (R$) Reg Simples 43.00% 592 R$ 97,762,250.70 Diff in Diff 10.00% 1,376 138 R$ 165,264.28 R$ 22,735,407.14 Sintético 7.85% 108 R$ 17,847,294.60 ¹http://vias-seguras.com/os_acidentes/estatisticas/estatisticas_estaduais/estatisticas_de_acidentes_no_estado_de_sao_paulo/acidentes_na_cidade_de_sao_paulo Hipóteses: (i) todos os acidentes evitados foram fatais; (ii) valor da vida é VP dos salários à taxa da poupança (6% a.a.); (iii) salário mínimo considerado (estimativa lower bound) Benefício anual da política

Etapa Final: Avaliação de Custo-Benefício Aumento no tempo parado no trânsito (horas) Salário/h ora Número carros por dia nas vias de São Paulo¹ Custo anual da política Número de carros em horário de pico (7h as 10h e 17h as 20h) Número de pessoas por carro (média por dia)² Salário perdido no trânsito todo ano 0.25 R$ 5.00 530,000 132,500 1.4 R$ 61,215,000.00 ¹http://vejasp.abril.com.br/materia/destino-marginais-matthew-shirts ²http://oglobo.globo.com/brasil/sao-paulo-tem-media-de-14-ocupante-por-carro-2695421 Hipóteses: (i) salário/hora = salário mínimo por hora

Etapa Final: Avaliação de Custo- Benefício Modelo Custo Benefício Benefício Líquido Conclusão Reg Simples R$ 97,762,250.70 R$ 36,547,250.70 Política Custo-Benéfica Diff in Diff R$ 61,215,000.00 R$ 22,735,407.14 -R$ 38,479,592.86 Política Não Custo-Benéfica Sintético R$ 17,847,294.60 -R$ 43,367,705.40 Política Não Custo-Benéfica A depender das premissas e do modelo que é tomado como verdade, a decisão sobre a continuidade da política pode ser questionada Deve-se prosseguir com uma política que não é custo-benéfica (i.e. seu custo é maior que seus ganhos)? Críticas à análise: resultados sensíveis às premissas adotadas (qual o valor da vida? Salário mínimo como custo de oportunidade subestima custos)

Case Makers Profa. Paula Pereda Bruno Palialol Danilo Souza Bruno Komatsu (Doutorado - FEA-USP) (Doutorado - FEA-USP) (Doutorado - FEA-USP)

Critérios de Avaliação Utilizados 1. Resultado e interpretação da Regressão Simples 2. Resultado e interpretação do DD 3. Análise custo-benefício (Peso 2) 4. Testes de média e argumentação 5. Resultado e interpretação do controle sintético (Peso 2) 6. Endereçamento adequado 7. Clareza na exposição e justificativa dos dados 8. Hipóteses assumidas e metodologia 9. Originalidade e criatividade (Peso 2)

Patrocínio e Apoio