Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia. Guilherme Fernandes

Transcrição

1 Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia Guilherme Fernandes

2 Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia Guilherme Fernandes * Resumo O objetivo deste artigo é introduzir algumas ferramentas utilizadas na validação de sistemas internos de classificação de risco de crédito sob o âmbito das disposições prudenciais de Basileia. São descritos alguns testes para validação do poder discriminatório do sistema de classificação de risco de crédito, como curva Receiver Operating Characteristic (ROC), taxa de erro bayesiana, entropia condicional, valor informacional, estatísticas de Kendall e Somers, escore de Brier, estatística de Kolmogorov-Smirnov e ROC não binário. São realizados três estudos de caso nos quais é possível observar a utilização de tais ferramentas de validação em situações reais por que passam as áreas de validação independente dos bancos. * Economista do BNDES. Este artigo é de exclusiva responsabilidade do autor, não refletindo, necessariamente, a opinião do BNDES. p

3 Abstract The goal of this paper is to introduce a few tools used in the validation of internal ratings-based systems under the Basel s prudential recommendations. Some validation tests are described, as ROC Curve, Bayesian Error Rate, Conditional Entropy, Informational Value, Kendall and Somers Statistics, Brier Score, Kolmogorov-Smirnov Statistic and non-binary ROC. Three case studies are performed in order to exemplify the use of such tools in real situations for banks validation areas. 146 Revista do BNDES 42, dezembro 2014

4 Introdução Segundo Meirelles (2010), a regulação e a supervisão do sistema financeiro sob responsabilidade do Conselho Monetário Nacional (CMN) e do Banco Central do Brasil, respectivamente passaram de um regime altamente intervencionista e focado na solução de problemas para uma crescente preocupação com estabilidade financeira e aspectos prudenciais. Como parte das recomendações de Basileia II referentes ao pi - lar 2, BCBS (2010) estipula que os bancos devem acessar sua própria adequação de capital por meio do processo interno de avaliação da adequação de capital (ICAAP, na sigla em inglês). Como esses processos são definidos internamente, eles agregam risco de várias formas diferentes. O objetivo do ICAAP é determinar a necessidade de alocação de capital adicional acima do disposto no pilar 1. Enquanto o pilar 1 é responsável pelo estabelecimento de requerimentos mínimos de capital de uma forma geral, o pilar 2 tem o objetivo de adicionar alguma necessidade extra de capital em decorrência de avaliação da própria instituição financeira que não esteja contemplada no pilar 1. Dessa forma, Bacen (2011) estipula que o ICAAP deve analisar a suficiência do capital mantido pela instituição, devendo abranger avaliação e cálculo da necessidade de capital para cobertura dos riscos de crédito, de mercado e operacional, taxa de juros das operações não classificadas na carteira de negociação, crédito de contraparte e concentração. Também deve avaliar a necessidade de capital para cobertura dos riscos de liquidez, estratégia e reputação. Bacen (2011) disciplina ainda que o ICAAP deve ser submetido a um processo de validação independente do processo de desenvolvimento. Nesse sentido, a responsabilidade da validação independente é avaliar, no mínimo, as metodologias e premissas utilizadas Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia 147

5 nas estimativas de necessidade de capital; as estimativas de correlação, quando utilizada; a inclusão de todos os riscos relevantes; a abrangência, a consistência, a integridade e a confiabilidade dos dados de entrada, bem como a independência de suas fontes; a adequação dos testes de estresse; a consistência e a confiabilidade das informações que compõem o relatório de ICAAP. De acordo com o Comitê de Supervisão Bancária de Basileia [BCBS (2005b)], os sistemas internos de classificação de risco de crédito representam um ponto-chave para o cálculo do capital regulatório em abordagens internal ratings-based systems (IRB) porque são a base para a determinação do parâmetro probabilidade de descumprimento (PD). A PD e outros dois componentes de risco de crédito perda, dado o descumprimento (LGD), e exposição no momento do descumprimento (EAD) são os parâmetros de entrada da modelagem para o cálculo do capital regulatório e para a gestão do risco de crédito com base em modelos internos. Consequentemente, a validação desses três parâmetros e do sistema de classificação de risco subjacente é fundamental no processo de supervisão de instituições financeiras. Para BCBS (2005b), os bancos devem demonstrar a performance de seus sistemas internos de classificação de maneira eficiente e conclusiva. Devem ser utilizadas diferentes metodologias quantitativas de validação para assegurar o bom desempenho de seus sistemas. O objetivo deste artigo é introduzir algumas ferramentas estatísticas utilizadas na validação de sistemas internos de classificação de risco de crédito sob o âmbito das disposições prudenciais de Basileia e demonstrar como elas são capazes de auxiliar na escolha de modelos que estimem o risco da forma mais acurada possível do ponto de vista estatístico. 148 Revista do BNDES 42, dezembro 2014

6 A próxima seção trata de princípios definidos pelo Comitê de Supervisão Bancária de Basileia [BCBS (2005a)] que devem guiar as atividades de validação, além de realizar uma breve revisão da literatura sobre o tema. Em seguida, são apresentadas algumas ferramentas estatísticas capazes de medir o poder discriminatório de sistemas internos de classificação de risco de crédito. São realizados, nas seções posteriores, três estudos de caso em que é possível observar a aplicação dessas ferramentas estatísticas na validação de modelos de classificação de risco. A última seção fecha o artigo com conclusão a respeito da importância e da complexidade da atividade de validação. Figura 1 Metodologia de validação internal validation by individual bank evaluates supervisory examination validation of rating system validation of rating process model design risk components data quality reporting and problem handling internal use by credit officers backtesting benchmarking PD LGD EAD Fonte: BCBS (2005b). Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia 149

7 Princípios da validação e revisão da literatura BCBS (2005a) define validação de sistemas internos de classificação de risco de crédito como o grupo de processos e atividades que contribuem para uma avaliação se os níveis de rating diferenciam o risco adequadamente e se seus componentes (PD, LGD, EAD) caracterizam apropriadamente os aspectos relevantes do risco de crédito. O grupo de Basileia responsável por essa validação define seis princípios básicos de tal processo. O primeiro princípio trata da validação como forma de avaliar as estimativas de risco e o uso dos ratings no processo de concessão de crédito. Isto é, por mais que as estimativas de risco sejam calcadas no passado, elas devem ser capazes de prever o futuro em alguma medida. O segundo princípio define a responsabilidade primária da validação como do próprio banco e não de sua entidade supervisora no caso do Brasil, o Banco Central do Brasil. Cabe ao supervisor avaliar se a validação está adequada, podendo realizar novos testes e procedimentos a fim de respaldar sua análise. O terceiro princípio foca no aspecto iterativo da validação. Isto é, bancos e supervisores precisam redefinir, periodicamente, ferramentas de validação em resposta a mudanças nas condições de mercado ou de operação. Por isso, o diálogo entre supervisores e bancos é muito importante para pôr em prática esse princípio. O quarto princípio estipula que não há um único método de validação. Não existe prática de validação que possa ser utilizada em todas as carteiras para todos os bancos. A ferramenta de backtesting, por exemplo, é muito difícil de ser utilizada em carteiras que apresentam baixo nível histórico de descumprimento. O quinto princípio diz que a validação deve abordar aspectos quantitativos e qualitativos do sistema de classificação de risco. Embora as ferramentas matemáticas e estatísticas constituam aspecto 150 Revista do BNDES 42, dezembro 2014

8 central no processo de validação, na avaliação da performance de um sistema de classificação é necessário verificar também os elementos qualitativos presentes nele, como controle, documentação, uso interno etc. O sexto e último princípio estipula que o processo de validação seja analisado de forma independente. Em muitos casos, a auditoria interna constitui a área competente para tal revisão, sendo a responsável por assegurar que o processo de validação seja implementado da forma como foi planejado. De acordo com BCBS (2005b), a análise estatística de sistemas internos de classificação de risco de crédito está predominantemente calcada na separação das contrapartes em dois tipos: instituições que entrarão em descumprimento em um horizonte de tempo determinado (más) e instituições que não entrarão em descumprimento em tal horizonte de tempo (boas). Desconsidera-se, neste trabalho, a definição de instituições intermediárias. Será utilizado o conceito binário representado por contrapartes boas ou más. A ideia principal de qualquer sistema de classificação de risco é a de que, quanto melhor a classificação de determinada contraparte, menor é a proporção de instituições más e maior é a proporção de instituições boas presentes no conjunto de instituições que possuem determinado rating. O poder de discriminação de um sistema de classificação de risco denota, portanto, sua habilidade de distinguir, de maneira ex ante, contrapartes que entrarão em descumprimento de contrapartes que não entrarão. O poder discriminatório do sistema deve ser testado em amostra segregada (out-of-sample). Caso contrário, corre-se o risco de o poder discriminatório ser superestimado. Cada nível de classificação de risco deve estar associado a uma PD. Uma instituição financeira que calcule o capital necessário para a cobertura de exposições a risco de crédito com base em modelos internos (IRB approach ou abordagem IRB) utilizará os parâmetros Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia 151

9 de PD, LGD e EAD nesse cálculo. Por isso, é importante que tais parâmetros estejam devidamente calibrados, para que a estimativa de capital seja a mais acurada possível. Erlenmaier (2006) cita algumas formas de validação para a classificação de risco e atribuição de PDs, como: cálculo do coeficiente de correlação linear entre PDs internas e externas; análise das companhias com maior diferença entre ratings internos e externos; comparação de PDs médias de pequenos grupos definidos em termos geográficos, setoriais etc.; coeficiente de Gini para os níveis do sistema de classificação; comparação dos resultados do novo sistema de classificação de risco com o sistema anterior, quando disponível. Engelmann (2006) define o poder de discriminação de um sistema interno de classificação de risco de crédito como a habilidade de separar créditos de boa qualidade de créditos de qualidade inferior. Questões semelhantes são abordadas em outras áreas do conhecimento. Na medicina, por exemplo, a qualidade de um teste de diagnóstico é predominantemente determinada por sua habilidade de distinguir pessoas saudáveis e doentes. Aplicações análogas são vistas em outras áreas como biologia, tecnologia da informação e engenharia. É importante destacar que poder discriminatório e calibração representam conceitos diferentes. Enquanto o poder discriminatório depende da diferença de frequência de observações de instituições más e boas, a correta calibração das PDs foca na acurácia dessas estimativas para diferentes níveis de classificação de risco. Validação do poder discriminatório do sistema de classificação de risco de crédito BCBS (2005b) lista uma série de testes relativos ao poder discriminatório dos sistemas internos de classificação de risco de crédito. Comenta-se a respeito de alguns deles a seguir. 152 Revista do BNDES 42, dezembro 2014

10 ROC e o índice de Pietra A curva ROC é construída por meio de duas amostras representativas de contrapartes boas e más. Espera-se que a curva ROC seja côncava, o que significa dizer que há maior concentração de instituições más nos piores escores e de instituições boas nos melhores escores. O mais importante índice derivado da análise de ROC é a área sob a curva ROC (AUROC). É muito simples construir intervalo de confiança para a estimativa de AUROC a fim de verificar se o valor 0,5 estaria presente nesse intervalo. Assim, é possível testar a hipótese de a AUROC ser estatisticamente diferente de 0,5, valor sob o qual o modelo não teria nenhum poder discriminatório. Vale destacar que as propriedades estatísticas da curva ROC coincidem com a estatística de Mann-Whitney. Andrade e Oliveira (2012) consideram que o poder discriminatório do modelo é aceitável para valor de AUROC acima de 70%, como mostra Quadro 1. Quadro 1 Avaliação de AUROC AUROC Capacidade de discriminação ROC = 0.5 Não existe discriminação 0.7 <= ROC <= 0.8 Discriminação aceitável 0.8 <= ROC < 0.9 Excelente discriminação ROC >= 0.9 Discriminação acima do comum Fonte: Andrade e Oliveira (2012). O uso da curva ROC como ferramenta de análise para sistemas de classificação de risco é indicado por diversos autores, entre eles BCBS (2005b), que demonstra preferência pelo método ROC para a verificação do poder discriminante de sistemas de classificação de risco de crédito graças a suas propriedades estatísticas. Segundo Annibal (2008), a possibilidade de facilmente calcular os intervalos Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia 153

11 de confiança da área sob a curva ROC é uma propriedade bastante desejada, pois, considerando que os valores desse índice são, via de regra, obtidos por meio da seleção de amostras, torna-se necessária a realização de testes de hipótese estatísticos para que se possam comparar os valores dos índices AUROC encontrados com o valor que significa a inexistência de poder discriminante de um sistema de classificação, qual seja, 0,5. Além disso, a determinação de intervalos de confiança também é fundamental para que se possam comparar os desempenhos de valores distintos de AUROC provenientes de diferentes modelos de classificação de risco. O índice de Pietra é outra importante medida derivada da análise ROC. Ele é definido como a metade da distância máxima entre a curva ROC e a reta de 45º. O Gráfico 1 constitui exemplo ilustrativo de construção da curva ROC. Gráfico 1 Área sob a curva ROC hit rate rating model perf ect model 1 random model A 0 0 Fonte: BCBS (2005b). 1 false alarm rate 154 Revista do BNDES 42, dezembro 2014

12 Fonte: BCBS (2005b). Define-se o hit rate (HR) como: Define-se o hit rate (HR) como: HHHH CC HH CC = NN Em que: Em que: H(C) = número de instituições más previstas corretamente para um corte C; e H(C) = número de instituições más previstas corretamente para um corte C; e N M = número total de instituições más na amostra. N M = número total de instituições más na amostra. A taxa de alarme falso (TAF) é definida como: A taxa de alarme falso (TAF) é definida como: FF CCCC TTTTTT CC CC = NN Em que: Em que: F(C) = número de instituições boas classificadas incorretamente F(C) = número de instituições boas classificadas incorretamente como más para um corte como más para um corte C; e C; e N B = número total de instituições boas na amostra. N B = número total de instituições boas na amostra. Define-se, então, a forma de cálculo para a AUROC: Define-se, então, a forma de cálculo para a AUROC: AAAAAAAAAA = HHHH TTTTTT dddd TTTTTT Sendo: Sendo: S M = variável aleatória representando o escore das instituições más; e S S B = variável M = variável aleatória representando o escore das instituições aleatória representando o escore das instituições boas, más; e então, podem-se redefinir HR(C) e TAF(C) da seguinte forma: S B = variável aleatória representando o escore das instituições HHHH CC CC = PP SS SS < CC CC boas, então, podem-se redefinir HR(C) e TAF(C) da seguinte forma: TTTTTT CC CC = PP SS SS < CC CC AAAAAAAAAA = HHHH TTTTTT dddd TTAAAA Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia 155 = PP SS SS < CCCC dddd SS SS < CC CC = PP SS SS < CCCC ff ff CCCC dddd = PP SS SS < SS SS

13 S M = variável aleatória representando o escore das instituições más; e S B = variável aleatória representando o escore das instituições boas, então, podem-se redefinir HR(C) e TAF(C) da seguinte forma: HHHH CC = PP SS < CC TTTTTT CC = PP SS < CC AAAAAAAAAA = HHHH TTTTTT dd TTAAAA Em que: = PP SS < CC dddd SS < CC = PP SS < CC ff CC dddd = PP SS < SS Em que: f SB = função de densidade de probabilidade de S B. f SB = função de densidade de probabilidade de S B. Engelmann Engelmann (2006) demonstra (2006) a relação demonstra existente a relação entre existente a AUROC entre e a estatística a AUROC de Mann- Whitney [Mann e a estatística e Whitney de (1947)]; Mann-Whitney sejam s M e [Mann s B realizações e Whitney de S(1947)]; M e S B, respectivamente. sejam s M e s B realizações de S M e S B, respectivamente. 1, 1, ssss ssss ss ss < ss ss 11 uu uu,, = 1, 2, ss ss 2, ssss ss < = ss 0, 1 uu 0, ssss > ss, = 2, ssss ss = ss A estatística A Û estatística de de Mann-Whitney Û de Mann-Whitney é é definida 0, como: ssss ss > ss é definida como: A estatística Û de Mann-Whitney é definida 11 como: UU UU = uu uu NN NN, NN NN, 1,, UU = uu NN NN, Assim, a a AUROC pode ser ser vista como um um estimador, Assim, a AUROC pode ser vista como não um estimador viesado de de Û: não Û: viesado Assim, a de AUROC Û: pode ser vista como um estimador não AAAAAAAAAA = EEEE UU UU = PPPP SS SS SS 1 2 PP SS < SS + 1 viesado de Û: SS 2 PP SS = SS AAAAAAAAAA = EE UU = PP SS A variância de de Û é é definida da da seguinte forma: < SS PP SS = SS A variância A de variância Û é definida σσ 1 σσ 1da Û é seguinte definida forma: da seguinte forma: 4 NN 1 NN 1 PP = NN 1 PP NN 1 PP 4 NN NN 1 PP + NN 1 PP,, + NN 1 PP,, σσ 1 4 NN NN 1 UU 1 4 NN + NN 1 UU 1 = 4 NN 1 NN 1 PP + NN 1 PP,, + NN 1 PP,, 22 4 NN + NN 1 UU 1 PP PP,, e e PP PP,, são estimadores para PP PP,, e e PP 2 PP,,,, respectivamente. PP PP PP,, e PP,, = PPPP,, são estimadores para PP SS SS,,, SS, SS,, < SS SS + PPPP SS SS < SS SS,, e PP,,, SS, SS,,,,, respectivamente. PP PPSS SS,, < SS SS < SS SS,, PP PPSS SS,, < SS SS < SS SS,, PP PP PP,, = PP SS,, PPPP SS SS,, SS,,, SS, SS, < SS,, SS SS + PP SS PPPP SS SS < SS SS SS,, SS,,, SS, SS, PP SS,, PPPP SS SS, < SS,, SS SS < SS SS SS, PP SS,, PPPP SS SS, < SS,, SS SS < SS SS SS,,, 156 Revista do BNDES 42, dezembro 2014 SS SS PP,,,,, SS, SS =,, e e PP SS SS SS,,,, SS,, SS SS,,, são < SS realizações + PP SS < independentes SS,, SS, PP de SS de, SS SS < e SS e SS SS < respectivamente. SS, PP SS, < SS < SS, SS,, SS, e SS "#$%,, SS, são realizações independentes de SS e SS respectivamente. O termo converge em em distribuição para uma normal-padrão: "#$% O termo converge em distribuição para uma normal-padrão:

14 AAAAAAAAAA = EE UU = PP SS SS + PP SS 2 = SS A A variância A A AAAAAAAAAA variância de de Û Û é é definida EE Û UU Û é é da definida da PP seguinte SS da da SS seguinte forma: PP SS 2 forma: SS AAAAAAAAAA = EE UU = PP SS σσ 1 < SS + 1 A variância de Û é definida da seguinte = 4 NN NN PP forma: 2 PP SS = SS A variância de Û AAAAAAAAAA é definida = da EE seguinte UU = PPforma: SS + NN 1 PP,, + NN 1 PP,, σσ 1 σσ = 1 < SS σσ 4 1NN = 1 4 NN + NN 1 UU 1 4 NN 1 1 PP PP = σσ 1 + NN 1 PP,, + NN 1 PP 4 NN,, NN 1 PP σσ = A variância de é definida da seguinte forma: 2 PP SS = SS A variância de Û é definida da seguinte + NN 1 PP,, + NN 1 PP,, 4 NN 1 NN + NN 1 PP = + NN 1 PP,, + NN 1 PP 4 NN,, 1 NN 1 PP + NN 1 PP,, + NN 1 PP,, σσ 1forma: A variância de Û é definida = 1 PP,, + NN PP 4 NN 1 NN 1 PP + NN 1 PP,, + NN 1 PP,, σσ 1da seguinte forma: 2 4 NN + NN 1 UU 1 4 NN + NN UU 1 4 NN + 1 UU 1 4 NN + NN 1 UU 4 NN + NN UU 4 NN NN 1 PP NN 1 PP,, NN 1 PP,, σσ 1 = 4 NN NN 1 UU 1 4 NN NN 1 PP + NN 1 PP,, + NN 1 PP,, σσ 1 = PP,, e PP,, são 4 estimadores NN para PP,, e PP,, 2, respectivamente. PP,, e PP,, são estimadores NN para 1 UU 1 4 NN 1 NN 1 PP + NN 1 PP,, + NN 1 PP,, PP PP,, e PP,,, respectivamente.,, PP,, e PP e PP,, PP PP,, e são e PP são,, 4PP,, NN estimadores são + são NN estimadores 1para UU PP 1,, PP 2para,, e PP e PP,, PP PP,, e, e PP,,, PP,,,, respectivamente. PP PP = SS SS,,, SS SS, < SS SS + PP SS SS < SS SS,,, SS SS, PP SS SS, < SS SS < SS SS, PP SS SS, < SS SS < SS SS PP,, e PP,,, = PP SS,,,, são estimadores para PP 2 4 NN SS, < SS + + NN PP SS < 1 UU 1 SS,, SS, PP SS,, e PP, < SS <,,, respectivamente. SS, PP SS, < SS < SS PP,,, e PP,, PP,, PP,, são = PP estimadores =,, PP,, PPSS SS =,, = SS PP,, SS PPSS,, SS para <, <, SS SS, SS, SS PP +,, < + PP< SS PPSS SS e SS PP 2 + <,, + < PPSS, PPSS SS,, SS SS respectivamente. <,, SS < SS,, SS,, SS PP,, SS PPSS, SS, < PP< PPSS SS SS, SS <, < SS, < SS SS, SS < < SS PP, SS PPSS, SS, < PP< PPSS SS SS, SS <, < SS, < SS SS, SS < PP,, e PP,, são estimadores para PP PP,, PP,, = PP = SS, PP, SS, SS, <,,, SS SS, + PP< SS SS SS <,, e PP + SS, PP, SS SS, SS,,, respectivamente. < SS PP SS, SS,, SS, SS < SS, SS < SS, PPPP SS SS SS,, PP SS <, SS SS SS < SS < SS < SS SS,, SS PPPP SS SS SS,, < < SS SS SS < SS SS SS PP,, PP,, e,, PP PP,, SS são PP, SS,,,, PP = PP SS,,, SS estimadores, PP = SS SS, e SS,, PP PP,, SS SS,, SS,, SS SS =, SS, e SS, são, = PP,, PPSS PP < SS realizações, SS SS para, SS,, PP SS SS,, SS,,, + < + PP, < SS e PP PP independentes SS SS + <,,, + < PPSS PP,, PP SS, SS de, SS respectivamente. SS, SS <,, SS PP SS SS,,, SS SS, são realizações independentes e, SS, SS SS SS,, SS, respectivamente., PPSS, SS SS, < PP < SS PPSS SS PP, SS <, SS < SS,, < SS, SS < SS < PPSS, PPSS SS, SS SS, < PP < SS PPSS SS, SS <, < SS, < SS, SS < PP,, = PP SS,, SS PP, < SS,, = PP + PP SS SS,, SS < SS, < SS,, SS + PP, PP SS SS < SS, < SS,, SS, < SS PP de SS, PP SS, SS SS < e SS SS SS <, < SS respectivamente. SS, < SS PP SS,, < SS < SS PP,,, PP =,, PP PP SS SS SS,, "#$% O termo, SS,, SS SS, <,, SS SS,, SS SS e, e, SS, SS + SS,, SS, SS, converge, PP, e SS PP SS, e SS, são SS <, são, SS SS, SS em, SS distribuição, SS,,, são são, SS SS,, realizações PP PP SS SS, para uma, < independentes SS SS < normal-padrão: SS SS,, SS e de PP PP e SS de SS SS,, SS < e SS SS SS SS < respectivamente. SS SS,, PP,, = PP SS SS,, SS "#$% respectivamente. O,,, SS < termo, e SS SS +,, SS PP SS, são < realizações SS,, SS, independentes PP SS, < SS < SS de, SS converge em distribuição para uma normal-padrão: e PP SS SS, respectivamente. < SS < SS, SS PP,,,, SS = PP, e SS SS, "#$% O,,, SS SS, O termo, são < SS realizações O + PP "#$% SS < independentes SS,, SS, PP SS de, SS < SS O termo converge AAAAAAAAAA converge em em UU distribuição em em NN 0,1 distribuição e SS < para para respectivamente. SS, PP SS, < SS < SS, SS,, SS, e SS,, SS, são uma uma para para normal-padrão: uma uma normal-padrão: "#$% realizações independentes de SS e SS respectivamente. σσ SS,, SS, e O termo converge em em distribuição para para uma uma normal-padrão: "#$% SS,, SS, são realizações independentes AAAAAAAAAA de SS UUe SS respectivamente. termo "#$% converge em distribuição para uma normal-padrão: Então, obtém-se: AAAAAAAAAA NN 0,1 O termo -padrão: converge em distribuição para uma σσ AAAAAAAAAA normal-padrão: UUUU UU UU "#$% NNNN0,1 0,1 NNNN0,1 0,1 O termo converge em distribuição para AAAAAAAAAA Então, obtém-se: PP UU σσ Φ 1 + αα σσ uma σσ normal-padrão: UUσσ AAAAAAAAAA UU + σσ 2 Φ 1 σσ + αα AAAAAAAAAA UU NN 0,1 σσ αα AAAAAAAAAA UU NN 0,1 2 Então, obtém-se: Então, obtém-se: σσ AAAAAAAAAA Em Então, que Φ denota obtém-se: a função de distribuição σσ UU NN 0,1 PP UU σσ Φ 1 + acumulada αα NN 0,1 da normal-padrão. Assim, AAAAAAAAAA UU + σσ 2 Φ 1 pode-se + αα Então, obtém-se: σσ αα definir Então, o intervalo obtém-se: de confiança para AUROC: 2 PP UU σσ Φ 1 + αα UU + σσ Em que Φ denota II = a UU função σσ Φ 1 + αα PP UU σσ Φ 1 + αα AAAAAAAAAA UU + σσ αα αα2 Φ 1 + αα PP UU σσ Φ 1 + αα UU + σσ αα 2 Φ 1 + αα PP UU σσ Φ 1 + αα AAAAAAAAAA UU + σσ αα 2 de 2distribuição, UU + σσ Φ 1 + αα 2 Φ 1 + αα Então, obtém-se: αα PP UU σσ Φ 1 + αα AAAAAAAAAA UU σσ 2 acumulada 2 da Φ 1 + αα Então, obtém-se: αα PP UU σσ normal-padrão. 2 Assim, pode-se Em Em que que Em Φ Em Φ 1 αα AAAAAAAAAA UU σσ que denota que Φ Φ a denota a 2função a a de função de distribuição de de distribuição 1 αα αα acumulada acumulada normal-padrão. da da normal-padrão. Assim, Assim, pode-se p Para PP definir todo UU auroc o σσ intervalo Φ 1 + αα pertencente de AAAAAAAAAA confiança ao intervalo para II, a UU + σσ 2 hipótese AUROC: Em que Φ denota a 2 Φ 1 + αα αα função de distribuição (AUROC acumulada = 2auroc) da não normal-padrão. pode ser Assim, pode-se rejeitada definir PP UU sob o o definir nível intervalo σσ Φ 1 + αα de o o significância de intervalo de confiança de αα. de AAAAAAAAAA confiança para para AUROC: UU para para + σσ AUROC: Em que denota a função de distribuição 2 Φ 1 + αα αα acumulada definir o intervalo de confiança para II, II = UU σσ Φ AUROC: 1 + da αα normal-padrão. 2, UU σσ 2 Φ 1 + Assim, αα pode-se Em que Φ denota a função de distribuição acumulada da normal-padrão. Assim, pode-se Em definir que o Φ intervalo denota Em que de a Φ função confiança denota de a para distribuição função AUROC: de 2 II = UU σσ Φ 1 + αα, UU + σσ 2 Φ 1 + αα II = UU σσ Φ 1 + αα, UU + σσ 2 Φ 1 + αα II = UU σσ Φ 1 + αα, UU + σσ 2 Φ 1 + αα II acumulada distribuição = UU σσ da acumulada Φ normal-padrão. 1 + αα da normal-, UU + σσ Assim, 2 2 Φ 1 pode-se + αα definir o intervalo de confiança para AUROC: Para todo auroc pertencente II = UU ao σσ intervalo Φ 1 + αα II II 2,, a, hipótese UU σσ Φ (AUROC 1 + αα definir o -padrão. intervalo Assim, de confiança pode-se para definir AUROC: 2 = auroc) não pode ser Para todo todo Para II auroc todo todo UU pertencente auroc σσ 1 o intervalo αα de confiança pertencente ao ao intervalo, UU ao ao σσ intervalo II rejeitada sob nível de significância 2 αα. II 1 αα para AUROC: II, a, a hipótese II 2II, a, a hipótese (AUROC (AUROC = = auroc) = = não não auroc) pode não não ser pod ser p = UU σσ Φ 1 + αα, UU + σσ Para todo auroc pertencente 2 Φ 1 + αα ao intervalo II rejeitada rejeitada sob sob nível sob sob de de nível significância de de significância αα. αα. αα. αα., a hipótese 2 II (AUROC = auroc) não pode ser = UU σσ Φ 1 + αα, UU + σσ Para todo auroc pertencente ao intervalo 2 Φ 1 + αα II rejeitada sob nível de significância, a hipótese (AUROC 2 = auroc) não pode ser Para todo auroc pertencente ao intervalo II, a αα. hipótese (AUROC = auroc) não pode ser Para rejeitada todo sob auroc nível de significância αα. rejeitada sob Para nível todo pertencente ao intervalo II de auroc significância pertencente αα. ao, intervalo a hipótese I (AUROC = auroc) não pode ser α, a hipótese (AUROC = rejeitada sob nível de significância αα. auroc) não pode ser rejeitada sob nível de significância α. Taxa de erro bayesiana A taxa de erro bayesiana especifica a probabilidade mínima de ocorrência de erro para um sistema interno de classificação de risco de crédito no âmbito de uma decisão binária relativa à ocorrência ou não de default. O erro pode ser estimado de forma paramétrica, assumindo Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia 157

15 [2] Taxa [2] de Taxa erro de bayesiana erro bayesiana A taxa A de taxa erro de bayesiana erro bayesiana especifica a a probabilidade mínima de de ocorrência ocorrência de erro de para erro para um sistema interno de classificação de risco de crédito no âmbito de uma decisão binária um sistema interno de classificação de risco de crédito no âmbito de uma decisão binária relativa à ocorrência ou não de default. O erro pode ser estimado de forma paramétrica, relativa à normalidade ocorrência ou para não a de distribuição default. O dos erro respectivos pode ser estimado eventos, de ou forma de forma paramétrica, assumindo normalidade para a distribuição dos respectivos eventos, ou de forma não assumindo paramétrica, não normalidade paramétrica, por meio para de por estimativas a meio distribuição de de estimativas densidade dos respectivos Kernel. de densidade eventos, Kernel. ou de forma não paramétrica, por meio de estimativas de densidade Kernel. min pp 1 HHHH CC + 1 pp TTTTTT CC, ssss pp > 50% TTTTTTTT dddd eeeeeeee bbbbbbbbbbbbbbbbbb = 1 min pp max HHHH HHHH CC CC+ TTTTTT 1 pp CC TTTTTT, ssss pp CC 50%, ssss pp > 50% TTTTTTTT dddd eeeeeeee bbbbbbbbbbbbbbbbbb = [2] Entropia condicional, distância de Kullback-Leibler e razão de entropia informacional Entropia condicional, (CIER) distância de Kullback-Leibler [2] Entropia A e entropia razão condicional, informacional de entropia H(p) distância de informacional um evento de com Kullback-Leibler probabilidade condicional p é definida e (CIER) razão como: de entropia informacional condicional (CIER) HH pp = pp llllll pp + 1 pp llllll 1 pp A entropia informacional H(p) de um evento com probabilidade p é A entropia A Figura informacional 3 exemplifica H(p) construção de um de evento curva com de entropia probabilidade informacional. p é definida como: definida como: max HHHH CC TTTTTT CC, ssss pp 50% HH pp = pp llllll pp + 1 pp llllll 1 pp Figura 3 Entropia informacional A Figura 3 exemplifica construção de curva de entropia informacional. O Gráfico 2 exemplifica construção de curva de entropia informacional. Autor Comment [3]: Ess pdf Figura 3 Entropia informacional Gráfico 2 Entropia informacional Auto Com pdf Information entropy 0.8 Fonte: BCBS (2005b) Sejam: S = escore; 0.3 Fonte: BCBS 0.2(2005b). 0.1 Sejam: S = escore; Fonte: BCBS (2005b). Probability 158 Revista do BNDES 42, dezembro 2014

16 Sejam: S = escore; D = evento de de descumprimento; e D = evento de D = descumprimento; evento descumprimento; e e DD DD = evento complementar a D isto é, é, não há há descumprimento, DD = evento complementar D = evento complementar a D isto é, não a há D descumprimento, isto é, não há descumprimen- D = evento de descumprimento; e então: to, então: então: D = evento de descumprimento; e DD = evento complementar a D isto é, não há descumprimento, HHHH PPPP DDDD SS SS = PPPP DDDD SSSS llllll PPPP DDDD SS SS + PPPP DDDD SSSS llllll PPPP DDDD SS SS DD = evento complementar a D isto é, não há descumprimento, então: HH PP DD SS = PP DD SS llllll PP DD SS + PP DD SS llllll PP DD SS A entropia condicional A então: entropia é condicional definida como: é definida como: A entropia condicional é definida HH PP DDcomo: SS = PP DD SS llllll PP DD SS + PP DD SS llllll PP DD SS HH HH = EEEE HHHH PPPP DDDD SS SS PP DD SS PP DD SS PP DD SS PP DD SS HH PP = DD EE SS PP = DD SS PP llllll DD SS PP llllll DD SS PP + DD PP SS DD + SS PP llllll DD SS PP llllll DD SS PP DD SS HH A = entropia EE HH PP DD condicional SS = EE é PP definida DD SS llllll como: PP DD SS + PP DD SS llllll PP DD SS A distância de de distância Kullback-Leibler de Kullback-Leibler é definida como: é definida como: A distância de A entropia Kullback-Leibler condicional é definida é definida como: como: HH = EE HH PP DD SS = EE PP DD SS llllll PP DD SS + PP DD SS llllll PP DD SS DDDDDDDDânnnnnnnn dddd dddd KKKKKKKKKKKKKK LLLLLLLLLLLLLL = HHHH pppp HH HH HH Distância de Kullbac Leibler H(p) H s DDDDDDDDânnnnnnnn = EE HH PPdddd DDKKKKKKKKKKKKKK SS = EE LLLLLLLLLLLLLL PP DD SS = llllll HH pppp DD HH SS + PP DD SS llllll PP DD SS A A distância de distância de de Kullback-Leibler Kullback-Leibler é, é, é definida então, como: normalizada pela entropia informacional A distância A de distância incondicional, Kullback-Leibler de Kullback-Leibler gerando a medida é, então, é definida é, conhecida normalizada então, como: normalizada como pela entropia pela entropia informacional DDDDDDDDânnnnnnnn dddd KKKKKKKKKKKKKK CIER: LLLLLLLLLLLLLL = HH pp HH incondicional, informacional gerando a incondicional, medida conhecida gerando a medida conhecida como CIER: DDDDDDDDânnnnnnnn como HH pp HH CCCCCCCC = HH dddd pp KKKKKKKKKKKKKK CIER: HH LLLLLLLLLLLLLL = HH pp HH A distância de Kullback-Leibler é, então, normalizada pela entropia informacional HHHH pp CCCCCCCC = HH pp pp HH incondicional, A distância de gerando Kullback-Leibler a medida conhecida é, então, como normalizada CIER: pela entropia informacional HH pp incondicional, gerando a medida conhecida como CCCCCCCC = HH pp CIER: HH [2] [2] Valor HH pp informacional CCCCCCCC = HH pp HH [2] Valor informacional HH pp Outra medida Valor de de informacional poder discriminatório baseada no no conceito de de entropia é o chamado Outra valor medida de poder informacional, discriminatório que se se trata de de baseada uma no medida da conceito da de diferença entropia entre as as é o chamado [2] Valor informacional distribuições de de valor informacional, Outra medida escore de de que de instituições se poder boas trata e de discriminatório más. uma medida da baseada diferença no entre conceito as distribuições de entropia Outra [2] Valor informacional de Sejam: escore de instituições é o medida chamado de boas e más. valor poder Sejam: informacional, discriminatório baseada que trata no de conceito uma medida de entropia é o chamado ff ff = função da valor Outra de diferença de densidade informacional, medida entre de as probabilidade poder que distribuições se discriminatório trata de de de escore de uma escore baseada das medida de instituições no da conceito diferença más; boas de e entre entropia e as distribuições é o chamado de ff = função de densidade de probabilidade de escore das instituições más; e ff ff = função más. escore valor de de Sejam: informacional, de instituições que densidade de de boas se e trata más. de probabilidade de Sejam: uma medida da diferença entre as distribuições de de escore das instituições boas. ff = função escore de densidade instituições de probabilidade boas e más. de escore Sejam: das instituições boas. Então, o ff valor = função de de densidade informacional (IV) é de de probabilidade definido de escore de escore das das instituições institui-másções ff informacional más; = função e de densidade e como: Então, o valor IIII EE ff (IV) é definido probabilidade SS DD EE ff como: de escore das instituições más; e ff = função SS ff DD ff SS ff SS ff SS IIII = EE llllll ff de densidade de SS ff dddd SS DD + EE llllll ff probabilidade de escore das instituições SS ff SS DD = ff SS ff SS llllll ff boas. SS ff ff SS dddd = função IIII = EE llllll ff SSde de ff SS DD densidade + EE llllll ff de SS probabilidade ff SS DD = ff de escore de escore das instituições das SS ff SS llllll ff SSinsti- tuições boas. Então, o valor informacional (IV) é definido como: ff SS dddd boas. Então, o valor informacional IIII = EE llllll ff (IV) é definido SS [2] [2] Testes de de Kendall e Somers DD + EE llllll ff como: SS (shadow rating) DD = ff SS ff SS llllll ff SS Então, o valor informacional (IV) é definido como: dddd IIII = EE llllll ff SS [2] Testes de Kendall e Somers ff (shadow SS DD + rating) EE llllll ff SS ff SS DD = ff SS ff SS llllll ff SS ff SS dddd Os Os testes de de Kendall e Somers são indicados por BCBS (2005b) para a validação de de Os testes modelos de de Kendall de e shadow Somers rating. são indicados Esse modelo foi por foi BCBS criado (2005b) com o para a validação objetivo de de de [2] Testes de Kendall e Somers (shadow rating) replicar modelos Validação de shadow de de sistemas rating. internos Esse modelo classificação foi de criado risco de com crédito o objetivo de 159replicar classificações [2] Testes de risco de Kendall externas e Somers considerando (shadow aspectos rating) econômico-financeiros das sob Os o arcabouço testes de prudencial Kendall de Basileia Somers são indicados por BCBS (2005b) para a validação de classificações instituições, de risco quando externas informações a considerando respeito de de aspectos suas econômico-financeiros frequências de de das descumprimento modelos Os testes de de Kendall shadow e rating. Somers Esse são indicados modelo foi por criado BCBS com (2005b) o objetivo para a não validação de replicar de instituições, estão quando informações a respeito de suas frequências de descumprimento não disponíveis. classificações modelos de shadow de risco rating. externas Esse considerando modelo foi aspectos criado com econômico-financeiros o objetivo de replicar das estão disponíveis.

17 escore de instituições boas e más. Sejam: ff = função de densidade de probabilidade de escore das instituições más; e ff = função de densidade de probabilidade de escore das instituições boas. Então, o valor informacional (IV) é definido como: IIII = EE llllll ff SS ff SS DD + EE llllll ff SS ff SS DD = ff SS ff SS llllll ff SS ff SS dddd [2] Testes de Kendall e Somers (shadow rating) Testes de Kendall e Somers (shadow rating) Os testes de Kendall e Somers são indicados por BCBS (2005b) para a validação de modelos Os de testes shadow de Kendall rating. e Esse Somers modelo são indicados foi criado por com BCBS o (2005b) objetivo para de replicar classificações a validação de risco de modelos externas de considerando shadow rating. aspectos Esse econômico-financeiros modelo foi criado das instituições, com quando o objetivo informações de replicar a respeito classificações de suas frequências de risco externas de descumprimento considerando aspectos econômico-financeiros das instituições, quando não estão disponíveis. informações a respeito de suas frequências de descumprimento não estão disponíveis. O teste de Kendall é um teste estatístico cujo objetivo é medir o grau de dependência entre duas variáveis aleatórias. A noção de dependência Kendall comonotônica é um teste presente estatístico nele generaliza cujo objetivo o conceito é medir de o grau dependência dependência O teste de entre duas linear, variáveis expresso aleatórias. pelo coeficiente A noção de correlação. dependência Na comonotônica literatura de presente ciências o conceito atuariais, de a dependência linear, comonotônica expresso pelo é considerada coeficiente de a correlação. forma Na nele generaliza literatura mais de ciências forte de atuariais, dependência a dependência entre variáveis comonotônica aleatórias. é considerada a forma mais forte de dependência entre variáveis aleatórias. Seja (X,Y) um par de variáveis aleatórias. A estatística τ de Kendall Seja (X,Y) é definida um par de como: variáveis aleatórias. A estatística τ de Kendall é definida como: tatística τ de Kendall é definida como: ττ " = PP XX < XX, YY < YY + PP XX > XX, YY > YY PP XX < XX, YY > YY 2, YY 1 > YY 2 ) PP(XX 1 < XX 2, YYPP 1 > XX YY> 2 ) XX, YY < YY (X 1,Y 1 ) e (X (X 2,Y 2 ) são realizações independentes (X,Y). A estatística ττ " de Kendall 1,Y 1 ) e (X 2,Y 2 ) são realizações independentes de (X,Y). A es- tes de (X,Y). pode A ser estatística vista como ττ XXXX uma de diferença Kendall entre pode duas ser vista probabilidades: como uma a probabilidade diferença entre de o maior probabilidades: valor de a probabilidade duas X estar probabilidades: associado de o ao maior maior a probabilidade valor de Y, e de a probabilidade o maior valor de de o maior X estar valor de X estar ao menor de de Y. Y, e a probabilidade associado de o maior ao maior valor de valor X de Y, e a probabilidade de o maior valor de A estatística X estar D de associado Somers é definida ao menor em de função valor da de estatística Y. τ de Kendall: A estatística D de Somers é definida DD " = ττ " em função da estatística τ da estatística τ de Kendall: de Kendall: ττ ττ XXXX ττ XXXX Ela também pode ser vista a partir da equação abaixo: DD = PP SS < SS PP SS > SS abaixo: 160 Revista do BNDES 42, dezembro 2014 PP(SS MM > SS BB ) [2] Escore de Brier O escore de Brier (1950) é um método de avaliação da qualidade da previsão de uma

18 (X 1,Y 1 (X 2,Y 2 são realizações independentes de (X,Y). estatística ττ " de Kendall pode (X 1,Y 1 ser ) e vista (X 2,Ycomo 2 ) são uma realizações diferença independentes entre duas probabilidades: de (X,Y). A a estatística probabilidade ττ " de o Kendall maior pode ser vista como uma diferença entre duas probabilidades: probabilidade de maior valor pode de ser X vista estar como associado uma diferença ao maior entre valor duas de Y, probabilidades: e a a probabilidade de o maior de valor o maior de X valor de estar associado ao maior valor de Y, probabilidade de maior valor de estar valor associado de X estar ao associado menor de ao valor maior de valor Y. de Y, e a probabilidade de o maior valor de X estar associado ao menor de valor de Y. A estar estatística associado D de ao Somers menor de é definida valor de em Y. função da estatística τ de Kendall: estatística de Somers definida em função DD " = ττ da estatística de Kendall: A estatística D de Somers é definida em função da estatística τ de Kendall: " DD ττ " ττ " DD " = ττ ττ " Ela também Ela pode também ser vista pode a partir ser da vista equação ττ a partir abaixo: da equação abaixo: Ela também pode ser vista partir da equação abaixo: Ela também pode ser vista a partir DD = PP da SS equação < SS abaixo: PP SS > SS DD PP SS SS PP SS SS DD = PP SS < SS PP SS > SS Escore de Brier [2] Escore de Brier [2] Escore de Brier [2] Escore de Brier O escore O de escore Brier de (1950) Brier é (1950) um método é um de método avaliação de avaliação da qualidade qualidade previsão da de uma escore de Brier (1950) um método de avaliação da qualidade da previsão de uma probabilidade. O escore previsão de Brier Sejam de (1950) uma p 0, p é 1 probabilidade., um..., método p k PDs de estimadas Sejam avaliação p 0 para, da p 1, qualidade..., contrapartes p k PDs da estimadas previsão em K níveis de uma de probabilidade. Sejam classificação para de contrapartes , risco. Então, em o escore K k PDs estimadas para contrapartes em níveis de probabilidade. Sejam p 0, p 1,..., p k níveis PDs de Brier estimadas de é classificação definido para como: contrapartes de risco. Então, em K níveis o de classificação de risco. Então, escore de Brier definido como: classificação escore de de risco. Brier Então, é definido o escore como: de BB = 1 Brier é definido como: pp nn θθ BB pp nn θθ BB = 1 pp nn θθ Onde: Onde: Em que: Onde: 1, ssss cccccccccccccccccccccc jj eeeeeeeeee eeee ddddddddddmmmmmmmmmmmmmmmmmm θθ 1, 1, ssss se cccccccccccccccccccccc contraparte 0, cccccccc jj j eeeeeeeeee entra ccccccccccárrrrrr eeee em ddddddddddmmmmmmmmmmmmmmmmmm descumprimento θθ θ j = 1, ssss cccccccccccccccccccccc 0, 0, cccccccc caso jj eeeeeeeeee ccccccccccárrrrrr contrário eeee ddddddddddmmmmmmmmmmmmmmmmmm θθ = Vale destacar que o escore de Brier apresenta 0, cccccccc ccccccccccárrrrrr fraca performance para baixos valores de Vale destacar Vale que destacar escore que de o Brier escore apresenta de Brier fraca apresenta performance fraca para performance baixos valores de PD. Vale Suponha, destacar por exemplo, que todas as contrapartes de determinada amostra tenham para baixos que o escore valores de de Brier PD. apresenta Suponha, fraca por exemplo, performance que para todas baixos as contrapartes de por p. Então, de exemplo, determinada o Escore que todas de amostra Brier, as nesse contrapartes tenham caso, PD será de no determinada igual valor a: p. amostra Então, tenham valores de PD. Suponha, por exemplo, que todas as contrapartes de determinada amostra tenham PD. no Suponha, valor PD no valor de p. Então, Escore de Brier, nesse caso, será igual a: PD no valor o Escore de p. Então, de Brier, o Escore nesse de caso, Brier, BB = será nesse 1 igual pp pp caso, a: será igual a: BB pp pp BB = 1 pp pp lim BB = 0 [2] Estatística de Kolmogorov-Smirnov Estatística de Kolmogorov-Smirnov A estatística de Kolmogorov-Smirnov (KS) mede a capacidade do rating em distinguir A estatística de Kolmogorov-Smirnov (KS) mede a capacidade do bons e maus clientes. Quanto maior a estatística KS, maior a separação entre bons e rating em distinguir bons e maus clientes. Quanto maior a estatística maus clientes. Essa estatística é definida como o valor máximo da diferença entre as KS, maior a separação entre bons e maus clientes. Essa estatística é distribuições definida acumuladas como o de valor boas máximo e más IFs. da Andrade diferença e Oliveira entre as (2012) distribuições estipulam níveis de discriminação para diferentes valores de KS. Quadro 2 Avaliação da estatística KS Validação de sistemas internos de classificação de risco de crédito Valores de sob KS o arcabouço Nível prudencial discriminação de Basileia Abaixo de 20% Baixa discriminação De 20% a 30% Discriminação aceitável De 30% a 40% Boa discriminação De 40% a 50% Excelente discriminação 161

19 acumuladas de boas e más IFs. Andrade e Oliveira (2012) estipulam níveis de discriminação para diferentes valores de KS. Quadro 2 Avaliação da estatística KS Valores de KS Abaixo de 20% De 20% a 30% De 30% a 40% De 40% a 50% Acima de 50% Fonte: Andrade e Oliveira (2012). Nível de discriminação Baixa discriminação Discriminação aceitável Boa discriminação Excelente discriminação Não são muito comuns ROC não binário Obuchowski (2005) desenvolve metodologia não paramétrica para estimação de AUROC não binário e cria estimadores para AUROC não binário discreto (ordinal) e contínuo (continuous), de acordo com o Quadro 3. Quadro 3 Estimadores de AUROC não binários Fonte: Obuchowski (2005). 162 Revista do BNDES 42, dezembro 2014

20 ROC não binário contínuo O ROC não binário contínuo é interessante para experimentos em que o suporte da função é um intervalo como no caso de PDs, que são números reais presentes no intervalo [0,1]. ROC não binário discreto O ROC não binário discreto é semelhante ao caso binário, com a diferença de que, neste último, pretende-se avaliar determinado grau de acerto de experimento, enquanto o primeiro avalia a adequação a uma variável discreta que possa assumir mais valores além de zero ou um. Estudo de Caso I: Modelo de shadow rating para instituições não financeiras BCBS (2005b) define shadow rating como uma metodologia cujo objetivo é replicar uma classificação de risco externa para contrapartes que não têm tal classificação. Modelos de shadow rating são construídos com base em informações econômico-financeiras e probabilidades de descumprimento de empresas que têm ratings externos. Tais relações são, então, extrapoladas para empresas que não têm esses ratings e, assim, suas classificações de risco são geradas com base nos parâmetros estimados pelo modelo. Cardoso et al. (2013) propõem um modelo de shadow rating para instituições não financeiras que inclua características ligadas a lucro, alavancagem, liquidez, porte, setor e cobertura de dívida. Assim, foram selecionadas as seguintes informações econômico-financeiras: Lucro líquido/ebitda, Cobertura de juros, ROA, Dummy para o Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia 163

21 são, então, extrapoladas para empresas que não têm esses ratings e, assim, suas classificações de risco são geradas com base nos parâmetros estimados pelo modelo. Lima et al. (2013) propõem um modelo de shadow rating para instituições não financeiras que inclua características ligadas a lucro, alavancagem, liquidez, porte, setor e cobertura de dívida. Assim, foram selecionadas as seguintes informações econômico-financeiras: setor Lucro líquido/ebitda, Utilities, Passivo Cobertura total/ativo de juros, ROA, total Dummy e (logaritmo para o setor neperiano Utilities, Passivo de) total/ativo total e (logaritmo neperiano de) Ativo Total. O modelo de regressão resultante Ativo total. O modelo de regressão resultante é: é: LLLLLLLLLL llíqqqqqqqqqq eeeeeeeeeeee = αα + ββ + ββ EEEEEEEEEEEE RRRRRR + ββ CCCCCCCCCCCCCCCCCC dddd jjjjjjjjjj + ββ llll AAAAAAAAoo tttttttttt PPPPPPPPPPPPPP tttttttttt + ββ + ββ AAAAAAAAAA tttttttttt DDDDDDDDDD UUUUUUUUUUUUUUUUUU + εε 1 PPPP = 1 + eeeeee eeeeeeeeeeee Visualiza-se, na Tabela 1, relação entre PDs e classificações de risco utilizada por Cardoso et al. (2013) e no presente artigo. Tabela 1 Ratings corporativos e PDs de cinco anos (em %) Rating Moody s Rating Standard & Poors PD Moody s Aaa AAA 0,086 Aa1 AA+ 0,141 Aa2 AA 0,195 Aa3 AA- 0,324 A1 A+ 0,492* A2 A 0,746 A3 A- 0,830 Baa1 BBB+ 1,180 Baa2 BBB 2,024 Baa3 BBB- 3,081 Ba1 BB+ 7,289 Ba2 BB 8,084 Ba3 BB- 16,948 B1 B+ 20,077 (Continua) 164 Revista do BNDES 42, dezembro 2014

22 (Continuação) Rating Moody s Rating Standard & Poors PD Moody s B2 B 25,211 B3 B- 36,907 Caa1 CCC+ 47,262 Caa2 CCC 49,868 Caa3 CCC- 66,96 Ca-C CC-SD 70,176 Fonte: Cardoso et al. (2013). * Com ajuste de monotonicidade (diferente do original). Com base em informações econômico-financeiras relativas ao exercício de 2013 presentes em uma amostra de 500 empresas, reestimou-se o modelo de Cardoso et al. (2013) e obtiveram-se os resultados expostos na Tabela 2. Tabela 2 Estimação dos parâmetros Parâmetro Valor estimado Estatística t P-Valor Intercepto 10, ,422 0,00% Lucro líquido / Ebitda 0, ,87 0,01% ROA -3, ,177 0,16% Cobertura de juros -0, ,56 11,93% ln(ativo total) -0, ,973 0,00% Passivo total / Ativo total 0, ,675 9,45% Dummy Utilities -2, ,463 0,00% R2 52,93% n.a. n.a. R2 ajustado 52,36% n.a. n.a. Fonte: Elaboração própria, com base em valores estimados em R. Validação de sistemas internos de classificação de risco de crédito sob o arcabouço prudencial de Basileia 165