Modelo Logístico. Modelagem multivariável com variáveis quantitativas e qualitativas, com resposta binária.

Transcrição

1 Modelagem multvarável com varáves quanttatvas e qualtatvas, com resposta bnára.

2 O modelo de regressão não lnear logístco ou modelo logístco é utlzado quando a varável resposta é qualtatva com dos resultados possíves, sto é, dcotômca, por eemplo, um contratante não cumpra o pagamento ou cumpra o pagamento no prazo. Ou equvalentemente que o clente tenha, por eemplo, um atraso de 3 das no pagamento. Estes modelos que permtem obter os valores das probabldades de resposta segundo, por eemplo, as característcas pessoas de um clente.

3 Assm denotando Y se o clente não cumpre o prazodo pagamento seo clente cumpre o prazodo pagamento Não cumpra o prazo é geral pode sgnfcar, por eemplo, que o clente tenha, por eemplo, um atraso de 3 das no pagamento.

4 Y A resposta esperada é uma função da probabldade p chamada de função logto. Por eemplo, p é a probabldade e (não cumpra o pagamento) a qual pode depender, por eemplo, de renda do clente que será consderada como varável eplcatva, denotando a renda do clente temos: p E ln p parâmetros do modelo

5 Y p E ln p Modelo lnear pode ser escrto equvalentemente como p ep( ep( ) ) Modelo não lnear Fca estabelecdo como a probabldade de cumprmento depende da renda do clente.

6 A função eponencal (ep) é uma função crescente

7 Interpretação de p ep( ep( ) ) ep Como a função eponencal (ep) é crescente temos que: se aumenta ) ep dmnu ep( ep aumenta e por tanto p aumenta.

8 p p p p

9 p ep( ep( ) ) ep ep

10 p ep( ) ep( ) ep ep Renda Probabldade 8,5 85,44 9,38 95,3,7 5,,8 5,5, 5, 3,8 35,6 4,5 45,4 5,3 55, 6, 65, 7, 75,

11 No caso que a varável eplcatva X seja qualtatva, ou seja, categorzada com categoras de,..,q, e se consdera uma categora específca como categora de referênca, serão cradas q- varavés dummy X,...,X q, assocadas a X, ou seja, j se o clente assume a categora j de X, caso contráro

12 Por eemplo, suponha que a varável qualtatva seja Nível de Ensno com três categoras: Fundamental, Médo, Superor, A categora de referênca é Fundamental, serão cradas duas varáves dummy se o clente assume a categora caso contráro de X, Médo 3 se o clente assume a categora caso contráro 3 de X, Superor

13 O modelo terá dos coefcentes, um correspondente à categora Ensno Médo (β ) e à categora Ensno Superor (β ). ) ep( ) ep( 3 3 p

14 Suponhamos que o clente possu Ensno Fundamental (Referênca) logo = e 3 =. Logo temos ) ep( ) ep( p ) ep( ) ep( ) ep( ) ep( 3 3 p Fnalmente determna a probabldade dos contratantes que assumem as categoras de referênca. No caso Ensno Fundamental.

15 Suponhamos que o clente possu Ensno Fundamental (Referênca), e que o estmatva obtda do parâmetro fo pˆ pˆ E. Fundamental ep(.5) ep(.5) ˆ.5.55 ep( ˆ ) ep( ˆ ) Determna a probabldade de não cumprr no prazo dos contratantes que possuem Ensno Fundamental é de.55.

16 Suponhamos que o clente possu Ensno Médo (Categora ) ) ep( ) ep( ) ep( ) ep( 3 3 p ) ep( ) ep(. Médo E p p A probabldade de não cumprr no prazo dos contratantes que possuem Ensno Médo será calculada como:

17 Se o clente possu Ensno Fundamental (Categora =Referênca) sua probabldade é calculada como p p ep( ) ep( ) Se possu Ensno Médo (Categora ) é obtda por ep( ) ep( ) estabelece a dferença entre as probabldades de um contratante que assume a categora de referênca (E. Fundamental) e aquele contratante que assume a categora (E. Médo).

18 Suponha que as estmatvas obtdas para os parâmetros foram ˆ.5 e ˆ.8 pˆ pˆ E. Médo ep( ˆ ˆ ) ep( ˆ ˆ ) ep(.5.8).396 ep(.5.8) Determna a probabldade de não cumprr no prazo dos contratantes que possuem Ensno Médo é de.396.

19 Suponhamos que o clente possu Ensno Superor (Categora 3) ) ep( ) ep( ) ep( ) ep( p ) ep( ) ep(. 3 Superor E p p A probabldade de não cumprr no prazo dos contratantes que possuem Ensno Superor será calculada como:

20 Se o clente possu Ensno Fundamental (Categora =Referênca) sua probabldade é calculada como p p 3 ep( ) ep( ) Se possu Ensno Superor (Categora 3) é obtda por ep( ) ep( ) estabelece a dferença entre as probabldades de um contratante que assume a categora de referênca (E. Fundamental) e aquele contratante que assume a categora (E. Superor).

21 Suponha que o modelo estmou ˆ.5 e ˆ.3 pˆ pˆ Superor ep(.5.3) ep(.5.3) ep( ˆ ˆ ) ep( ˆ ˆ ).577 Determna a probabldade de não cumprr no prazo dos contratantes que possuem Ensno Superor é de.577.

22 Novamente por ser ep uma função crescente temos que p p p Em relação à categora de referênca p p p Em relação à categora de referênca

23 Agora seja um modelo mas completo de regressão múltpla em que serão consderadas duas varáves: Nível Educaconal e Renda. Então este modelo alem do ntercepto que terá três coefcentes, um correspondente à categora Ensno Médo (β ), outro à categora Ensno Superor (β ) e um coefcente assocado a renda (). p ep( ep( 3 Renda) Renda) 3

24 Suponhamos que o clente possu Ensno Fundamental (Referênca) logo = e 3 =. Se o contratante assume a categora de referênca temos Renda) ep( Renda) ep( p Renda) ep( Renda) ep( Renda) ep( Renda) ep( 3 3 p

25 Suponha que os coefcentes estmados são ˆ.5 e ˆ. pˆ,renda pˆ Fundamental, Renda ep(.5. Renda) ep(.5. Renda) ep( ˆ ˆ Renda) ep( ˆ ˆ Renda) Renda Probabldade, 5,8 3,5 35,3 4, 45, 5, 55, 6, 65,

26 Se a pessoa possu ensno superor pˆ,renda pˆ Superor, Renda ep(.5.3. Renda) ep(.5.3. Renda) ep( ˆ ˆ ˆ Renda) ep( ˆ ˆ ˆ Renda) Renda PEF PES,,4 5,8, 3,5, 35,3, 4,, 45,, 5,, 55,, 6,, 65,, 7,,

27 Assm o modelo permte estmar qual é a probabldade atraso de qualquer clente segundo seja seu Nível Educaconal e sua Renda. Dos clentes com o mesmo Nível Educaconal porém com Rendas dferentes possurão probabldades dferentes. Dos clentes com a mesma Renda mas com Níves Educaconas dferentes possurão probabldades dferentes.

28 Qualdade de um modelo

29 Estudo dos resíduos Valdação do Modelo

30 Valdação

31 Amostra Base de Construção Ajuste do Modelo Coefcentes Estmados Amostra Base de Valdação A predção do modelo é boa? Banco de Dados Completo Base de Construção Base de Valdação

32 Valdação O modelo logístco estma probabldades, mas como determnar quem terá resposta ou resposta zero por meo destas probabldades? É necessáro determnar um ponto de coorte pc tal que se a probabldade estmada for maor que pc se consderará que a resposta será, pelo contraro será se a probabldade estmada for menor que pc. P<PC P>PC Resposta= Resposta=

33 Sensbldade e Especfcdade Suponha que estamos nteressados em dos estados mutuamente eclusvos e eaustvos: E : ndvíduo não pagou (E); E : ndvíduo pagou (Ec); (pode ser generalzado para nclur 3 ou mas eventos) T+: resultado postvo = (não pagou) segundo o modelo. T-: resultado negatvo = (pagou) segundo o modelo. Interesse: Encontrar P(E T+) +), a probabldade de que uma pessoa com um resultado de postvo realmente não pague. 33

34 Relação de Modelo-Estado ESTADOS DO CLIENTE RESULTADO DO MODELO Não Pagou MODELO POSITIVO Não Pagou MODELO NEGATIVO Pagou MODELO POSITIVO Pagou MODELO NEGATIVO MODELO POSITIVO MODELO NEGATIVO Não Pagou Pagou

35 Relação de Modelo-Estado ESTADOS DE CLIENTE RESULTADO DO MODELO + VERDADEIRO POSITIVO FALSO NEGATIVO FALSO POSITIVO VERDADEIRO NEGATIVO MODELO POSITIVO MODELO NEGATIVO Não Pagou Pagou

36 SENSIBILIDADE Ela nos ndca o quanto um modelo postvo detecta os que não pagam. É defnda como a fração dos que não pagam com resultados postvos no modelo. Sensbldade de um teste: probabldade de um resultado postvo de modelo, dado que o ndvíduo não pagou

37 SENSIBILIDADE Sendo que a sensbldade é a fração dos que se prevu segundo o modelo e o ponto de corte seleconado como tendo resposta (não pagaram) entre aqueles que verdaderamente não pagaram (verdaderos postvos). Ou seja, é a porcentagem de zeros prevstos corretamente pelo modelo.

38 Eemplo 83,75% dos clentes que não pagaram apresentaram resultado postvo no modelo. Verdadero postvo P(teste postvo não pagou) =,8375. Sensbldade do modelo fo de,8375.

39 falso negatvo: quando o teste de um ndvíduo que não pagou ndca ncorretamente que o ndvíduo pagou. P(teste negatvo não pagou) =,65. 6,5% dos clentes que não pagaram foram prevstos pelo modelo como que pagaram falsos negatvos. P(teste negatvo não pagou)]= -P(teste postvo não pagou) = -,8375. =,65 A sensbldade e a taa falsos negatvos somam. 39

40 Nem todos os clentes não pagaram 8,36% dos testes foram resultados verdaderos negatvos. P(teste negatvo pagou) =,836. Especfcdade de um teste: probabldade de que seu resultado seja negatvo, dado que o ndvíduo pagou. A especfcdade do modelo fo de,836. 4

41 Nem todos os clentes dos que o modelo prevu como postvos não pagaram 8,64% dos testes foram resultados falsos postvos. falso postvo: quando o modelo ndca ncorretamente que o ndvíduo não va pagar, quando na realdade pagou. P(teste postvo pagou) = -,836=,864. 4

42 ESPECIFICIDADE A especfcdade é a fração ou porcentagem dos que prevu o modelo como resposta, segundo o modelo e o ponto de corte seleconado, entre aqueles que verdaderamente pagaram (verdaderos negatvos). Em defntva é a porcentagem de zeros prevstos corretamente pelo modelo.

43 Note que valores de ponto de corte alto levarão a poucas respostas por tanto a detectar poucas respostas terá uma sensbldade baa. Pelo contráro pontos de corte baos levaram a uma especfcdade baa. Também temos a porcentagem geral dos corretamente classfcados (pcc).

44 Por eemplo, no Contrato de meses-modelo para o segmento moto pagamento com atraso superor a das, observamos que o ponto de corte seleconado fo,9 e foram obtdas uma especfcdade=,6385, uma sensbldade=,6599 e PCC=,63848, para a base de ajuste, sto é, a base com os dados com os quas o modelo fo ajustado.

45 Curvas ROC ROC = Recever Operatng Characterstc Curve

46 Curvas ROC A predção é um processo mperfeto. É desejável ter um modelo que seja altamente sensível como altamente específco.. sensível dado que não pagou, o modelo dar +. específco dado que pagou, o modelo dar - A decsão esta baseada num ponto de corte que pode assumr uma sére de valores; nesse caso, há um compromsso entre a sensbldade e a especfcdade. 46

47 A relação entre a sensbldade e a especfcdade pode ser lustrada usando-se um gráfco conhecdo como curva característca operador recebedor (curva ROC). Uma curva ROC é a representação gráfca dos pares de um resultado postvo verdadero -- ou a sensbldade do teste (y) -- versus (-especfcdade) a probabldade de um resultado postvo falso para uma sére de dferentes pontos de corte. 47

48 Assm, pode-se defnr, um ponto de corte que determna um crtéro estrto (por eemplo, apenas se desgna o clente como atrasado quando a evdênca é muto forte, sua probabldade estmada é alta). Sendo este ponto ou crtéro aquele que conduz a uma relatvamente pequena fração de verdaderos postvos e uma pequena fração de falsos postvos (-especfcdade). Isto é, gera um ponto na curva ROC que se stua no canto nferor esquerdo do gráfco. Progressvamente crtéros menos estrtos conduzem a maores frações de ambos os tpos, sto é, pontos colocados no canto superor dreto da curva.

49 ROC Plot Sensbldade (verdaderos postvos) Crtéro Estrto Crtéro Moderado Crtéro Brando Especfcdade (falsos postvos)

50 A área abao da curva ROC, que pode varar de a, mede a habldade do modelo em dscrmnar os clentes que estão sendo classfcados corretamente daqueles que não estão. Hosmer e Lemeshow (, p.6) apresentam uma regra geral para avalação do resultado da área sob a Curva ROC: a) área no ntervalo entre,7 e,8: dscrmnação acetável; b) área no ntervalo entre,8 e,9: ecelente dscrmnação; c) área acma de,9: ecepconal dscrmnação. Em nossos modelo o valor mínmo observado fo de.66

51 Sensbldade(verdaderos postvos) ROC Plot.9 AUC:.69 M-.6.5 Default.9 Sens=Spec.6 MaKappa Especfcdade (falsos postvos) Fgura A.. Curva ROC para o Modelo M-