Attribute Information:

Transcrição

1 Universidade Tecnológica Federal do Paraná (UTFPR) 2010/03 Mineração de Dados Jean Avila Rangel PPGCA Trabalho para o dia 18 do professor Heitor. Análise na ferramenta Rstudio de arquivos da base da UCI. Base escolhida: Trata-se de uma base com informações bancárias de dados de cartões de crédito dos clientes. Escolhi esta base porque o meu projeto do mestrado irá tratar com dados financeiros, oriundos de gastos governamentais. Ao início, a legenda dos atributos é o seguinte: Attribute Information: This research employed a binary variable, default payment (Yes = 1, No = 0), as the response variable. This study reviewed the literature and used the following 23 variables as explanatory variables: X1: Amount of the given credit (NT dollar): it includes both the individual consumer credit and his/her family (supplementary) credit. X2: Gender (1 = male; 2 = female). X3: Education (1 = graduate school; 2 = university; 3 = high school; 4 = others). X4: Marital status (1 = married; 2 = single; 3 = others). X5: Age (year). X6 - X11: History of past payment. We tracked the past monthly payment records (from April to September, 2005) as follows: X6 = the repayment status in September, 2005; X7 = the repayment status in August, 2005;...;X11 = the repayment status in April, The measurement scale for the repayment status is: -1 = pay duly; 1 = payment delay for one month; 2 = payment delay for two months;...; 8 = payment delay for eight months; 9 = payment delay for nine months and above. X12-X17: Amount of bill statement (NT dollar). X12 = amount of bill statement in September, 2005; X13 = amount of bill statement in August, 2005;...; X17 = amount of bill statement in April, X18-X23: Amount of previous payment (NT dollar). X18 = amount paid in September, 2005; X19 = amount paid in August, 2005;...;X23 = amount paid in April, Seguem alguns comandos e constatações feitos com base no capítulo 3 do PDF RDataMining (OBS: nomeei o dataset como card ): > dim (card) [1] Uma tabela com 25 atributos (colunas) e registros (linhas). > str(card) 'data.frame': obs. of 25 variables: $ ID : int $ LIMIT_BAL : int $ SEX : int $ EDUCATION : int $ MARRIAGE : int $ AGE : int $ PAY_0 : int $ PAY_2 : int $ PAY_3 : int $ PAY_4 : int $ PAY_5 : int $ PAY_6 : int $ BILL_AMT1 : int $ BILL_AMT2 : int $ BILL_AMT3 : int $ BILL_AMT4 : int $ BILL_AMT5 : int $ BILL_AMT6 : int $ PAY_AMT1 : int $ PAY_AMT2 : int $ PAY_AMT3 : int $ PAY_AMT4 : int $ PAY_AMT5 : int $ PAY_AMT6 : int $ default.payment.next.month: int

2 Os nomes dos atributos já estão explicados no início do texto. Aqui vemos o comando str que mostra os 10 primeiros registros da tabela. Podemos constatar que o sexo (booleano) está caracterizado como 1 (masculino) e 2 (feminino). Outras variáveis, também textuais, estão com algum código respectivo. Em seguida temos a idade dos clientes, seus débitos, seus créditos e seus pagamentos ao longo dos meses (ex: X1 = setembro). > summary(card) ID LIMIT_BAL SEX EDUCATION MARRIAGE Min. : 1 Min. : Min. :1.000 Min. :0.000 Min. : st Qu.: st Qu.: st Qu.: st Qu.: st Qu.:1.000 Median :15000 Median : Median :2.000 Median :2.000 Median :2.000 Mean :15000 Mean : Mean :1.604 Mean :1.853 Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.: rd Qu.:2.000 Max. :30000 Max. : Max. :2.000 Max. :6.000 Max. :3.000 AGE PAY_0 PAY_2 PAY_3 PAY_4 Min. :21.00 Min. : Min. : Min. : Min. : st Qu.: st Qu.: st Qu.: st Qu.: st Qu.: Median :34.00 Median : Median : Median : Median : Mean :35.49 Mean : Mean : Mean : Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.: rd Qu.: Max. :79.00 Max. : Max. : Max. : Max. : PAY_5 PAY_6 BILL_AMT1 BILL_AMT2 Min. : Min. : Min. : Min. : st Qu.: st Qu.: st Qu.: st Qu.: 2985 Median : Median : Median : Median : Mean : Mean : Mean : Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.: Max. : Max. : Max. : Max. : BILL_AMT3 BILL_AMT4 BILL_AMT5 BILL_AMT6 PAY_AMT1 Min. : Min. : Min. : Min. : Min. : 0 1st Qu.: st Qu.: st Qu.: st Qu.: st Qu.: 1000 Median : Median : Median : Median : Median : 2100 Mean : Mean : Mean : Mean : Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.: rd Qu.: 5006 Max. : Max. : Max. : Max. : Max. : PAY_AMT2 PAY_AMT3 PAY_AMT4 PAY_AMT5 Min. : 0 Min. : 0 Min. : 0 Min. : 0.0 1st Qu.: 833 1st Qu.: 390 1st Qu.: 296 1st Qu.: Median : 2009 Median : 1800 Median : 1500 Median : Mean : 5921 Mean : 5226 Mean : 4826 Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.: Max. : Max. : Max. : Max. : PAY_AMT6 default.payment.next.month Min. : 0.0 Min. : st Qu.: st Qu.: Median : Median : Mean : Mean : rd Qu.: rd Qu.: Max. : Max. : Fazendo o sumário das informações, começamos a notar as primeiras informações (na ordem dos atributos): O ID vai de 1 à 30000; O limite de crédito vai de $ até $ , sendo cerca de $ a média e a mediana; há mais clientes do sexo feminino; o cliente mais novo tem 21 anos e o mais velho, 71 (sendo 35 a média de idade); Nas contas dos clientes, nota-se que há cidadãos que devem cerca de $ e outros que possuem até $ na conta. Em pagamentos realizados, alguns realizaram pagamentos de até $ Antes de rodar os comandos para gerar o histograma e a densidade, rodei o código options(scipen=5) para não formatar os números muito grande para equações exponenciais e apresenta-los na íntegra. > hist(card$bill_amt6)

3 Podemos identificar que a frequência de clientes com saldo negativo existe, porém é pequena em comparação aos clientes que possuem saldo entre $0 e $ > plot(density(card$bill_amt6))

4 Observando a plotagem da densidade das contas dos clientes (último mês registrado), notamos que os saldos negativos são bem próximos do zero, e poucos possuem um saldo de $ dólares. > pie(table(card$sex)) Aplicando o comando pie nos dados referentes ao sexo dos clientes, notamos, com o gráfico de pizza, que a maioria são do sexo feminino (2).

5 > pie(table(card$education)) Com o gráfico de pizza nos dados da ESCOLARIDADE dos clientes notamos que um pouco menos da metade são graduados, uma grande parcela possui pós-gradu ação e menos de 25% possui somente o ensino médio. Também notamos que os outros e dados preenchidos de maneira equivocada constituem uma pequena parte dos r egistros. > cor(card$age, card$bill_amt1) [1] Fazendo a correlação entre IDADE e CONTA, podemos ver que eles crescem de maneira conjunta. > aggregate(bill_amt1 ~ EDUCATION, summary, data=card) EDUCATION BILL_AMT1.Min. BILL_AMT1.1st Qu. BILL_AMT1.Median BILL_AMT1.Mean BILL_AMT1.3rd Qu. BILL_AMT1.Max O comando aggregate realiza a relação de valores (mínimo, 1º quartiu, mediana, média, 3º quartiu e máximo) em alguma classe (no caso, foi a EDUCAÇÃO). Relembrando: X3: Education (1 = graduate school; 2 = university; 3 = high school; 4 = others). Ao analisar os resultados, constatamos que as pessoas que possuem graduação e ensino médio possuem um padrão similar de conta bancária. Também podemos contatar que as pessoas que declararam sua escolaridade de forma errônea (dados em vermelho) possuem uma conta bancária, em média, com muito saldo (o 3º quartiu está na base dos $ dólares). Isso pode ser uma suspeita de fraude, já que os clientes possuem um grande valor na conta e suas informações estão inválidas. > boxplot(bill_amt1 ~ EDUCATION, data=card, xlab="education", ylab="bill_amt1")

6 Ao fazer um boxplot dos dados bancários relacionando com o grau de escolaridade dos clientes do banco, confirmamos as informações apresentadas anteriormente, e também visualizamos que existem dois clientes (do grupo com graduação e pós-graduação) que possuem um débito de mais de $ dólares. No grupo dos pós-graduados, enxergamos que um indivíduo possui mais de $ na conta, porém esses casos são bem atípicos, bem como três indivíduos que possuem apenas o ensino médio e possuem cerca de $ na conta bancária. > with(card, plot(bill_amt1, PAY_AMT1, col=education, pch=as.numeric(education)))

7 Utilizando a scatter plot podemos visualizar os dados com 3 variáveis. No exemplo, foi utilizada a quantia de dólares na conta bancária no mês 01 para o eixo X, o pagamento realizado no mês 01 para o eixo Y e as cores e formas para representar a ESCOLARIDADE dos clientes. Em uma primeira análise, podemos constatar que um cliente que possui pós-graduação é um outlier que realizou um pagamento de mais de $ dólares. > table(card$pay_0) Analisando os atrasos nos pagamentos (-1 = sem atrasos; 1 = atraso de um mês; 5 = atraso de cinco meses;...) Como no SUMMARY a função realizou cálculos (porque o agrupamento está em números, não em nomes), realizamos a função TABLE para dizer quais são os registros existentes e quantos são os clientes que estão contidos naqueles registros (ex: existem 19 clientes que possuem 8 meses de atraso no mês 0). > pie(table(card$pay_0))

8 Podemos perceber que a maioria dos clientes está em dia com os débitos ou devendo 1 ou 2 meses. > install.packages("scatterplot3d") > library(scatterplot3d) > scatterplot3d(iris$petal.width, iris$sepal.length, iris$sepal.width) Para produzir uma matriz com a função pairs(), eu reduzi a maioria dos atributos da tabela. Ao final, obtive apenas a quantia na conta do primeiro mês, o pagamento realizado no primeiro mês, se o cliente irá pagar no próximo mês (1 se sim, 0 se não) e agrupei as situações no PAY_0 numa coluna SITUACAO (se menor que zero, escrevi OK, se maior (1, devendo um mês,... 4, devendo 4 meses), escrevi DEVENDO). > pairs(card)

9 Nos dados, podemos constatar que o usuário que possuía (no primeiro mês registrado) mais de $ dólares estava com a situação OK (número 2) e não deveria realizar pagamento no mês seguinte. Também constatamos que o usuário que fez um pagamento de mais de $ possuía menos de $ na conta. Outro dado interessante é que a pessoa que possui quase um milhão na conta, realizou um pagamento baixo, comparado às pessoas que possuem uma conta bancária normal. Reduzindo ainda mais o conteúdo, deixei somente a relação de quantia na conta e situação.

10 Na matriz, percebemos que a situação das pessoas que estão devendo/não devendo não possui muita relação com a quantia na conta do cidadão. Apenas há uma leve tendência das pessoas que possuem mais dinheiro na conta (acima de $ ) estarem com a situação positiva, ou seja, não devendo (número 2.0). EXTRA (dá pra mexer com o mouse o plot do 3d): > install.packages("rgl") > require("rgl") > install.packages("rcolorbrewer") > require("rcolorbrewer")

11 > plot3d(iris$petal.length, + iris$petal.width, + iris$sepal.length, + xlab = "Petal.Length", + ylab = "Petal.Width", + zlab = "Sepal.Length", + col = brewer.pal(3, "Dark2")[unclass(iris$Species)], + size = 8)