Silva (2014) faz a classificação dos elementos no trabalho Data Mining sobre um dataset de Câncer de Mama:

Transcrição

1 UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ (UTFPR) Mineração de Dados 2016/3 Professores Celso e Heitor Jean Avila Rangel PPGCA PPGCA/UTFPR câmpus Curitiba -- CAIA003 - Mineração de Dados -- Profs. Celso Kaestner e Heitor Lopes - Trabalho Breast Cancer R ou Weka Exercício referente à aula 5: elaborar relatório técnico que relate a aplicação dos classificadores Naïve-Bayes e knn sobre a base Breast Cancer Winconsin, utilizando a linguagem R ou o ambiente Weka. Silva (2014) faz a classificação dos elementos no trabalho Data Mining sobre um dataset de Câncer de Mama: Os atributos são: Espessura dos grupos (Clump Thickness): células benignas a tendem a ser agrupadas em monocamadas, enquanto que as células cancerosas são muitas vezes agrupadas em multicamadas. Uniformidade de tamanho e forma da célula (Uniformity of Cell Size & 3 Uniformity of Cell Shape): As células cancerosas tendem a variar em tamanho e forma (como o exemplo mostrado na Figura 2). É por isso que esses parâmetros são úteis para determinar se as células são cancerosas ou não. Adesão Marginal (Marginal Adhesion): As células normais tendem a ficar juntas. As células cancerosas tendem a perder essa capacidade (como o exemplo mostrado na Figura 3). Então perda de adesão é um sinal de malignidade. Tamanho único das células epiteliais (Single Epithelial Cell Size): está relacionada com a uniformidade mencionado acima. As células epiteliais que estão significativamente aumentadas pode ser uma célula maligna. Núcleos nus (Bare Nuclei): Este é um termo usado para núcleos que não são rodeados pelo citoplasma (o resto da célula). São tipicamente vistos em tumores benignos. Suavidade da cromatina (Bland Chromatin): Descreve uma textura uniforme do núcleo visto em células benignas. Em células cancerosas, a cromatina tende a ser mais grosseira. Nucléolo normal (Normal Nucleoli): nucléolos são pequenas estruturas existentes no núcleo. Em células normais, o nucléolo é geralmente muito pequeno, quando visível. Em células cancerosas os nucléolos se tornam mais proeminentes. Mitose: Patologistas podem determinar o grau de um tumor contando o número de mitoses.

2 O trabalho a seguir está baseado conforme o trabalho de Silva (2014), pois ele executou praticamente os mesmos procedimentos. O último atributo (classificador) está como número 2 para benigno e 4 para maligno. Para trocar os valores, utilizamos a ferramenta Notepad++ e fizemos o localizar e substituir por expressão regular utilizando o 2$ e 4$ ($ busca o final da linha). 1) carregar os arquivos do dataset Breast Cancer para o RSTUDIO: bc<- read.csv("c:/users/jean 000/Desktop/breastcancer/jeanrangelbreast-cancer-wisconsin.data", header=f) 2) Adicionando nome para os atributos: > names(bc) <- c("samplecodenumber", "ClumpThickness", "UniformityofCellSize", "UniformityofCellShape", "MarginalAdhesion", "SingleEpithelialCellSize", "BareNuclei", "BlandChromatin", "NormalNucleoli", "Mitoses", "Class") 3) Observando o tamanho do dataset: > dim(bc) [1] instâncias e 11 atributos (sendo o último, o classificador) summary(bc) Samplecodenumber ClumpThickness UniformityofCellSize UniformityofCellShape MarginalAdhesion Min. : Min. : Min. : Min. : Min. : st Qu.: st Qu.: st Qu.: st Qu.: st Qu.: Median : Median : Median : Median : Median : Mean : Mean : Mean : Mean : Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.: rd Qu.: Max. : Max. : Max. : Max. : Max. : SingleEpithelialCellSize BareNuclei BlandChromatin NormalNucleoli Mitoses Min. : :402 Min. : Min. : Min. : st Qu.: :132 1st Qu.: st Qu.: st Qu.: 1.000

3 Median : : 30 Median : Median : Median : Mean : : 30 Mean : Mean : Mean : rd Qu.: : 28 3rd Qu.: rd Qu.: rd Qu.: Max. : : 21 Max. : Max. : Max. : (Other): 56 Class benigno:458 maligno:241 Podemos perceber que grande parte dos dados está nos casos BENÍGNOS. 4) Fazendo o balanceamento da base, precisamos instalar o pacote: install.packages("dmwr") e após: > library (DMwR) Carregando pacotes exigidos: lattice Carregando pacotes exigidos: grid Warning message: package DMwR was built under R version > bcb <- SMOTE(Class ~., bc, perc.over = 100,perc.under=200) > table(bcb$class) ) Para utilizarmos os algoritmos, dividimos o dataset para dados de TESTE (30%) e dados de TREINO (70%). > set.seed(1234) > ind <- sample(2,nrow(bcb), replace=true, prob=c(0.7,0.3)) > traindata <- bcb[ind==1,] > testdata <- bcb[ind==2,] > table(traindata$class)

4 ) Para utilizarmos o NAYVE BAYES, instalamos a biblioteca e1071 em Install Packages: install.packages("e1071"). > library(class) > library(e1071) Criar uma fórmula > library (party) > myformula <- Class ~ ClumpThickness + UniformityofCellSize + UniformityofCellShape + MarginalAdhesion + SingleEpithelialCellSize + BareNuclei + BlandChromatin + NormalNucleoli + Mitoses Para rodarmos: > mynb <- naivebayes(myformula, data=traindata) > table(predict(mynb, traindata[,-11]), traindata[,11]) benigno maligno Analisando o resultado, vimos que o pior caso médico (quando um doutor fala para o paciente que ele não tem câncer, mas na verdade ele tem) ocorre em porcentagem menor à 6%. Rodando no conjunto para testes, e resultado também foi satisfatório *claro, se considerarmos que aplicamos um algoritmo padrão num dado com pouco pré-processamento*:

5 > testpred <- predict(mynb, newdata = testdata) > table(testpred, testdata$class) testpred benigno maligno Acurácia = ( ) / ( ) 96,2% 7) Utilizando o knn: Para utilizar, devemos retirar os valores vazios (estão como? no dataset), pois o algoritmo do knn não consegue lidar com valores que não são numéricos. Obtemos os valores, onde o melhor resultado foi o obtido com o K igual a 3 (vizinhos próximos): > library(dmwr) > myknn1 <- knn(myformula, traindata, testdata, k=1) > myknn3 <- knn(myformula, traindata, testdata, k=3) > myknn5 <- knn(myformula, traindata, testdata, k=5) > myknn30 <- knn(myformula, traindata, testdata, k=30) > myknn200 <- knn(myformula, traindata, testdata, k=200) > table(testdata[,'class'], myknn5) myknn5 benigno maligno > table(testdata[,'class'], myknn3) myknn3 benigno maligno > table(testdata[,'class'], myknn1) myknn1 benigno 139 3

6 maligno > table(testdata[,'class'], myknn30) myknn30 benigno maligno > table(testdata[,'class'], myknn200) myknn200 Matriz de confusão: benigno maligno Acurácia = ( ) / ( ) 94% Considerando que para o algoritmo KNN nós reduzimos o dataset para eliminar os dados faltantes, os resultados foram bem similares, sendo que o algoritmo NAYVE BAYES se mostrou 2% mais eficiente.