Definição de novas funções

Transcrição

1 Definição de novas funções O R permite que o u2lizador possa definir novas funções que poderão ser u2lizadas da mesma forma que as pré- definidas no R Para a definição de uma nova função usa- se a palavra chave func2on Definição Chamada > "quadrado" = function(x) x^2 > quadrado(3) [1] 9 Definição de novas funções Novas funções poderão ser definidas na linha de comandos Funções poderão também ser definidas num ficheiro de texto e carregadas no R usando a função source(nome_ficheiro) O Rstudio permite gerir as scripts e o seu carregamento de forma mais adequada numa janela própria 1

2 Definição de novas funções: exemplos "volume.esfera" = function (r) # esta função calcula o volume de uma esfera { res = 4/3 * pi * cubo(r) res } > volume.esfera(2) [1] "distancia" = function(x1, y1, x2, y2) { r = (x1-x2)^2 + (y1-y2)^2 sqrt(r) } > distancia(0,0,1,1) [1] > distancia(0,2,2,0) [1] Análise exploratória de dados: pré- processamento e sumariação Representação dos dados, sua exploração; pré- processamento; implementação em R 2

3 Definição de dados Dados: Valores de variáveis (atributos, campos) quan2ta2vas ou qualita2vas que caraterizam um conjunto de en2dades (objetos, exemplos) Conjunto de en2dades: denominado população; conjunto de itens em que estamos interessados Variáveis: medida ou caracterís2ca das en2dades Qualita2vas (ou discretas, nominais): medem caracterís2cas com conjunto (finito) de valores (e.g. sexo, 2po de tratamento); podem ser chamadas de ordinais se valores 2verem uma ordem natural; caso par2cular - binárias Quan2ta2vas (ou conxnuas): medem caracterís2cas com valores numéricos num dado intervalo (e.g. altura, pressão sanguínea) Estrutura dos dados Os dados processados são 2picamente apresentados numa forma matricial: Cada variável apresenta- se numa coluna; também designados por campos ou atributos; o nome da coluna é o iden2ficador da variável Cada en2dade (ou observação) está representada numa linha; também designados por exemplos (em alguns casos cada en2dade tem um iden2ficador que dá nome à linha) Cada matriz ou tabela representa dados sobre um 2po de observação (também designado por conjunto de dados ou dataset) 3

4 Estrutura dos dados En2dades, objetos, itens, exemplos Variáveis, campos, atributos Sexo Tensão Max Tensão Min Pulsações id1 M id2 F id3 F id4 M id5 M id6 F Variável nominal Variáveis numéricas Representação dos dados em R Estruturas de dados centrais na representação de dados em R são os data frames e as matrizes, ambos com uma estrutura matricial capaz de representar dados processados Diferença principal: nas matrizes todos os dados têm que ser do mesmo 2po, pelo que apenas são adequadas para dados numéricos Os data frames permitem representar variáveis conxnuas (numéricas) e variáveis discretas Um data frame é uma list em R, em que cada um dos campos corresponde a uma variável (coluna) Cada campo é um vetor de valores numéricos (variável conxnua) ou um fator (variável discreta) Todos os campos têm o mesmo comprimento número de en2dades (linhas) Cada linhas e colunas podem ter um nome (string) 4

5 Data frame: exemplo dataset interno iris > data(iris) > dim(iris) [1] > names(iris) [1] "Sepal.Length" "Sepal.Width" "Petal.Length" "Petal.Width" "Species" > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species setosa setosa setosa setosa setosa setosa > unlist(lapply(iris,class)) Sepal.Length Sepal.Width Petal.Length Petal.Width Species "numeric" "numeric" "numeric" "numeric" "factor" Fontes de dados Os dados para análise estão disponíveis em diversas fontes e em múl2plos formatos e estruturas Alguns exemplos de formatos Xpicos: Ficheiros de texto 2po CSV ou TSV Ficheiros de folhas de cálculo (e.g. Excel) Bases de dados (e.g. MySQL) Ficheiros em formato XML ou noutros formatos como JSON Possíveis fontes WWW / internet Recolhida por aplicações específicas Cedidas por colegas ou outros inves2gadores Provenientes de trabalhos de inves2gação próprios... 5

6 Leitura de dados em R Ficheiros em formato CSV / TSV Função read.table: função base de leitura de ficheiros texto em formato tabular; retorna um data frame Argumentos: Nome do ficheiro (assumido na pasta de trabalho) ou caminho completo Separador (sep) por omissão considerado espaço ou tab header define se a primeira linha tem headers de colunas ou não (TRUE ou FALSE); por omissão F dec carácter usado como ponto decimal row.names e col.names vetores com nomes de linhas / colunas na.strings string usada para definir valores omissos (NA) as.is, stringasfactors controlam que campos são transformados em fatores Outros ver help(read.table) Variante read.csv assume sep =, e header = T Ficheiros em formato Excel: função read.xlsx Função para carregar ficheiro: download.file Leitura de dados em R: exemplo > fileurl = " > download.file(fileurl, destfile="ecoli.csv") > ecoli = read.table("ecoli.csv") > dim(ecoli) [1] > head(ecoli) V1 V2 V3 V4 V5 V6 V7 V8 V9 1 AAT_ECOLI cp 2 ACEA_ECOLI cp 3 ACEK_ECOLI cp 4 ACKA_ECOLI cp 5 ADI_ECOLI cp 6 ALKH_ECOLI cp Note que o ficheiro não tem headers para as colunas 6

7 Leitura de dados em R: exemplo earthquakes > ficheiro = " earthquakedata.csv" > download.file(ficheiro, destfile = "eathquakes.csv > edata = read.csv("eathquakes.csv") > dim(edata) [1] > names(edata) [1] "Src" "Eqid" "Version" "Datetime" "Lat" "Lon" [7] "Magnitude" "Depth" "NST" "Region" > head(edata) Src Eqid Version Datetime Lat 1 nc Monday, September 1, :09:40 UTC ( ) Ficheiro com headers; read.csv assume headers por omissão Dados em bruto vs processados Dados em bruto: normalmente designam dados originais, tal como são recolhidos são dioceis de usar de forma direta na análise de dados necessitam de pré- processamento (normalmente feito apenas uma vez) para transformar os dados de forma a serem usados na análise Pré- processamento pode incluir junção de dados, seleção de dados, limpeza dos dados, normalização e outras transformações Passos do processamento devem ser guardados Exemplos: dados em bruto de DNA microarrays ou dados de GC- MS ou RMN Dados processados: dados prontos para análise 2picamente numa forma standard (matricial) 7

8 Dados processados: caracterís2cas desejáveis Nomes das colunas e das linhas fáceis de usar e informa2vas Dados não devem ter valores errados Desejavelmente, dados não devem ter valores omissos (embora tal seja em muitos casos impossível) Valores das variáveis são consistentes e todas as variáveis transformadas necessárias foram adicionadas Pré- processamento dos dados Para chegar à estrutura desejável dos dados, dada anteriormente, podem ser necessárias diversas etapas a par2r dos dados reais, em bruto Primeiro passo deve passar por selecionar os dados desejáveis e carregá- los para um formato de trabalho, podendo haver necessidade de selecionar dados, juntar dados de várias fontes e formatos, etc. Esta fase não será coberta neste curso dada a sua heterogeneidade e dependência dos obje2vos (cada caso é um caso) Assumindo que após essa fase, temos os dados num formato matricial (2po data frame), ainda haverá 2picamente várias tarefas a realizar para termos os dados prontos para a análise de dados, que veremos em seguida 8

9 Pré- processamento dos dados A primeira etapa no tratamento preliminar dos dados será a sua exploração, com fim a diagnos2car possíveis problemas e desenhar soluções para resolvê- los Existem várias formas de explorar os dados, com métricas diversas e com ferramentas gráficas; ambos os casos serão explorados Este processo será itera2vo, correndo- se ferramentas de exploração dos dados, fazendo a sua correção e tornando a correr para validar os métodos, até que não subsistam problemas Soluções podem passar pela correção da estrutura dos dados, pela mudança de nomes de variáveis, pela transformação de variáveis, pelo tratamento de valores omissos, pela limpeza de dados erróneos ou inconsistentes. Verificando estrutura dos dados Objec2vo: procurar problemas nos dados que requeiram ações de pré- processamento: Tarefas Verificar nomes dos campos Verificar dimensões dos dados: nº de linhas e colunas Verificar estrutura dos dados: classes dos campos, valores de cada fator Se detectados problemas devem corrigir- se Em alguns casos, problemas advêm de leituras incorretas (e.g. parâmetros no read.table) ou de problemas nos próprios dados (e.g. ficheiros incorretos); casos comuns são separadores errados, mau uso da flag que define headers, etc. Noutros casos, é necessário escrever scripts para corrigir problemas 9

10 Verificando estrutura dos dados: exemplo > dim(edata) [1] > nrow(edata) [1] 360 > ncol(edata) [1] 10 > names(edata) [1] "Src" "Eqid" "Version" "Datetime" "Lat" "Lon" "Magnitude" "Depth" "NST" "Region" > class(edata) [1] "data.frame" > unlist(lapply(edata, class)) Src Eqid Version Datetime Lat Lon Magnitude Depth NST Region "factor" "factor" "factor" "factor" "numeric" "numeric" "numeric" "numeric" "integer" "factor > unlist(lapply(edata, typeof)) Src Eqid Version Datetime Lat Lon Magnitude Depth NST Region "integer" "integer" "integer" "integer" "double" "double" "double" "double" "integer" "integer" Corrigir estrutura dos dados: exemplos de mudança de nomes > names(edata) [1] "Src" "Eqid" "Version" "Datetime" "Lat" "Lon" "Magnitude "Depth" "NST" "Region" > names(edata)[5]="latitude" > names(edata)[6]="longitude" > names(edata) [1] "Src" "Eqid" "Version" "Datetime" "Latitude" "Longitude" "Magnitude "Depth" "NST" "Region" > row.names(edata) [1] "1" "2" "3" "4" "5" "6" "7" "8" > row.names(edata) = paste("id-", row.names(edata), sep="") > row.names(edata) [1] "id-1" "id-2" "id-3" "id-4" "id-5" "id-6" "id-7" "id-8" Exemplos acima mostram como mudar nome de campos ou linhas Para manipulações mais complexas pode haver necessidade de recorrer a Funções sobre strings: ver exemplos sub, gsub, grep, paste, toupper, tolower, chartr, etc. 10

11 Discre2zação de variáveis numéricas Uma das operações potencialmente úteis de transformação de variáveis é a discre2zação de variáveis numéricas Implica dividir o intervalo de valores possíveis em sub- intervalos e considerar cada um deles como uma categoria Pode permi2r usar métodos de análise que não estariam disponíveis; pode simplificar a análise Função R: cut transforma vetores numéricos em fatores Argumentos obrigatórios: x - vetor numérico com dados, breaks vetor com pontos de corte ou um nº único indicando nº de intervalos (neste caso assumem- se pontos de corte equidistantes) Argumentos opcionais: labels nomes para as categorias criadas Discre2zação - exemplo > range(edata$magnitude) [1] > md = cut(edata$magnitude, c(0,1.5,2.5,4,7), labels = c("vl","l","m","h")) > levels(md) [1] "VL" "L" "M" "H" > table(md) VL L M H > md[1:10] [1] L VL L L VL L L VL M VL Levels: VL L M H > edata$magnitudefactor = md > class(edata$magnitudefactor) [1] "factor" 11

12 Filtros Filtros podem ser aplicados tendo em conta valores específicos de campos ou a sua combinação (e.g. usando operadores lógicos) Permitem criar views parciais de data frames ou matrizes que podem ser úteis na sumarização dos dados Podem ser criadas segmentações dos dados de acordo com o o valor de alguns campos Podem ser usados para verificar se dadas combinações de valores ocorrem na medida do expectável Filtros: exemplos > edata$latitude[1:10] > 40 [1] FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE > any(edata$lat[1:10] > 40) [1] TRUE > all(edata$lat[1:10] > 40) [1] FALSE > which(edata$lat[1:10] > 40) [1] 7 > sum(edata$lat > 60) [1] 3 > edata[edata$latitude > 38 & edata$longitude > -119, c("latitude","longitude")] Latitude Longitude > subdata = subset(edata, Longitude < -125 Latitude > 40) > dim(subdata) [1]

13 Valores omissos Função is.na permite verificar os valores em falta (NA) num dado vetor / matriz / campo do data frame (note que comparar um valor com NA, fazendo val == NA irá ser sempre falso) Algumas funções (como a função table, mean,...) permitem definir argumentos para tratar os NAs Na leitura de dados é possível indicar uma string que se assume como NA (por omissão NA ) Existem outros casos de valores erróneos, por exemplo NaN (not a number) que resulta por ex. de um cálculo indeterminado (e.g. 0/0); estes valores podem ser iden2ficados com função is.nan Função complete.cases permite iden2ficar quais as linhas de um data frame têm valores corretos (não NA nem NaN) Valores omissos- exemplos > library(daag) > data(cfseal) > names(cfseal) [1] "age" "weight" "heart" "lung" > cfseal$lung [1] NA > sum(is.na(cfseal$lung)) [1] 6 > cfseal$lung[cfseal$lung>2000] [1] NA NA NA NA 2735 NA 2380 NA > cfseal$lung[cfseal$lung>2000 &!is.na(cfseal$lung)] [1] > mean(cfseal$lung) [1] NA > mean(cfseal$lung, na.rm=t) [1] > table(c(0,1,2,3,na,3,3,2,2,3)) > table(c(0,1,2,3,na,3,3,2,2,3), usena="ifany") <NA>

14 Tratamento de valores omissos Existem várias formas de tratar valores omissos que podem ser mais ou menos adequadas dependendo da análise de dados a realizar: Podem ser man2dos no data frame tendo em atenção a sua presença na aplicação das funções Podem ser ignorados, removendo linhas e/ ou colunas com valores omissos (por exemplo com função na.exclude) Podem ser subs2tuídos por outros valores de várias formas Por um valor constante, escolhido dependendo do domínio Por um valor constante por coluna (ou linha) Por métodos mais elaborados, usando- se informação de outras linhas (e.g. método dos k vizinhos mais próximos) Tratamento valores omissos- exemplos > sum(is.na(cfseal$lung)) [1] 6 > mean(cfseal$lung) [1] NA > m = mean(cfseal$lung, na.rm=t) > m [1] > cfseal$lung[is.na(cfseal$lung)] = m > sum(is.na(cfseal$lung)) [1] 0 > mean(cfseal$lung) [1] > cfn = na.exclude(cfseal) > sum(is.na(cfn$lung)) [1] 0 > data(airquality) > complete.cases(airquality) [1] TRUE TRUE TRUE TRUE > dim(airquality) [1] > aqn = airquality[complete.cases(airquality),] > dim(aqn) [1] > sapply(airquality, function(x) sum(is.na(x))) Ozone Solar.R Wind Temp Month Day > sapply(aqn, function(x) sum(is.na(x))) 14

15 Standardização dos dados Em muitos casos, para ser possível comparar variáveis é necessário proceder à standardização dos dados para que estes estejam dentro de valores comparáveis O processo mais comum de normalizar valores passa pela sua subtração pela média e divisão pelo desvio padrão; ao valor ob2do é também dado o nome de z- score Um processo alterna2vo usa a mediana e o desvio absoluto médio A função scale em R: permite realizar este processo. Argumentos: dados a normalizar; center indica se se subtrai pela média (por omissão: T); scale indica se divide pelo sd (por omissão T) Standardização: exemplo > mean(iris$sepal.length) [1] > sd(iris$sepal.length) [1] > sl = as.vector(scale(iris$sepal.length)) > mean(sl) [1] e-16 > sd(sl) [1] 1 15

16 Sumariar os dados Dados de grandes dimensões impossíveis de ver em detalhe Procuram- se caracterizar os dados através de métricas globais Um dos objec2vos é procurar problemas nos dados que requeiram ações de pré- processamento Valores axpicos; valores fora de intervalos previstos Problemas com unidades Tarefas Verificar distribuição dos valores em cada campo: numéricos e discretos (medidas de tendência central, variabilidade,...) Aplicar sumários de dados a linhas e colunas Aplicar filtros selecionados Verificar se há valores omissos (NA) Sumariar os dados: medidas de estaxs2ca descri2va Variáveis numéricas Maior valor, menor valor e intervalo funções min, max, range Valor médio função mean Mediana função median Desvio padrão função sd Desvio absoluto médio função mad InterquarGle range função IQR Funções que resumem várias métricas summary, quan2les Sumários de linhas e colunas (apenas para valores numéricos) rowsums, rowmeans, colsums, colmeans Variáveis nominais Frequências de cada valor função table Valores únicos função unique Medidas de tendência central Medidas de variabilidade 16

17 Funções de sumarização em R: variáveis numéricas > mean(edata$magnitude) [1] > median(edata$magnitude) [1] 1.8 > sd(edata$magnitude) [1] > mad(edata$magnitude) [1] > quantile(edata$magnitude) 0% 25% 50% 75% 100% > summary(edata$magnitude) > rowmeans(iris[,-5]) [1] > colmeans(iris[,-5]) Sepal.Length Sepal.Width Petal.Length Petal.Width > colsums(iris[-5]) Sepal.Length Sepal.Width Petal.Length Petal.Width Min. 1st Qu. Median Mean 3rd Qu. Max > summary(cfseal$lung, na.rm=t) Min. 1st Qu. Median Mean 3rd Qu. Max. NA's Funções de sumarização em R: variáveis nominais O comando table pode ser usado para visualizar tabelas de con2ngência com mais de 2 variáveis > table(edata$src,edata$version) A at hv nc pr uw > unique(edata$src) [1] nc hv pr uw at Levels: at hv nc pr uw > table(edata$src) at hv nc pr uw Exemplo de distribuição de pares de valores para duas variáveis 17

18 Outliers Outliers são valores que parecem fora dos valores normais Podem significar erros nos dados ou simplesmente valores axpicos mas reais Quando estes valores são erróneos eles devem ser removidos Se forem valores reais, ainda assim, podem afectar em demasia algumas medidas de tendência central ou variabilidade (e.g. média e desvio padrão) Algumas medidas são robustas e este problema, como a média e o desvio absoluto média Existem também versões robustas das funções mean e sd, usando o parâmetro trim que ignora uma proporção pré- definida dos dados 18