Aprendizagem de Dados Simbólicos e/ou Numéricos

Transcrição

1 Aprendizagem de Dados Simbólicos e/ou Numéricos Francisco de A.T. de Carvalho

2 Usuais / Notação Y: variável categórica (nominal ou ordinal) ou quantitativa discreta E {,, n} : conjunto de n itens Y(), E : valor de Y em y (Y(),, Y(n)) : vetor de valores de Y para os n elementos 2

3 Usuais 2/ Notação ξ,, ξ t conjunto dos t diferentes valores tomados por Y em E (t n) Freqüência observada n i : #{ E Y() ξ i }, i,, t Distribuição de Freqüências Lista de pares (ξ,n ),, (ξ t,n t ) 3

4 Usuais 3/ Freqüência Relativa f i n i / n, i,, t Distribuição de Freqüências: Representação Variáveis nominais (valores não ordenados): setores, cujas áreas são proporcionais a n i 4

5 Usuais 4/ Distribuição de Freqüências: Representação Variáveis ordinais ou quantitativas discretas: diagrama de barras, onde cada par (ξ i,n i ) é localizado na coordenada ξ i do eixo horizontal e cuja altura é proporcional a n i Variáveis quantitativas contínuas: muitos valores distintos ξ i agrupados em classes de valores 5

6 Usuais 5/ Distribuição de Freqüências: Representação Variáveis quantitativas contínuas: Seja a ordenação dos ξ i em ordem crescente: ξ () ξ (t) Seja uma partição I {I,, I m } do intervalo [ξ (), ξ (t) ], onde I,, I m são intervalos contíguos de [ξ (), ξ (t) ] 6

7 Usuais 6/ Distribuição de Freqüências: Representação Variáveis quantitativas contínuas: Seja m j #{ E Y() I j }, j,, m Distribuição de Freqüências Lista de pares (I,m ),, (I j,m j ) 7

8 Usuais 7/ Distribuição de Freqüências: Representação Variáveis quantitativas contínuas: histograma: é uma representação gráfica em que cada par (I j, m j ), j,, m, é representada por uma barra vertical cuja base é o intervalo I j e cuja área é proporcional a m j 8

9 Usuais 8/ Distribuição de Freqüências: Representação Variáveis quantitativas contínuas: Função de distribuição empírica F y F y ( ξ ) n # { E Y ( Distribuição de Freqüências Acumuladas Lista de pares (ξ,f y (ξ )),, (ξ t, F y (ξ t )) ) ξ } 9

10 Usuais 9/ Estatísticas Média amostral Moda Valor + freqüente Variância s 2 y y n n n n i y i ( y ) i y i 2 0

11 Usuais 0/ Estatísticas Desvio-padrão 2 s y s y Coeficiente de Variação s y y 00

12 Usuais / Freqüência Observada Frequencia observada O y é uma função O : R > y N 0 tal que O y ( ξ ) # { E Y ( ) ξ } 2

13 Usuais 2/ Freqüência Observada Exemplo: y (4,7,6,2,6) O y ( ξ ) se ξ {2,4,7} 2, se ξ 6 0, nos outros casos 3

14 Usuais 3/ Freqüência Observada Número de exemplos n i O ( ξ ), y i i, K.l Frequencia acumulada F ξ ξ y ( ) O y( j ) n ξ ξ j ξ j 4

15 Usuais 4/ Freqüência Observada média y n l j O ξ y ( j ) ξ j Variancia s l 2 2 y O y ( ξ j )( ξ j y ) n j 5

16 Simbólicos / Tabela de Dados Variáveis simbólicas: Y,..., Y p Itens: E {,..., n} Cada célula (,j) da tabela de dados contém o valor de Y j para ξ ( ), j Y j, K, n j, K, p 6

17 Simbólicos 2/ Tabela de Dados Descrição simbólica de E (linha da tabela) ' d ( ξ, K, ξ p ),, K, n Extensão virtual de d vir( d ) { x x ξ K ξ p } 7

18 Simbólicos 3/ Exemplo Y Y 2 {a,b} {3} 2 {b,c} {2,3) 3 {b} {,2) 4 {c} {,3) 5 {a} {,3) 8

19 Simbólicos 4/ Exemplo Variáveis Simbólicas: Y e Y 2 D e D 2 : domínios de Y e Y 2 E {,2,3,4,5}: conjunto de itens B P(D ) e B 2 P(D 2 ) Descrição da linha : d ({ a,b },{ 3 }) ' 9

20 Simbólicos 5/ Exemplo Descrição da linha : d ({ a,b },{ 3 }) Extensão virtual de d vir ( d ) { x { a,b } { 3 }} {( a,3 ) ',( b,3 ) ' } ' 20

21 Simbólicos 6/ Distribuição de Frequencias: variáveis multivaloradas (categóricas ou quantitativas) Frequencia Observada Dada uma variável multivalorada Z, a freqüência observada O z é uma função que associa a cada valor ξ D z a soma de π(ξ; ) para E. 2

22 Simbólicos 8/ Distribuição de Frequencias: variáveis multivaloradas (categóricas ou quantitativas) Frequencia Observada ξ Z ξ D E ξ D # vir ( d Z O ( ) Z # { x vir ( d ) x [ ) Z ] ξ } n 22

23 Simbólicos 9/ Distribuição de Frequencias: variáveis multivaloradas (categóricas ou quantitativas) Distribuição da Frequencia Observada lista de pares ξ O ( ξ ), ξ D, Z ( ) Z Frequencia Observada relativa freq Z ( ξ ) OZ ( ξ n ) 23

24 Simbólicos 0/ Exemplo O Y (a) E #{ x vir( d ) x vir( d ) a} O Y (b) E #{ x vir( d ) x vir( d ) b} ,5 24

25 Simbólicos / Exemplo #{ x vir( d ) } O Y (c) x c , 5 ( ) E vir d 2 2 fy ( ξ ) 2 0,500 4 (,5 ) 0,375 4 ( 0,5 ) 0,25 4 se se se ξ a ξ b ξ c 25

26 Simbólicos 2/ Outras medidas para variáveis multivaloradas numéricas Distribuição acumulada F Z ( ξ ) n ξ j ξ O Z ( ξ j ) Média z l n j O Z ( ξ j ) ξ j 26

27 Simbólicos 3/ Outras medidas para variáveis multivaloradas numéricas Desvio padrão s l 2 Z OZ ( ξ j )( ξ j z ) n j 27

28 Simbólicos 4/ Exemplo 2 Variável Y 2 : D 2 {, 2, 3} O Y2 () 0,5 O Y2 (2) 2,0 O Y2 (3),5 função de densidade (f ) Função de Distribuição (F) f Y ( e i ) 0,25 0,500 0,375 se se se e i e e i i 2 3 F Y ( e i ) 0 0,25 0,625 se se se se e < ei 2 e e i i i 3 < 2 < 3 28

29 Simbólicos 5/ Exemplo 2 y2 {(0,5 ) + (2 2) + (,5 3)} 4 2 S Y 2 {[( (4 ) + (3 2,25) 2,5} 2,25) 2 0,583 0,5] + (2 2,25) 2,25 2 2,0] + S Y 0, ,764 29

30 Simbólicos 6/ Variável intervalo Seja Z uma variável intervalo, para cada E temos: Z() Hipóteses: [ z ], z (i) E é selecionado com mesma probabilidade (/n) (ii) Os valores dos x [z] para x vir(d ) são uniformemente distribuídos no intervalo Z() [ z, ] z 30

31 Simbólicos 7/ Variável intervalo Pr( x[ z ] e x vir ( d )) e z 0 z z se se se e < z z e z e < z 3

32 Simbólicos 8/ Variável intervalo Definição: A função de distribuição empírica de Z, expressa por F Z, é considerada como uma mistura de n distribuições uniformes definidas nos intervalos Z() [ z ], para E., z A partir da expressão x e x vir ( d )), obtemos Pr( ] [ z 32

33 33 Simbólicos 9/ Simbólicos 9/ Variável intervalo Derivando a expressão anterior em e, obtemos a função de densidade empírica de Z n e e n e F Z e Z } z #{ z z z ) ( ) ( + Z e Z z z Z l Z l n e f )) ( ( onde, )) ( ( ) ( ) (

34 Simbólicos 20/ Variável intervalo Média Amostral: z + e f Z ( e) de K n E z + 2 z. Variância Amostral: S 2 Z + 2 ( e z ) f ( e) de Z 34

35 35 Simbólicos 2/ Simbólicos 2/ Variável intervalo Variância Amostral: ) ( 4 ) ( E E Z z z n z z z z n S

36 Simbólicos 22/ Variável intervalo Exemplo: E {,...,8} Z(E){[0,2];[,3];[.5,2.5];[2,4];[3.5,5];[4.5,5.5];[5,7]; [6.5,7.5]} Z(E) [0,2] [,3] [.5,2.5] [2,4] [3.5,5] [4.5,5.5] [5,7] [6.5,7.5] z + z , Média Amostral 3,78 Variância Amostral 4,82 36

37 Simbólicos 23/ Variável intervalo Histograma Seja I [min { z E}, max { z E} ] um intervalo que contém os valores de Z(). Considere uma partição de I em m subintervalos disjuntos I j [u j-,u j [ para j,...,m- e I m [u m-,u m ] para jm. 37

38 Simbólicos 24/ Variável intervalo Histograma Então, o Histograma associado a partição {I,..., I m } é uma representação gráfica da distribuição de freqüência {(I j, p j )} da variável Z, onde p j representa a probabilidade da classe I j. p j l ( ) ( Z I n l( Z( )) E j ). 38

39 Simbólicos 25/ Variável intervalo Exemplo: E {,...,8} () Z(E){[0,2];[,3];[.5,2.5];[2,4];[3.5,5];[4.5,5.5]; [5,7]; [6.5,7.5]} (2) I{0.0,7.5} (3) Considere m partições de tamanho (7.5-0)/

40 Simbólicos 26/ Variável intervalo Exemplo: I [0, 0.938[ ; I 2 [0.938,.875[ ;...; I 8 [6.563, 7.5] (4) Cálculo dos p j s. I 2 [0.938,.875[ p 2 n l([0,2] [0.938,.875[) l([0,2]) + l([,3] [0.938,.875[) l([,3]) + l([.5,2.5] [0.938,.875[) l([.5,2.5]) 40

41 Simbólicos 27/ Variável intervalo Exemplo: (4) Cálculo dos p j s. p {0.469}

42 Simbólicos 28/ Z(E){[0,2];[,3];[.5,2.5];[2,4];[3.5,5];[4.5,5.5];[5,7];[6.5,7.5]} I Inf. Sup O j p j pm j Média Var. f j I I I I I I I I

43 Simbólicos 29/ Histograma para variável Z Variável intervalo fj ,938,875 2,83 3,750 4,688 5,625 6,563 7,5 43

44 Simbólicos 30/ Variável categórica modal Variável Z, objeto u valores possíveis: ξ com freqüências p u, p u 0 e Σ p u Freqüência observada O Z ( ξ ) u E π Z ( ξ ;u ) u E p u 44

45 Simbólicos 3/ Variável categórica modal Freqüência observada Propriedades K O Z ( ξ ) K u E p u K u E p u n Freqüência relativa freq Z ( ξ ) O Z ( ξ n ) 45

46 Simbólicos 32/ Variável categórica modal Exemplo Z: fonte de energia D Z : {gas, eletricidade, outros} 46

47 Simbólicos 33/ Variável categórica modal Exemplo O Z (gas) ,7 O Z (elet) O Z (outros) gas elet outros u E OZ ( ξ ) 4 47

48 Simbólicos 34/ Variável categórica modal Exemplo freq Z (gas) 3,7/ freq Z (elet) 0.35/ freq Z (outros) 0.48/4 0.2 gas elet outros u E freqz ( ξ ) 48

49 Simbólicos 35/ Variável intervalo modal Variável Z Objeto u, u,..., n Z(u) ξ u [a u,b u ) com probabilidade p u,,...,s u I[min,u E a u, max,u E b u ]: intervalo que cobre os valores observados em Z 49

50 Simbólicos 36/ Variável intervalo modal Seja uma partição de I em r sub-intervalos I g [ξ g-, ξ g ), g,..., r- e I r [ξ r-, ξ r ) Freqüência observada O Z ( g ) u E π Z ( g;u ) 50

51 Simbólicos 37/ Variável intervalo modal Freqüência observada π Z ( g;u ) Z ( g ) Z( ;u ) I Z( ;u ) g p u Z(g): os intervalos Z(;u)[a u, b u ) cuja intersecção com I g é não vazia, para um dado u 5

52 Simbólicos 38/ Variável intervalo modal Cada termo representa a porção de Z(;u) que é coberta por I g, isto é, a proporção de p u que pertence a I g Freqüência relativa Propriedades r g O ( freq g ) Z ( g ) Z n O Z ( g ) n r g freq ( g ) Z n 52