Métodos Supervisionados vs. não supervisionados

Transcrição

1 10/4/010 Capítulo 5 Algortmo dos k-vznhos mas próxmos Prepared by James Steck, Graduate Assstant DESCOBRINDO CONHECIMENTO NOS DADOS DANIEL T. LAROSE, PH.D. Copyrght 005 John Wley & Sons, Inc. 1 Métodos Supervsonados vs. não supervsonados Os métodos de mneração de dados são classfcados como supervsonados ou não supervsonados Métodos não supervsonados Uma varável alvo não é especfcada Em vez dsso, o algortmo procura por padrões e estruturas entre as varáves Clusterzação é o método não supervsonado mas comum Por exemplo, consultores polítcos podem analsar clusters de eletores em dstrtos eletoras que podem ser favoráves ao seu canddato Varáves mportantes tas como sexo, dade, renda e raça são entradas do algortmo de clusterzação Copyrght 005 John Wley & Sons, Inc. 1

2 10/4/010 Métodos Supervsonados vs. não supervsonados (contnuação) Perfs de eletores para angarar fundos e fazer publcdade são crados Métodos supervsonados Uma varável alvo é especfcada O algortmo "aprende" a partr dos exemplos, determnando quas os valores das varáves predtoras estão assocados com dferentes valores da varável alvo Por exemplo, os métodos de regressão dscutdos no Capítulo 4 são supervsonadas. Os valores observados da varável resposta (alvo) são ldos pelo algortmo dos mínmos quadrados, enquanto ele tenta mnmzar o erro de predção Todos os métodos de classfcação nos capítulos 5-7 são métodos supervsonados, nclundo: Árvores de Decsão, Redes Neuras, e k- vznhos mas próxmos Copyrght 005 John Wley & Sons, Inc. 3 Metodologa para modelagem supervsonada Métodos de mneração de dados supervsonados usam conjuntos de dados de trenamento, teste e valdação como parte da construção do modelo e processo de avalação Trenamento O conjunto de trenamento nclu regstros com as varáves predtoras e valores pré-classfcados para a varável alvo Esta é a fase ncal onde um modelo de mneração de dados provsóro é construído usando o conjunto de trenamento O modelo "aprende" a partr dos exemplos do conjunto de trenamento O que acontece se o modelo de aplcar cegamente todos os padrões aprenddos a partr do conjunto de trenamento a dados futuros? Copyrght 005 John Wley & Sons, Inc. 4

3 10/4/010 Metodologa para modelagem supervsonada (contnuação) Por exemplo, suponha que todos os clentes em um conjunto de trenamento com o nome "Davd" concdentemente estejam na faxa de renda alta Um modelo de mneração de dados que "memorza" essa dossncrasa presente no conjunto de trenamento está na verdade overfttng os dados Muto provavelmente nós não queremos nosso modelo aplcando esta regra a dados futuros ou dados não prevamente conhecdos Portanto, o passo segunte no processo é examnar o desempenho do modelo de dados provsóro usando um conjunto dferente de dados Copyrght 005 John Wley & Sons, Inc. 5 Metodologa para modelagem supervsonada (contnuação) Teste O conjunto de teste é uma parte dos dados ndependente do conjunto de trenamentoque fo utlzado para construr o modelo de dados provsóro Os verdaderos valores da varável alvo no conjunto de teste estão temporaramente esconddos do modelo de dados provsóro O modelo de dados provsóro smplesmente classfca os regstros no conjunto de teste de acordo com as regras e padrões que aprendeu a partr dos regstros do conjunto de trenamento O desempenho do modelo de dados provsóro é avalada comparando a sua classfcação em relação aos valores reas de varável alvo O modelo de dados provsóro é ajustado num esforço para mnmzar a taxa de erro no conjunto de teste Copyrght 005 John Wley & Sons, Inc. 6 3

4 10/4/010 Metodologa para modelagem supervsonada (contnuação) Valdação Em seguda, ao modelo de dados ajustado é aplcada um outro conjunto de dados chamado o conjunto de valdação O conjunto de valdação é outro pedaço do conjunto dos dados ndependente dos conjuntos de trenamento e de teste O desempenho do modelo de dados ajustado é avalado com conjunto de valdação Se necessáro, o modelo de dados ajustado é modfcado para mnmzar a taxa de erro no conjunto de valdação Estmatvas do desempenho do modelo de dados para dados futuros ou não prevamente conhecdos são computados usando meddas de avalação aplcadas aos resultados obtdos ao classfcar o conjunto de valdação Copyrght 005 John Wley & Sons, Inc. 7 Metodologa para modelagem supervsonada (contnuação) Tranng Set (pre-classfed) Use tranng set to generate a provsonal data mnng model. Provsonal data mnng model. Test Set Apply provsonal model to test set. Adjust provsonal model to mnmze error rate on test set. Adjusted data mnng model. Valdaton Set Apply adjusted model to valdaton set. Adjust the adjusted model to mnmze error rate on valdaton set. Fnal data mnng model. Copyrght 005 John Wley & Sons, Inc. 8 4

5 10/4/010 Metodologa para modelagem supervsonada (contnuação) Underfttng versus Overfttng Geralmente, a precsão do modelo de dados provsóro não é tão elevada quanto aplcado nos conjuntos de teste ou valdação, em comparação aos resultados obtdos com o conjunto de trenamento Isso ocorre quando um modelo de dados tende a overft o conjunto de trenamento, aprendendo todas as tendêncas ou estruturas possíves Na construção do modelo, há uma tensão constante entre desenvolver modelos que são complexas e conseguem generalzar bem Um modelo de dados que permte atngr alta precsão sobre o conjunto de trenamento resulta em aumento da complexdade do modelo No entanto, à medda que aumenta a complexdade do modelo, a generalzação de um modelo de dados para os conjuntos de dados de teste e de valdação dmnu Copyrght 005 John Wley & Sons, Inc. 9 Metodologa para modelagem supervsonada (contnuação) Esta fgura mostra que ncalmente, à medda que a complexdade do modelo aumenta, a taxa de erro dmnu para ambosos conjuntos de trenamento e valdação Em aumentado a complexdade do modelo, a taxa de erro no conjunto de trenamento dmnu No entanto, a taxa de erro no conjunto de valdação começa a aumentar Optmal Level of Model Complexty Error Rate Error Rate on Valdaton Set Underfttng Overfttng Error Rate on Tranng Set Complexty of Model Copyrght 005 John Wley & Sons, Inc. 10 5

6 10/4/010 Metodologa para modelagem supervsonada (contnuação) Como a complexdade do modelo aumenta o modelo de dados provsóro começa a memorzar o conjunto de trenamento, ao nvés de generalzá-lo Portanto, o ponto onde a taxa de erro no conjunto de valdação é mnmzada é o nível ótmo de complexdade do modelo Qualquer complexdade do modelo maor do que este ponto consste em overfttng os dados, complexdade do modelo nferor a esse ponto consste em underfttng os dados Copyrght 005 John Wley & Sons, Inc. 11 Bas-Varance Trade-Off Suponhamos que estamos construndo um modelo de dados que tenta separar os pontos claros e escuros (dos valores possíves para uma varável alvo) na fgura acma A lnha reta se benefca pela baxa complexdade, mas produz erros de classfcação. Por exemplo, apenas 6 / 8 pontos abaxo da lnha são claros A lnha curva reduz o erro de classfcação a zero, mas a função de separação é altamente complexa Copyrght 005 John Wley & Sons, Inc. 1 6

7 10/4/010 Bas-Varance Trade-Off (cont d) Estamos nclnados a adotar a solução de alta complexdade para reduzr a taxa de erro No entanto, sso pode produzr um modelo que depende das dossncrasas encontradas no conjunto de trenamento Suponha que adconemos mas pontos de dados ao gráfco de dspersão A lnha reta é apenas lgeramente alterada para acomodar os pontos adconas, este separador smples tem baxa varânca Copyrght 005 John Wley & Sons, Inc. 13 Bas-Varance Trade-Off (cont d) Em contraste, a lnha curva é alterada consderavelmente para manter a sua precsão na classfcação, e portanto tem grande varânca Embora o separador de alta complexdade (lnha curva) tenha bas menor (menor taxa de erro), ele tem grande varânca O separador de baxa complexdade (lnha reta) tem baxa varânca e bas maor (maor taxa de erro) Este exemplo lustra o que é conhecdo como o Bas-Varânca Trade-Off, e é outra manera de descrever overfttng / underfttng Nosso objetvo é construr um modelo de dados onde nem o bas nem a varânca são muto altos Copyrght 005 John Wley & Sons, Inc. 14 7

8 10/4/010 Bas-Varance Trade-Off (cont d) O erro médo quadrado (MSE) é o método mas comum de avalar a precsão de um modelo Dado dos ou mas modelos de dados potencalmente bons, o melhor modelo pode ser dentfcado pao se escolher aquele com o menor MSE O MSE é uma medda adequada, pos combna tanto o bas quanto a varânca em seu cálculo O MSE é uma função do erro de estmação (SSE) e da complexdade do modelo, e é defndo como: MSE varance + bas Esta equação ndca claramente a relação de complementardade entre a varânca o bas Copyrght 005 John Wley & Sons, Inc. 15 Tarefa de Classfcação A classfcaçãoé provavelmente a tarefa mas comun de mneração de dados Exemplos Bancos: determnar se uma aplcação numa hpoteca é boa Educação:Dreconar um aluno no que dz respeto a necessdades especas Medcna: dagnostcar se a doença está presente Le: determnar se o arbítro é fraudulenta Segurança: dentfcar se uma determnada transação fnancera representa uma ameaça terrorsta Copyrght 005 John Wley & Sons, Inc. 16 8

9 10/4/010 Tarefa de Classfcação (contnuação) A classfcação é um método supervsonado e nclu duas ou mas classes para a varável alvo categórca Por exemplo, a varável alvo faxa de renda pode nclur as categoras de Baxa", Méda" e Alta O algortmo examna as relações entre os valores dos campos do predtor (entrada) e dos valores alvo Suponha que queremos classfcar a faxa de renda de uma pessoa com base nos valores da dade, sexo e ocupação de outras pessoas, que estão contdos em um banco de dados Subject Age Gender Occupaton Income Bracket F Software Engneer Hgh 00 8 M Marketng Consultant Mddle M Unemployed Low Copyrght 005 John Wley & Sons, Inc. 17 Tarefa de Classfcação (contnuação) Prmero, o algortmo de classfcação analsa os valores do conjunto de dados para o predtor e as varáves alvo no conjunto de trenamento Desta forma, o algortmo "aprende" quas os valores das varáves predtoras estão assocadas com os valores da varável alvo Por exemplo, mulheres mas velhas podem ser assocadas com os valores da faxa de renda Alta Agora que o modelo de dados fo construído, o algortmo examna novos regstros para o qual a faxa de renda é desconhecda De acordo com as classfcações no conjunto de trenamento, o algortmo classfca os novos regstros Por exemplo, uma mulher de 63 anos de dade pode ser classfcada na faxa de renda Alta" Copyrght 005 John Wley & Sons, Inc. 18 9

10 10/4/010 Algortmo dos k-vznhos mas próxmos O algortmo dos k-vznhos mas próxmos é um exemplo de aprendzagem baseada em nstâncas onde os regstros contendo o conjunto de trenamento são prmero armazenados Em seguda, a classfcação de um novo regstro anda sem classfcaçãoé feta comparando-o com os regstros no conjunto de trenamento com os quas ele é mas parecdo O algortmo dos k-vznhos mas próxmos é usado na maora das vezes para a classfcação, embora também seja aplcável a tarefas de estmatvas e prevsão Exemplo: Pacente1 Lembre-se do capítulo 1, em que estavamos nteressados em classfcar o tpo de medcamento que devera ser prescrta a um pacente O conjunto de trenamento consste em 00 pacentes com os atrbutos sendo a razão Na/K, dade, e medcamentos Nossa tarefa é classfcar o tpo de medcamento que devera ser prescrto a um pacente novo que tem 40 anos de dade e uam razão Na/K gual a 9 Copyrght 005 John Wley & Sons, Inc. 19 Algortmo dos k-vznhos mas próxmos (contnuação) Este gráfco de dspersão de Na/K versus Idade mostra os regstros no conjunto de trenamento com os quas os pacentes 1, e 3 são mas parecdos A drug overlay é mostrada onde os pontos claros medcamento Y, pontos médos medcamento A ou X, e os pontos escuros medcamento B ou C Patent 1 Patent Patent 3 Copyrght 005 John Wley & Sons, Inc. 0 10

11 10/4/010 Algortmo dos k-vznhos mas próxmos (contnuação) Qual medcamento deve ser prescrto ao pacente 1? Como o perfl dos pacentes 1 os colocam no gráfco de dspersão perto doentes medcados com a droga Y, podemos classfcar o pacente 1 como droga Y A todos os pontos perto do pacente 1 são prescrtos medcamentos Y, tornando uma essa classfcação bem smples Exemplo: Pacente Em seguda, vamos classfcar um novo pacente, que tem 17 anos de dade e uma relação Na / K 1,5. Um close-up mostra a vznhança de pontos de trenamento em proxmdade com o pacente C A Patent Copyrght 005 John Wley & Sons, Inc. 1 B Algortmo dos k-vznhos mas próxmos (contnuação) Suponha que nós fazemos k 1 para o nosso algortmo dos k-vznhos mas próxmos Isso sgnfca que classfcamos o pacente de acordo com qualquer que seja o ponto no conjunto de trenamento ao qual ele é mas próxmo Neste caso, o pacente está mas próxmo ao ponto escuro, e, portanto, nós os classfcamos como droga B ou C Suponha que nós fazemos k e classfcamos novamente Pacente usando os k- vznhos mas próxmos Agora, o pacente está mas próxmo a um ponto escuro a um ponto médo Como é que o algortmo decde qual droga prescrever? Um sstema smples de votação não ajuda Copyrght 005 John Wley & Sons, Inc. 11

12 10/4/010 Algortmo dos k-vznhos mas próxmos (contnuação) No entanto, com k 3, o voto determna que dos dos três pontos mas próxmos para o pacente são médos Portanto, o pacente é classfcado como droga A ou X Note que a classfcação do pacente dferu com base no valor escolhdo para k Exemplo: Pacente 3 O pacente 3 tem 47 anos de dade e tem uma relação Na / K de 13,5. Um close-up mostra pacente 3 no centro, com os 3 pontos de trenamento de dados mas próxmos Copyrght 005 John Wley & Sons, Inc. 3 Algortmo dos k-vznhos mas próxmos (contnuação) Com k 1, pacente 3 está mas próxmo ao ponto escuro, com base em uma medda de dstânca Portanto, pacente 3 é classfcado como droga B ou C Usando k ou k 3, o voto não ajuda, já que cada um dos três pontos de trenamento mas próxmos têm dferentes valores de alvo Consderações ao usar os k-vznhos mas próxmos Quantos vznhos devem ser usados? k? Como é medda a dstânca entre os pontos? Como a nformação obtda de dos ou mas vznhos é combnada tomar uma decsão de classfcação? Todos os pontos deveram ter pesos guas, ou alguns pontos deveram ter mas nfluênca? Copyrght 005 John Wley & Sons, Inc. 4 1

13 10/4/010 Função Dstânca Como é defnda a semelhança entre um regstro não classfcados e os seus vznhos? Uma métrca de dstânca é uma função de valores reas d usada para medr a smlardade entre as coordenadas x, y e z com propredades: d( x, y) 0,and d( x, y) 0 f and only f x y d( x, y) d( y, x) d( x, z) d( x, y) + d( y, z) Propredade 1: A dstânca é sempre não-negatva Propredade : comutatva, a dstânca de "A a B" é a dstânca de "B a A" Propredade 3: a desgualdade trângulo dz que, dstânca de "A a C" deve ser menor ou gual à dstânca de "A a B a C" Copyrght 005 John Wley & Sons, Inc. 5 Função Dstânca (contnuação) A função dstânca eucldana é comumente usada para medr a dstânca Exemplo d Eucldean ( x, y) ( x y) where x x, x,..., x 1 represent the m attrbutes m, and y y, y,..., y Suponha um Pacente que tem 0 anos de dade e tem uma relação Na / K 1, e um Pacente B que tem 30 anos e uma relação Na / K 8 Qual é a dstânca eucldana entre estas nstâncas? 1 m deucldean ( x, y) ( x y ) (0 30) + (1 8) Copyrght 005 John Wley & Sons, Inc. 6 13

14 10/4/010 Função Dstânca (contnuação) Ao medr uma dstânca, um ou mas atrbutos podem ter valores muto grandes, em relação aos outros atrbutos Por exemplo, a faxa de renda pode ser escalada 30, ,000, enquanto os anos de servço assumem os valores de Neste caso, os valores dos rendmentos vão sobrepujar a contrbução dos anos de servço Para evtar esta stuação usamos normalzação Normalzação Valores de dados contínuos devem ser normalzados usando a normalzação Mn-Max ou a padronzação Z-Score X mn( X ) Mn - Max Normalzaton max( X ) mn( X ) X mean( X ) Z - Score Standardzaton standard devaton( X ) Copyrght 005 John Wley & Sons, Inc. 7 Função Dstânca (contnuação) Para atrbutos categórcos, a função dstânca eucldana não é aproprada Em vez dsso, defne-se uma função chamada "dferente 0 dfferent( x, y ) 1 f x y otherwse Nós substtuímos dferente (x, y) para cada atrbuto categórco na função dstânca eucldana Exemplo Qual pacente é mas parecdo com um homem de 50 anos de dade: um homem de 0 anos de dade ou uma mulher de 50 anos de dade? Copyrght 005 John Wley & Sons, Inc. 8 14

15 10/4/010 Função Dstânca (contnuação) Seja o Pacente A homem de 50 anos de dade, Pacente B homem de 0 anos de dade, e Pacente C mulher de 50 anos de dade Suponha que a varável dade tem um ntervalo 50, mínmo 10, méda 45 e desvo padrão 15 A tabela contém os valores de dade orgnas, Mn-Max normalzada, e padronzados pela Z-Score Patent Age Age MMN Age Zscore Gender A Male B Male C Female Copyrght 005 John Wley & Sons, Inc. 9 Função Dstânca (contnuação) Idade não normalzada Suponha que não normalzamos a Idade. Calcular a dstânca entre o pacente A e pacente B, e a dstânca entre o pacente A e o pacente C d( A, B) d ( A, C) (50 0) (50 50) Nós determnamos, embora talvez de forma ncorreta, que o pacente C é mas próxmo ao pacente A O pacente B é realmente 30 vezes mas dstante do pacente A que o pacente C é do pacente A? Talvez dexar de normalzar os valores da dade está crando esta dscrepânca? Copyrght 005 John Wley & Sons, Inc

16 10/4/010 Função Dstânca (contnuação) Idade normalzada utlzando o Mn-Max A dade é normalzada usando a normalzação Mn-Max. Os valores estão no ntervalo [0, 1] Novamente, podemos calcular a dstânca entre o pacente A e o pacente B, e entre o pacente A e o pacente C d MMN ( A, B) (0.8 0.) ( A, C) ( ) d MMN Neste caso, o pacente B é agora mas perto do pacente A Idade padronzada usando Z-Score Desta vez a dade é padronzada utlzando a padronzação Z-Score Copyrght 005 John Wley & Sons, Inc. 31 Função Dstânca (contnuação) d Zscore ( A, B) (0.33 ( 1.67)) ( A, C) ( ) d Zscore Usando a padronzação Z-Score, a maora dos valores estão tpcamente contdos no ntervalo [-3, 3] Agora, o Pacente C é o mas próxmo do Pacente A. Este resultado é dferente daquele obtdo com a normalzação Mn-Max Conclusão O uso de técncas de normalzação dferentes resultaram no pacente A sendo mas próxmo de pacentes dferentes no conjunto de trenamento Isso ressalta a mportânca de compreender qual técnca está sendo usada Copyrght 005 John Wley & Sons, Inc. 3 16

17 10/4/010 Função Dstânca (contnuação) Note que a dstânca (x, y) e as funções de normalzação Mn-Max produzem valores no ntervalo [0, 1] Talvez, ao calcular a dstânca entre os regstros contendo tanto atrbutos numércos e categórcos, a utlzação da normalzação Mn-Max Normalzação seja preferível Copyrght 005 John Wley & Sons, Inc. 33 Função Combnação A função dstânca eucldana determna a semelhança de um novo regstro não classfcado para com aqueles do conjunto de trenamento Como deveram se combnar os mas semelhantes (k) regstros para fornecer uma classfcação? Votação smples não ponderada Esta é a função combnação mas smples Decde sobre o valor de k para determnar o número de regstros smlares que "votam Compare cada regstro não classfcado com os seus k vznhos mas próxmos (maor smlardade) de acordo com a função dstânca eucldana Cada um dos k regstros semelhantes votam Copyrght 005 John Wley & Sons, Inc

18 10/4/010 Função Combnação (contnuação) Lembre-se que classfcamos um novo pacente de 17 anos de dade com uma relação Na / K 1,5, com k 3 A votação smples não ponderada determnou que dos dos três pontos mas próxmos ao pacente são médos Portanto, o pacente é classfcado como droga A ou X com uma confança de 03/0 66,67% Também classfcamos um novo pacente de 47 anos de dade, que tem uma relação Na / K de 13,5, com k 3 No entanto, a votação não ponderada smples não ajudou e resultou em um empate Talvez voto ponderado deva ser consderado? Copyrght 005 John Wley & Sons, Inc. 35 Votação Ponderada Votação Ponderada Neste caso, quanto mas próxmo o vznho for, mas nfluênca ele tem na decsão de classfcação Este método assume que um vznho mas próxmo é mas smlar e que portanto seu voto devera ser ponderado por um fator maor, em comparação com vznhos mas dstantes O peso do regstro específco é nversamente proporconal à sua dstânca para o regstro não classfcado É pouco provável ocorrer um empate" com esta abordagem Copyrght 005 John Wley & Sons, Inc

19 10/4/010 Votação Ponderada (contnuação) Exemplo Mas uma vez, lembre-se que classfcamos um novo pacente de 17 anos de dade com uma relação Na / K 1,5, com k 3 Nós determnamos, usando votação não ponderada, dos dos pontos mas próxmos foram Médos, e o tercero fo escuro No entanto, o ponto escuro é a mas smlar ao novo pacente Agora, vamos classfcar novamente o novo pacente usando um esquema de votação ponderada, utlzando os valores da tabela abaxo Record Age Na/K Age MMN Na/K MMN New Patent A (Dark) B (Med) C (Med) Copyrght 005 John Wley & Sons, Inc. 37 Votação Ponderada (contnuação) As dstâncas dos regstos A, B e C para o novo pacente são: d ( new, A) d ( new, B) d ( new, C) ( ) ( ) ( ) + (.5.471) + ( ) + ( ) Em seguda, os votos desses regstros são ponderados de acordo com o nverso do quadrado da sua dstânca para o novo regstro O regstro A vota para classfcar o novo pacente como escuro (droga B ou C) 1 Votes Dark Gray) d( new, A) ( 51,818. Copyrght 005 John Wley & Sons, Inc

20 10/4/010 Votação Ponderada (contnuação) Regstros B e C votam para classfcar o pacente como novo Médo (droga A ou X) 1 Votes Medum Gray) d( new, B) 1 + d( new, C) ( Convncentemente ( contra 67) o método de votação ponderada classfca o novo pacente como escuro (droga B ou C) Note que este procedmento nverte a nossa decsão de classfcação, determnada através da votação não ponderada, k 3 A dstânca nversa de 0 é ndefnda usando votação ponderada Teorcamente, o valor de k pode ser aumentado, de modo que todos os regstros de trenamento partcpem na votação, no entanto, a complexdade computaconal pode resultar em baxo desempenho 67. Copyrght 005 John Wley & Sons, Inc. 39 Quantfcando a relevânca de um atrbuto: alongando os exos Nem todos os atrbutos podem ser relevantes para a classfcação Por exemplo,as árvores de decsão ncluem apenas os atrbutos que contrbuem para melhorar a exatdão da classfcação Em contraste, o comportamento padrão dos k-vznhos mas próxmos é calcular dstâncas usando todos os atrbutos Um regstro relevante pode estar próxmo para varáves mportantes e, ao mesmo tempo muto longe para outras, as varáves sem mportânca Tomados em conjunto, o regstro relevante pode agora estar moderadamente longe do regstro novo, de modo que ele não partcpe da decsão de classfcação Copyrght 005 John Wley & Sons, Inc. 40 0

21 10/4/010 Quantfcando a relevânca de um atrbuto: alongando os exos (contnuação) Talvez, devamos consderar restrngr o algortmo a usar os campos mas mportantes para a classfcação No entanto, ao nvés de fazer essa determnação a pror, podemos fazer os atrbutos tanto mas como menos mportantes Isso é feto usando a valdação cruzada ou aplcando conhecmentos de domíno Alongando os exos Alongamento dos exos: encontrar o coefcente zj pelo qual se deve multplcar o j-ésmo exo. Valores maores de zj estão assocados com os exos de varável mas mportantes Valdação Cruzada A valdação cruzada selecona um subconjunto aleatóro de dados a partr do conjunto de trenamento e determna o conjunto de z1, z,..., zm que mnmza o erro de classfcação no conjunto de teste Copyrght 005 John Wley & Sons, Inc. 41 Quantfcando a relevânca de um atrbuto: alongando os exos (contnuação) Repetndo o processo leva a um conjunto mas precso de valores para z1, z,..., zm Especalstas do domíno Alternatvamente, pode-se recorrer a especalstas do domíno para recomendar valores de z1, z,..., zm Usando qualquer uma das abordagens, o algortmo dos k- vznhos mas próxmos pode se tornar mas precso Exemplo Suponha que a relação Na / K fo determnada para ser 3 vezes mas mportante do que o atrbuto Idade, para realzar a classfcação dos medcamentos Copyrght 005 John Wley & Sons, Inc. 4 1

22 10/4/010 Quantfcando a relevânca de um atrbuto: alongando os exos (contnuação) A dstânca entre os regstros A, B e C em relação ao novo regstro é calculada da segunte forma: where z Na / 3, z 1 K Age d ( new, A ) ( ) + (( 3)( )) d ( new, B ) ( ) + (( 3)( )) d ( new, C ) ( ) + (( 3)( )) A classfcação não muda pelo alongamento dos exos para a razão Na / K Em mutas stuações, alongar os exos leva a uma maor precsão através da quantfcação da relevânca de cada varável utlzada na decsão de classfcação Copyrght 005 John Wley & Sons, Inc. 43 Consderações sobre o Banco de Dados Métodos de aprendzado baseados em nstânca se benefcam por ter acesso à exemplos de aprendzagem, compostos por mutas combnações de valores dos atrbutos O conjunto de dados deve ser equlbrado, de modo a nclur um número sufcente de regstros com classfcações comuns e menos comuns Uma abordagem para o equlíbro do conjunto de dados é a redução da proporção de regstros com classfcações mas comuns Restrções de espaço na memóra prncpal pode lmtar o tamanho do conjunto de trenamento utlzado O conjunto de trenamento pode ser reduzdo de modo a nclur apenas aqueles regstros que ocorrem perto dos lmtes, frontera de uma classfcação Copyrght 005 John Wley & Sons, Inc. 44

23 10/4/010 Algortmo dos k-vznhos mas próxmos para estmação e predção O algortmo dos k-vznhos mas próxmos pode ser utlzado para a estmatva e prevsão de varáves-alvo de valores contínuos Um método usado para fazer sso é méda localmente Ponderada Exemplo Vamos estmar a pressão sangunea sstólca de um pacente de 17 anos de dade com relação Na / K gual a 1,5, usando k 3 Os predtores são Na / K e a dade e a varável-alvo é a BP Os três vznhos (A, B e C) do conjunto de trenamento são mostrados abaxo Record Age Na/K BP Age MMN Na/K MMN Dstance New ? A B C Copyrght 005 John Wley & Sons, Inc. 45 Algortmo dos k-vznhos mas próxmos para estmação e predção (contnuação) Suponha que a BP tem um ntervalo 80 e mínmo 90 Nós também estcamos os exos para a razão Na / K, para refletr a sua mportânca na estmatva da BP. Além dsso, usamos o nverso do quadrado das dstâncas para os pesos ŷ new w y w w 1, x where for exstng records x1, x, L d ( new, x ) k A pressão arteral sstólca estmada para o novo regstro é: Como o regstro A está mas próxmo do novo regstro, seu valor de pressão arteral de 10 dá uma contrbução sgnfcatva para o valor estmado da BP yˆ new w y w Copyrght 005 John Wley & Sons, Inc. 46 3

24 10/4/010 Escolhendo k Qual é o melhor valor de k? Não há necessaramente uma solução óbva K menor Escolher um valor pequeno para k pode conduzr o algortmo a overft os dados Ruído ou anomalas podem afectar ndevdamente a classfcação K maor Valores maores tendem a suavzar os valores de dados dossncrátcos ou obscuros no conjunto de trenamento Se os valores se tornam muto grandes, valores locas nteressantes serão gnorados Copyrght 005 John Wley & Sons, Inc. 47 Escolhendo k (contnuação) Escolhendo o valor aproprado para k exge o equlíbro destas consderações Usando a valdação cruzada pode ajudar a determnar o valor de k, escolhendo um valor que mnmza o erro de classfcação Copyrght 005 John Wley & Sons, Inc. 48 4