Renato Martins Assunção

Transcrição

1 Análise Numérica Renato Martins Assunção DCC - UFMG 2012 Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

2 Introdução Sistemas lineares - introdução Nosso primeiro problema neste curso será o de encontrar a solução de um sistema de equações lineares Este é um problema fundamental em engenharia, economia, ciências em geral Vamos ver por que a solução de um sistema de equações lineares é tão importante através de um exemplo Nós voltaremos a este exemplo mais a frente no curso Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

3 Machine Learning e Data Mining Aprendizado de máquina e mineracao de dados é uma área nova da ciência É a junção de computação e estatística Algortimos + grandes bases de dados estatísticos = informação + Informação = + qualidade de vida, + eficiência, + riqueza Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

4 Predição Sistemas lineares - introdução Uma das tarefas mais importantes de machine learning é predição A partir de dados estatísticos e da criação de algoritmos inteligentes, queremos predizer um monte de coisas O que você pode comprar na amazoncom? Dados: Seu uso da página amazoncom O uso dos milhões de outros clientes da amazoncom Algoritmo: detectar qual o seu perfil o mais rapidamente possível Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

5 Mais predição Sistemas lineares - introdução Qual o índice de inflação dos próximos meses? Dados: Valor do índice da inflação nos meses prévios Outros indicadores econômicos Algoritmo: descobrir o mecanismo que gera os valores sucessivos do índice de inflação Substitua índice de inflação por outro indicador de seu interesse: Precipitação pluviométrica diária Preço hora-a-hora da ação da Vale do Rio Doce na BOVESPA Número de casos de dengue dia-a-dia Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

6 Predição faz bem à saúde Num plano de saúde, o custo é altamente concentrado 26% dos clientes com custo anual = zero 20% dos mais caros consumiram 87% do custo total 1% mais caros = 31% do custo total 1/2% mais caros = 23% do custo total Predizer (e prevenir) ALGUNS desses casos mais caros pode ser muito importante Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

7 Worth 3 million dollars? US$3 milhões: É o que a Heritage Provider Network está oferecendo Quem ganha? O algoritmo que melhor predizer: quais pacientes serão hospitalizados e por quantos dias ao longo do próximo ano Dados: 3 anos de uso (ou não uso) de serviços de saúde por alguns milhões de usuários Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

8 Heritage Health Prize Competition Começou em 4/4/2011 e vai terminar em 3/4/2013 Em 02/2012 possuia 1640 times competidores com diferentes algoritmos Espera-se que predizer bem a saúde ruim tornará a prevenção mais eficaz e, desta forma, mais eficiente o sistema de saúde Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

9 Predição de preços imobiliários Qual o valor de um imóvel? Existem softwares para fazer esta predição de forma automática a partir de várias características do imóvel Menos subjetivo, mais rápido, primeira avaliação Como um software desses pode ser construído? Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

10 Preços de imóveis Sistemas lineares - introdução Coletamos preços de 1500 imóveis a venda no mercado de BH Alguns são caros, outros são baratos O que faz com que os preços dos imóveis variem? As três coisas mais importantes que afetam o valor de um imóvel Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

11 Localização Sistemas lineares - introdução Localização: Dividir a cidade em pequenas áreas Outra abordagem mais simples: Localização é status socio-econômico; Status é mensurado por renda Renda é medida pelo IBGE em 2000 pequenas áreas da cidade Renda do chefe do domícilio Então: localização = renda média da região onde está o imóvel Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

12 Outras características do imóvel Ano da construção Área total do imóvel Número de quartos Número de suítes Quantos aptos por andar? Possui salão de festas? 0 ou 1 Possui piscina? 0 ou 1 ETC Ao todo, 30 características numéricas para cada um dos 1500 imóveis Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

13 Visão matricial Sistemas lineares - introdução Organizar os dados como vetores e matrizes Preços: um vetor Y de dimensão 1500 As características: matriz Cada linha = um imóvel 1 a coluna = renda média da região 2 a coluna = ano da construção 3 a coluna = área total Etc Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

14 Visão matricial Sistemas lineares - introdução Preços de 1500 imóveis (vetor de dimensão 1500) X = Y = y 1 y 2 y 1499 y 1500 renda 1 área 1 salão 1 renda 2 área 2 salão 2 renda 1499 área 1499 salão 1499 renda 1500 área 1500 salão características de 1500 imóveis (Matriz X de dimensao ) Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

15 Preço é uma soma ponderada Procuramos um modelo matemático simples que possa explicar, a partir das características, porque alguns imóveis são caros e outros são baratos Área total: quanto maior o imóvel, maior o preço Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

16 Influência de área Sistemas lineares - introdução Vamos fazer uma primeira aproximação, talvez muito grosseira e sujeita a revisões Mas será um ponto de partida Vamos imaginar que, APROXIMADAMENTE, o preço aumenta linearmente com a área do imóvel Isto é, que o preço Y a + b área Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

17 Um gráfico com 150 imóveis Cada ponto é um imóvel O eixo vertical tem os preços (em milhares de reais) O eixo horizontal tem as áreas (em metros quadrados) Parece que o preço é, grosseiramente, uma função linear da área Isto é, Y a + b área Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

18 Um gráfico com 150 imóveis Reta no gráfico corresponde a esta equação: Preço Y área Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

19 Área não é tudo Dois imóveis com praticamente a mesma área possuem preços diferentes O que causa a diferença? Idade do imóvel? Dois imóveis, com áreas iguais: se um for mais velho, provavelmente será mais barato Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

20 Ampliando o modelo inicial Podemos então imaginar que a idade traz um impacto adicional ao nosso modelo de preço Neste momento, temos Y a + b área Já vimos até mesmo que a 50 e b 2 Podemos agora acrescentar o impacto de idade imaginando que: Y a + b área + c idade Como maior idade reduz o preço, devemos ter c < 0 Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

21 Um modelo ainda mais complexo Mas o preço não depende apenas de área e idade Dois imóveis com mesma área e mesma idade podem ter preços bem diferentes dependendo de: Sua localização (renda da sua região) Número de suítes Número de vagas na garagem Etc Cada fator pode ser acrescido ao modelo inicial de forma linear Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

22 Modelo mais complexo Vamos considerar um modelo que, a partir das 30 características do imóvel, fornece uma predição do preço da seguinte forma: Y é aproximadamente igual a a + b área + c idade + d localização + ETC O problema é: como encontrar os valores de a, b, c, etc que tornem a aproximação a melhor possível? Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

23 O problema de forma matemática Queremos que cada um desses 1500 valores seja aproximadamente igual a uma combinação linear das 30 características (mais a constante a) y 1 a + b área 1 + c idade 1 + y 2 a + b área 2 + c idade 2 + y 1500 a + b área c idade Podemos escrever isto de forma matricial Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

24 O problema de forma matemática Para facilitar a notação no futuro, vamos escrever os pesos que multiplicam cada característica como b 0 (para a constante), b 1 (para área), b 2 (para idade),, b 30 para a presença ou não de salão de festas y 1 b 0 + b 1 área 1 + b 2 idade 1 + b 30 salão 1 y 2 b 0 + b 1 área 2 + b 2 idade 2 + b 30 salão 2 y 1500 b 0 + b 1 área b 2 idade b 30 salão 1500 Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

25 O problema de forma matricial y 1 b 0 + b 1 área 1 + b 2 idade 1 + b 30 salão 1 y 2 b 0 + b 1 área 2 + b 2 idade 2 + b 30 salão 2 y 1500 b 0 + b 1 área b 2 idade b 30 salão }{{ 1500 } 1 área 1 idade 1 salão 1 1 área 2 idade 2 salão 2 b b 1 área 1499 área b 2 idade 1499 idade b 30 salão 1499 salão 1500 Os valores y 1, y 2,, y 1500 devem ser colocados em um vetor de dimensão 1500 Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

26 Forma vetorial Sistemas lineares - introdução Y = y 1 y 2 y 1499 y 1500 b b 1 área 1 área 2 área 1499 área b 2 idade 1 idade 2 idade 1499 idade b 30 salão 1 salão 2 salão 1499 salão 1500 Y é um vetor de dimensão 1500 escrito como combinação linear de 31 vetores, cada um deles de dimensão 1500 Problema: encontrar os coeficientes b 0, b 1,, b 30 que tornem a aproximação acima a melhor possível Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

27 A solução do problema Veremos com detalhes mais tarde no curso como resolver este problema Neste momento, basta dizer que nosso problema fica reduzido a um sistema de equações lineares Ou ainda, a um problema de inverter uma certa matriz quadrada Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

28 A matriz de desenho X Seja X a matriz abaixo (note que ela tem uma coluna composta apenas de 1s): X = 1 renda 1 área 1 salão 1 1 renda 2 área 2 salão 2 1 renda 1499 área 1499 salão renda 1500 área 1500 salão 1500 Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

29 Vetores próximos Sistemas lineares - introdução Nosso problema é encontrar os coeficientes b 0, b 1, b 30 tais que Y = y 1 y 2 y 1499 y 1500 b b 1 área 1 área 2 área 1499 área b 2 Ou seja, encontrar b 0, b 1, b 30 tais que idade 1 idade 2 idade 1499 idade b 30 salão 1 salão 2 salão 1499 salão 1500 Y = y 1 y 2 y 3 y 1498 y 1499 y renda 1 área 1 salão 1 1 renda 2 área 2 salão 2 1 renda 1499 área 1499 salão renda 1500 área 1500 salão 1500 b 0 b 1 b 30 = Xb onde b = (b 0, b 30 ) t Isto é, queremos Xb Y Como resolver isto? Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

30 Solução: um sisteam linear Queremos encontrar b para resolver o sistema linear Y Xb X é uma matriz e Y é um vetor de 1500 posições Um truque para resolver este sistema linear: multiple dos dois lados pela matriz X t e troque por = (X t X ) b X }{{}}{{} t Y A c Assim, terminamos com um sistema linear legítimo Ab = c onde onde A = X t X é matriz e c = X t Y é vetor com 31 posições Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

31 Solução: um sisteam linear A solução b = (b 0, b 1,, b 30 ) t de nosso problema é dada pelo vetor 30 1 que é a solução desta equação matricial: Ou ainda, b = (X t X ) 1 X t Y X t X b = X t Y A matriz X t X é de dimensão 31 1 Como vamos invertê-la? Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32

32 Matemática e algoritmos Muitos, muitos, muitos, problemas práticos podem ser formulados matematicamente como uma inversão de matriz quadrada vezes um certo vetor Estas matrizes costumam ser muito grandes Precisamos de métodos algorítmicos para fazer esta inversão Estes métodos constituem a primeira parte de nosso curso Renato Martins Assunção (DCC - UFMG) Análise Numérica / 32