GPDI Grupo de Profissionais de Dados e Inteligência

Transcrição

1 GPDI Grupo de Profissionais de Dados e Inteligência Estatística e sua relação de dados Uma aplicação na redução da dimensionalidade em matrizes de dados

2 Grupo de Profissionais de Dados e Inteligência

3 Quem sou? JOSÉ BELO ARAGÃO JÚIOR Professor, pesquisador, empresário. Formação Acadêmica Telemática pelo IFCE; Matemática pela UECE; MBA em Gerenciamento de Projetos pela FGV; Mestre em Engenharia de Teleinformática pela UFC; Certificado PMP e CSM.

4 Introdução O que é Estatística? Estatística pode ser entendida como a ciência dos dados. Por que estudar Estatística? Para melhor entendermos os fenômenos que nos cercam.

5 Introdução Estatística é a arte de torturar os números até que eles digam a verdade.

6 Áreas de Aplicação Finanças Estudo de tendências. Previsões do mercado. Análise de risco. Decisões sobre investimento. Contabilidade Auditoria. Custos.

7 Áreas de Aplicação Mercadologia Perfil dos consumidores. Campanhas publicitárias. Pesquisas de mercado. Segmentação de mercado. Operações Controle de qualidade. Previsão de Produção.

8 Áreas de Aplicação Administração de Empresas Pesquisas de Salários. Controle de qualidade. Logística. Clima organizacional. Administração Pública Avaliações de políticas públicas. Instrumentos de controle.

9 Áreas da Estatística Estatística Estatística Descritiva Envolve as técnicas que permitem representar, mensurar e analisar um conjunto de dados. Estatística Inferencial Envolve as técnicas que permitem utilizar dados de uma amostra para generalizações sobre a população.

10 Medidas Estatísticas Medidas Estatísticas Posição Variação Média Mediana Variância Desvio Padrão Moda Covariância Correlação

11 Média Reflete um ponto de equilíbrio. É influenciada por valores etremos. i i

12 Mediana Valor que divide a distribuição em duas partes iguais Se n for ímpar, a mediana será a observação que ocupa a posição central. Se n for par, a mediana será a média dos dois valores centrais. ão é influenciada por valores etremos, mas sim pelas frequências.

13 Variância e Desvio Padrão Indicam como os dados estão dispersos em torno da média Consideram todos os valores da série de dados 2 i 2 2 i 2... σ 2 2 µ 4 6 7,5 8,

14 Covariância É uma medida do grau de interdependência numérica entre duas variáveis aleatórias. Y Cov i i i ), ( Y Cov... ), (

15 Correlação Utilizado principalmente para avaliar o grau da relação LIEAR entre 2 variáveis. É uma medida adimensional. Varia entre - e, inclusive. Y Cov Y ), ( ), ( Y... ), ( i i i Y ), (

16 Correlação Y... ), ( Y... ), ( A correlação deve ser entendida como o produto escalar de vetores com dados padronizados, dividido pela dimensão dos vetores.

17 Curiosidade!!! Y ), ( ), ( Y v u v u.. cos cos

18 Correlação Correlação egativa Perfeita Sem Correlação Linear Correlação Positiva Perfeita - -0,5 0 +0,5 + Aumenta o grau de correlação negativa Aumenta o grau de correlação positiva

19 Correlação Y Y r = r = - Correlação perfeita e direta (positiva) Correlação perfeita e inversa (negativa)

20 Correlação Y r = 0,95 Correlação alta e direta Y r = 0 Correlação nula: não há relação linear

21 Eemplo Considere os escores de 5 alunos nas provas de Português e Matemática. ote que as notas estão em escalas diferentes. Aluno Prova Português Matemática Há alguma correlação entre as notas das duas disciplinas?

22 Eemplo Média em Português µ P = 40 Média em Matemática µ M = 6 Escores com a mudança de origem. ( i = i µ) Aluno Prova Português Matemática As unidades ainda estão epressas na escala original de cada prova. ( 3).2 ( 4).0 6.( 2) ( ). 2.( ) Cov( P, M ) 2 5

23 Eemplo Ao dividir o valor de cada afastamento em relação à média pelo desvio padrão, a nova variável, Z, fica epressa em número de desvios padrão em torno da média. Z i A esse procedimento chamamos PADROIZAÇÃO. A média e o desvio padrão das distribuições na forma padronizada são 0 e, respectivamente. i

24 Eemplo Aluno Prova Português ( p ) Matemática ( m ) µ P = 40 σ P = 3,633 Z i i µ M = 6 σ M =,44 Aluno Prova Português (z p ) -0,825 -,,65-0,275 0,55 Matemática (z m ),44 0 -,44 0,707-0,707

25 Eemplo Aluno Prova Português (z p ) -0,825 -,,65-0,275 0,55 Matemática (z m ),44 0 -,44 0,707-0,707 ( P, M ) (, Y )... 0,825.,44 (,).0,65.(,44) (0,275).0,707 0,55.( 0,707) 5 ( P, M ) 0,87

26 Matriz de Covariância É uma matriz simétrica que eibe as covariâncias entre variáveis. Sejam as variáveis: [, 2,..., ]

27 PCA A análise dos componentes principais é um método que tem por finalidade básica, a análise dos dados usados visando sua redução, eliminação de sobreposições e a escolha das formas mais representativas de dados a partir de combinações lineares das variáveis originais. É também chamado de Transformada Discreta de Karhunen-Loève (KLT).

28 PCA Seja o conjunto de dados formado pelo vetores [, 2,..., ]. PCA realiza uma combinação desses vetores que, geometricamente, representam um novo sistema de coordenadas [Y, Y 2,..., Y ], formado por vetores nãocorrelacionados e obtidos a partir da rotação do sistema original. O novo sistema de coordenadas representa as direções de maior variabilidade de dados. este novo sistema de coordenadas a variância ao longo do eio Y i é dada pelo autovalor λ i, calculado a partir da matriz de covariância dos dados originais.

29 Seja a seguinte matriz de covariância: PCA - Eemplo

30 Os Autovalores e Autovetores de C são: PCA - Eemplo

31 PCA - Eemplo As componentes principais são dadas por:

32 PCA - Eemplo A variância devido a cada uma das componentes Y i, é dada por:

33 PCA - Eemplo Conclusão: Aproimadamente 98% da variabilidade dos dados é contabilizada usando apenas as duas primeiras componentes. Desta maneira, para fins práticos, pode-se desprezar a terceira variável.

34 Obrigado! José Belo Aragão Júnior, MsC, PMP

35 Grupo de Profissionais de Dados e Inteligência