Planejamento e Análise de Experimentos

Transcrição

1 e Análise de Experimentos Aula 1 Felipe Campelo Programa de Pós-Graduação em Engenharia Elétrica Belo Horizonte Agosto de 2012

2 Somewhere, something incredible is waiting to be known. Carl Sagan Astrônomo americano

3 Objetivos Capacitação dos alunos para o planejamento experimental, definição e teste de hipóteses, e análise estatística dos dados obtidos em suas respectivas áreas de atuação; Ao final do curso, o estudante deverá ser capaz de: Planejar experimentos relativos à sua área de trabalho; Realizar uma análise estatística apropriada dos dados levantados no experimento; Derivar conclusões sólidas e bem embasadas nos dados disponíveis; Analisar criticamente metodologias e resultados reportados na literatura.

4 curso Aulas expositivas (10 aulas): discussões relativas a diversos aspectos e técnicas de planejamento e análise de experimentos. Teoria, exemplos de aplicação e resoluções conputacionais; Exames intermediários (1 aula): Testes avaliativos sobre aspectos de planejamento e análise de experimentos discutidos em sala. Acompanhamento dos projetos finais (2 aulas): Apresentações finais (2 aulas): seminários relativos ao trabalho desenvolvido ao longo do semestre;

5 Informações gerais Plano de curso, aulas, etc: disponíveis no Moodle e em disciplinas.html Atendimento extra-classe: sob agendamento.

6

7 Experimento Definição de experimento Teste (ou série de testes) no qual mudanças propositais são introduzidas nas variáveis de entrada de um dado sistema ou processo, de forma a possibilitar a observação e caracterização das alterações que possam ocorrer nas variáveis de saída do sistema.

8 Objetivos Objetivos de experimentos Determinar variáveis mais influentes; Determinar valores desejados para os parâmetros do sistema de forma a: Obter saídas de valores desejados; Obter saídas de baixa variabilidade; Minimizar os efeitos dos fatores incontroláveis; Caracterizar o comportamento do sistema ou processo.

9 Coleta de Dados Estudos retrospectivos Usando (parte dos) dados disponíveis (históricos) sobre um dado processo ou sistema; Utilizado para investigar, por exemplo, relações entre níveis de fatores e padrões de comportamento do sistema; Problemas: A série histórica pode não abranger valores de interesse dos fatores; Dados relevantes podem estar ausentes (não coletados); Pode envolver muitos dados, mas relativamente pouca informação;

10 Coleta de Dados Estudos observacionais Observação de um sistema ou processo, com o mínimo de perturbação do mesmo; Utilizado para investigar, por exemplo, comportamento de processos industriais em andamento; Problemas: Em geral não permite observação de casos extremos; Dificulta a modelagem da influência de fatores no comportamento do sistema;

11 Coleta de Dados Experimentos planejados de mudanças propositais no sistema, observação dos dados resultantes, derivação de inferências sobre a influência dos fatores de entrada nas saídas observadas; Permite a caracterização ou otimização do processo ou sistema; Muito utilizado em pesquisa científica e em projeto de produtos. Problemas: Demanda rigor no planejamento experimental e análise dos dados; Pode requerer a obtenção de um maior número de dados ;

12 Estratégias de Experimentação Palpites educados Selecionar combinação arbitrária de níveis para os fatores; Testar e observar comportamento; Alterar um ou dois fatores de cada vez, e re-testar; Normalmente utilizado quando há um grande conhecimento teórico/técnico sobre a natureza do problema; Pode requerer um número elevado de rodadas ; Convergência prematura;

13 Estratégias de Experimentação Um fator de cada vez Selecionar um ponto inicial de operação; Variar cada fator ao longo de seu intervalo de valores, mantendo constantes os demais; Muito usado na prática; Incapaz de determinar interação entre os fatores; (Baseline: (O)versized driver, (B)alata ball, (W)alking, drinking (W)ater)

14 Estratégias de Experimentação fatorial Forma mais correta de testar a influência de fatores na resposta do sistema; Valores dos fatores são variados de forma coordenada; Determina efeitos individuais e interações;

15 Estratégias de Experimentação fatorial Efeitos individuais e interacionais podem ser calculados de forma relativamente simples; Dados estes efeitos, testes estatísticos são utilizados para determinar a significância dos mesmos; s fatoriais são a forma mais eficiente de uso de dados: todas as observações são utilizadas no cálculo dos efeitos;

16 Estratégias de Experimentação fatorial Número de observações necessárias cresce com número de fatores testados; Em casos com muitos fatores ou níveis/fator: Experimentos fracionários; Efeitos de interações de ordem alta são absorvidos em (confundidos com) efeitos marginais ou interações de baixa ordem;

17

18 de experimentos (DoE) Processo de planejamento experimental que possibilita a correta análise dos dados obtidos por ferramentas estatísticas, capazes de embasar conclusões válidas e objetivas. Aplicável a sistemas e processos sujeitos a ruído, erros experimentais, etc. Necessário para que as conclusões tenham significado; Evita a ocorrência de erros devidos a tendências pessoais e outros artefatos de experimentação e análise.

19 de experimentos (DoE) do experimento; Análise estatística dos dados; Fortemente correlacionados - os métodos de análise dependem fortemente do planejamento utilizado;

20 Replicação Repetição do experimento básico - estimativa do erro experimental; Fundamental para determinação de significância estatística; Obtenção de estimativas mais precisas da média amostral (σȳ = σ y / n);

21 Replicação Repetição Suponha um sistema de impressão de placas de circuito impresso. Após examinar o processo, o engenheiro decide realizar um experimento com os fatores temperatura e concentração de reagente. Cada fator será testado em 2 níveis, alta e baixa, o que resulta em um planejamento fatorial 2 2.

22 Replicação Repetição Suponha um sistema de impressão de placas de circuito impresso. Após examinar o processo, o engenheiro decide realizar um experimento com os fatores temperatura e concentração de reagente. Cada fator será testado em 2 níveis, alta e baixa, o que resulta em um planejamento fatorial 2 2.

23 Replicação Repetição Suponha um sistema de impressão de placas de circuito impresso. Após examinar o processo, o engenheiro decide realizar um experimento com os fatores temperatura e concentração de reagente. Cada fator será testado em 2 níveis, alta e baixa, o que resulta em um planejamento fatorial 2 2.

24 Randomização Evita que tendências se infiltrem nos dados; Tanto a alocação quanto a ordem dos experimentos devem ser determinadas aleatoriamente; Garante a premissa de independência dos erros experimentais; Faz com que efeitos espúrios/externos sejam, em média, removidos da análise; Randomização total muito difícil: randomização parcial, blocagem, etc.

25 Blocagem Melhoria nas estimativas dos efeitos de fatores de interesse; Redução ou eliminação de fatores inconvenientes (influenciam a resposta, mas não são interessantes para análise) Exemplo: Considere que há duas máquinas capazes de imprimir placas de circuito impresso. Diferenças entre as máquinas podem interferir nos resultados; blocagem dos experimentos por máquina pode eliminar o fator máquina da análise;

26 Estrutura da Investigação Científica

27 Erros comuns Tendências pessoais (explícitas ou sutis); Conclusão prematura; Confusão entre conjectura, hipótese, teoria, explicação; Observação seletiva (cherrypicking); Caça a anomalias; Evidência anedótica;

28 experimental O papel do DoE Evitar influência de fatores espúrios ou tendências pessoais; Tratar experimentos de forma imparcial e objetiva. Nunca tenha amor demais por suas hipóteses The great tragedy of Science - the slaying of a beautiful hypothesis by an ugly fact. Thomas H. Huxley, biólogo inglês

29 Exemplo Exemplo: Jacques Benveniste e a memória da água Publicação na Nature (1988); Investigação: Maddox, Stewart, Randi; de cegamento no experimento - efeito desaparece; Problemas de planejamento e análise: Falta de cegamento: tendências do experimentador Observação seletiva; Contaminação; Análise estatística inadequada; Não-reproducibilidade;

30

31 Pontos principais Para que seja possível utilizar uma abordagem científica no planejamento experimental, é necessário compreender: O tópico de estudo; A forma de coleta dos dados; A forma de análise dos dados (pelo menos qualitativamente).

32 Guidelines para um bom planejamento 1 pré-experimental: (a) Reconhecimento e definição do problema; (b) Escolha de fatores de interesse, níveis, intervalos; (c) Seleção da variável (ou variáveis) de resposta; 2 Escolha do design experimental; 3 Realização do experimento; 4 Análise estatística dos dados; 5 Conclusões e recomendações;

33 Pré- Reconhecimento e definição do problema Busca por informações de todas as áreas envolvidas: engenheiros, administradores, técnicos, etc. (trabalho de equipes); Listagem de problemas/questões específicas do experimento; Manter o objetivo geral em mente: Caracterização do sistema? Otimização do sistema? Confirmação? Descoberta? Estabilidade? Formular questões abordáveis, dividir o problema quando necessário.

34 Pré- Escolha de fatores, níveis, intervalos Fatores do planejamento fatores de inconveniência Fatores do planejamento: Experimentais; Controlados (mantidos constantes); Não-controlados (variação permitida); Fatores de perturbação: Controláveis (e.g.: lote de matéria prima) solução: blocagem; Não-controláveis (e.g.: umidade do ar) solução: análise de covariância; Ruído (e.g.: vibrações, etc.) solução: planejamento robusto;

35 Pré- Escolha de fatores, níveis, intervalos Escolha dos intervalos de variação dos fatores experimentais; Escolha dos níveis para teste no experimento; É necessário compreender o processo ou sistema de interesse!

36 Pré- Seleção da variável/variáveis de resposta A variável (sua média ou variância) realmente fornece informação útil? Precisão e erro de medição são importantes: Se a precisão é baixa, apenas grandes efeitos poderão ser detectados; Medições repetidas - uso de médias como variável de resposta observada;

37 Escolha do Design Design experimental Relativamente simples, se o planejamento pré-experimental for bem feito; Considerações sobre: Tamanho amostral; Ordenamento das observações; Determinação de restrições à aleatorização e uso de blocos, etc. Disponível em diversos pacotes estatísticos/matemáticos (R, SPSS, Minitab, Matlab, SAS, etc.)

38 Realização do Experimento Coleta dos dados Consistência com planejamento: erros de procedimento destroem a validade dos resultados; Uso de experimentos-piloto: Levantamento de informações; Prática com as condições experimentais;

39 Análise Estatística dos Dados Análise estatística Obtenção de conclusões objetivas a partir dos dados; Teste de hipóteses e estimação de intervalos de confiança; de resultados em termos de um modelo empírico; Análise de resíduos e validação do modelo; Métodos estatísticos não provam nada, e sim possibilitam a definição objetiva de margens de plausibilidade para determinadas afirmações.

40 Conclusões e Recomendações Conclusões e Recomendações Após análise, obter conclusões práticas; Estabelecimento de um curso de ação a partir dos dados; Uso de técnicas gráficas para apresentação de resultados; Definição de experimentos confirmatórios para validação das conclusões.

41 Comentários Alguns comentários relevantes Uso de conhecimento prévio (teórico); Experimentação iterativa; Significância estatística prática;

42 Essenciais 1 D.C. Montgomery, Design and Analysis of Experiments, 5th ed. - Capítulos 1, ; 2 D.C. Montgomery, G.C. Runger, Applied Statistics and Probability for Engineers, 3rd ed. - Capítulos 1-7; 3 J.S. Kim, J.W. Kalb, Design of Experiments: An Overview and Application Example J. Trygg, Introduction to Statistical Design -

43 Adicionais 1 T. Brady, Reviewer s quick guide to common statistical errors in scientific papers, Elsevier F.L.H. Wolfs, APPENDIX E: Introduction to the Scientific Method Dept. Biochemistry & Cell Biology, Rice University, Common Errors in Student Research Papers J. Maddox, J. Randi, and W.W. Stewart, High-dilution experiments a delusion, Nature 334, , 1988.