Experimentos. Introdução. Vantagens. Exemplo. Cleidson de Souza. LABES - DI - UFPA

Transcrição

1 Introdução Experimentos Cleidson de Souza LABES - DI - UFPA cdesouza@ufpa.br! Os experimentos são provavelmente o método científico mais famoso. São baseados na mesma abordagem e tradição das ciências naturais como física e química;! Eles oferecem um modo sistemático, disciplinado, e controlado de avaliação.! Idealmente, novos métodos, técnicas, linguagens e ferramentas não deveriam ser sugeridos, publicados ou vendidos sem experimentação e validação. Vantagens! Ajudar a construir uma base de conhecimento confiável e reduzir assim incertezas sobre quais teorias, ferramentas e metodologias são mais adequadas para certos contextos;! Ex: o efeito de determinados medicamentos;! Pode acelerar o processo de escolhas, eliminando abordagens inúteis e suposições errôneas;! Devido às rápidas mudanças tecnológicas na computação, experimentos podem ajudar os pesquisadores a explorar a consequência destas mudanças; Exemplo! A produtividade dos programadores aumenta com a utilização de dois monitores?! Projeto:! 10 programadores usando 1 monitor! 10 programadores usando 2 monitores! Programar um problema de dificuldade média em 1 hora! Análise dos programas ao final do prazo! Controle: habilidade de programação, IDE, tarefa a ser executada, produtividade (qualidade do código / número de erros, etc etc etc.

2 Componentes de um Experimento Componentes! Variáveis independentes referem-se à entrada do experimento e apresentam a causa que afeta o resultado do experimento. Também são chamados fatores;! Os valores dos fatores são chamados tratamentos;! Número de monitores usados;! Nível de dificuldade do programa a ser escrito;! Variáveis dependentes referem-se à saída do experimento e apresentam o efeito que é causado pelos fatores do experimento;! produtividade dos programadores --> operacionalizando, uma função do tempo necessário para resolver a tarefa e da qualidade do código produzido; Um parênteses

3 Operacionalização (importante!)! Todos os conceitos considerados em um tratamento precisam ser operacionalizados, ou seja, convertidos em valores concretos que possam ser efetivamente medidos sem ambigüidade!! produtividade dos programadores --> uma função do tempo necessário para resolver a tarefa e da qualidade do código produzido;! Tempo necessário para resolver a tarefa --> cronometrar cada indivíduo;! Qualidade do código produzido --> número de bugs encontrados no código;! Bugs --> não conformidade com o resultado do teste;! E se eu não puder testar o código? Componentes! Durante a execução do experimento, os tratamentos são aplicados aos objetos e os resultados estão sendo avaliados.! Os participantes ou sujeitos são os indivíduos que foram especialmente selecionados da população para conduzir o experimento;! Os programadores;! Para se generalizar os resultados do tratamento para uma população, o conjunto de participantes tem de ser representativo daquela população.! Alunos do CBCC aumentaram a sua produtividade, então posso argumentar que 2 monitores aumentariam a produtividade de qualquer programador? Componentes! O contexto descreve as condições em que o experimento está sendo executado:! In-vitro vs. In-vivo: laboratório sob condições controladas ou em uma situação real;! Ver classificação de [MacGrath, 2000];! Alunos vs. profissionais: os participantes do experimento;! Possibilidade de generalização?! Toy problem vs. problema real: O tamanho e complexidade do problema sendo executado.! Possibilidade de generalização? Terminologia

4 ! Grupo de Controle! Grupo de participantes que não recebe tratamento;! O efeito do tratamento é calculado comparando o grupo tratado com o grupo de controle;! Cegar (Blinding):! Prevenir as pessoas envolvidas no tratamento de saber que participantes receberam qual tratamento! Os participantes;! As pessoas administrando o tratamento;! Cegar Duplamente (Double blind);! As pessoas calculando os resultados;! Placebo: Um tratamento sem resultado.! Ex: Pílulas de farinha;! Efeito Placebo: Resposta causada nas pessoas pela simples idéia de que foram tratados; Princípio Fundamental Projeto de Experimentos Agrupar o que for possível e tornar aleatório o que não for possível (Block what you can and randomize what you cannot.)! Agrupar para garantir comparações com respeito a fatores que são reconhecidamente importantes, ou seja, agrupar para fazer comparações entre grupos relativamente similares de pessoas! Não se deve comparar excelentes programadores de um lado e péssimos programadores de outro;

5 Projeto! Randomizar, ou tornar aleatório, outros fatores que não se sabe se podem ter efeito no resultado! Idade e sexo dos programadores;! Randomizar também permite que se possa calcular a probabilidade dos resultados conterem erros;! A aleatoriedade implica que a alocação dos objetos e dos participantes e a ordem da execução dos testes experimentais são aleatórias. Conceituação Teórica! Um experimento geralmente é formulado para testar uma hipótese;! A hipótese principal se chama hipótese nula e declara que não há nenhum relacionamento estatisticamente significante entre a causa e o efeito;! Estatisticamente significante - a probabilidade que o resultado de um experimento ocorreu por acaso (não por causa do tratamento);! Em um experimento, definem-se:! Hipótese nula (H 0 ): não existe diferença na produtividade dos programadores;! A hipótese nula mais comum é a que diz que não existe diferença entre duas abordagens, mas existem outras.! Hipótese alternativa (H 1 ): programadores que usam 2 monitores tem maior produtividade que programadores que usam 1 monitor;

6 ! O objetivo do experimento é rejeitar a hipótese nula em favor das hipóteses alternativas (H 1,H 2, etc);! A decisão sobre a rejeição da hipótese nula é tomada baseada nos resultados da sua verificação com um teste estatístico que calcula o valor-p (p-value);! Chi-quadrado, Estudante t-teste (student s t- test), Correlações, etc.! (p<.05), ou seja, existe 5% de probabilidade que a produtividade de programadores com 2 monitores seja maior que a produtividade de programadores com 1 monitor ocorra por acaso (ou por outros fatores);! Quanto menor o valor-p, maior a evidência contra a hipótese nula (H 0 );! Quanto menor for o p, maior certeza você pode ter que a diferença ocorreu devido ao tratamento e não por acaso;! Um alto valor de p não implica que a hipótese nula (H 0 ) é verdadeira;! Um valor-p pequeno é evidência de um efeito do tratamento, mas não diz nada sobre o tamanho deste efeito;! Em resumo, você NUNCA pode afirmar com certeza absoluta que o tratamento é o fator de decisão; TABLE Interpreting the S ize of a P -Value Approximate size of P -Value Translation > 0.12 (12%) No evidence against H (10%) Weak evidence against H (5%) Some evidence against H (1%) Strong evidence against H (0.1%) Very Strong evidence against H 0 These translations are the authors' and are not universally accepted. For further discussion, see the surrounding text.

7 Testes Estatísticos! A escolha do teste estatístico depende:! Do tipo das variáveis (independentes e dependentes);! Da distribuição destas variáveis (distribuição normal, gaussiana, etc);! Etc. Tipos de Variáveis Types of Variables Quantitative Qualitative (measurements and counts) (define groups) Continuous Discrete Categorical Ordinal (few repeated values) (many repeated values) (no idea of order) (fall in natural order) Figure Tree diagram of types of variable. From Chance Encounters by C.J. Wild and G.A.F. Seber, John Wiley & Sons, Em resumo, os passos são:! Definir objetivos do experimento;! Definir hipóteses nula e alternativas;! Operacionalizar as variáveis;! Executar o experimento;! Calcular resultados;! Escolher testes estatísticos de acordo com as variáveis;! Comparar com a hipótese Nula;! Escrever;! Não é uma boa prática criar hipóteses no decorrer do processo de análise! Quando se testam diversas hipóteses, existe uma probabilidade de se encontrar valores estatisticamente significantes devido ao acaso

8 Conclusões! Experimentos são, simplificadamente, o principal método de pesquisa científico adotado por diversas ciências;! Porém, eles são usados raramente na computação. Acredita-se que com a utilização destes, a computação se torne mais próxima de uma ciência do que de uma engenharia;! Entretanto, lembre-se que experimentos não provam o efeito de algo com absoluta certeza. Eles apenas nos oferecem a certeza de que outros fatores (tratados) não são responsáveis pelo efeito causado.