Universidade Estadual do Oeste do Paraná Ciência da Computação Trabalho de Conclusão de Curso Comentários sobre Realização de Experimentos
Retomando... O Projeto Introdução Objetivos finais e parciais da pesquisa Materiais, métodos e técnicas a serem utilizadas Cronograma de desenvolvimento Isso já foi feito!!
Retomando... O Projeto Introdução Objetivos finais e parciais da pesquisa Materiais, métodos e técnicas a serem utilizadas Como serão coletados, armazenados e analisados os dados Cronograma de desenvolvimento Ênfase!!
Retomando o objetivo... O objetivo foi (deveria ter sido!!) analisado sob o aspecto de sua valoração Viabilidade Relevância Novidade Exequibilidade Oportunidade Definido o objetivo a questão é tentar alcançá-lo. Como alcançá-lo, envolve Materiais, Métodos e Técnicas.
Materiais e Métodos Identificação e seleção dos materiais, métodos e técnicas, computacionais e estatísticas, a serem usadas na pesquisa Software X, Y e Z Prototipação Questionário Média dos resultados alcançados... Esta identificação pode envolver Aperfeiçoamento de técnicas e métodos já existentes Validação da metodologia através de projeto piloto ou protótipo. Envolve a coleta de dados
Exercício 1 Considerando o projeto do seu TCC, responda: Como será seu experimento? O que terá de diferente (em relação a outros trabalhos semelhantes)? Trata-se de um experimento heurístico ou não? Envolve pessoas ou não? Quais serão as principais variáveis a serem consideradas? Como coletará dados? Como fará a análise?
Coleta dos Dados Realização de estudos observacionais aplicação de questionários estudos de campo registro de dados exploratórios Realização de estudos experimentais manipulação das variáveis de estudo coleta de resultados Mensuração e comparação de dados de desempenho, uso, impacto, etc.
Pesquisa Experimental (dados) Variáveis independentes: são as variáveis, parâmetros ou condições manipuladas pelo pesquisador Variáveis dependentes: são as variáveis, parâmetros ou efeitos que são observados ou mensurados pelo pesquisador Variáveis de controle: são as variáveis, parâmetros ou condições que devem permanecer fixas ou controladas. A relação causa-efeito é determinada pela comparação estatística do comportamento
Pesquisa Experimental (sujeitos/objetos) Os sujeitos ou objetos a serem estudados no experimento são divididos em grupos controles e experimentais Os grupos controle não recebem a influência da variável independente Os grupos experimentais recebem a variável independente A relação causa-efeito é determinada pela comparação estatística entre os grupos
Pesquisa Experimental Perigo de tendência : influência inconsciente ou consciente por parte dos sujeitos ou pesquisadores sobre o resultado da pesquisa Como eliminar ou reduzir essa tendência (suj./objetos): Atribuição aleatória dos sujeitos aos grupos Sujeitos ignoram a que grupo pertencem (estudo cego) Pesquisadores também ignoram (estudo duplo-cego) Como eliminar ou reduzir essa tendência (dados): Garantir sua aleatoriedade Garantir presença de representantes de dados Garantir as combinações entre os dados Fazer combinação de combinações
Pesquisa Experimental: sujeitos Objetivo: determinar se a sobrevida de pacientes com AIDS aumenta com AZT Grupo controle: aidéticos recebem um placebo Grupos experimentais 1 e 2: aidéticos recebem duas dosagens diferentes de AZT
Pesquisa Experimental: Exemplo Variável independente: dosagem de AZT Variável dependente: tempo de sobrevida do paciente desde o início do tratamento Variáveis de controle: sexo, idade, tempo de duração e gravidade da doença, nível econômico, etc. Análise estatística: comparação entre os grupos usando análise de variância e curvas de sobrevivência
Análise dos Dados Dois tipos de dados e análises: Qualitativos Quantitativos Necessário definir onde e como será realizado o experimento: a população, a amostragem, os instrumentos de coleta de dados e a forma como pretende tabular e analisar seus dados. O tipo de análise (estatística ou não) depende das definições do experimento. Orientação-base: como os demais autores fizeram?
Definições População é a totalidade de indivíduos que possuem as mesma características definidas para um determinado estudo. Amostra é parte da população ou do universo, selecionada de acordo com uma regra ou plano. A amostra pode ser probabilística e não-probabilística. 14
Amostras não-probabilísticas Amostras acidentais: compostas por acaso, com pessoas/casos que vão aparecendo; Amostras por quotas: diversos elementos constantes da população/universo, na mesma proporção; Amostras intencionais: escolhidos caos para a amostra que representem o bom julgamento da população/universo. 15
Amostras probabilísticas Amostras casuais simples: cada elemento da população tem oportunidade igual de ser incluído na amostra; Amostras casuais estratificadas: cada estrato, definido previamente, estará representado na amostra; Amostras por agrupamento: reunião de amostras representativas estará representada na amostra; 16
O Papel da Estatística Os resultados quase sempre são variáveis É necessário descrever a variabilidade e as tendências centrais, para entender o fenômeno Para comprovar diferenças entre situações observacionais e experimentais, é necessário usar métodos estatísticos
Exemplo de estatística Saúde & Vida On-Line Hipótese: não existe diferença quanto à frequência de acesso em relação ao sexo do leitor Método: questionários enviados para uma amostra de 300 leitores, com várias questões, inclusive o sexo do leitor e quantas vezes acessa a SVOL Resultados: Tabela com sexo do leitor versus frequêcia de acesso (diário, semanal, etc.) Estatística utilizada: qui-quadrado para tabela de contingência Tese: Não existe diferença entre os sexos (probabilidade de 0.5 que seja devida ao acaso)
Condução de Experimentos Computacionais com Métodos Heurísticos (Costa, 2011) Em 6 passos + checklist.
1. Fazer uma revisão da literatura Parte inicial do Projeto/TCC envolvendo os objetivos e a metodologia; Identificação de quem fez o que!! Já definido...
2. Definir os objetivos do experimento Definir qual o ponto de partida; Listar as hipóteses que serão testadas e os resultados a procurar;
3. Escolher medidas de desempenho e fatores a explorar Com os objetivos definidos, escolher as medidas de desempenho a serem exploradas; Desempenho: Qualidade da solução; Esforço computacional; Robustez.
4. Projetar e executar o experimento Um bom experimento deve: Alcançar as metas experimentais; Demonstrar claramente o desempenho dos testes; Ter justificativas lógicas; Gerar boas conclusões; Ser passível de reprodução.
5. Analisar os dados e mostrar as conclusões Consiste em converter os dados coletados em informações; A análise de dados avalia os dados obtidos aplicando-se técnicas estatísticas e não estatísticas com relação aos objetivos definidos no início do experimento.
6. Relatar os resultados dos experimentos Mostrar as contribuições obtidas; É importante relatar: Detalhes de implementação; Configuração de parâmetros; Heurísticas (se for o caso); Escolhas de estruturas de dados;
Ver o Formulário
Exercício 2 Com o artigo ouro do seu TCC identifique: Como foi o experimento realizado? O que foi legal? O que deixou em aberto (trabalhos futuros)? Trata-se de um experimento heurístico ou não? Envolve pessoas ou não? Quais foram as principais variáveis consideradas? Como coletou os dados? Como fez a análise? Como a apresentou? Como esse artigo pode contribuir para o seu?
Referências ANTUNES, Alzir Felippe Buffara. Introdução à Metodologia Científica 2013. COSTA, Carine Rodrigues da. Condução de Experimentos Computacionais com Métodos Heurísticos. Goiânia, 2011. 149p. Dissertação de Mestrado. Instituto de Informática, Universidade Federal de Goiás. SABBATINI, Renato M.E.; CARDOSO, Silvia Helena. Introdução à Metodologia Científica. Núcleo de Informática Biomédica UNICAMP.