GE-814: Introdução à Avaliação Operacional

Transcrição

1

2 GE-814: Introdução à Avaliação Operacional

3 Objetivo Que a audiência se familiarize com os testes estatísticos que visam estabelecer a garantia da performance de um sistema específico e comparações entre diferentes sistemas.

4 Roteiro Garantia da performance Testes de comparação

5 Roteiro Garantia da performance Testes de comparação

6 Fluxo de Análise & Avaliação Especificação da Performance Níveis de confiança Comparação de dois sistemas Comparação de mais de três sistemas Delineamento de 2 fatores / blocagem Controle da variabilidade Delineamento fatorial completo Interação / Replicação Delineamento 2 n Testes de eficiência Delineamento fatorial fracionado Testes limitados

7 Testando a performance especificada Estatística t de Student Usada para comparar a performance de sistemas contra o requisito operacional ou contra a performance de outros sistemas Sua conclusão está associada com os níveis de confiança (confidence levels) para auxiliar o decisor Usada com n<30 Com n>30 usar distribuição normal Pode ser usada para comparar dois diferentes sistemas

8 Intervalo de confiança Um intervalo de confiança (ou estimativa intervalar) é uma amplitude (ou um intervalo) de valores que tem probabilidade de conter o verdadeiro valor da população É baseado: Na margem na qual a especificação é excedida ou perdida No número de amostras Na variabilidade dos dados

9 O que é o t s? O t s representa a distância da média da amostra divida pelo erro-padrão da amostra ( s n ) em relação a um valor específico. Imagine o erro-padrão da amostra como um régua que muda seu comprimento de acordo com o tamanho da amostra. Quão longe está a média da amostra da especificação? Apenas meça a distância com a régua s n.

10 Exemplo Especificação: menor ou igual a 100 Média da amostra: 106 Desvio padrão da amostra: 16 Se: s s s n n n n=04 =8 t s = 0,75 = 0,2600 n=16 =4 t s = 1,50 = 0,0772 n=64 =2 t s = 3,00 = 0,0019 Com o aumento do n a régua fica menor, e a probabilidade de termos erros de medida fica menor! (maior nível de confiança)

11 Grau de confiança Probabilidade 1 - (comumente expressa como o valor percentual equivalente) de o intervalo de confiança conter o verdadeiro valor do parâmetro populacional. O grau de confiança também é chamado nível de confiança ou coeficiente de confiança. /2 1 - /2 -z /2 z /2

12 Intervalo de confiança Quando utilizamos dados amostrais para estimar uma média populacional, a margem de erro, denotada por E, é a diferença máxima provável (com probabilidade 1 ) entre a média amostral observada x e a verdadeira média populacional. A margem de erro E é chamada também erro máximo da estimativa e pode ser obtida multiplicando-se o valor crítico pelo desviopadrão das médias amostrais.

13 Intervalo de confiança x - E < < x + E onde E = z /2 s n se n > 30 podemos substituir pelo desvio-padrão amostral s se n<30 usamos desvio-padrão amostral s e substituimos z por t.

14 Interpretação do intervalo de confiança Desde que utilizemos dados amostrais para achar os limites específicos x ± E, esses limites incluirão, ou não incluirão, a média populacional. É incorreto afirmar que tem 95% de chance de estar entre os limites porque é uma constante, não uma variável aleatória.

15 População de 100 nº ~N(5;3,75) colhidas 30 amostras de 30 nº aleatoriamente e construido o intervalo de confiança de 95%: 6,5 6 5,5 5 4,5 4 3,

16 Intervalo de confiança ~N(0,1) o valor 2 está a 2σ da média µ=0 População Amostra ~N(2,1) o valor 0 está a 2σ da média µ=2

17 Exemplo Requisito: pousar sobre um obstáculo de 50 em uma distância máxima de A amostragem foi de: 5007 e Qual o grau de confiança de que o requisito foi atingido?

18 Exemplo xi x 4614' n 2 s t s 2 2 n x x nn ( 1) ( ) ,351 Da tabela t com v=1 e t s =-0,351 temos um =0,393 e, conseqüentemente, um grau de confiança de aproximadamente 60%. Um grau de confiança de 60% é suficiente para este requisito?

19 Roteiro Garantia da performance Testes de comparação

20 Testes de comparação Teste de hipóteses Usado para comparar entre dois sistemas (valores) a um certo nível de significância Unilateral H 0 : x = H 1 : x > ou x < Rejeita-se a hipótese nula se t s >t ou t s <t

21 Teste de Hipótese Bilateral H 0 : x = H 1 : x Rejeita-se a hipótese nula se t s <t / 2 ou t s >t / 2

22 Teste de Hipótese Quando o objetivo do teste é estabelecer uma assertiva (i.e., o radar A é melhor que o radar B), a negação da assertiva deve ser a hipótese nula: H 0 : Radar A = Radar B H 1 : Radar A > Radar B

23 Teste de Hipótese

24 Comparando dois conjuntos de dados Existe diferença entre o radar A e o radar B? H 0 : x 1 = x 2 H 1 : x 1 x 2 Rejeita-se a hipótese se: x x ( 2) 1 2 ts t 2 2 ou t usando v n1 n2 s 2 2 x sx n 1 2 n 1 2

25 Erros Erro tipo I: consiste em rejeitar uma hipótese H 0 quando H 0 é verdadeira P(erro tipo I) = Erro tipo II: consiste em aceitar como verdadeira uma hipótese H 0 quando H 0 é falsa P(erro tipo II) =

26 Erros A hipótese nula é verdadeira A hipótese nula é falsa Rejeitar a hipótese nula ERRO TIPO I (rejeição de uma hipótese nula verdadeira) Decisão correta Decisão Não rejeitamos a hipótese nula Decisão correta ERRO TIPO II (não rejeição de uma hipótese nula falsa)

27 Erros Lote bom (diamantes) Lote ruim(limões) Erro tipo II β Erro tipo I

28 Diferença Militar Significativa A diferença medida entre o que é considerado um sistema ruim e o requisito de um sistema bom é chamada de diferença militar significativa. Exemplificando: se o requisito de um míssil é ter probabilidade de acerto de 95% e o decisor definir a probabilidade mínima de acerto de 60% (abaixo disto o míssil seria considerado ruim), então a diferença militar significativa é de 35% (95%- 60%).

29 0 Z Z β 1 Cálculo do n n Z Z 2 1 0

30 Exemplo: Requisito: MTTR de 6 horas ou menos Performance atual: MTTR de 7 horas de 0,05 e β de 0,10 (o decisor aceita erroneamente rejeitar um sistema bom em 5% das vezes e quer uma probabilidade de 90% de detectar um sistema ruim) Testes anteriores mostraram um σ=1,5 Da tabela t: Z =1,645 e Z β =1,28 Logo: n=19,27 arredondando: n=20

31 Roteiro Garantia da performance Testes de comparação

32 Objetivo Que a audiência se familiarize com os testes estatísticos que visam estabelecer a garantia da performance de um sistema específico e comparações entre diferentes sistemas.

33 GE-814: Introdução à Avaliação Operacional