Ajuste por mínimos quadrados no Scilab

Transcrição

1 Ajuste por mínimos quadrados no Scilab O ajuste por mínimos quadrados é uma regressão linear nos parâmetros (eles podem ser arranjados na equação de regressão na forma de um único vetor) que tem sua eficiância avaliada pelos quadrados dos resíduos que deixa, com objetivo de minimizá-los. Vejamos um exemplo de como aplicá-la aos dados obtidos por Boyle e que levaram a famosa equação pv = nrt. -->M=[ > > > > > > > > > > > > > > > > > > > > > > > > ] M =

2 >p=m(:,2); -->v=m(:,1); -->plot(v,p,'b.') No Statistica:

3 130 Grafico de volume vs. pressão de Boyle Pressão Volume A qualidade de um ajuste normalmente é observada a partir dos gráficos dos resíduos deixados pelo modelo do tipo: Entre uma das formas de avaliar o modelo é comparando a variância (informação) explicada por ele, preferencialmente sistemática, com a variância total. Antes de obter esta primeira pela construção de um modelo vamos descobrir a variância total que, analogamente ao início da análise de componentes principais, envolve as somas quadráticas dos desvios das variáveis, sendo um único número pois só há uma variável: -->pc=p-mean(p,'r') pc =

4 >SQT=pc'*pc SQT = Esta é a soma quadrática total (SQ T ) da variável dependente, ou a variância desta multiplica pelo número de graus de liberdade (n-1=25-1). Este é o número máximo explicável que podemos chegar com as previsões do nosso modelo e é pela comparação com ele que veremos a sua melhora ou piora. Vamos a princípio modelar uma reta, que possui dois parâmetros (p = 2), o coeficiente angular (neste caso constante que multiplica o volume, b 1 ) e o linear (o intercepto da reta com p = 0, b 0 ), cuja equação é y p = b 0 + b 1.x (y p ou ŷ significam y previsto), em que y p = p e x = V. Numa forma matricial: 1 x 1 No caso de uma reta b t = [b 0 b 1 ] e X = 1 x x n -->X1=[ones(25,1) v] X1 =

5 A equação para calcular parâmetros de modelos lineares é a seguinte: -->b1=inv(x1'*x1)*x1'*p b1 = E calculcamos os valores de y p (pressões previstas) a partir destes parâmetros e de X 1 : -->pp1=x1*b1 pp1 =

6 Calculamos os erros de previsão desse modelo subtraindo os valores das pressões conhecidos pelos previstos : -->e1=p-pp1 e1 =

7 Como alguns erros são positivos e outros negativos e precisamos ter um número médio que os represente, fazemos a soma dos quadrados dos resíduos, ou SQr: -->SQr1=e1'*e1 SQr1 = Este valor está relacionado com a variância não explicada pelo modelo (só falta dividir pelos graus de liberdade para que seja a variância residual), subtraindo a variância total pela residual: -->SQR1=SQT-SQr1 SQR1 = Esta é, portanto, a variância explicada pelo modelo, sendo a soma quadrática da regressão (SQ R ). Ela também pode ser obtida pela soma dos quadrados dos desvios dos valores previstos com relação à média dos valores originais: -->SQR1=(pp1-mean(p))'*(pp1-mean(p)) SQR1 = A fração explicada pelo modelo pode ser quantificada pela razão entre as somas quadráticas da regressão e total: -->Rq1=SQR1/SQT Rq1 = Este valor, R 2, é o coeficiente de determinação do modelo. No caso de uma reta, este valor é igual a r 2, o coeficiente de correlação do modelo. Mas observe que ele não compara as variâncias explicada e total, pois não considera os graus de liberdade de SQ R e SQ T. Por isso existe um R 2 ajustado, que permite comparar a eficiência de diferentes modelos com diferentes graus de liberdade. Ele é dado em função das médias quadráticas residual e total (MQ r e MQ T ), que são SQ r e SQ T divididos pelos respectivos graus de liberdade. Lembrando que se: SQ T = SQ R + SQ r Proporção depende do modelo Independe do modelo, só dos dados

8 Se o número de graus de liberdade de SQ T é n-1 = 25-1 = 24 e de SQ R é p-1 = 2-1 = 1 (pois se você sabe um parâmetro, o outro é deduzido a partir dele, logo só há uma variável independente), para que n-1 = p-1 + (nº de graus de liberdade de SQ r ), obtemos que o número de graus de liberdade de SQr é n-p = 25-2 = 23. Logo: -->MQr1=SQr1/(25-2) MQr1 = >MQT=SQT/(25-1) MQT = 667, >Rqaj=1-(MQr1/MQT) Rqaj = 0, Estes valores de R2 e R2 ajustado servem para verificar a signifiância estatística da regressão. Outro parâmetro importante a ser verificado para esta finalidade é o valor de F, obtido da seguinte maneira: -->MQR1=SQR1/(2-1) MQR1 = >MQr1=SQr1/(25-2) MQr1 = >F1=MQR1/MQr1 F1 = Este teste compara as variâncias dos resíduos com a do modelo, e indica se elas são significativamente distintas ou não. Deveriam ser, uma vez que o modelo tenta prever um comportamento sistemático, deixando como resíduo um comportamento aleatório. Valor de F neste caso para 95% de confiança e para 1 e 23 graus de liberdade é 4, (teste unilateral => testa se uma variância do numerador é significativamente maior que a do denominador). Obs.: É possível obter esse valor tabelado no Excel, colocando numa das células o comando =invf(0,05;1;23). Neste caso um bom modelo deve ter: MQ R >> F p-1,n-p MQ r

9 Para que a regressão seja significativa e também útil para fins preditivos (cobrindo uma grande faixa de variação), o valor de MQ R /MQ r deve ser de 4 a 5 vezes superior ao do tabelado, o que certamente é o caso desse modelo. Todos estes valores são importantes para avaliar um modelo segundo a Análise de Variância (ANOVA), e normalmente são organizados numa tabela como a que segue: Ela será preenchida para este e outros modelos no final. No Statistica estes dados todos podem ser observados no sumário da regressão: Observe que ele também apresenta os erros associados aos parâmetros b 0 e b 1. Outra medida necessária para avaliar a qualidade do modelo é verificando se o resíduo apresenta estrutura sistemática, o que não deve acontecer, pois ele deve conter unicamente a parte sistemática do sistema. Esta é a Análise dos Resíduos. Primeiro vamos comparar os valores que prevemos das pressões (pelo modelo de reta) com os reais: -->plot(v,p,'b.',v,pp1,'r.-')

10 Quão mais correlacionados os valores previstos e reais de pressão estiverem, mais um gráfico de um com o outro assemelha-se a uma reta. Plotando-se este gráfico: -->plot(pp1,p,'b.') No Statistica:

11 130 Valores previstos vs. observados Valores observados Valores previstos 95% confidence Não é uma reta, e apresenta uma estrutura aparentemente não aleatória. Verificando os resíduos de previsão para cada um dos valores esperados: -->plot(pp1,e1,'r.') No Statistica:

12 25 Valores observados vs. resíduos Resíduos Valores observados 95% confidence O que indica que os resíduos apresentam uma tendência aparentemente quadrática, de modo que nosso modelo deve conter um termo quadrático para que a estrutura do resíduo esteja mais próxima da aleatoriedade. Logo a nova equação será y p = b 0 + b 1 x + b 2 x 2 e, na forma matricial: -->X2=[ones(25,1) v v^2] X2 = x 1 x 1 2 b t = [b 0 b 1 b 2 ] e X = 1 x 2 x x n x n 2

13 >b2=inv(x2'*x2)*x2'*p b2 = >pp2=x2*b2 pp2 =

14 -->plot(v,p,'b.',v,pp2,'r.-') Valores previstos vs. observados 10 Valores observados vs. resíduos Dependent variable: P Valores observados Resíduos Valores previstos 95% confidence Valores observados Notadamente houve uma melhora nos valores de R 2 e R 2 ajustado, e o F de 651,51 ainda é muito maior que o tabelado 3,443357, porém o resíduo apresenta uma estrutura semelhante ao de uma função cúbica. Isto significa que o modelo pode ser melhorado se for colocado um termo cúbico na equação % confidence

15 -->X3=[ones(25,1) v v^2 v^3] X3 = >b3=inv(x3'*x3)*x3'*p warning matrix is close to singular or badly scaled. rcond = D-13 b3 = Este aviso indica que como a correlação entre as variáveis é muito grande, a matriz está muito próxima de ser singular, isto é, possuir um determinante igual a zero (com isso X t X não poderia ser invertida). -->pp3=x3*b3 pp3 =

16 >plot(v,p,'b.',v,pp3,'r.-')

17 130 Valores previstos vs. observados 4 Valores observados vs. resíduos Valores observados Resíduos E poderíamos continuar com esta expansão acrescentando talvez um termo v 4, se não fôssemos limitados pela grande correlação entre as variáveis, o determinante de X t X tão próximo de 0 quanto o limite do programa, impedindo a obtenção do b. Mas esse problema pode ser resolvido utilizando a regressão em componentes principais, que será abordada em outra oportunidade. Agora vamos testar a regressão segundo a verdadeira equação de Boyle, no qual a pressão depende do inverso do volume: ->X=[ones(25,1) v^(-1)] X = Valores previstos 95% confidence Valores observados 95% confidence

18 -->b=inv(x'*x)*x'*p b = >pp=x*b pp = >plot(v,p,'b.',v,pp,'r.-')

19 130 Valores previstos vs. observados 0,6 Valores observads vs. resíduos , ,2 Valores observados Resíduos 0,0-0,2 50-0,4 40-0, Valores previstos 95% confidence -0, Valores observados 95% confidence Realmente os dados se adequam quase que perfeitamente. Agora preenchendo a tabela da ANOVA com os dados de todos os modelos: Modelo Total Soma Quadrática Graus de Liberdade Regressão Resíduos Regressão Resíduos v v + v v + v 2 + v /v Modelo Regressão Resíduos R 2 R 2 aj F calc F v 14051,52 85, , , ,713 4,2793 v + v ,766 12, , , ,514 3,44336 v + v 2 + v ,339 1, , , ,763 3, /v 16024,37 0, , , ,9 4,2793 Não há dúvidas que o melhor modelo foi o deduzido por Boyle, por todos os dados apresentados.

20 Quando se tratar de um caso em que existirem observações repetitivas, podemos usá-las para obter uma estimativa do erro aleatório. Supondo dados de temperatura em ºC (variável independente) e valores de rendimento em % (variável dependente), dos para cada temperatura: -->M=[ > > > > > > > > ] M = >T=M(:,1) T = >R1=M(:,2) R1 =

21 84. -->R2=M(:,3) R2 = >plot(t,r1,'b.',t,r2,'b.') Vamos ajustar um modelo linear de uma reta a esta curva. Porém como são dois valores de temperatura vamos fazer uma repetição na matriz X para acrescentar estes dados: -->X=[ones(9,1) T -->ones(9,1) T] X =

22 >y=[r1 -->R2] y = >b=inv(x'*x)*x'*y b = >Rp=X*b Rp =

23 Logo a equação é y p = b 0 + b 1 x = R p = b 0 + b 1 T = -7,42 + 1,52T. Comparando as previsões do modelo com o gráfico experimental: -->plot(t,r1,'b.',t,r2,'b.',x(:,2),rp,'r.-') Quando a variável dependente possui repetições é possível desmembrar a SQ r em dois termos, um relativo ao erro inerente das medidas, chamado erro puro, e outro relativo a falta de ajuste do modelo: SQ r = SQ ep + SQ faj Como o erro puro independe do modelo, ele limita quanta variância pode ser prevista por ele, indicando se o modelo apresenta falta de ajuste, isto é, ultrapassa esse limite. Pela tabela completa de ANOVA podemos ver como calcular estes e os outros valores já apresentados:

24 -->SQT=(y-mean(y,'r'))'*(y-mean(y,'r')) SQT = >SQR=(Rp-mean(y,'r'))'*(Rp-mean(y,'r')) SQR = >SQr=(y-Rp)'*(y-Rp) SQr = >Rm=[(R1+R2)/2] Rm = 22.

25 >eep=[r1-rm -->R2-Rm] eep = >SQep=eep'*eep SQep = >SQfaj=SQr-SQep SQfaj = A máxima variância explicada é: -->MVE=(SQT-SQep)/SQT MVE = E o explicado pelo modelo é:

26 -->Rq=SQR/SQT Rq = Outro teste F aplicado em regressões lineares é o que determina a falta de ajuste do modelo. Ele compara as variâncias relativas ao erro puro com a da falta de ajuste, que são as respectivas médias quadráticas, MQ ep e MQ faj. O resíduo que o modelo não explica não dever ser significativamente diferente (para um certo nível de confiança) do resíduo natural do sistema. Caso contrário o modelo pode estar deixando de explicar alguma tendência sistemática, como um termo quadrático não considerado (resultados de Boyle mostrados posteriormente), de modo que MQ faj não é da mesma natureza randômica de MQ ep. Isso revelaria que o modelo não está ajustado. O número de graus de liberdade de SQ ep só depende de quantas medidas e de quantas repetições totais (nm). Para que o total residual seja (n-p), o número de graus de liberdade da falta de ajuste deve ser (m-p). Logo MQ ep = SQ ep /(n-m) e MQ faj = SQ faj /(m-p). -->MQep=SQep/(18-9) MQep = 5. -->MQfaj=SQfaj/(9-2) MQfaj = >F1=MQfaj/MQep F1 = O valor de F 7,9 é 3,292746, logo como F1 > F 7,9, há uma grande falta de ajuste no modelo (as variâncias diferem significativamente). Note que se fôssemos observar somente a razão MQ R /MQ r tomaríamos o modelo como bom, pois esse valor é 56,03 e F 1,16 é 4,49 (no nível de 95%), o que indica uma regressão significativa. Logo para que um modelo seja bem ajustado deve ter: MQ faj < F m-p,n-m MQ ep Tanto o gráfico já apresentado dos dados de R1 e R2 em função de T como o dos resíduos indica que inserir um termo quadrático na equação é uma boa idéia: -->e=y-rp e =

27 >plot(x(:,2),e,'b.') -->X2=[ones(9,1) T T^2 -->ones(9,1) T T^2] X2 =

28 >b2=inv(x2'*x2)*x2'*y warning matrix is close to singular or badly scaled. rcond = D-10 b2 = >Rp2=X2*b2 Rp2 = >SQR2=(Rp2-mean(y,'r'))'*(Rp2-mean(y,'r')) SQR2 = >SQr2=SQT-SQR2 SQr2 =

29 >MQR2=SQR2/(3-1) MQR2 = >MQr2=SQr2/(18-3) MQr2 = >MQR2/MQr2 ans = Como F 2,15 = 3,682320, é notável que o valor calculado está muito maior do que no caso do modelo de reta. Agora vejamos se há falta de ajuste, lembrando que o erro puro permanece inalterado, logo MQ ep é idêntica à do modelo anterior, o que muda é MQ faj : -->SQfaj2=SQr2-SQep SQfaj2 = >MQfaj2=SQfaj2/(9-3) MQfaj2 = >MQfaj2/MQep ans = Como o valor de F 6,9 é 3, e é maior que o valor calculado, não há falta de ajuste. E pelo valor do coeficiente de determinação do modelo podemos ver que ele descreve quase toda a variância possível de ser descrita por um modelo: -->SQR2=(Rp2-mean(y,'r'))'*(Rp2-mean(y,'r')) SQR2 = >Rq2=SQR2/SQT Rq2 =

30 -->MVE MVE = Vejamos como o formato do modelo comparado com os dados originais: -->plot(t,r1,'b.',t,r2,'b.',x(:,2),rp2,'r.')