OTIMIZAÇÃO NA FORMAÇÃO DE AGRUPAMENTOS EM PROBLEMAS DE COMPOSIÇÃO DE ESPECIALISTAS

Transcrição

1 vrsão imprssa ISSN / vrsão oli ISSN OTIMIZAÇÃO NA FORMAÇÃO DE AGRUPAMENTOS EM PROBLEMAS DE COMPOSIÇÃO DE ESPECIALISTAS Rodrigo Araldo Scarpl * Egharia Aroáutica Mcâica (EAM) Istituto Tcológico d Aroáutica (ITA) São José dos Campos SP rodrigo@ita.br Armado Zfrio Milioi Egharia Aroáutica Mcâica (EAM) Istituto Tcológico d Aroáutica (ITA) São José dos Campos SP milioi@ita.br * Corrspodig author / autor para qum as corrspodêcias dvm sr camihadas Rcbido m 0/006; acito m 08/006 Rcivd Fbruary 006; accptd August 006 Rsumo A stimação d fuçõs a partir d um cojuto limitado d amostras é um problma ctral m statística aplicada. Um grad úmro d abordags para tratar ss problma foi proposto como os métodos dos míimos quadrados por Gauss d míimo módulo por Laplac,, mais rctmt, o uso d rds urais, d support vctor machis, d composição d spcialistas, dtr outros. Nst trabalho abordou-s a composição d spcialistas otimização a formação d agrupamtos, qu globa aális xploratória, miração d dados modlagm m uma úica técica, útil, por xmplo, a criação d modlos prditivos. A idéia básica da composição d spcialistas é particioar o spaço d trada m difrts rgiõs m cada rgião slcioa-s o spcialista mais adquado. Propôs-s, tão, a otimização a formação dos agrupamtos como uma forma d mlhorar a qualidad dos ajusts dos modlos das prvisõs ralizadas. Palavras-chav: mistura d spcialistas; formação d agrupamtos; otimização. Abstract Estimatio of ral-valud fuctios from a fiit st of sampls is a ctral problm i applid statistics. May diffrt approachs to dal with this problm wr proposd as th last-squars mthod by Gauss, th last-modulus mthod by Laplac, ad mor rctly th usag of ural tworks, support vctor machis, mixtur of local xprt modls, amogst othrs. W addrssd th issus mixtur of local xprt modls (MLEM) ad clustrig optimizatio, which cogrgats xploratory aalysis, data miig ad mathmatical modlig i th sam tchiqu, usd, for xampl, i th dvlopmt of prdictiv modls. Th basic ida of MLEM is clustrig th poits from th try data st, ad th diffrt modlig tchiqus ar applid i ordr to slct th bst modl for ach clustr. W proposd a clustrig optimizatio procdur as a way to improv th prformac o both th fittig of th modls ad thir usag i forcastig. Kywords: mixtur of xprts; clustrig; optimizatio. Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d

2 . Itrodução A stimação d fuçõs a partir d um cojuto limitado d amostras é um problma ctral m statística aplicada. Um grad úmro d abordags para tratar ss problma foi proposto como os métodos dos míimos quadrados por Gauss d míimo módulo por Laplac, o século XIX, mais rctmt, o uso d rds urais, d support vctor machis, d composição d spcialistas, dtr outros. Em gral, sab-s qu hum dos métodos propostos é complto. Algus aprstam alta vlocidad d covrgêcia, mas podm aprstar falhas d gralização dtctadas a validação cruzada. Outros cosgum boa gralização ao custo d baixa vlocidad d covrgêcia. A composição d spcialistas é uma abordagm qu tm por pricípio combiar os rsultados obtidos por vários tipos d spcialistas, i.., várias técicas matmáticas usadas para a stimação d fuçõs, sdo sua mta cosguir um rsultado mlhor do qu aqul qu sria obtido plos spcialistas trabalhado d forma isolada. As tapas dssa abordagm são: (a) dividir o spaço d atributos utilizado algum método d gração d agrupamtos, (b) dsigar um spcialista para rspodr m cada rgião do spaço d atributos, (c) implmtar a composição d spcialistas usado uma rd suprvisora qu dcid como podrar as saídas d cada spcialista. O objtivo dst trabalho é propor a otimização a formação d agrupamtos, qu cosist m itgrar as tapas d formação d agrupamtos d dsigação dos spcialistas, m composição d spcialistas aplicados a problmas d rgrssão, para mlhorar a qualidad dos ajusts dos modlos das prvisõs ralizadas.. Composição d spcialistas A composição d spcialistas (do iglês Mixtur of Local Exprt Modls) é uma abordagm proposta por Jacobs t al. (99) qu cosist m usar as difrts técicas xistts com a stratégia dividir para coquistar, dcompodo problmas complxos m tarfas mais simpls. Sgudo Mlo t al. (003) a caractrística ctral da composição d spcialistas é o uso d vários tipos d spcialistas, m qu cada tipo d spcialista usa uma técica difrt d modlagm, assumido qu difrts spcialistas aprstam difrts dsmphos m difrts rgiõs do spaço d trada. Pito (003) idica qu a composição d spcialistas locais prmit misturar modlos simpls trasformado-os m podrosas frramtas para tratar problmas complxos qu os spcialistas podm sr, por xmplo, modlos d rgrssão, qu combiados através d um cojuto d psos, podm auxiliar a obtção d mlhors soluçõs do qu aqulas obtidas plo modlo global, qu é o modlo obtido a partir d todos os dados do cojuto d triamto. As tapas d costrução d um modlo d prvisão usado a composição d spcialistas locais são:. Iicialmt o spaço d trada (X) é particioado m várias rgiõs (X c ), utilizado um método d gração d agrupamtos; 86 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007

3 . Em cada rgião os difrts modlos são triados utilizado apas os dados daqula rgião; 3. Para cada rgião é lito o mlhor spcialista, sgudo algum critério spcífico ss spcialista passará a sr cosidrado o úico spcialista daqula rgião.. Partição do spaço d trada Para xcutar a tapa iicial d partição do spaço d trada qualqur um dos métodos d gração d agrupamtos pod sr utilizado, uma vz qu todos os métodos xistts s propõm a dscobrir similaridads os dados colocados a sua trada durat o triamto. A partir dst pricípio são obtidos agrupamtos (clustrs) qu stão próximos, sgudo algum critério d distâcia, dfiido uma rgião do spaço d trada. Dtr os métodos d gração d agrupamtos, dstaca-s o algoritmo k-médias qu é um método partitivo qu tm como critério d rro a distâcia Euclidaa. S o objtivo é particioar obsrvaçõs, o spaço p-dimsioal, m k agrupamtos, a formulação, por programação matmática, do algoritmo k-médias é: k p ic ( ij cj ) i= c= j= () Mi z x m k Sujito a z = i =,..., ic c= m qu z ic, s o poto i prtcr ao agrupamto c =, c =,...,k i =,..., 0, caso cotrário m cj zic xij i= = c =,...,k j =,...,p z ic i= sdo m cj o ctróid do agrupamto c a dimsão j. Dsta forma, objtiva-s dtrmiar m qual dos k agrupamtos cada um dos potos srá alocado. A variávl d dcisão (z ic ) é biária rcbdo valor s o poto i prtcr ao agrupamto c ou 0 caso cotrário cada poto só pod prtcr a um agrupamto. A fução objtivo do problma miimiza a soma da distâcia Euclidaa tr os potos os ctróids, o spaço R p, quado o poto é alocado ao agrupamto c sus atributos passam a itrfrir o ctróid dss agrupamto (m cj ). Sgudo Magasaria (997), ss problma pod sr rsolvido por um procdimto d otimização itrativa m dois passos. No primiro passo é fita a atribuição dos potos aos agrupamtos o sgudo passo os ctróids dos agrupamtos são atualizados, lvados m cosidração as alocaçõs corrts. Isso coduz ao sguit algoritmo: () Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d

4 Algoritmo k-médias Dado os k ctróids dos agrupamtos m,t, m,t,, m k,t a itração t, calcula-s m,t+, m,t+,, m k,t+ plos sguits passos:. Alocação dos potos aos agrupamtos: Para cada i =,, poto, aloca-s x i ao agrupamto c d forma qu m c(i),t sja o ctróid mais próximo d x i tomado como critério a distâcia Euclidaa.. Atualização dos ctróids: Para c =,,k faz-s m c,t+ sr a média d todos os x i alocados a m c,t. Para-s quado m c,t+ = m c,t, c =,,k. Em rlação ao úmro d itraçõs cssárias para a covrgêcia, Duda t al. (00) afirmam qu é muito mor do qu o úmro d potos xistts. Esss autors posicioam o algoritmo k-médias m uma catgoria d procdimtos itrativos d otimização, pois os valors dos ctróids tdm a s movr d forma a miimizar uma fução d rro quadrática, poddo, tão, sr vista como uma forma d s obtr stimativas d máxima vrossimilhaça da média. Sgudo Wbb (00), apsar da solução obtida por ss procdimto itrativo sr sub ótima, o valor da fução objtivo da solução obtida por ss método ão é muito maior qu o valor da fução objtivo da solução ótima, sdo, portato, uma boa aproximação da msma. O autor afirma, aida, qu a cssidad computacioal para s obtr a solução ótima é proibitiva, msmo os casos com modrado úmro d potos.. Triamto dos modlos Para a scolha dos spcialistas locais os dados são divididos m dois cojutos, domiados cojuto d triamto cojuto d validação. Dsta forma, srá lito o spcialista local aqul qu obtivr as mlhors statísticas d dsmpho, calculadas a partir do cojuto d validação. Sgudo Mlo t al. (003), m rlação aos modlos triados m cada rgião do spaço d trada, é importat qu sjam scolhidos d forma a rprstar difrts técicas d modlagm, como as qu dão êfas à ão-liaridad como, por xmplo, a aális d rgrssão ão-liar à liaridad como, por xmplo, a aális d rgrssão liar. A tapa d triamto dos modlos pod sr vista como um problma d otimização m qu o objtivo é buscar, para cada tipo d modlo, os parâmtros qu miimizm o risco mpírico (Vapik, 999) dado por R = L( Y, f ( X )) (3) mp i i i = m qu L(Y i,f(x i )) é uma fução d prda. Assim, a formulação do problma d otimização para a stimação dos parâmtros do modlo é Mi L( Yi, f ( X i )) (4) = i sdo qu, o caso liar, f ( X ) = α + β. x, o caso quadrático, i β0 β i β i i f ( X ) = +. x +. x, m qu α β são os parâmtros a srm stimados o caso liar β 0, β β são os parâmtros a srm stimados o caso quadrático. i 88 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007

5 As fuçõs d prda mais comumt utilizadas m problmas d rgrssão são a d míimos quadrados, dada por L( y, f ( x)) = ( y f ( x)) (5) a d míimo módulo, dada por L( y, f ( x)) = y f ( x) (6) a robusta (Hubr, 964), dada por ( y f ( x) ), s y f ( x) < µ L( y, f ( x)) = µ µ y f ( x), caso cotrário m qu µ é um parâmtro arbitrado. Vapik (995) propôs uma ova fução d prda chamada ε-issitiva dada por 0, s y f ( x) ε Lε ( y, f ( x)) = y f ( x) ε, caso cotrário Essa fução d prda foi proposta o cotxto da rgrssão support vctor machi (SVM). O pricípio dsta fução d prda é palizar apas o rro maior qu um valor arbitrado (ε). (7) (8) 3. Otimização a formação dos agrupamtos Pla abordagm d composição d spcialistas proposta por Jacobs t al. (99) utilizada por Mlo t al. (003) Pito (005) as tapas d partição do spaço d trada d stimação dos parâmtros dos spcialistas locais são isoladas. Nst trabalho, a itgração das tapas d partição do spaço d trada d stimação dos parâmtros dos spcialistas locais aprsta-s como uma possibilidad d mlhoria tato a qualidad do ajust, a fas d stimação dos parâmtros, como a utilização dos modlos para fazr prvisõs. Como foi aprstado atriormt, tato o algoritmo k-médias como o método dos míimos quadrados podm sr vistos como modlos d otimização, os quais prtd-s otimizar o valor d uma fução objtivo rspitado um cojuto d rstriçõs. Da msma forma, para fazr a itgração das tapas d partição do spaço d trada d stimação dos parâmtros dos spcialistas locais, m problmas d rgrssão, propõ-s uma formulação qu icorpor a partição do spaço d trada a stimação dos parâmtros dos modlos d rgrssão locais. Assim, s for tomada como fução d prda, qu dv sr miimizada, a d míimos quadrados, chga-s o sguit modlo d otimização k Mi i ic. ( i ) c y P f x i= c= m qu (9) Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d

6 P ic = p ( xij mcj ) j= p k ( xij mcj ) j= c= o caso m qu o grau d prtiêcia das obsrvaçõs aos agrupamtos (P ic ) é dada pla fução softmax. No caso liar, f ( X ) = α + β. x, o caso quadrático, i c β0c β c i βc i i c c c i f ( X ) = +. x +. x, m qu α c β c (c=,...,k) são os parâmtros a srm stimados o caso liar β 0c, β c β c (c=,...,k) são os parâmtros a srm stimados o caso quadrático. Est modlo d otimização é ão-liar irrstrito, a fução d prda é a d míimos quadrados as variávis d dcisão são os ctróids dos agrupamtos (m cj ) os parâmtros dos spcialistas. Variaçõs dsta formulação podm sr obtidas modificado-s a fução d prda ou a fução qu dtrmia o grau d prtiêcia das obsrvaçõs aos agrupamtos. (0) 3. Algoritmo para rsolução do problma d otimização proposto Para a rsolução dst modlo d otimização ão-liar irrstrito uma altrativa é utilizar um tim assícroo (Saito Jr., 999) qu é uma strutura qu utiliza algoritmos com caractrísticas difrts cooprado tr si, o qu aumta a chac do triamto obtido sr mais ficit qu gra um rsultado mlhor do qu quado cada um dos algoritmos trabalha d forma idpdt. Assim, a opção é utilizar um tim assícroo composto por uma mta-hurística volutiva basada m algoritmos géticos plo método Quasi-Nwtoiao. O papl da mtahurística volutiva é grar uma solução iicial qu é utilizada como poto d partida para o método Quas-Nwtoiao. Sgudo Saito Jr. (999) a justificativa d utilizar uma strutura d algoritmos trabalhado d modo parallo assícroo é qu algus dos algoritmos d otimização xistts podm aprstar dificuldads para cosguir obtr o poto míimo global d uma fução objtivo, m um problma d miimização. Um algoritmo, para rsolvr problmas d otimização, pod aprstar potos fracos como a covrgêcia para míimos locais, o qu ocorr pois muitos dsss algoritmos são do tipo hill-climbig. Essa caractrística ão é dsjada já qu ão é itrssat trmiar o procsso d triamto m um poto d míimo local, m qu o valor da fução objtivo aida é cosidrado alto (Saito Jr., 999). Sgudo Goldbrg (989) uma mta-hurística volutiva lida com uma população d soluçõs, qu volui, pricipalmt, através da itração tr sus lmtos. Sgudo Koz t al. (003) o algoritmo gético é uma mta-hurística volutiva, sdo uma técica d busca alatória dircioada, dsvolvida por Hollad (975), capaz d obtr a solução ótima global m um spaço d busca complxo multi-dimsioal. Su pricípio d fucioamto é basado o procsso volutivo dos srs vivos, sguido o pricípio básico d qu as graçõs drivadas srão mais voluídas do qu sus prcursors (Coopr, 000). D acordo com Koz t al. (003) a volução da população é ralizada através d opradors géticos domiados crossovr mutação. No crossovr os cromossomos são 90 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007

7 combiados formado ovos idivíduos a mutação, os compots d uma solução podm sofrr prturbaçõs m sus gs. Aida, sgudo Koz t al. (003), pod-s dscrvr o fucioamto dos algoritmos géticos os passos: Passo Fazr a codificação das variávis. Tradicioalmt, a codificação é fita criados códigos biários (Goldbrg, 989). Embora ssa forma d rprstação tha s mostrado ficit m vários problmas, obsrvou-s, a mdida qu foram crscdo as aplicaçõs d algoritmos géticos, qu sta rprstação pod ão sr a mais adquada, surgido daí altrativas como a rprstação por úmros itiros ou rais, m qu o cromossomo é dscrito por um vtor dsss úmros (Clauma, 999). Aida, sgudo Clauma (999) as vatags da codificação ral m rlação à codificação biária são: a) Na codificação ral ão há cssidad d covrsõs para avaliar a fução objtivo, pois cada g corrspod a uma variávl. Em codificação biária, vários gs são utilizados para rprstar uma úica variávl; b) O tmpo d procssamto td a sr mor a codificação ral, m problmas multivariávis, pois a codificação biária pod grar cromossomos muito grads, sdo qu, a aplicação dos opradors géticos dmadará um lvado tmpo computacioal; c) O limit d prcisão da solução obtida m codificação ral é o da prcisão da máquia. Em codificação biária st limit é basado o úmro d gs (bits) utilizados a rprstação das variávis; d) A utilização da codificação ral prmit um maior cotrol m rlação à ação dos opradors géticos, pois cada g rprsta uma variávl. No caso da codificação biária, a aplicação dos opradors géticos produz modificaçõs os fótipos qu são difícis d srm prvistas. Rctmt, tm-s utilizado a codificação m úmros rais, ao ivés d codificaçõs biárias, pricipalmt, para rsolvr problmas d otimização a formação d agrupamtos (Niss & May, 996 Iwamatsu, 000), o qu possibilitou uma mlhora sigificativa os rsultados obtidos, quado comparado à codificação biária. Passo Grar, alatoriamt, uma população iicial d soluçõs. Cada solução (cromossomos ou idivíduos) é formada por uma cadia d variávis d dcisão; Passo 3 Avaliar o fitss dos idivíduos da população. Uma forma d avaliar a solução é calculado o valor da fução objtivo da msma; Passo 4 Rptir até qu o critério d parada sja atdido a) Slcioar um cojuto d pais a população ralizar a mutação; b) Cruzar os pais d modo qu s rproduzam (crossovr); c) Avaliar a fitss dos filhos grados; d) Substituir os filhos julgados iadquados. Sgudo Iwamatsu (000) quado a codificação mprgada é m úmros rais, difrts opradors géticos podm sr utilizados para qu o Passo 4 sja mais ficit como: ivrsão, média aritmética, média gométrica crossovr m-potos. Os dtalhs dsss opradors géticos podm sr cotrados m Niss & May (996). Além do crossovr Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007 9

8 m-potos, fêz-s uso do crossovr uiform, qu combia, alatoriamt, as varávis d dcisão dos cromossomos pais, para aumtar a ficiêcia do algoritmo. Passo 5 Fim Em rlação à slção dos pais da população, ormalmt, sts são ordados d acordo com o valor da fitss divididos m grupos. O grupo com as piors soluçõs é dscartado o grupo com as mlhors soluçõs é matido sofr mutação crossovr até qu todos os idivíduos dscartados sjam rpostos. Além da mta-hurística volutiva basada m algoritmos géticos, o tim assícroo é composto plo método Quas-Nwtoiao. Sgudo Bazaraa t al. (993), o método Quasi-Nwtoiao foi origialmt proposto por Davido (959), postriormt, dsvolvido por Fltchr & Powll (963). Uma caractrística dss método é qu utiliza uma aproximação da matriz Hssiaa da fução objtivo, para guiar a busca pla solução ótima, ao ivés da própria matriz Hssiaa, uma vz qu a sua stimação, pricipalmt das drivadas sgudas, pod sr difícil d s obtr. Sgudo Fltchr & Powll (963), plo método Quasi-Nwtoiao, a cada passo, avalia-s o valor da fução objtivo m difrts potos, para stimar a drivada primira a drivada sguda da msma. Esss valors prmitm dcidir a dirção a sr sguida para atigir o ótimo da fução. 3. Ilustração do modlo d otimização proposto do algoritmo d rsolução Para ilustrar o fucioamto do tim assícroo a abordagm d composição d spcialistas com otimização a formação dos agrupamtos, m problmas d rgrssão, grou-s um cojuto d triamto com 30 obsrvaçõs, o spaço -dimsioal, m qu a variávl dpdt foi obtida pla composição d dois spcialistas liars. Em rlação à fução qu grou o grau d prtiêcia das obsrvaçõs aos agrupamtos foi utilizada a fução softmax. Um ruído alatório foi icorporado à séri grada. A Tabla mostra os parâmtros dos spcialistas os ctróids dos agrupamtos utilizados a gração das obsrvaçõs, a Tabla mostra os dados grados a Figura o cojuto d triamto grado. Tabla Parâmtros dos spcialistas ctróids dos agrupamtos. Parâmtro Valor Ctróid do agrupamto m =,00 Ctróid do agrupamto m = 9,700 Itrcpto do spcialista do agrupamto α = 3,600 Coficit agular do spcialista do agrupamto β = -0,730 Itrcpto do spcialista do agrupamto α = -3,300 Coficit agular do spcialista do agrupamto β = 0,450 Média do ruído 0,000 Dsvio padrão do ruído 0,500 9 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007

9 Tabla Obsrvaçõs gradas pla composição d dois spcialistas liars. X Y X Y X Y 8,0 -,875 3,0-5,68 8,0 5,33 8,5 -,066 3,5-6,468 8,5 5,3 9,0 -,59 4,0-6,784 9,0 5,93 9,5-3,36 4,5-5,635 9,5 5,074 0,0-3,688 5,0-4,45 0,0 5,09 0,5-4,048 5,5 -,833 0,5 5,568,0-4,73 6,0,64,0 5,9,5-4,574 6,5,463,5 6,4,0-4,807 7,0 3,877,0 6,739,5-5,847 7,5 4,03 O fucioamto do tim assícroo, composto por uma mta-hurística volutiva, basada m algoritmos géticos o método Quasi-Nwtoiao, para a stimação dos ctróids dos parâmtros dos modlos, obdc aos sguits passos: Passo : Grar uma população iicial d soluçõs Sguido a sugstão d Liu & Xi (995) m rlação ao tamaho da população d soluçõs, grou-s um cojuto d 00 soluçõs iiciais, alatoriamt. Emprgou-s a codificação m úmros rais a rprstação usada foi uma cadia d variávis d dcisão com 6 lmtos, m qu o primiro dos valors é o ctróid do agrupamto, o sgudo é o ctróid do agrupamto, o trciro é o itrcpto do modlo liar para o agrupamto, o quarto é o coficit agular do modlo liar para o agrupamto, o quito é o itrcpto do modlo liar para o agrupamto o sxto valor é o coficit agular do modlo liar para o agrupamto. Em rlação aos parâmtros utilizados a gração alatória das soluçõs, para os ctróids, os valors são uiformmt distribuídos tr 0 0, para os itrcptos para os coficits agulars, os valors são uiformmt distribuídos tr Composição d Espcialistas 8,0 6,0 4,0,0 Y 0,0 -,0-4,0-6,0-8,0 7,0 9,0,0 3,0 5,0 7,0 9,0,0 3,0 X Figura Obsrvaçõs gradas pla composição dos spcialistas. Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d

10 Passo : Avaliar as soluçõs gradas Nssa tapa calcula-s o valor da fução objtivo, para as 00 soluçõs iiciais gradas. Essas soluçõs foram, tão, classificadas m ordm crsct. Passo 3: Slção dos pais cruzamtos Nsta tapa as 0 soluçõs com mor valor da fução objtivo são matidas as 90 rstats são xcluídas. A partir das 0 soluçõs slcioadas são fitos cruzamtos para s obtr 90 ovas soluçõs. Nst trabalho, os cruzamtos utilizados são apas do tipo crossovr uiform, ou sja, optou-s por ão utilizar outro oprador gético. Optou-s, também, por ão ralizar mutação. Passo 4: Covrgêcia da mta-hurística volutiva basada m algoritmos géticos S o algoritmo ão covrgiu volta-s para o passo, caso cotrário sgu-s para o passo 5. O critério d covrgêcia adotado foi d 0,0. Passo 5: Rfiamto da solução aplicado-s o método Quasi-Nwtoiao, tomado como valor iicial a solução obtida pla mta-hurística volutiva, basada m algoritmos géticos. Os parâmtros foram stimados m um microcomputador com procssador Clro 600 MHz 9 MB d mmória RAM, utilizado o programa computacioal SAS vrsão 8.. O tmpo dmadado a stimação dos parâmtros plo tim assícroo composto pla mtahurística volutiva, basada m algoritmos géticos, plo método Quasi-Nwtoiao foi d 4 sgudos 9 ctésimos. A Tabla 3 mostra os parâmtros dos spcialistas os ctróids dos agrupamtos stimados pla mta-hurística volutiva basada m algoritmos géticos, a Figura mostra a adrêcia obtida plos parâmtros ctróids stimados pla mta-hurística volutiva basada m algoritmos géticos, a Tabla 4 mostra os parâmtros dos spcialistas os ctróids dos agrupamtos fiais obtidos a Figura 3 mostra a adrêcia fial obtida. Vrifica-s, a partir das Tablas 3 4 Figuras 3, qu a mta-hurística volutiva basada m algoritmos géticos grou uma boa aproximação da solução iicial qu o método Quasi-Nwtoiao, a partir dssa solução, chgou m uma solução fial muito próxima dos parâmtros rais. Em rlação ao valor da fução objtivo, o passo, a solução com mor valor d fução objtiva, obtida d forma alatória, foi d 6,45. Após a covrgêcia da mta-hurística volutiva basada m algoritmos géticos ss valor foi para 0,97 a solução fial obtida tv o valor da fução objtivo igual a 0,5. A Tabla 5 compara os valors rais dos parâmtros utilizados a gração da composição d spcialistas stimados plo tim assícroo, assim como o valor d suas fuçõs objtivo. Tabla 3 Parâmtros stimados pla mta-hurística volutiva. Parâmtro Valor Ctróid do agrupamto m =,466 Ctróid do agrupamto m = 9,335 Itrcpto do spcialista do agrupamto α = 0,83 Coficit agular do spcialista do agrupamto β = -0,48 Itrcpto do spcialista do agrupamto α = -,648 Coficit agular do spcialista do agrupamto β = 0,300 Valor da fução objtivo FO = 0,97 94 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007

11 Tabla 4 Estimativas fiais obtidas. Parâmtro Valor Ctróid do agrupamto m =,0 Ctróid do agrupamto m = 9,70 Itrcpto do spcialista do agrupamto α = 3,66 Coficit agular do spcialista do agrupamto β = -0,736 Itrcpto do spcialista do agrupamto α = -3,95 Coficit agular do spcialista do agrupamto β = 0,447 Valor da fução objtivo FO = 0,4 Tabla 5 Comparação dos parâmtros utilizados stimados plo algoritmo. Parâmtro Valor utilizado Valor stimado Ctróid do agrupamto m =,00 m =,0 Ctróid do agrupamto m = 9,700 m = 9,70 Itrcpto do spcialista do agrupamto α = 3,600 α = 3,66 Coficit agular do spcialista do agrupamto β = -0,730 β = -0,736 Itrcpto do spcialista do agrupamto α = -3,300 α = -3,95 Coficit agular do spcialista do agrupamto β = 0,450 β = 0,447 Valor da fução objtivo FO = 0,8 FO = 0,4 Vrifica-s a Tabla 5 qu o valor dos parâmtros obtidos utilizado o tim assícroo são próximos dos valors utilizados a gração da composição d spcialistas qu o valor da fução objtivo, calculada a partir dos parâmtros stimados, é mor qu o valor da fução objtivo, calculada a partir dos parâmtros utilizados a gração da composição. Dsta forma, é possívl afirmar qu o tim assícroo foi capaz d obtr uma boa solução para problma d otimização ão-liar irrstrito proposto. COMPOSIÇÃO DE ESPECIALISTAS Y X REAL PREVISÃO Figura Adrêcia obtida a partir dos parâmtros stimados pla mta-hurística volutiva. Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d

12 COMPOSIÇÃO DE ESPECIALISTAS Y X REAL PREVISÃO Figura 3 Adrêcia fial obtida. 3.3 Estimação dos ctróids dos parâmtros do modlo plo método sqücial m grad rgular Emprgou-s uma stratégia d busca sistmática domiada método sqücial m grad rgular para qu s tivss um parâmtro d comparação do dsmpho do tim assícroo a stimação dos ctróids dos parâmtros dos modlos. Os valors utilizados a gração das soluçõs, para os ctróids dos agrupamtos, variaram d 0 a 0 com spaçamto, ou sja, para o ctróid d cada um dos agrupamtos os valors foram 0,,,..., 8, 9 0. Para os itrcptos para os coficits agulars, os valors variaram d -5 a 5 com spaçamto, ou sja, foram -5, -4, -3,..., 3, 4 5. A combiação dsss valors totalizou (= 6 ) soluçõs para cada uma dssas soluçõs calculou-s o valor da fução objtivo dada por p ( xij mcj ) k j= y + ( α β. x ) i c c i p i = c= k ( xij mcj ) j= c= m qu α c β c são os parâmtros m cj são os ctróids dos agrupamtos a srm stimados. Postriormt, as soluçõs foram ordadas d forma crsct, m rlação ao valor da fução objtivo, a solução com o mor rro foi slcioada. Os parâmtros foram stimados m um microcomputador com procssador Clro 600 MHz 9 MB d mmória RAM, utilizado o programa computacioal SAS vrsão 8.. O tmpo dmadado a stimação dos parâmtros plo método xaustivo foi d 3 miutos 9 sgudos 88 ctésimos. () 96 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007

13 A Tabla 6 mostra os parâmtros dos spcialistas, os ctróids dos agrupamtos o valor da fução objtivo rais os stimados plo método sqücial m grad rgular a Figura 4 mostra a adrêcia obtida a partir dst método d stimação. Vrifica-s pla Tabla 6 qu há uma grad difrça tr os valors rais os obtidos plo método sqücial m grad rgular. Para xplicar porqu a solução obtida plo método sqücial m grad rgular é muito difrt dos valors rais, calculou-s o valor da fução objtivo obtida arrdodado-s os valors rais. A Tabla 7 mostra os parâmtros dos spcialistas, os ctróids dos agrupamtos o valor da fução objtivo stimados plo método sqücial m grad rgular plos valors rais arrdodados. Tabla 6 Parâmtros stimados plo método sqücial m grad rgular valors rais. Parâmtro Valor ral Valor stimado Ctróid do agrupamto m =,00 m = 5,000 Ctróid do agrupamto m = 9,700 m = 6,000 Itrcpto do spcialista do agrupamto α = 3,600 α =,000 Coficit agular do spcialista do agrupamto β = -0,730 β = -,000 Itrcpto do spcialista do agrupamto α = -3,300 α = -5,000 Coficit agular do spcialista do agrupamto β = 0,450 β =,000 Valor da fução objtivo FO = 0,8 FO =,93 COMPOSIÇÃO DE ESPECIALISTAS Y X REAL PREVISÃO Figura 4 Adrêcia obtida plos parâmtros stimados plo método sqücial m grad rgular. Vrifica-s pla Tabla 7 qu o valor da fução objtivo obtido arrdodado-s os valors rais é muito mais alto qu o obtido plo método sqücial m grad rgular, o qu tora a solução obtida aplicado-s o método sqücial m grad rgular mais adquada. Essa grad difrça pod sr xplicada plo spaçamto utilizado a gração das soluçõs do método sqücial m grad rgular. Assim, rsultados mais próximos podm sr obtidos rduzido-s o spaçamto, porém havria um úmro muito maior d soluçõs, o qu dmadaria mais tmpo d procssamto. Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d

14 Tabla 7 Parâmtros stimados plo método sqücial m grad rgular valors rais arrdodados. Parâmtro Valor ral arrdodado Valor stimado Ctróid do agrupamto m =,000 m = 5,000 Ctróid do agrupamto m = 0,000 m = 6,000 Itrcpto do spcialista do agrupamto α = 4,000 α =,000 Coficit agular do spcialista do agrupamto β = -,000 β = -,000 Itrcpto do spcialista do agrupamto α = -3,000 α = -5,000 Coficit agular do spcialista do agrupamto β = 0,000 β =,000 Valor da fução objtivo FO = 35,340 FO =,93 4. Utilização da abordagm proposta a prvisão da rcita líquida das mprsas d trasport aéro As abordags spcialista global composição d spcialistas locais com otimização a formação dos agrupamtos foram aplicadas a prvisão da rcita líquida (R$ mil d 00) das mprsas d trasport aéro. Utilizou-s como variávl xplicativa o ativo total das mprsas d trasport aéro (R$ mil d 00). Os dados utilizados são provits das rvistas Balaço Aual dos aos d 00 d 003 do auário do DAC (Dpartamto d aviação civil) do ao d 004 totalizado 39 obsrvaçõs. Essas obsrvaçõs foram divididas, d forma alatória, m grupos. O primiro grupo ficou com 6 obsrvaçõs foi utilizado o triamto dos modlos (cojuto d triamto) o sgudo grupo ficou com 3 obsrvaçõs foi utilizado a validação dos modlos (cojuto d validação). Tirou-s o logaritmo da rcita líquida do ativo total para qu o studo cotmplass mprsas d difrts ports. Para a scolha dos spcialistas utilizou-s como idicadors, o rro absoluto prctual médio (EAPM) a média da soma dos rros quadráticos (MEQ) calculados por: t= Y Yˆ N t t = MEQ = ( Y ) t Yt EAPM N Y t N ˆ N t = m qu N é úmro d obsrvaçõs, Y t é o logaritmo da rcita líquida das mprsas d trasport aéro o príodo t Y ˆt é o logaritmo da rcita líquida prvista das mprsas d trasport aéro, calculados a partir do cojuto d validação. Foram litos os spcialistas com o mor valor dsss idicadors. 4. Espcialista global Um spcialista é chamado d global quado é obtido a partir d todos os dados do cojuto d triamto. Nst studo d caso, os modlos liar quadrático foram triados tstados para slcioar o spcialista global. As statísticas d dsmpho gradas pla aplicação dos spcialistas o cojuto d validação mostram qu o modlo liar foi o d mlhor dsmpho a fas d validação, uma vz qu aprsta o mor valor d EAPM 98 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007

15 (5,05% cotra 6,0% para o modlo quadrático) a mor MEQ (0,394 cotra 0,533 para o modlo quadrático). Assim, como spcialista global o modlo slcioado é o liar dado por RL = +,067.AT - 0,740 (R = 0,858) m qu RL é o logarítmo da rcita líquida prvista AT é o logaritmo do ativo total. As Figuras 5 6 mostram a adrêcia do spcialista global (modlo liar) os cojutos d triamto d validação, rspctivamt. ADERÊNCIA DO ESPECIALISTA GLOBAL (CONJUNTO DE TREINAMENTO) 6,0 4,0 LN (RECEITA LÍQUIDA),0 0,0 8,0 6,0 4,0 6,0 7,0 8,0 9,0 0,0,0,0 3,0 4,0 5,0 6,0 LN (ATIVO TOTAL) RECEITA LÍQUIDA (R$ MIL) PREVISÃO GLOBAL Figura 5 Adrêcia do spcialista global o cojuto d triamto. ADERÊNCIA DO ESPECIALISTA GLOBAL (CONJUNTO DE VALIDAÇÃO) 6,0 4,0 LN (RECEITA LÍQUIDA),0 0,0 8,0 6,0 4,0 6,0 7,0 8,0 9,0 0,0,0,0 3,0 4,0 5,0 6,0 LN (ATIVO TOTAL) RECEITA LÍQUIDA (R$ MIL) PREVISÃO GLOBAL Figura 6 Adrêcia do spcialista global o cojuto d validação. Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d

16 4. Composição d spcialistas com otimização a formação dos agrupamtos Como a otimização a formação dos agrupamtos, pla abordagm proposta, é fita d forma itgrada, há a cssidad d s aplicar a mtodologia m todas as possívis combiaçõs d composição d spcialistas. Como st studo d caso cosidrou-s apas agrupamtos tipos d spcialista (modlo liar modlo quadrático), xistm apas 3 possibilidads d composição d spcialistas: ) os dois agrupamtos o modlo vcdor sr o liar, qu foi domiada composição liar-liar; ) m um dos agrupamtos o modlo vcdor sr o liar o outro o modlo vcdor sr o quadrático, qu foi domiada composição liar-quadrático 3) os dois agrupamtos o modlo vcdor sr o quadrático, qu foi domiada composição quadrático-quadrático. Como fução qu dtrmia a prtiêcia das obsrvaçõs aos agrupamtos utilizou-s a softmax. Dsta forma, a composição liar-liar (LL) tm-s o modlo d otimização: Mi y P AT P AT i i i i i () i= [ ( ( ) ( ))] α + β. + α + β. Na composição liar-quadrático (LQ) tm-s o modlo d otimização: i= ( ( ) ( )) α β. α β. δ. Mi yi Pi + ATi + Pi + ATi + ATi (3) E a composição quadrático-quadrático (QQ) tm-s o modlo d otimização: i= ( ( ) ( )) α β. δ. α β. δ. Mi yi Pi + ATi + ATi + Pi + ATi + ATi (4) m qu ( ( ATi m ) ) Pi = ( ( ATi m ) ) ( ( ATi m ) ) + P i ( ( ATi m ) ) = ( ( ATi m ) ) ( ( ATi m ) ) + (5) (6) sdo α, β, δ, α, β, δ, m m os parâmtros a srm stimados. As statísticas d dsmpho gradas plas difrts composiçõs, o cojuto d validação, mostram qu a composição liar-quadrático foi a com mlhor dsmpho, uma vz qu aprstou o mor valor d EAPM (4,68% cotra 4,73% para a composição quadrático-quadrático 5,36% para a composição liar-liar) a mor SEQ (0,346 cotra 0,349 para a composição quadrático-quadrático 0,466 para a composição liar-liar). Dsta forma, para s fazr prvisão utilizado a composição d spcialistas vcdora utiliza-s: 00 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007

17 i = + i + + i i RL P.(4, 75 0, 656. AT ) P.( 75, 907,37. AT, 345. AT ) m qu P = P = ( ( ATi 5,759 ) ) ( ( ATi 5,759 ) ) ( ATi,639) ( ) + ( ( ATi,639) ) ( ( ATi 5,759 ) ) ( ATi,639) ( ) + sdo RL i a prvisão da rcita líquida logaritmizada da mprsa i AT i o ativo total logaritmizado da mprsa i. As Figuras 7 8 mostram a adrêcia da composição d spcialistas com otimização a formação dos agrupamtos vcdora os cojutos d triamto d validação, rspctivamt. O dsmpho das abordags spcialista global composição d spcialistas locais com otimização a formação d agrupamtos foi comparado m rlação às prvisõs gradas (cojuto d validação). As statísticas d dsmpho mostram qu a abordagm com o mlhor dsmpho foi a d composição d spcialistas com a otimização da formação d agrupamtos. Adotado-s a statística d dsmpho EAPM, o uso dsta abordagm rduziu m 7,3% o rro d prvisão, quado comparado ao spcialista global. Já adotados a statística d dsmpho MEQ, o uso dsta abordagm rduziu m,% o rro d prvisão, quado comparado ao spcialista global. ADERÊNCIA DA COMPOSIÇÃO LINEAR-QUADRÁTICO (CONJUNTO DE TREINAMENTO) LN (RECEITA LÍQUIDA) LN (ATIVO TOTAL) RECEITA LÍQUIDA (R$ MIL) PREVISÃO DA COMPOSIÇÃO LINEAR-QUADRÁTICO Figura 7 Adrêcia da composição d spcialistas locais com otimização a formação dos agrupamtos o cojuto d triamto. Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007 0

18 ADERÊNCIA DA COMPOSIÇÃO VENCEDORA (CONJUNTO DE VALIDAÇÃO) 8,000 6,000 4,000 LN (RECEITA LÍQUIDA),000 0,000 8,000 6,000 4,000 6,000 7,000 8,000 9,000 0,000,000,000 3,000 4,000 5,000 6,000 LN (ATIVO TOTAL) RECEITA LÍQUIDA (R$ MIL) PREVISÃO DA COMPOSIÇÃO LINEAR-QUADRÁTICO Figura 8 Adrêcia da composição d spcialistas locais com otimização a formação dos agrupamtos o cojuto d validação. 5. Coclusão A composição d spcialistas locais tm uso potcial m uma grad varidad d problmas rfrts a modlagm, pricipalmt, quado o objtivo é fazr prvisõs, qu é uma ára fudamtal das aáliss tomadas d dcisão qu, até hoj, cotiua sdo um dsafio para os psquisadors. Nst trabalho foi proposta a itgração das tapas d formação d agrupamtos dsigação dos spcialistas, m composição d spcialistas locais, aplicados a problmas d rgrssão visado mlhorar a qualidad dos ajusts dos modlos, mlhorar a qualidad das prvisõs ralizadas otimizar a formação dos agrupamtos. Para cumprir com sss objtivos foi proposta uma formulação qu itgrass a stimação dos parâmtros qu dfim os spcialistas os agrupamtos. Como proposta para futuras psquisas prtd-s stdr a abordagm d composição d spcialistas com otimização a formação dos agrupamtos para problmas d classificação. Agradcimtos Est trabalho foi fiaciado pla FAPESP Fudação d Amparo à Psquisa do Estado d São Paulo. 0 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007

19 Rfrêcias Bibliográficas () Bazaraa, M.S.; Shrali, H.D. & Shtty, C.M. (993). Noliar programmig: thory ad applicatios. a ditio, Joh Wily & Sos, Ic. () Clauma, C.A. (999). Modlagm diâmica cotrol d procssos ão liars: uma aplicação d algoritmos géticos para triamto d rds urais rcorrts. Dissrtação d mstrado m Egharia Química, Programa d Pós-graduação m Egharia Química, UFSC, Floriaópolis, SC, Brasil. (3) Coopr, B. (000). Modllig rsarch ad dvlopmt: How do firms solv dsig problms? Joural of Evolutioary Ecoomics, 0, (4) Davido, W.C. (959). Variabl mtric mthod for miimizatio. AEC Rsarch Dvlopmt Rport, ANL (5) Duda R.O.; Hart, P.E. & Stork, D.G. (00). Pattr Classificatio. a ditio, Joh Wily & Sos, Ic. Nw York. (6) Fltchr, R. & Powll, M. (963). A rapidly covrgt dsct mthod for miimizatio. Computr Joural, 6, (7) Goldbrg, D.E. (989). Gtic Algorithms i Sarch, Optimizatio ad Machi Larig. Addiso Wsly. (8) Hollad, J.H. (975). Adaptatio i atural ad artificial systms. MIT Prss, A Arbor, Michiga. (9) Hubr, P. (964). Robust stimatio of a locatio paramtr. Aals o Mathmatical Statistics, 35, (0) Iwamatsu, M. (000). Global gomtry optimizatio of silico clustrs usig th spacfixd gtic algorithm. Joural of Chmical Physics, (4), () Jacobs, R.A.; Jorda, M.I.; Nowla, S.J. & Hito, G.E. (99). Adaptiv mixtur of local xprts. Nural Computatio, 3(), 79-87, MIT Prss. () Koz, P.H.A.; Furtado, J.C.; Carvalho, C.W.; Frrão, M.F.; Molz, R.F.; Bassai, I.A. & Hüig, S.L. (003). Otimização d métodos d cotrol d qualidad d fármacos usado algoritmo gético busca tabu. Psquisa Opracioal, 3(), (3) Liu, J. & Xi, W. (995). A Gtics-Basd Approach to Fuzzy Clustrig. Procdigs of th IEEE Itratioal Cofrc o Fuzzy Systms. (4) Magasaria, O.L. (997). Mathmatical Programmig i Data Miig. Data Miig ad Kowldg Discovry, (), (5) Mlo, B.; Milioi, A.Z. & Nascimto Jr., C.L. (003). Modlos d spcialistas globais d composição d spcialistas locais para prvisão d séris tmporais. I: XXXV SBPO Simpósio Brasiliro d Psquisa Opracioal. (6) Niss, J. & May, H. (996). Global gomtry optimizatio of atomic clustrs usig a modifid gtic algorithm i spac-fixd coordiats. Joural of Chmical Physics, 05(), (7) Pito, D.B.T. (003). MLEM o cross sctio data. Trabalho d graduação, Istituto Tcológico d Aroáutica (ITA), São José dos Campos, SP. Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d

20 (8) Pito, D.B.T. (005). Choics ad pitfalls cocrig mixtur-of-xprts modlig. Ts (Mstrado m Egharia Aroáutica Mcâica, ára d Produção), Istituto Tcológico d Aroáutica, São José dos Campos. (9) Saito Jr., P.A. (999). Triamto d rds urais utilizado tim assícroo. Ts (Mstrado m Egharia Eltrôica Computação, ára d Sistmas Cotrol), Istituto Tcológico d Aroáutica, São José dos Campos. (0) Vapik, V.N. (995). Th atur of statistical larig thory. Sprigr, Nw York. () Vapik, V.N. (999). A ovrviw of Statistical larig thory. IEEE trasactios o ural tworks, 0(5), () Wbb, A. (00). Statistical Pattr Rcogitio. a ditio, Joh Wily & Sos, Ic. 04 Psquisa Opracioal, v.7,., p.85-04, Jairo a Abril d 007