A AUTO-AVALIAÇÃO DE INSTITUIÇÕES DE ENSINO SUPERIOR: UMA IMPORTANTE CONTRIBUIÇÃO PARA A GESTÃO EDUCACIONAL

Transcrição

1 A AUTO-AVALIAÇÃO DE INSTITUIÇÕES DE ENSINO SUPERIOR: UMA IMPORTANTE CONTRIBUIÇÃO PARA A GESTÃO EDUCACIONAL Adré Luís Policai Freitas Uiversidade Estadual do Norte Flumiese, Brasil. INTRODUÇÃO Os úmeros mais recetes do Ceso da Educação Superior o Brasil revelam que o sistema brasileiro de educação superior ecotra-se em um processo de expasão acelerada, pricipalmete a partir da última década. Esta expasão reflete-se diretamete o crescimeto do úmero de Istituições de Esio Superior (IES) e dos cursos oferecidos e, cosequetemete, a ampliação do úmero de vagas dispoibilizadas e do úmero de professores e fucioários destas istituições. Sob o poto de vista sócio-ecoômico e cultural, a política educacioal desempeha um papel estratégico o desevolvimeto de uma ação. A formação de profissioais capazes de atuar com determiação e competêcia em um mercado de trabalho cada vez mais competitivo, assim como possuir uma visão crítica dos ceários existetes em um mudo real caracterizado por costates trasformações, exige que o processo de formação educacioal seja adequadamete implemetado desde os íveis elemetares de esio. Neste cotexto, o desevolvimeto e a implemetação de um sistema de avaliação das Istituições de Esio Superior (IES), é um dos procedimetos utilizados para o moitorameto das iformações relativas a estas istituições e assegurar que a qualidade do esio forecidas por estas istituições ateda aos padrões recomedados. Particularmete, o procedimeto de auto-avaliação istitucioal costitui-se em uma ferrameta de elevada importâcia. Em sua essêcia, este trabalho deseja cotribuir para a cotiuidade das discussões e pesquisas direcioadas ao aprimorameto cotíuo do sistema de avaliação do esio superior. Em especial, propõese o estabelecimeto de um procedimeto de avaliação do esio superior que icorpore de forma explícita os julgametos do corpo docete e dos aluos da IES (procedimeto de auto-avaliação da IES), com o ituito de cotribuir para a gestão educacioal destas istituições. Sob este aspecto, aluos e professores podem ser cosiderados como isumos esseciais de um processo de trasformação (o processo de formação educacioal), cujo produto fial é a formação profissioal adquirida pelo aluo ao cocluir o curso superior. Com base as etapas deste procedimeto, este trabalho apreseta, adicioalmete, um modelo para auto-avaliação istitucioal. 2. A AVALIAÇÃO DA EDUCAÇÃO SUPERIOR NO BRASIL Uma das formas de verificar a qualidade da Educação Superior é através da implemetação de um sistema de iformações educacioais. No Brasil, o Sistema Itegrado de Iformações da Educação Superior (SIEdSup), gereciado pelo Istituto Nacioal de Estudos e Pesquisas Educacioais (INEP), é órgão goverametal resposável pela dissemiação dos resultados do ceso escolar, ceso do esio superior,

2 2 ceso do professor, avaliação da educação básica, exame acioal de cursos, além de iformações sobre o gasto e fiaciameto da educação, perfil dos egressos do esio médio e características socioecoômicas e culturais dos graduados de ível superior (CASTRO, 998). Especificamete o cotexto da avaliação educação superior, o sistema de iformações educacioais gereciado pelo INEP é composto pelos seguites processos de avaliação, cujas propostas podem ser assim sitetizadas: Exame Nacioal de Cursos (Provão): é uma avaliação realizada desde 996 pelos formados dos cursos de graduação da Educação Superior, visado traçar um diagóstico dos cursos avaliados, servir de istrumeto para a melhoria do esio oferecido, além de ter um papel fudametal a prestação de iformações à sociedade. As avaliações são elaboradas pelas comissões de especialistas dos cursos. O INEP divulga apeas a classificação do desempeho obtido pelos cursos por istituição, iformado o resultado de cada participate do exame de forma exclusiva e particular. Etretato, a participação do graduado o Provão é uma das exigêcias para a obteção do diploma, sedo registrado o histórico escolar a data de sua participação o exame. A estrutura do Provão aida é um assuto em discussão. Ceso da Educação Superior: através da coleta aual de dados do esio de graduação o País, este ceso se propõe a fazer uma radiografia do ível educacioal que atede aos estudates de cursos uiversitários oferecidos por uiversidades, cetros uiversitários, faculdades itegradas, faculdades, escolas, istitutos e cetros de educação tecológica. Os dados são coletados a partir de um questioário que as IES devem preecher por meio da iteret. Avaliação das Codições de Esio: este processo de avaliação é realizado por uma comissão de professores que verifica, i loco, a situação dos cursos de graduação, cosiderado-se três grades dimesões: a qualificação do corpo docete, a orgaização didático-pedagógica e as istalações físicas, com êfase a biblioteca. Essa avaliação tem como objetivo recohecer ou reovar o recohecimeto de um curso, além de garatir a qualidade do esio oferecido pelas IES (por determiação da Lei das Diretrizes e Bases da Educação Nacioal LDB). Avaliação Istitucioal: este modelo de avaliação compreede a aálise dos dados e iformações forecidas pelas Istituições de Esio Superior através de um Formulário Eletrôico e a verificação, i loco, da realidade istitucioal, dos seus cursos de graduação e de pós-graduação, da pesquisa e da extesão. Estruturado em íveis hierárquicos (dimesões, categorias de aálise, idicadores e aspectos a serem avaliados, o modelo de Avaliação Istitucioal é implemetado a partir do ível mais específico (aspecto) até atigir o ível mais geral (Dimesão). Cosideram-se três grades dimesões: o corpo docete, a orgaização istitucioal e as istalações físicas gerais e especiais, como os laboratórios, com êfase a(s) biblioteca(s). A figura ilutra a estrutura do modelo em questão.

3 3 AVALIAÇÃO INSTITUCIONAL Dimesão Orgaização Istitucioal Dimesão 2 Corpo Docete Dimesão 3 Istalações Categoria Categoria 3 Categoria 2 Categoria 23 Categoria 3 Categoria 33 Plao de desevolv. istitucioal Avaliação Istitucioal Formação acadêmica e profissioal Desempeho acadêmico e profissioal Istalações gerais Laboratórios e Istalações especiais Categoria 2 Proj. pedagógico e articulação das ativ acadêmicas Categoria 22 Codições de trabalho Categoria 32 Biblioteca Idicador 3 Auto-avaliação do Cetro Uiversitário Idicador 32 Avaliação feita pelo MEC e/ou agetes exteros Figura - Estrutura hierárquica (parcial) do modelo de Avaliação Istitucioal do MEC De acordo com este modelo de Avaliação Istitucioal (vide o idicador 3 ilustrado a figura ), os Cetros Uiversitários são motivados a desevolver um mecaismo ou procedimeto de auto-avaliação que cotemple as atividades de esio, de pesquisa e de extesão. Segudo o INEP (2002), os aspectos a serem mesurados por este idicador são: a existêcia de órgão ou comissão permaete de avaliação, abragêcia do projeto de auto-avaliação, participação da comuidade acadêmica os processos de auto-avaliação, divulgação dos resultados da auto-avaliação, ações acadêmico-admiistrativas em fução da auto-avaliação, articulação etre a iterpretação dos resultados das avaliações realizadas pelo MEC, das avaliações realizadas por outros agetes exteros e os da auto-avaliação da IES. Neste setido, observa-se que aida existe uma lacua o que se refere a estruturação do processo de auto-avaliação dos Cetros Uiversitários. Em especial, idetifica-se a ecessidade de elaboração de uma diretriz ou de um procedimeto de auto-avaliação istitucioal (sob a ótica do corpo docete e do corpo discete) que possa cotribuir para a realização de um processo de avaliação mais preciso, cofiável e que permita, detre outros beefícios, a iterpretação e itercomparação dos desempehos obtidos pelos diversos cursos de Graduação da IES. Etretato, estes objetivos somete serão cocretizados se as variáveis evolvidas o processo de avaliação forem adequadamete determiadas e realmete represetativas para a qualidade de esio forecido pela IES. Desejado cotribuir para o preechimeto desta lacua, este trabalho propõe um procedimeto de auto-avaliação das Istituições de Esio Superior sob a ótica dos seus aluos e professores. Este procedimeto será apresetado a próxima seção.

4 4 3. A AVALIAÇÃO DA QUALIDADE DE IES COMO FERRAMENTA PARA A GESTÃO EDUCACIONAL No âmbito do gereciameto educacioal de uma Istituição de Esio, a implemetação de um procedimeto para a auto-avaliação Istitucioal posicioa-se como uma importate ferrameta em um programa de melhoria cotíua da Qualidade do Esio. Cosiderado as dimesões compreedidas os modelos de avaliação Istitucioal elaborados pelo MEC (Orgaização Istitucioal, Corpo Docete e Istalações), propõe-se a estruturação de um procedimeto de auto-avaliação Istitucioal que efoque de forma mais explícita o poto de vista dos dois elemetos pricipais e esseciais em um processo de formação educacioal: o corpo docete e os aluos da IES. A figura 2 ilustra o relacioameto existete etre os elemetos que compõem a estrutura deste procedimeto: Avaliação Istitucioal a Ótica do Corpo Docete Corpo Docete Orgaização Istitucioal Istalações Corpo Discete Avaliação Istitucioal a Ótica do Corpo Discete Figura 2 Relacioameto etre os elemetos do procedimeto de auto-avaliação das IES (Freitas e Rodrigues, 2003) Neste cotexto, o procedimeto de auto-avaliação da IES sob a ótica dos professores e aluos proposto este trabalho fudameta-se o cumprimeto das etapas descritas a seguir: Etapa (Modelagem do problema): esta etapa são defiidos os elemetos e os procedimetos que deverão compor o modelo de auto-avaliação da IES, o que caracteriza esta etapa como uma das mais importates. Nesta etapa é ecessário defiir: o objeto da avaliação: cosiste em defiir se toda a IES será avaliada, ou se apeas algus de seus Cursos de Graduação serão iicialmete avaliados. Caso todos os cursos forem avaliados, é possível estimar a qualidade do esio forecido por toda a IES. os critérios de avaliação: os critérios devem estar relacioados às três dimesões que iflueciam a qualidade do esio superior. Adicioalmete, deve-se determiar o grau de importâcia (peso) de cada um destes critérios. Estas iformações podem ser obtidas a partir da opiião dos professores e aluos da IES e também a partir de pesquisas juto a literatura

5 5 cietífica. É importate otar que os critérios que costituirão a avaliação do corpo discete serão defiidos pelo corpo docete e vice-versa (vide figura 2); os avaliadores (julgadores): as avaliações deverão ser coduzidas segudo o objetivo da avaliação, ou seja, através da coleta dos julgametos dos aluos e professores dos cursos que serão avaliados. Nesta etapa deve-se defiir se todos os aluos e professores serão avaliadores (população) ou será realizado algum procedimeto de amostragem. as escalas de avaliação: em todo sistema de avaliação é ecessário defiir escalas de valores que serão utilizadas para as escalas de avaliação empregadas para avaliar o grau de importâcia de cada um dos critérios e o desempeho do Cetro Uiversitário à luz de cada um destes critérios. Segudo Trochim (2000) existem diversas escalas utilizadas para este fim, detre as quais citam-se: a escala de Likert, de Thurstoe e de Guttma. o procedimeto de coleta de dados e iformações juto a comuidade acadêmica: esta etapa deve-se aalisar e defiir aspectos que podem iflueciar positiva ou egativamete os resultados da pesquisa, tais como: a forma de abordagem (formulário impresso ou eletrôico, preechimeto idividual do formulário ou etrevista, etc), o período e a periodicidade da coleta, o coteúdo do formulário, etc. Apesar do formulário (questioário) ser um dos istrumetos de pesquisa mais difudidos, especial ateção deve ser dedicada à verificação da validade e cofiabilidade do mesmo (HAYES, 998); o procedimeto de agregação dos julgametos: este procedimeto se propõe a agrupar os julgametos da comuidade acadêmica (docetes e aluos) em um úico ídice global que reflete o desempeho da istituição ou do curso avaliado, à luz de todos os critérios; e procedimeto de classificação: este procedimeto objetiva associar o ídice global de desempeho da Istituição ou curso a uma das categorias de classificação pré-defiidas (atualmete o MEC utiliza a escala alfabética, cujos coceitos de desempeho dos Cursos de Graduação, em ordem decrescete de relevâcia são: A, B, C, D e E). Etapa 2 (Execução): esta etapa os procedimetos defiidos a etapa aterior devem ser realizados coforme os objetivos pré-estabelecidos. As pricipais ações são assim resumidas: coleta de dados juto ao corpo docete e ao corpo discete da IES, através do emprego de um formulário de pesquisa; implemetação do procedimeto de agregação dos julgametos e do procedieto de classificação, obtedo a classificação do desempeho do curso ou da IES em uma das categorias pré-estabelecidas, à luz de todos os critérios cosiderados. Etapa 3 (Aálise): esta etapa cosiste a aálise dos dados coletados e dos resultados dos procedimetos de agregação e de classificação. Técicas estatísticas devem ser utilizadas para estudar o comportameto da distribuição dos dados referete a cada período de amostragem, através da cálculo das medidas de tedêcia cetral e das medidas de dispersão. A aálise e iterpretação dos resultados poderão forecer iformações importates para o gereciameto da qualidade do esio forecido pela IES. Detre outros aspectos, esta etapa busca-se:

6 6 validar (ou ão) o istrumeto de pesquisa utilizado ou o processo de coleta de dados. Neste caso, deve-se verificar a cofiabilidade e a validade do istrumeto de pesquisa mesmo através da aálise dos dados coletados; idetificar as dimesões e critérios em que a IES (ou um determiado Curso) apreseta desempeho isatisfatório/satisfatório e as causas mais prováveis para estes resultados; idetificar os setores/serviços/profissioais da IES que apresetam desempeho satisfatório/isatisfatório e as causas mais prováveis para estes resultados; comparar os julgametos emitidos pelos professores e aluos, assim como as classificações do desempeho da IES (ou do Curso de Graduação), obtidas a partir do cálculo de um ídice de desempeho da mesma(o) à luz de todos os critérios. Esta aálise possibilitará a idetificação de cocordâcias e discordâcias de opiiões; verificar se as ações corretivas implemetadas ateriormete foram eficazes. Caso estas ão teham sido eficazes, os problemas aida persistem e devem ser solucioados. Etapa 4 (Plaejameto): esta etapa deve-se idetificar ações corretivas viáveis que, após implemetadas, possam proporcioar melhorias em termos da qualidade do esio superior. Segudo Freitas (200), estas ações devem ser avaliadas quato ao risco, ao custo e recursos ecessários para a melhoria da qualidade desejada, permitido priorizar as ações que busquem solucioar problemas mais críticos, de forma meos oerosa e em meor tempo possível. Segudo Campos (994), o emprego da técica 5WH assume um papel importate a execução desta etapa, segudo a qual deve-se especificar: quais ações serão implememetadas (What); ode as ações serão implemetadas (Where); quado as ações serão implemetadas (Whe); por que estas ações serão implemetadas (priorização) (Why); quem implemetará as ações (Who), e; como as ações serão implemetadas (How). Etapa 5 (Implemetação): esta etapa cosiste a implemetação das ações corretivas coforme estabelecidas a etapa aterior. A implemetação sistemática e cotíua das etapas do processo de auto-avaliação ateriormete descritas (coforme ilustrado a figura 3) poderá torar possível a idetificação de aspectos cosiderados isatisfatórios ou idesejados (segudo o poto de vista dos docetes e dos aluos da IES) que deverão ser corrigidos ou elimiados, aperfeiçoado o desempeho da IES e, cosequetemete, cotribuir para o desevolvimeto do País.

7 7 5. Implemetação. Modelagem 4. Plaejameto 2. Execução 3. Aálise Figura 3 Etapas do processo de auto-avaliação das IES (Freitas e Rodrigues, 2003) Adicioalmete, é importate ressaltar a atureza multiscipliar das etapas que estruturam o processo de auto-avaliação proposto. Detre as áreas do cohecimeto icorporadas este processo, citam-se: Qualidade, Auxílio Multicritério à Decisão (AMD) e Estatística. No Apêdice, a tabela destaca algumas cotribuições adicioais o cotexto das referidas áreas, que ão costam as etapas descritas ateriormete. 4. UM MODELO PARA AVALIAR E CLASSIFICAR A QUALIDADE DO ENSINO Cosiderado as etapas do procedimeto de auto-avaliação istitucioal descritas ateriormete, este trabalho propõe um modelo de auto-avaliação istitucioal fudametado os pricípios do Auxílio Multicritério à Decisão (AMD) associado aos coceitos da Qualidade, que tem por objetivo avaliar e classificar a qualidade do esio superior, a partir dos julgametos forecidos pelo corpo docete e pelo corpo discete da IES. Neste modelo, técicas estatísticas devem ser utilizadas a aálise dos dados coletados e dos resultados obtidos. 4. A classificação da qualidade do esio superior No âmbito do Auxílio Multicritério à Decisão (AMD), o problema da classificação da qualidade do esio superior cosiste em determiar em que categoria o desempeho de uma alterativa X i (Curso, Istituição de Esio, etc.) será atribuído, à luz de todos os critérios. A figura 4 ilustra a estrutura deste problema, a qual cico categorias de classificação estão associadas à escala de padrões alfabéticos.

8 8 Froteira Categoria C A Froteira 2 Categoria C 2 B? Froteira 3 Categoria C 3 C X Froteira 4 Categoria C 4 D Froteira 5 Categoria C 5 E Froteira 6 Figura 4 - Estruturação das categorias e froteiras (Freitas, 200) As categorias de classificação geralmete são defiidas em ordem crescete de preferêcia, de tal forma que C represeta a categoria que cotém as melhores alterativas (Cursos) e C 5 represeta a categoria que cotém as piores alterativas (Cursos). Cada categoria é delimitada por uma froteira iferior e superior. Por questão de simplicidade, a froteira iferior da categoria C k- é suposta também ser a froteira superior da categoria C k para qualquer k {2,..., t}. A froteira etre duas categorias C k- e C k cotém um cojuto de potos de referêcia valorados à luz de cada critério (Freitas, 200). Em geral, estas categorias de classificação são represetadas em termos de escalas, detre as quais destaca-se a escala em estrelas (utilizada a avaliação da categoria de hotéis, restaurates, etc.) e a escala alfabética (utilizada até recetemete a avaliação dos cursos de pós-graduação pela CAPES e, atualmete, a avaliação de cursos de graduação pelo MEC) (Freitas e Costa, 2000). As categorias também podem estar associadas a coceitos que represetam o desempeho obtido pelo curso avaliado, tais como: Excelete, Muito Bom, Bom, Regular, Ruim e Péssimo. 4.2 A estruturação do modelo de auto-avaliação proposto No modelo proposto o presete trabalho, o problema de avaliação e classificação da Qualidade de Esio pode ser defiido como um problema decisório sob múltiplos critérios, evolvedo múltiplos avaliadores. Para implemetar este modelo é ecessário cumprir as seguites etapas: Idetificação do objetivo da avaliação: esta etapa deve-se defiir o Curso X que será avaliado. Se todos os Cursos forem avaliados, é possível estimar a Qualidade do Esio de toda a IES. Etretato, caso a Istituição de Esio ão teha realizado ehum procedimeto de avaliação desta atureza, recomeda-se que iicialmete apeas um Curso seja avaliado. Idetificação dos avaliadores: uma importate cotribuição deste modelo de auto-avaliação cosiste fudametalmete a agregação dos julgametos do corpo discete e do corpo docete. Sedo assim, deve-se defiir o cojuto A = {A, A 2,..., A p } dos aluos e o cojuto P

9 9 = {P, P 2,...,P q } dos professores que avaliarão a Qualidade do Esio à luz de um cojuto de critérios, através do preechimeto de um formulário de pesquisa. Idetificação dos critérios: a defiição do cojuto F = {g, g 2,..., g } de critérios que serão utilizados para a avaliação da Qualidade do Esio (de um Curso) cosiste em uma das etapas importates. Neste setido, sugere-se que os critérios sejam defiidos a priori pela Istituição de Esio, através de uma pesquisa juto aos docetes e aluos, e também através de pesquisa a literatura cietífica. Cosiderado-se que o Esio é uma prestação de serviço realizada por uma Istituição de Esio, é importate relevar o coceito de Mometos da Verdade (Albrecht e Bradford, 990) que afirma que uma pessoa pode ter uma boa ou má impressão da Qualidade do Esio ao etrar em cotato com qualquer aspecto da Istituição, e ão somete com os aspectos relacioados à atividade de esio propriamete dita. A tabela 2 apreseta algumas dimesões e critérios que podem ser evetualmete utilizados para avaliar a Qualidade do Esio (por coveiêcia, a dimesão Docete ão será cosiderada a avaliação sob a ótica dos docetes e vice-versa). Dimesões Critérios Docetes Cohecimeto, potualidade, presteza, didática, etc. Discetes Cohecimeto, iteresse, potualidade, etc. Biblioteca Variedade do acervo, quatidade do acervo, adequação do acervo, facilidade de empréstimo, etc. Salas de aula Coforto, limpeza, coservação, ilumiação, etc. +Lab. de iformática Coforto, limpeza, coservação, quatidade (e qualidade) de micros, dispoibilidade para uso, etc. Tabela 2 - Critérios e aspectos de avaliação Determiação das escalas de avaliação: esta etapa deve-se defiir a escala que será utilizada para avaliar o grau de importâcia (peso) de cada critério e a escala para avaliar o desempeho do Curso em relação a cada um dos critérios. Particularmete, recomeda-se o emprego da escala de Likert, cujas iformações omiais estão associadas a úmeros iteiros que variam de a 5 (Mattar, 996). As tabelas 3 e 4 apresetam, respectivamete, as escalas recomedadas. Muito Importate Importate Mais ou meos Importate Pouco Importate Tabela 3: Escala para a avaliação da Importâcia dos critérios Nada Importate Muito Bom Bom Regular Ruim Muito Ruim Tabela 4 - Escala para a avaliação do Desempeho do Curso Defiição das categorias de classificação: por motivo de simplificação, este modelo sugere-se que sejam defiidas 5 categorias de classificação (A, B, C, D, E) em ordem decrescete de preferêcia, delimitadas por valores fictícios do desempeho da alterativa X, deotado por DX. A tabela 5 apreseta estas categorias, o coceito associado a cada uma destas e seus respectivos limites. Categorias Limites Coceitos A 4,50 DX 5,00 Muito Bom B 4,00 DX < 4,50 Bom

10 0 C 3,00 DX < 4,00 Regular D 2,00 < DX < 3,00 Ruim E,00 DX 2,00 Muito Ruim Tabela 5 - Categorias e limites Julgameto: através do preechimeto de um formulário de pesquisa, cada avaliador deverá estabelecer a importâcia de cada um dos critérios (detre os valores estabelecidos pela tabela 3) e o desempeho do Curso X à luz de cada um destes critérios (detre os valores apresetados a tabela 4). Se por um lado o formulário deverá coter todos os critérios cosiderados, por outro lado este ão deve ser excessivamete exteso de forma a desestimular o preechimeto do mesmo. Os dados forecidos por cada avaliador serão agregados através de ídices, que serão apresetados a etapa seguite. Agregação dos julgametos quato ao desempeho do curso: esta etapa, o modelo em questão estabelece o ídice de desempeho DX Ai, que represeta o desempeho do Curso X à luz de todos os critérios, segudo os julgametos do aluo A i. Este ídice será determiado pela equação (): DX A i j= = w g ( X ) j= w, ode: () - w é a importâcia (peso) de cada critério g j, j =, 2,...,, defiido pelo aluo A i, i =,..., p. - g (X) é o desempeho do Curso X, defiido pelo aluo A i, à luz de cada critério j; Em outras palavras, uma vez com o ídice DX A i já calculado, é possível determiar o coceito e a categoria de classificação à qual o Curso X será atribuído (de acordo com os valores do quadro 4), segudo os julgametos do aluo A i. Apesar do julgameto de cada aluo ser uma iformação importate, a maioria das vezes é ecessário obter uma medida úica e represetativa de todos os aluos. Ou seja: é ecessário determiar o desempeho do Curso X à luz de todos os critérios e sob o poto de vista de todos os p aluos avaliadores (ídice desempeho global do Curso sob a ótica dos aluos). Este ídice será obtido através da agregação dos julgametos idividuais destes aluos, segudo a equação (2): DX p i= j= A= p w g ( X ) i= j= w (2) De maeira aáloga ao procedimeto utilizado para tratar dos dados correspodetes aos julgametos dos aluos, as equações (3) e (4) determiam, respectivamete, o desempeho do Curso X sob a ótica do professor P i e o desempeho do Curso sob a ótica de todos os professores.

11 DX P i DX P j= = q w g ( X ) j= i= j= = q w w g ( X ) i= j= w (3) (4) ode:..., q. - w é o grau de importâcia (peso) de cada critério g j, j =,...,, defiido pelo professor P i, i =, - g (X) é o desempeho do Curso X, estabelecido pelo professor P i, à luz de cada critério j; A partir da determiação dos ídices de desempeho global DX A e DX P é possível verificar se existe ou ão um coseso etre os julgametos dos professores e dos aluos em relação à Qualidade de Esio do Curso avaliado. Classificação global do esio: em processos de avaliação em Istituições de Esio (processos eleitorais, iclusive), um dos aspectos mais polêmicos cosiste a defiição do grau de importâcia (poderação) do julgameto (voto) dos professores e dos aluos. Com o ituito de cotribuir para o tratameto deste problema, propõe-se que o Desempeho Global do Curso, deotado por seja defiido pela equação (5): DX ( k DX ) + ( k DX ) DX G, A A P P G = (5) k A + kp Na equação 5, as costates k A e k P represetam, respectivamete, a cotribuição do julgameto dos aluos e dos docetes o processo de avaliação da Qualidade de Esio. É importate observar que, se for costatado que existe uma desproporcioalidade sigificativa etre o úmero de aluos avaliadores e o úmero de professores avaliadores (em geral há muito mais aluos do que professores avaliado), o julgameto de cada professor terá maior relevâcia o cálculo dos ídices de desempeho do que o julgameto de cada aluo. Neste setido, para evitar trastoros a determiação do ídice global, cabe à Istituição de Esio defiir a priori os valores de k A e k P. agregação dos julgametos quato à importâcia dos critérios: esta seção apresetamse dois ídices que visam classificar os julgametos dos graus de importâcia dos critérios utilizados a pesquisa. As equações 6 e 7 defiem os ídices GIC A e GIC P, que represetam, respectivamete, o grau de importâcia dos critérios sob a ótica dos p aluos e o grau de importâcia dos critérios sob a ótica dos q docetes. GIC A = p i= j= w p (6)

12 2 GIC P = q i= j= w q (7) Após o cálculo destes ídices, deve-se compará-los com os limites das categorias defiidos a tabela 5 para determiar em que categoria os julgametos dos graus de importâcia dos critérios (sob a ótica de todos os aluos e todos os docetes) foram atribuídos. Particularmete, recomeda-se que toda a pesquisa seja ivalidada caso qualquer um destes ídices (GIC A e/ou GIC P ) seja atribuído à categoria D ou E (estes coceitos demostram que o cojuto de critérios utilizado ão é suficietemete importate para os avaliadores ou ão retrata adequadamete a Qualidade de Esio). 5. CONSIDERAÇÕES SOBRE A IMPLEMENTAÇÃO DO MODELO Detre as etapas que compõem a estrutura do modelo proposto, a etapa de defiição dos elemetos do problema geralmete é a mais exaustiva e que demada maior tempo de execução. A defiição de quais (ou qual) cursos serão avaliados, quatos serão os avaliadores, quatos (e quais) serão os critérios utilizados e também a forma com que os formulários de pesquisa serão aplicados, a maioria das vezes, são os aspectos que geram mais dúvidas e discussões esta etapa. É importate a busca de um coseso de opiiões para que o modelo seja efetivamete empregado. Outro aspecto importate a ser cosiderado é a atureza do problema de avaliação e classificação da Qualidade. Em geral, problemas desta atureza evolvem julgametos subjetivos ieretes ao processo de mesuração utilizado, ode as imprecisões e icertezas são ampliadas, torado-se muito difícil estabelecer padrões bem defiidos e eficietes este âmbito (Freitas, 200). Mais especificamete, a subjetividade existete os problemas de avaliação da Qualidade decorre pricipalmete devido a dois aspectos: os critérios são predomiatemete qualitativos e subjetivos. Um critério é cosiderado qualitativo quado ão existe uma escala de valor compreesível e precisa para sua mesuração, ecessitado de uma escala auxiliar para sua avaliação (Chakog e Haimes, 982). É quado, por exemplo, deseja-se avaliar a potualidade e a presteza de um professor. as diferetes percepções de cada avaliador a respeito do desempeho do objeto avaliado (por exemplo, um Curso) à luz dos critérios cosiderados. As percepções evolvem diversos aspectos cogitivos, tais como: as expectativas dos avaliadores com o desempeho do objeto, a cofirmação ou ão cofirmação destas expectativas, cosiderações com experiêcias ateriores, etc. (Freitas, 200). Neste cotexto, poder-se-ia dizer que este trabalho busca-se medir o imesurável, o que é uma cotradição. Na realidade, a afirmação mais correta seria: este trabalho busca-se medir variáveis ão tradicioalmete mesuráveis, ou seja, variáveis qualitativas/subjetivas (Freitas, 997). 6. RESTRIÇÕES À IMPLEMENTAÇÃO DO MODELO Sob o poto de vista do gereciameto de uma IES, um procedimeto de auto-avaliação istitucioal deve estar direcioado para a qualidade e para a eficiêcia do esio. Etretato, para que um

13 3 procedimeto desta atureza seja realmete eficaz em seus objetivos, é fudametal que: a direção da Istituição de Esio, o corpo docete e os aluos recoheçam a importâcia deste procedimeto, apóiem o seu desevolvimeto e a sua implemetação, buscado avaliar coscietemete os resultados obtidos. Caso cotrário, os formulários poderão ser respodidos de forma displicete (obteção de iformações icompletas ou icosistetes), os julgametos poderão ser tedeciosos (por exemplo, docetes que ão acreditam o comprometimeto da IES poderão a emitir julgametos excessivamete positivos), resultados egativos poderão ser utilizados com o ituito de pealizar professores, etc; exista uma equipe/comissão desigada para coordear e implemetar o procedimeto. Em especial, é recomedável que esta equipe seja composta por pessoas pertecetes a uma Coordeação de Esio (ou Gerêcia de Esio) e ão sejam professores ou coordeadores de curso, ão estado assim submetidas ao processo de avaliação em questão; e a idetificação dos avaliadores seja optativa. Este fato permite que o avaliador opie sem a ifluêcia de fatores exteros. Em geral, avaliações deste tipo são mais realistas e siceras. De forma mais explícita, a implatação de um modelo de auto-avaliação istitucioal requer um repesar de todas as pessoas evolvidas (a IES, professores, fucioários e also) a respeito da importâcia da qualidade do esio para o crescimeto da istituição, para o fortalecimeto do cohecimeto dos aluos (e também dos professores e fucioários) e, cosequetemete, para o desevolvimeto do País. 7. CONCLUSÕES Atualmete ão mais se discute a importâcia e a ifuêcia da educação o desevolvimeto de um País. Ao passo em que estimula-se a dissemiação do cohecimeto à sociedade, pricipalmete verificada através da expasão do úmero de Cetros Uiversitários e do aperfeiçoameto do corpo docete (cursos de mestrado e doutorado), é imprescidível assegurar a qualidade do esio forecido por estes Cetros. Buscado cotribuir para a cotiuidade e aprimorameto das pesquisas focadas os sistemas de avaliação do esio, este trabalho propôs a estruturação do processo de auto-avaliação das IES, cosiderado a opiião do corpo docete e discete. Acredita-se que a execução de um procedimeto de auto-avaliação, origiado do processo proposto, permita idetificar previamete deficiêcias que somete seriam detectadas as avaliações realizadas pelo MEC. A implemetação das equações matemáticas apresetadas o modelo de auto-avaliação proposto permite obter a classificação dos julgametos de cada aluo (e de cada professor), a classificação do grupo de aluos (e de professores), e também a classificação global dos julgametos (agrupameto dos julgametos de professores e aluos). Detre outros aspectos, este modelo pode cotribuir para a idetificação e moitorameto dos critérios ode o desempeho do Curso avaliado (e possivelmete da Istituição de Esio) podem estar deixado a desejar, sob o poto de vista de professores e aluos. Diversos modelos e metodologias foram desevolvidos para tratar de problemas desta atureza. Etretato, em geral, estes modelos evolvem uma modelagem matemática mais refiada e também mais complexa, cuja estruturação ão é de tão fácil etedimeto para a maioria dos avaliadores e decisores. Em

14 4 cotrapartida, o modelo proposto apreseta uma modelagem matemática de grade acessibilidade que, uma vez associado ao emprego de técicas estatísticas, propiciam resultados (idicadores) de fácil iterpretação. Etretato, o modelo proposto iicialmete ão pretede ser cosiderado como um padrão para a avaliação da Qualidade de Esio de IES. Em especial apeas pretede ressaltar a importâcia da avaliação itera da Qualidade do Esio (procedimeto de auto-avaliação istitucioal), ode as avaliações sob o poto de vista de professores e aluos represetam uma fote de iformações de grade relevâcia. Não obstate, é importate ressaltar que um procedimeto de avaliação desta atureza somete atigirá eficazmete seus objetivos se este for implemetado de forma ordeada e criteriosa. 8. BIBLIOGRAFIA ALBRECHT, K., BRADFORD, L.J. (990) The Service Advatage, Richard Dow Joes Irwi, Ic. CAMPOS, V.F. (994) TQC - Cotrole da Qualidade Total, 5. a edição, Belo Horizote: Editora QFCO, 229p. CASTRO, M. H. G. (998) - Avaliação do sistema educacioal brasileiro: tedêcias e perspectivas. Brasília: Istituto Nacioal de Estudos e Pesquisas Educacioais. 6p. CHANKONG V.; HAIMES, Y. (982) Multiobjective Decisio Makig. North-Hollad Series i System Sciece ad Egieerig. FREITAS, A.L.P., RODRIGUES, S.G. (2003) A Estruturação do Processo de Auto-avaliação de IES: Uma Cotribuição Para a Gestão Educacioal, Aais do XXIII ENEGEP Ecotro Nacioal de Egeharia de Produção, Ouro Preto/MG/Brasil. FREITAS, A. L. P. (200) Uma metodologia multicritério de subordiação para classificação da qualidade de serviços sob a ótica do cliete. Campos dos Goytacazes; p. Tese (Doutorado). CCT/UENF. FREITAS, A. L. P. (997) Emprego de uma abordagem multicritério a avaliação e classificação da qualidade de serviços. Campos dos Goytacazes. 09p. Tese (Mestrado) Cetro de Ciêcia e Tecologia da UENF. FREITAS, A. L. P. e COSTA, H. G. (2000) Uma Aálise Multicritério para Classificação de Cadidatos a Programas de Pós-Graduação. I: X CLAIO - CONGRESO LATINO IBEROAMERICANO DE INVESTIGACIÓN DE OPERACIONES Y SISTEMAS. Ciudad de México. Aais. México. HAYES, B.E. (992) Measurig Customer Satisfactio Developmet ad Use of Questioaires, ASQC. INEP (2002) Maual de Avaliação Istitucioal Cetros Uiversitários. Versão prelimiar. KEENEY, R. L., RAIFFA, H. (989) Decisios With Multiple Objectives: Prefereces ad Value Tradeoffs, Joh Wiley Ad Sos. MATTAR, F. N. (996) Pesquisa de Marketig. São Paulo: Editora Atlas. SUMMERS, D.C.S. (2000) Quality, Pretice Hall, secod editio, ISBN TROCHIM, W. M (2000). The Research Methods Kowledge Base, 2d Editio. Iteret WWW page, at URL: < (versio curret as of August, 2000).

15 5 9. APÊNDICE Área: Cotribuições Qualidade AMD Estatística - utilização da técica do braistormig etre aluos, professores e fucioários da admiistração da IES, com o objetivo de defiir os critérios mais relevates para a qualidade do esio superior. - cosideração do coceito de Mometos da Verdade, que represeta o istate em que o cliete etra em cotato com qualquer aspecto da orgaização e, de acordo com esse cotato, ele pode formar sua opiião a respeito da qualidade do serviço (ALBRECHT E BRADFORD, 990). Neste setido, a atividade de esio é cosiderada como um Serviço que é forecido pela IES, ode docetes e discetes são cosiderados clietes; - emprego do diagrama de Ishikawa (diagrama de causa-e-efeito) para determiar as causas das ão-coformidades (ou isatisfação) com os serviços forecidos pela IES (Summer, 2000); - emprego da técica do braistormig para defiir as ações corretivas para serem implemetadas, detre outras. - utilização da aálise de Pareto para priorizar a tomada das ações corretivas que atuam as causas dos problemas. - defiição dos critérios de avaliação: segudo Keeey e Raiffa (989), o cojuto de critérios deve ser: míimo (a complexidade de solução do problema deve ser míima), ão redudate (iexistêcia de duplicidade de cosequêcias), completo (os critérios utilizados devem torar a aálise mais próxima possível do problema decisório real), decompoível (o problema pode ser decomposto em subproblemas) e operacioal (os critérios devem ser de fácil etedimeto); - defiição das escalas de avaliação: as escalas devem ser capazes de captar do avaliador sua opiião real a respeito do objeto avaliado à luz dos critérios ; - defiição do procedimeto de agregação dos julgametos: em um problema decisório com múltiplos avaliadores e múltiplos critérios, é ecessário estabelecer um ídice de desempeho global que icorpore todos os julgametos à luz de todos os critérios. As metodologias fudametadas o AMD buscam tratar das imprecisões e icertezas ieretes aos processos de avaliação desta atureza (FREITAS, 200); - defiição do procedimeto de classificação: o problema de classificação multicritério é um problema decisório, ode um ídice de desempeho global deve ser atribuído a uma das categorias de classificação pré-estabelecidas. - coleta, agrupameto e apresetação dos dados coletados (tabelas e gáficos); - estudo do comportameto da distribuição dos julgametos relativos a cada período de amostragem; e - Verificação da validade e cofiabilidade do formulário de pesquisae da amostra. Tabela Áreas do cohecimeto e suas cotribuições

16 Cotactar Revista Iberoamericaa de Educació Pricipal OEI