IMPLEMENTAÇÃO DE UM DATA WAREHOUSE PARA UM SISTEMA DE AVALIAÇÃO INSTITUCIONAL ESTUDO DE CASO DA UNIVERSIDADE DO VALE DO ITAJAÍ

Transcrição

1 IMPLEMENTAÇÃO DE UM DATA WAREHOUSE PARA UM SISTEMA DE AVALIAÇÃO INSTITUCIONAL ESTUDO DE CASO DA UNIVERSIDADE DO VALE DO ITAJAÍ Nilmar de Souza, Bel. 1 Luis Carlos Martins, Esp. 3 nilmar@univali.br luca@inf.univali.br José Leomar Todesco, Dr. 2 todesco@sj.univali.br 1 Universidade do Vale do Itajaí UNIVALI Pró-Reitoria de Ensino Coordenadoria de Avaliação Institucional Rua Uruguai, 458 Centro Itajaí - SC 2 Universidade do Vale do Itajaí UNIVALI Centro de Educação de São José Rodovia SC 407 Km 4 Bairro Sertão do Maruim São José - SC 3 Universidade do Vale do Itajaí UNIVALI Centro de Educação de Ciências Tecnológicas da Terra e do Mar CTTMar Curso de Ciência da Computação Rua Uruguai, 458 Centro Itajaí - SC RESUMO Este artigo apresenta descrições e reflexões sobre Sistemas de Apoio à Decisão e Data Warehouse, dentro do programa de Avaliação Institucional da UNIVALI, como um mecanismo de captação de informações gerenciais, relacionadas ao programa de avaliação e de fornecimento de elementos para a tomada de decisão de gestores do ensino da Universidade. Neste trabalho, foi desenvolvido um Data Mart para atender as necessidades de informações gerenciais, relacionadas à etapa de avaliação de desempenho docente, utilizando-se, para desenvolvimento e apresentação dos resultados, as ferramentas de Data Warehouse e OLAP do gerenciador de banco de dados Microsoft SQL Server. Palavras-chave: Sistemas de Apoio à Decisão, Data Warehouse, Avaliação Institucional.

2 ABSTRACT This article presents descriptions and reflections on Decision Support System and Data Warehouse, in the UNIVALI s Institutional Evaluation Program as a reception mechanism of management information, related to the evaluation program and supply elements in decision taking of the Univisertiy s teaching administrators. In this work it was developed a Data Mart, in order to assist the information management needs, related to teaching evaluation stage, being used for development and results presentation of Data Warehouse tools and OLAP database manager Microsoft SQL Server. Key-words: Decision Support Systems, Data Warehouse, Institutional Evaluation. 1 INTRODUÇÃO O Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), implantado e coordenado a partir de 1993 pela Secretaria de Ensino Superior do Ministério da Educação e Cultura - SESu/MEC, atualmente conta com aproximadamente 130 universidades inscritas e tem por objetivo estimular a adoção de processos qualificados de avaliação institucional em todas as Instituições de Ensino Superior IES (MEC, 2001). O programa tem o compromisso de tornar público os resultados e de servir de subsídio para o estabelecimento de estratégias inerentes ao próprio processo de Avaliação Institucional e à melhoria da qualidade da instituição. Cada instituição implementa o processo avaliativo que melhor atende às suas características e expectativas, segundo sua fisionomia. Também consegue oferecer elementos para tomada de decisão, e quando não consegue, reduz seu alcance, evidenciando assim uma relação entre avaliação e gestão da universidade. Os dados produzidos pela avaliação, quando captados, podem produzir um banco de informações suficiente para apoiar um gestor da universidade, a conduzir estudos diferenciados. Neste sentido, este artigo apresenta a Avaliação Institucional dentro da Universidade do Vale do Itajaí tendo como eixo a relação com a gestão do ensino e o fornecimento de elementos para a tomada de decisão. Esta decisão é abalada quando não se têm mecanismos apropriados de captação e auxilio na resolução de problemas. Com o auxílio de um Sistema de Apoio à Decisão, e tecnologias como o Data Warehouse, o gestor dispõe de mecanismos que lhe proporcionam um ambiente para encontrar as informações que precisa, interagir sobre estas e auxiliar nas suas decisões. Apresentamos um ambiente destes para atender as necessidades da Avaliação Institucional em relação ao seu programa de avaliação de desempenho docente.

3 Esforços neste sentido têm sido implementados dentro da área do ensino de uma maneira geral, utilizando Sistemas de Informações para auxiliar no processo de tomada de decisão. GARDNER (1998) relata sobre um pacote de sistemas desenvolvidos para auxiliar no planejamento do ensino, porém as necessidades de informações tinham que ser previamente determinadas as empresas que comercializavam o produto. STUFFLEBEAM e WEBSTER (1998) relatam que KAUFMAN (1969) havia escrito muito sobre o uso desses sistemas na educação, e apontava como uma grande vantagem à possibilidade que os gestores teriam em usar informações para planejar, monitorar e controlar operações complexas. Kaufman apontou como dificuldade, o fato de não se poder definir antecipadamente que perguntas eles gostariam que estes sistemas respondessem. Em face dessas dificuldades é que começaram a surgir também na área de ensino pesquisas aplicando o data warehouse como apoio à tomada de decisão. Domenico (2001) propõe o uso de um Sistema de Apoio à Decisão baseado em um Data Warehouse voltado à área da gestão acadêmica em IES, para disponibilizar dados das diferentes unidades que compõem a estrutura organizacional. VIEIRA (2001) sugere a aplicação de Sistemas de Apoio à Decisão com Data Warehouse, Data Mining ou outros para coletar e analisar dados dos cursos de nível superior de Educação a Distância, e assim fornecer resultados que permitam monitorar o processo ensino/aprendizagem, identificando problemas ocorridos e a qualidade dos serviços oferecidos pelas instituições de ensino. 2 O PROCESSO DE AVALIAÇÃO INSTITUCIONAL NA UNIVALI Seguindo as diretrizes gerais do PAIUB, a Universidade do Vale do Itajaí - UNIVALI começou a implantar a partir de setembro de l993, seu processo de avaliação com a criação da Comissão de Avaliação Institucional. Em seu primeiro compromisso realizou um diagnóstico geral da Universidade em termos quantitativos e qualitativos. Esta pesquisa reuniu opiniões e sugestões da comunidade acadêmica que serviram como início da primeira avaliação de desempenho. Foram identificados êxitos e problemas apontados por professores, funcionários e alunos. Os resultados oportunizaram muitas decisões importantes para a Universidade (UNIVALI, 2000).

4 Em termos quantitativos, a avaliação envolve levantamento de dados sobre alunos, professores, pessoal técnico-administrativo e dados de infra-estrutura e apoio. Na UNIVALI, a principal etapa do programa é a Avaliação de Desempenho Docente e Discente, realizada anualmente junto aos cursos de graduação. Seus objetivos básicos são melhorar o desempenho do corpo docente, desencadear um contínuo redimensionamento na abordagem das disciplinas coerente com a qualidade de ensino, identificar o desempenho e envolvimento do professor pela sua autoavaliação e avaliação pelos alunos como também o perfil dos alunos através da auto-avaliação e avaliação feita pelos professores. A captação de informações é feita por um Sistema de Informação que processa os dados desta etapa, possibilitando através de seus inúmeros relatórios conduzir gestores de ensino a estudos diferenciados como: estudos de tendências, análises estatísticas, etc; no sentido de fornecer subsídios para compor um quadro para a melhoria da universidade. Na maioria das vezes, essas informações não são suficientes para uma decisão, onde se faz necessário acessar outras informações que podem ser tanto internas da Universidade como externas. Também se faz necessário no momento da decisão informações históricas, que neste caso seriam etapas de avaliação anteriores. Atualmente, as principais fontes de informações aos gestores de ensino são: - Avaliação Institucional: gera resultados do desempenho de professores, alunos e infraestrutura dos cursos de graduação; - Sistema de Credenciamento Docente: Sistema de informação da Pró-Reitoria de Ensino, responsável pelas informações de cadastrado dos professores (titulação, carga-horária, etc); - Sistema Acadêmico: Sistema de Informação dos cursos de graduação, responsável por informações dos alunos, tais como matrícula, notas, aproveitamento de estudos, freqüência, etc. - MEC: fonte de informações externas, onde atualmente, destacam-se as avaliações das comissões de especialistas e o Exame Nacional de Cursos ( Provão ). Por vezes, no momento da tomada de decisão, onde diversas informações são captadas, que o gestor sente-se acuado, principalmente se não possui meios eficazes de reunir todas as

5 informações que necessita, ficando impossibilitado de conduzir algum tipo de análise para a tomada de decisões. Este, muitas vezes, precisa interagir com questões difíceis de responder, onde não há respostas simples, exigindo dele muita capacidade, inclusive de bom senso. Um gestor precisa da informação disponível no momento certo, de tal forma que para melhor tomada de decisão possa interagir sem muito esforço. Para isso necessitam de um Sistema de Informação, só que um sistema especial de informação, que os auxilie a encontrar as respostas para suas questões e os ajudem a solucionar seus problemas. Através de um sistema de apoio á decisão, a informática provê meios e tecnologias que podem ser extremamente úteis no processo de tomada de decisão, podendo disponibilizar informações estratégicas de uma empresa de forma interativa, rápida e segura, possibilitando a integração de várias fontes de dados distintas. 3 SISTEMAS DE APOIO À DECISÃO Um Sistema de Suporte Gerencial dá suporte ao gerenciamento de uma empresa, com dados estruturados, sintéticos, com funções de integração e trabalhados de forma a dar somente as informações necessárias para o usuário final (CAUTELA, 1997). Trata-se de uma evolução dos Sistemas de Informações, cuja função é dar suporte a função operacional da empresa, que com base no seu desempenho, são referenciados como sistemas operacionais ou OLTP (On-line Transaction Processing), por serem dinâmicos, trabalham com dados no tempo presente, pequeno volume de dados e com pouco acesso aos registros. Os níveis de decisão obedecem à hierarquia existente na empresa, que diferem entre si nos interesses e pontos de vista, onde os sistemas de informação atuam para resolverem os diferentes tipos de necessidades. Essa estrutura hierárquica é mais conhecida como Nível Estratégico, Tático e Operacional. Os primeiros sistemas de suporte gerencial são os Sistemas de Informações Gerenciais SIG, que trabalham com dados estruturados, sintéticos, de forma a dar somente as informações necessárias para o usuário final. Oferecem relatórios resumidos de rotina sobre o desempenho da empresa e são utilizados para monitorar e controlar a empresa e as metas estabelecidas. Eles auxiliam o papel informativo dos gerentes ajudando a monitorar o desempenho atual da empresa,

6 possibilitando que os gerentes intervenham quando as atividades não estiverem indo bem. Em geral são úteis na manipulação de problemas rotineiros, repetitivos e bem estruturados (LAUDON, 1999). Os Sistemas de Apoio à Decisão - SAD, são sistemas que realizam processamento analítico e provêm informações necessárias ao usuário, permitindo a análise de situações e a tomada de decisões, dependendo da amplitude atende necessidades estratégicas ou táticas, onde as decisões ocorrem após a análise de grande quantidade de dados (PEREIRA, 1999). São utilizados para resolução de problemas não-estruturados ou semi-estruturados, em que somente algumas partes dele têm uma resposta definida (STAIR, 1999). Um SAD apresenta características de interatividade (sob controle do usuário), apresentação e relatórios nas formas textual e gráfica, análises estatísticas avançadas, simulações, etc. São conceitualmente diferentes de um SIG, pois são mais flexíveis e podem auxiliar ao tomador de decisão em uma série de situações (LAUDON, 1999), apresentada na Figura 1. SIG Gera resumos de transações básicas e exceções relativas ao planejado Utiliza ferramentas analíticas simples Soluciona problemas estruturados e repetitivos Produz relatórios de rotina SAD Fornece dados e modelos para tomada de decisão Utiliza ferramentas sofisticadas de análise e modelagem Soluciona problemas semiestruturados Fornece respostas interativas para questões não rotineiras Figura 1: Diferenças entre um SIG e um SAD. Fonte: LAUDON (1999, p.354) Os Sistemas de Informações Executivas ou Executive Information System - EIS, são o terceiro tipo de sistema de suporte gerencial, voltados especificamente para serem utilizados pelos administradores de mais alto nível, apresentando análises prospectivas e de tendência (INMON, 1997). A característica básica desses sistemas é dar suporte à função de planejamento estratégico de uma empresa, para qual o cronograma é de longo prazo. Tais atividades envolvem questões em aberto e consideravelmente não estruturadas, além de decisões referentes a eventos futuros imprevisíveis. Geralmente requerem grande volume de informações do ambiente externo da empresa.

7 Sistemas de Informações Gerenciais e Sistemas de Apoio à Decisão Sistemas de Informações Executivas Planejamento diário/mensal/anual Cronograma de curto prazo Informações internas Decisões estruturadas ou semi-estruturadas Planejamento estratégico Cronograma de longo prazo Informações externas Decisões não-estruturadas Figura 2: Os Três Tipos Gerais de Sistema de Suporte Gerencial. Fonte: LAUDON (1999, p.348) 4 BANCO DE DADOS - DATA WAREHOUSE A partir das necessidades de se tomarem decisões rápidas e precisas, foram desenvolvidas tecnologias de banco de dados que apoiam o ambiente dos Sistemas de Apoio à Decisão, onde se situa o Data Warehouse - DW. É possível observar uma diversificada de definições sobre Data Warehouse referenciadas por autores como INMON (1997), GRAY (1998), POE (1998), KIMBALL (1996), entre outros. Analisando-as pode-se concluir que Data Warehouse é um sistema de banco de dados separado dos sistemas OLTP, usado como base para o SAD, provendo acesso as informações usadas na tomada de decisão. Seu banco de dados possui características de ser somente leitura, armazenar grande volume de informações, muitas históricas e capacidade de integração. Sua arquitetura resumida de funcionamento consiste de um processo em que os dados são inicialmente extraídos dos sistemas operacionais ou de fontes externas, posteriormente integrados ou transformados (limpos, eliminados, combinados, validados, consolidados, agregados e sumarizados) antes de serem carregados no Data Warehouse (PEREIRA, 1999). Trata-se de um banco de dados que exerce processamento analítico de dados - OLAP, onde as informações não são atualizadas continuamente, mas armazenadas como um registro histórico, temporal, e por isso os dados adquirem as características de serem somente de leitura e não-voláteis. As ferramentas OLAP proporcionam consultas e apresentação dos dados com maior flexibilidade para o usuário (KIMBALL, 1998a). Os sistemas de Data Warehouse oferecem suporte no armazenamento de dados dos tipos MOLAP, ROLAP E HOLAP. De maneira geral, MOLAP é um tipo de armazenamento em que os

8 dados são armazenados em um banco de dados multidimensional, otimizados para apresentarem alta velocidade e facilidade de resposta às consultas. ROLAP usa os banco de dados relacionais para armazenar dados, mas com características dimensionais, onde os dados não devem ser duplicados. HOLAP combina as melhores características dos tipos ROLAP e MOLAP, de modo a apresentar um melhor desempenho e extensiva escalabilidade (PEREIRA, 1999). A granularidade é o nível de detalhes dentro de um banco de dados do DW (INMOM, 1997). É uma das principais questões a serem levadas em consideração em um projeto de DW (KIMBALL, 1998a), pois refletirá diretamente sobre o volume de dados armazenado, o tipo de informações que poderão ser obtidas e o esforço computacional necessário para a obtenção das informações desejadas (PEREIRA, 1999). Um Data Mart - DM, é um Data Warehouse de pequena capacidade usado para atender especificamente um departamento da empresa ou uma unidade do negócio, mas com as mesmas características do DW, porém com mais rapidez na implementação, custo reduzido, controle local e tempo de resposta menor. Pode ser usado para um projeto limitado a uma área de negócio, até mesmo como oportunidade de aprendizado, visando futura integração em um projeto global (POE, 1998). Deve-se planejar o desenvolvimento de Data Marts independentes para não acarretar a fragmentação de dados de uma organização e inibir a utilização de informações de forma integrada na corporação, construindo um esquema geral e padronizado, o que permitirá sua futura integração em um empreendimento único (GRAY,1998). Também é possível a implementação do conceito Data Warehouse Bus, onde o objetivo é construir um esquema geral e padronizado de tabelas dimensão e tabelas fato, chamadas de tabelas conformadas. Para modelagem do banco de dados, utiliza-se a Modelagem Dimensional, que é uma técnica de projeto lógico que busca apresentar os dados em uma estrutura padronizada, intuitiva e permite alto desempenho de acesso, específico para suportar processamento analítico. A idéia fundamental é que quase todos os tipos de dados podem ser representados por um tipo de cubo de dados, onde as células deste cubo contêm valores medidos e os lados do cubo definem as dimensões dos dados. Pode-se ter mais três dimensões, tecnicamente chamado de hipercubo, apesar de

9 normalmente os termos cubo e cubo de dados serem usados como sinônimo de hipercubo (KIMBALL, 1998a). Para o projeto de banco de dados de um Data Warehouse existem dois tipos principais de estruturas ou esquemas habitualmente utilizados: o esquema estrela (star schema) e o esquema floco de neve (snowflake schema) (PEREIRA, 1999). Apesar de haver algumas variações nestes esquemas, existem basicamente dois tipos de tabelas: Tabelas Fato: essa tabela armazena grande quantidade de dados (de gigabytes a terabytes), possuem chaves primárias compostas, contêm as medições do negócio, denominadas fatos e modificam-se a cada combinação de atributos das tabelas dimensão (KIMBALL, 1998b). Tabelas Dimensão: essas tabelas são simétricas em relação à tabela fato, normalmente possuem uma chave primária simples, que corresponderá exatamente a uma chave estrangeira na tabela fato e campos denominados atributos; armazenam pequena quantidade de dados que contêm os dados descritivos do negócio (KIMBALL, 1998b). Segundo KIMBALL (2000), espera-se que os repositórios de arquivos tornem-se disponíveis também pela Web, incluindo banco de dados, planilhas, textos não-estruturados, ao mesmo tempo em que devemos classificar todas as questões de segurança e de confidencialidade relativas à proteção e à disseminação adequada de toda essa informação. Essa revolução também impulsionou o Data Warehouse para o centro do palco, para ser o motor que controla ou analisa a experiência da Web. A fim de estar emparelhado com esta responsabilidade muito maior, o Data Warehouse deve ser ajustado. Sua natureza precisa ser um tanto diferente do que foi na década passada. KIMBALL chama esse renascimento do Data Warehouse de Data Webhouse (KIMBALL, 2000). 5 MODELO PROPOSTO Com base no enfoque apresentado em seções anteriores, ficou evidente a afinidade de um Data Warehouse, em termos de necessidades de informação, com os tomadores de decisão, por possibilitar ao gestor trabalhar com informações integradas e históricas, e propiciar diversos métodos de análises.

10 Neste trabalho propomos a construção de um Data Mart, com o objetivo de atender a Avaliação Institucional, gestora do ensino, provendo acesso a algumas informações analíticas vinculadas ao desempenho dos professores. Para tanto, procurou-se estruturar o sistema para subsidiar nas respostas de alguns questionamentos de interesse do setor, entre eles: 1. Os professores com maior carga-horária no ensino têm um bom desempenho? 2. Qual a relação entre a titulação do professor e o desempenho docente? 3. Os alunos reprovados estão avaliando bem ou mal seus professores? 4. Qual a relação do perfil do aluno (sexo e faixa etária) na avaliação do desempenho do professor? Nessa fase de levantamento de requisitos constatou-se a necessidade de outras informações para auxiliarem na tomada de decisão, além das captadas no processo de avaliação de desempenho. Essas informações estavam armazenadas nos sistemas de Credenciamento Docente e Acadêmico, sendo que a integração com o banco de dados do sistema de informação existente no setor dificilmente seria implementado. Todas as análises e etapas do desenvolvimento do DM envolveram as pessoas responsáveis pelos sistemas mencionados acima e a equipe da Avaliação Institucional. Posteriormente, buscou-se identificar as tabelas e atributos dos sistemas envolvidos, a forma de integração, as agregações desejadas e a exportação para o banco de dados analítico. A análise de requisitos de informação resultou na construção das tabelas de dimensão e de fatos de maneira que fosse possível verificar o desempenho individual do professor nas disciplinas que lecionava. A Figura 3 apresenta uma visão destas tabelas feitas a partir da modelagem dimensional. Para responder aos questionamentos, decidiu-se pela granularidade na tabela de fatos que possa mensurar o desempenho do professor por curso, disciplina, turma, critério de avaliação e período letivo. Na modelagem dimensional foi planejada também uma agregação sem a dimensão critério para facilitar as consultas que avaliam o desempenho geral dos professores.

11 Auto-Avaliação do Professor NEGÓCIO Avaliação de Desempenho Desempenho Docente PROCESSO DO NEGÓCIO GRÃO Dimensões Desempenho Individual Curso Disciplina Professor Critério Turma Período Letivo Fatos média por critério desvio padrão nº avaliações etc... Figura 3: Visão das Tabelas Dimensão e Tabela de Fatos para o Data Mart Na etapa do projeto físico, foi inicialmente analisado o banco de dados do sistema atual, implementado no MS Access 97, onde constatou-se não ser adequado às exigências de um sistema gerenciador de banco de dados ideal para o sistema de apoio à decisão proposto. Optou-se por trabalhar com o Microsoft SQL Server 7, por oferecer diversas funcionalidades para um Data Warehouse, incluindo o DTS (Data Transformation Services) e os servidores OLAP, ROLAP e HOLAP, ficando o Access somente para a área de transição dos dados, construção das agregações e auxílio no processo de transformação dos dados antes da carga para o banco de dados definitivo no MS SQL Server. Embora a construção e armazenamento dos dados do modelo dimensional tenham se utilizado do banco relacional do MS SQL Server, optou-se pelas facilidades dos serviços OLAP do MS SQL Server 2000, por proporcionar a construção do cubo de dados através das tabelas de fatos e dimensões, favorecendo a análise multidimensional. Os serviços OLAP do MS SQL Server 2000 possuem integração com a planilha eletrônica MS Excel 2000 e componentes como o Analysis Manager que permite acessar e administrar o servidor OLAP. 6 APRESENTAÇÃO DOS RESULTADOS Neste trabalho foram criadas fatias do cubo de dados para facilitar a visualização e análise dos fatos mensuráveis. Utilizou-se também a linguagem MDX (Multidimensional Expressions) para construir fórmulas para algumas mensurações. As visões permitiram visualizações com o drill-down e drill-up, ou seja, explorar os dados através de níveis de detalhamentos, além de permitir a troca de cabeçalhos para analisar diferentes visões das informações. A Figura 4 apresenta uma tela dos resultados alcançados, onde se podem visualizar a estrutura do cubo no lado esquerdo e os dados mensuráveis do lado direito.

12 Figura 4: Visão da Estrutura do Cubo de Dados do Data Mart Não foram utilizadas as facilidades de gráficos do MS Excel 2000 em virtude de que para este trabalho a análise dos dados em forma de tabelas foi suficiente para a validação do Data Mart. 7 CONCLUSÕES Os objetivos deste trabalho foram plenamente alcançados, uma vez que as informações extraídas foram suficientes para responder aos questionamentos identificados. Os resultados mostraram a viabilidade de se desenvolver um sistema em data warehouse para um processo de Avaliação Institucional. Este ambiente traz agilidade no processo de tomada de decisão, pois todas as informações sobre o docente estão disponíveis a partir de um mesmo repositório, garantindo a fidedignidade dos dados. A redução do tempo para se obter, preparar e consultar todas essas informações é um outro fator de sucesso para o sistema. O MS SQL Server 2000, em suas diversas funcionalidades, mostrou-se como um ambiente adequado para o armazenamento, gerenciamento do Data Warehouse e análise das informações, através de técnicas que permitem se aprofundar em níveis de detalhes das consultas. A partir desta experiência nota-se que novas consultas certamente surgirão, apontando para o uso freqüente deste ambiente. Então será possível a aplicação de outras técnicas de apoio à decisão, Data Mining por exemplo, para descobrir comportamentos ou tendência nos dados. Podese avaliar outras ferramentas com características de Front-End, com interface para geração de

13 gráficos, em que o aplicativo MS Excel 2000 poderia ser uma alternativa, além de soluções para um acesso direto pela Internet. Este trabalho prevê a continuidade, podendo ser implementados outros data marts visando atender às diversas necessidades de informações para apoiar os gestores da universidade, em especial daqueles vinculados com a educação superior, de forma a manter uma integração mais forte com o sistema acadêmico e uma consolidação com informações externas à universidade. Maiores estudos deverão ainda ser realizados, principalmente aqueles relacionados a análise dos dados. 8 REFERÊNCIAS BIBLIOGRÁFICAS CAUTELA, A. L. et al. MIS Management Information Systems A Estratégia da Informação. 2ª ed. São Paulo: Thema Editorial, DOMENICO, J. A. D. Definição de um Ambiente Data Warehouse em uma Instituição de Ensino Superior. Dissertação (Mestrado em Engenharia de Produção), UFSC, GARDNER, D. E. Cinco Estruturas de Avaliação: Implicações para Decisões em Educação de Nível Superior. Avaliação Institucional Leituras Complementares. Volume 6. Brasília: Universidade de Brasília, Instituto de Educação Superior de Brasília (distribuidor): GRAY, P.; WATSON, H. J. Decision Support in the Data Warehouse. New Jersey: Prentice Hall PTR, INMON, W. H. Como Construir o Data Warehouse. Rio de Janeiro: Campus, KIMBALL, R. The Data Warehouse Toolkit. Practical Techniques for Building Dimensional Data Warehouse. New York: John Wiley & sons, Inc., KIMBALL, R. et al. The Data Warehouse Lifecycle Toolkit: Expert Methods for Designing, Developing, and Deploying Data Warehouses. New York : John Wiley & sons, Inc., 1998a. KIMBALL, R. Data Warehouse Toolkit. São Paulo: Makron Books, 1998b. KIMBALL, R.; MERZ, R. Data Webhouse. Construindo o Data Warehouse para a Web. Rio de Janeiro: Campus, LAUDON, K. C.; LAUDON, J. P. com Internet. 4ª ed. Rio de Janeiro: LTC, 1999a. MEC - Ministério da Educação e Cultura: Acesso em 10/7/2001.

14 PEREIRA, W. Data Warehouse Trabalho Individual II. Pontifícia Universidade Católica do Rio Grande do Sul, Instituto de Informática, Mestrado em Informática. PETKOVIC, D.. SQL Server 7 Guia Prático. São Paulo: Makron Books, POE, V. et al. Building a Data Warehouse for Decision Support. New Jersey: Prentice Hall PTR, STAIR, R. M.; REYNOLDS G. W. Principles of Information Systems A Managerial Approach.3ª ed. Cambridge: ITP, STAIR, R.M.; REYNOLDS G. W. Principles of Information Systems. 4ª ed. Cambridge: ITP, STUFFLEBEAM, D. L.; WEBSTER, W. J. Uma Análise de Abordagens Alternativas de Avaliação. Avaliação Institucional Leituras Complementares. Volume 6. Brasília: Universidade de Brasília, Instituto de Educação Superior de Brasília (distribuidor): UNIVERSIDADE DO VALE DO ITAJAÍ - UNIVALI. Avaliação institucional da UNIVALI: apresentando os primeiros resultados. 2 ed. - Itajaí : UNIVALI, Comissão de Avaliação Institucional, VIEIRA, M. V. G. Proposta de um Modelo de Sistema para Monitoramento da EAD em Cursos de Nível Superior Utilizando Ferramentas de Tecnologia da Informação. Dissertação (Mestrado em Engenharia de Produção), UFSC, 2001.