Aplicação de Estatísticas de Ensino Superior

Transcrição

1 Instituto Politécnico de Beja Escola Superior de Tecnologia e Gestão Curso de Engenharia Informática Disciplina de Linguagens de Programação Aplicação de Estatísticas de Ensino Superior Linguagem: Python Docente: José Jasnau Caeiro Discente: Fábio Miguel Vitória Carreto N.º

2 Conteúdo Capítulo 1 Página 3 Introdução Capítulo 2 Página 5 Análise Teórica Capítulo 3 Página 7 Análise Experimental Capítulo 4 Página 10 Conclusões 2

3 Capítulo 1 Introdução 1.1 Contexto do Trabalho Este trabalho corresponde ao primeiro trabalho da disciplina de Linguagens de Programação, trabalho esse desenvolvido na linguagem de desenvolvimento Python. O objectivo primordial do mesmo consiste no desenvolvimento de uma aplicação que permita a obtenção dos dados presentes no site Rebides (dados correspondentes a informações de docentes e instituições do ensino superior) desde o ano 2000 ao ano 2009 (utilizando o parser BeatifulSoup). Após a obtenção dos dados, estes serão guardados numa base de dados sqlite e a aplicação deverá permitir a execução de algumas estatísticas. A aplicação deve ainda gerar algumas listas a partir desses dados, sendo posteriormente estas guardadas num ficheiro CSV. Deve ser possível a iniciação de um servidor local http através da aplicação, servidor esse que permitirá consultar as listas e estatísticas geradas, sendo ainda que as estatísticas devem ser mostradas num gráfico utilizando para tal a biblioteca matplotlib. Em relação aos objectivos principais da aplicação apenas há que referir que esta deve apresentar uma interface gráfica para com o utilizador utilizando para tal o WxGlade. 1.2 Trabalho do Autor Em relação ao trabalho desenvolvido pelo autor são seguidamente descritos os passos sucessivos realizados aquando do desenvolvimento da aplicação: 1- Inicialmente foi estudado algum código fornecido pelo docente a fim de ter uma compreensão mais clara do funcionamento do parser BeatifulSoup, da biblioteca urllib, das acções com base de dados e da escrita de ficheiros em csv. 2- Após isso foram criadas algumas classes que separavam acções minimamente independentes, tendo sido criada uma classe para obter os dados de um estabelecimento (tipo de instituição e estabelecimento respectivo), classe essa que utilizava ainda outra que efectuava a obtenção de dados pelo parser BeautifulSoup. 3- Posteriormente foi criada a interface gráfica recorrendo ao WxGlade, interface essa que sofreu algumas alterações ao longo do desenvolvimento, alterações essas já efectuadas por mim sem recurso ao WxGlade. 4- Após isso foram definidos os eventos para cada widget e foi a partir dai que se partiu para o resto do desenvolvimento. 5- Foi então desenvolvido o código e as classes que efectuavam as operações na base de dados, sempre com uma ligação às classes anteriormente focadas para a obtenção da informação, tendo ainda sido criada uma outra classe relativa à informação do docente. 6- Após a estruturação da base de dados e o preenchimento de dados da mesma, processo algo moroso, foram encetadas as consultas que permitiam obter as listas com os dados para cada estatística e lista. 7- Após a verificação dos dados passou-se à inserção destes em ficheiros CSV e HTML, tendo já anteriormente sido desenvolvida a classe que permita a inicialização de um servidor http local. 3

4 8- Após o correcto funcionamento do anterior referido, procedeu-se ao desenvolvimento dos gráficos que iriam demonstrar o resultado das estatísticas. 9- Por fim foram melhorados alguns aspectos ao nível da interface dom programa e do desempenho do mesmo, nomeadamente a estruturação de algumas pastas para uma melhor consulta dos ficheiros CSV e dos gráficos, ao mesmo tempo que foi efectuada uma melhoria ao nível do servidor e do aspecto dos ficheiros HTML mostrados. 1.3 Estrutura do Documento O presente capítulo demonstra sucintamente qual os objectivos e em que consiste o trabalho bem como todo o processo de desenvolvimento levado a cabo pelo autor. No capítulo 2 serão explicitados alguns aspectos teóricos considerados relevantes, nomeadamente ao nível da clarificação do funcionamento de algumas das bibliotecas utilizadas ao longo do desenvolvimento da aplicação. Serão ainda clarificados alguns aspectos relativos à base de dados desenvolvida e à interface gráfica com recurso ao WxGlade, bem como em relação a algumas opções tomadas aquando da realização das estatísticas e das listas. No capítulo 3 serão demonstrados os resultados experimentais, mais propriamente ao nível da interface gráfica do programa, além da clarificação do resultado das estatísticas e das listas em forma de CSV, HTML e gráfico. O capítulo 4 corresponderá às conclusões finais sobre todo o processo de desenvolvimento sobre os resultados experimentais. 4

5 Capítulo 2 Aspectos teóricos Bibliotecas e outros auxiliares utilizados e a sua importância Ao longo do desenvolvimento da aplicação foram empregues algumas bibliotecas essenciais e que sem elas não seria possível a realização da aplicação. SQLITE3 A biblioteca sqlite3 permitiu a aplicação de todos os conhecimentos de bases de dados, uma vez que permitiu todas as tarefas possíveis e pretendidas neste contexto, nomeadamente a conexão a uma base de dados, a criação de tabelas e a inserção de dados nas mesmas. Além disso sem esta, mão seria possível executar as consultas necessárias uma vez que esta biblioteca permitiu a execução de consultas e a respectiva obtenção dos dados pretendidos para as estatísticas. Matplotlib Esta biblioteca utilizada na geração de dados de estatísticas revelou-se bastante versátil e eficiente, nomeadamente aquando da formatação de qualquer gráfico ao nosso gosto, além de permitir várias tarefas com o mesmo, nomeadamente guardá-los em formato desejado. WxGlade Esta ferramenta utilizada para o desenvolvimento de uma interface gráfica permite uma grande amplitude de widgets além de uma excelente personalização de qualquer interface ao nosso gosto, o que simplifica bastante esta parte de desenvolvimento, já que todo o desenvolvimento visual da interface efectuado é gerado em código, podendo então ser alterado, permitindo assim uma grande flexibilidade naquilo que se pretende realmente fazer. SimpleHTTPServer, SocketServer, threading e webbrowser Estes módulos foram utilizados aquando do desenvolvimento do servidor http. Foi após uma pesquisa efectuada que alguns deles foram clarificados, mas o que á que emancipar em relação a isto é a simplicidade no desenvolvimento de um servidor http recorrendo a estes módulos. O módulo threading foi empregue juntamente com o servidor já que o thread do programa era bloqueado quando o servidor era iniciado (uma vez que este começaria a correr no mesmo thread). Assim foi possível criar um thread a parte para o servidor aumentando assim o desempenho da aplicação. Relativamente ao webbrowser, basicamente este módulo permitiu a execução do browser quando o servidor inicia, numa página inicial à escolha. csv, urllib e BeautifulSoup Em relação ao csv há apenas a referir que este módulo permite facilmente a geração de ficheiros em formato csv. O beautifulsoup em conjunto com o urllib foram módulos bastante importantes, pois foi a partir destes que foi possível aceder a um dado url e obter todo o HTML que compunha a página desse mesmo url, sendo assim possível obter toda a informação de qualquer página. 5

6 Estatísticas e Listas Opções tomadas Estatística 1 Numero total de docentes no ensino superior nos diferentes anos Esta estatística gera para cada ano a contagem do número de docentes que se encontrava no ensino superior. Estatística 2 Número de docentes por tipo de instituição e por ano Esta estatística gera o número total de docentes em cada ano num tipo de instituição. Por exemplo, se for fornecido como parâmetro o tipo de instituição Ensino Superior Público Politécnico, a estatística devolve o número de docentes em cada ano neste tipo de instituição. Estatística 3 Número de docentes por estabelecimento e por ano Esta estatística gera o número total de docentes em cada ano num estabelecimento. Por exemplo, se for fornecido como parâmetro o estabelecimento Escola Superior de Tecnologia e Gestão de Beja, a estatística devolve o número de docentes em cada ano neste estabelecimento. Estatística 4 Número de docentes por grau e por ano Esta estatística gera o número total de docentes em cada ano com um determinado grau académico. Por exemplo, se for fornecido como parâmetro o grau Licenciatura, a estatística devolve o número de docentes em cada licenciados. Estatística 5 Número de docentes por grau, por estabelecimento e por ano Esta estatística gera o número total de docentes em cada ano com um determinado grau a leccionarem num determinado estabelecimento. Por exemplo, se for fornecido como parâmetro o estabelecimento Universidade de Évora e grau Mestrado, a estatística devolve o numero de docentes em cada ano com grau Mestrado na Universidade de Évora. Lista 1 Lista de tipos de instituição por ano Esta lista devolve em cada ano os tipos de instituição que existiam. Lista 2 Lista de Tipos de instituição/estabelecimento por ano Esta lista devolve para cada ano e para um determinado tipo de instituição, quais os estabelecimentos que correspondiam a esse mesmo tipo. Por exemplo para o tipo Ensino Superior Público Universitário devolveria o nome de todos os estabelecimentos que corresponderiam a esse tipo no ano 2000, 2001, etc. Lista 3 Lista de titulares de um grau por ano Esta lista devolve todos os nomes dos titulares de um determinado grau académico ao longo dos anos. Por exemplo para o grau Mestrado devolveria o nome de todos os docentes mestrados no ano 2000, 2001, etc. 6

7 Capítulo 3 Analise Experimental Interface gráfica do programa desenvolvido Aspecto inicial do programa Figura 1 Aparência inicial Resultados da estatística 1 - Número Total de Docentes no ensino superior em cada ano Figura 2 Resultado em CSV Stat1 Figura 3 Resultado em gráfico Stat1 Figura 4 Resultado em HTML Stat1 Resultados da estatística 2 Número de docentes no Ensino Superior Público Politécnico em cada ano Figura 5 Resultado em CSV Stat2 Figura 6 Resultado em gráfico Stat2 Figura 7 Resultado em HTML Stat2 Resultados da estatística 3 Número de docentes na Universidade de Évora em cada ano Figura 8 Resultado em CSV Stat3 Figura 9 Resultado em gráfico Stat3 7 Figura 10 Resultado em HTML Stat3

8 Resultados da estatística 4 Numero de docentes licenciados em cada ano Figura 11 Resultado em CSV Stat4 Figura 12 Resultado em gráfico Stat4 Figura 13 Resultado em HTML Stat4 Resultados da estatística 5 Número de docentes mestrados na Universidade de Évora nos diferentes anos Figura 16 Resultado em HTML Stat5 Figura 14 Resultado em CSV Stat5 Figura 15 Resultado em gráfico Stat5 Resultados da lista 1 Tipos de instituição em cada ano Figura 17 Resultado em CSV List1 Figura 18 Resultado em HTML List1 Resultados da lista 2 Estabelecimentos do tipo Ensino Superior Público Politécnico Figura 19 Resultado em CSV List2 Figura 20 Resultado em html List2 8

9 Resultados da lista 3 Docentes com o grau Mestrado ao longo dos anos Figura 21 Resultado em CSV List3 Página inicial do Servidor Figura 22 Servidor 9

10 Capítulo 4 Conclusões Resumo das Conclusões Em relação às conclusões relativamente aos dados obtidos das estatísticas, o que salta mais à vista é que o número de docentes no ensino superior tem vindo a diminuir ao longo dos anos. Em relação aos dados tenho também a concluir que as consultas não são mais credíveis pois os dados presentes no site Rebides não são consistentes, sendo que, por exemplo, para um mesmo grau existem várias denominações diferentes, originado resultados que não são os reais (como a não existência de docentes com grau licenciatura a partir de um certo ano). Trabalho Futuro Em relação ao trabalho futuro há apenas um aspecto que me vem mais à mente neste momento. Esse aspecto prende-se com a criação de vários threads no programa para cada acção desempenhada. Como é possível observar, as consultas efectuadas para as estatístisticas ou listas demoram algum tempo e requerem do sistema uma resposta rápida e eficiente. Como tal, como trabalho futuro, penso que era relevante a criação de threads diferentes do thread principal da aplicação para assim melhorar o desempenho e rapidez da aplicação Bibliografia [1] - [2] - [3] - [4]