Relatório Científico - FAPESP

Transcrição

1 UNIVERSIDADE DE SÃO PAULO Instituto de Ciências Matemáticas e de Computação Caixa Postal São Carlos - SP Relatório Científico - FAPESP Título: "Estudo de métodos e técnicas para o desenvolvimento de Software para Web com acessibilidade" Bolsista: Henrique Valim Gnann (gnann@grad.icmc.usp.br) Orientador: Prof. Dra. Renata Pontin de Mattos Fortes (renata@icmc.usp.br) Coordenadora do Projeto PorSimples: Prof. Dra. Sandra Maria Aluisio (sandra@icmc.usp.br) Órgão Financiador: FAPESP Processo: 08/ Vigência: 01/05/ /10/2009 Relatório Científico Parcial, referente às atividades realizadas pelo bolsista de Iniciação Científica no período de maio de 2008 a outubro de São Carlos, Outubro de 2008

2 Sumário Sumário 2 1 Introdução Apresentação Proposta de pesquisa Atividades Realizadas Métodos tradicionais de avaliação Questões de múltiplas escolhas Questões abertas Immediate recall protocol O Procedimento Meyer s System Weighted pausal units Estudos sobre Ruby on Rails Qweb Próximas Atividades 13 4 Considerações Finais 13 Referências 14

3 1. Introdução 1.1 Apresentação Este relatório tem como objetivo relatar as atividades desenvolvidas pelo bolsista Henrique Valim Gnann no período de maio a outubro de Para tal, a seguir, são descritas a proposta de pesquisa, as atividades realizadas e por último as atividades futuras para a continuidade do projeto. 1.2 Proposta de pesquisa No contexto de projetos de aplicações web, a acessibilidade se refere a um conjunto de fatores que determinam quão fácil é obter, ler, entender e interagir com o seu conteúdo. Uma vez que uma página web pode ser interpretada de forma diferente por diferentes browsers com capacidades diferentes, e a linguagem de uma página web - HTML, está em constante evolução, a acessibilidade deve ser sempre considerada com o objetivo de fazer uma página acessível ao maior número possível de pessoas. Os pontos chaves para fazer uma página acessível são: garantir uma transformação harmoniosa, estar em conformidade com os padrões da Web, download rápido e organização bem elaborada. De acordo com as recomendações do WCAG (Web Content Accessibility Guidelines), que é parte do WAI 1 ( Web Accessibility Initiative) do W3C 2 (World Wide Web Consortium), os desenvolvedores de conteúdo devem considerar durante o projeto de uma aplicação web, as diferentes situações em que os seus usuários a acessarão. Como há diversas situações a considerar, cada escolha por um design acessível geralmente beneficia a um grupo de usuários de uma vez e a comunidade Web como um todo. Nielsen afirma que o design original da Web e seu formato de dados subjacente, o HTML, foram baseados na codificação do conteúdo da informação e não na sua apresentação. A noção de codificação do significado de documentos, conhecida como codificação semântica, foi temporariamente perdida quando alguns fornecedores de browsers introduziram tags patenteadas para codificar a transmissão exata das informações. A vantagem da codificação baseada em apresentação é que a página pode exibir uma aproximação semelhante do design pretendido se o usuário tiver uma combinação de hardware e software parecida com a usada pelo designer. Portanto, os layouts sofisticados tornam-se possíveis. O objetivo principal deste projeto é estudar técnicas e métodos de aplicações web que lhes confiram garantia de acesso, durante o seu desenvolvimento. Além dos aspectos das tecnologias de linguagens técnicas, utilizadas na construção das aplicações e páginas web, dada a preocupação com o conteúdo das mesmas em

4 textos da língua Portuguesa, no Projeto PorSimples, este projeto se propôs também a considerar os estudos referentes às maneiras de se garantir que esse conteúdo seja acessível. 2. Atividades Realizadas Dada a natureza do estudo do projeto PorSimples[14], simplificação textual, foi identificada a necessidade de se fazer estudos sobre técnicas e processos que avaliem compreensão textual para averiguar a eficiência de métodos e ferramentas desenvolvidas, bem como auxiliar na avaliação dos resultados obtidos. Dessa forma, foram desenvolvidas as seguintes atividades neste projeto de iniciação científica no período transcorrido. Atividade 1: foi realizado um estudos sobre os métodos tradicionais de avaliação no contexto de compreensão textual. Atividade 2: foi realizado um estudo sobre o método de avaliação de compreensão textual denominado Immediate Recall Protocol[3]. Atividade 3: foi estudado o framework de desenvolvimento Web Ruby on Rails 3 Atividade 4: foi dado início ao desenvolvimento de uma ferramenta de questionários via Web acessível. Nas subseções a seguir, serão descritos detalhes das atividades listadas. 2.1 Métodos tradicionais de avaliação O estudo dos métodos tradicionais de avaliação por meio de questionários, contendo questões de múltiplas escolhas e questões abertas, apresenta problemas quanto à sua aplicação no contexto de avaliação de compreensão, principalmente relacionados ao processo de criação da avaliação e a questões culturais. No processo de criação da avaliação, como apontado por Meyer[1], em geral, há um desacordo entre os diferentes avaliadores com relação a parte mais importante de um texto e portanto qual deveria ser o enfoque da avaliação. Ainda com relação à criação de avaliações, muitas vezes ocorre de o criador, ao desenvolver uma avaliação, enfocar em uma parte do texto em que ele acredita que ocorram os problemas relacionados com a compreensão dos avaliados, sendo que o mesmo pode ter se equivocado, e os problemas tenham surgido em uma parte da qual não se deu o enfoque, e que não foi averiguada pela avaliação. Dependendo do tipo de texto e o respectivo assunto abordado, por questões culturais, os avaliados podem ter um conhecimento prévio, e assim, utilizando-se 3 4

5 de pistas obtidas através das questões e sem ler o texto avaliado, eles podem chegar à resposta da questão, e dessa forma, levar à identificação de que o avaliado não apresenta problemas de compreensão sem que o mesmo chegue mesmo a ler o texto. Nas subseções seguintes são detalhados os problemas específicos dos dois métodos tradicionais de avaliação estudados Questões de múltiplas escolhas Em estudo realizado por Pyrczak[5], sobre teste de múltiplas escolhas, não foram encontradas grandes diferenças entre os resultados dos avaliados que leram o texto e escolheram suas respostas, dos avaliados que apenas escolheram suas resposta sem lerem o texto. O pesquisador aponta três principais causas para tal ocorrido: conhecimento prévio do avaliado interrelações entre as questões as características do processo de criação do teste de múltiplas escolhas. O problema de conhecimento prévio ocorre quando o avaliado já possui um conjunto de conhecimentos e de informações sobre o assunto abordado pelo texto utilizado pela avaliação. Assim, para obter a resposta ao teste, basta o avaliado buscar por pistas na questão e em suas múltiplas respostas. Aplicando seu conhecimento prévio sobre essas pistas, o avaliado consegue obter a resposta da questão sem ter a necessidade de ler o texto. Com relação as interrelação entre as questões, o problema decorre do processo de criação dos testes em que podem existir questões que apontam para respostas de outras questões. Dessa forma, o mal desenvolvimento do teste como um todo faz com que uma das questões forneça pistas para o avaliado responder outras questões. Quanto às características do processo de criação do teste de múltiplas escolhas, um dos principais erros que ocorrem neste processo, como apontado por Valette [13], é tornar o teste um conjunto de problemas de pensamento lógico e solução de problemas, fazendo com o teste perca seu propósito, o de avaliar a compreensão textual. Outro problema apontado por Valette[13], em casos onde o vocabulário dos avaliados é limitado, por exemplo analfabetos funcionais e estudantes de segunda língua, os criadores de teste não têm a total liberdade para usar sinônimos e recombinar estruturas e palavras para criar uma distração útil nos testes. Eles são essencialmente obrigados a repetir seções do texto e o teste acaba se tornando apenas um exercício de correspondência e reconhecimento de palavras. Dessa forma, ressalta-se a importância de cuidados ao se utilizar esse tipo de avaliação para se avaliar a compreensão textual, para que o teste não acabe perdendo o seu propósito, além do cuidado ao escolher os textos a serem utilizados 5

6 na avaliação, pois caso o conteúdo do texto seja um assunto bastante debatido e de conhecimento de todos, não será difícil para o avaliado deduzir a resposta correta apenas a partir do seu conhecimento de mundo, fazendo com que o propósito da avaliação não seja atingido Questões abertas Os principais problemas de questões abertas, segundo Bernhardt[3], são relacionados à questão em si, uma vez que a questão delimita a resposta do avaliado, fazendo com que possa ocorrer de que determinados pontos, em que realmente ocorrem os problemas de compreensão, não sejam explorados. Novamente, retornamos ao fato do desenvolvedor da avaliação influenciar o resultado da avaliação. Outro problema relacionado a este tipo de questão, é o fato da mesma direcionar à resposta do avaliado para algum conhecimento de mundo do mesmo, fazendo com que o ele não considere o que compreendeu do texto que leu para desenvolver sua resposta, acarretando um resultado não válido para a avaliação. Um problema apontado por Perkins[9], relacionado ao texto da questão, se refere ao conhecimento do tópico do texto, por parte do avaliado, que afeta o resultado do teste de compreensão. Novamente, o fator conhecimento prévio influencia o resultado da avaliação. Assim, é reforçada a necessidade de se ter cuidado ao escolher o texto e ao desenvolver a avaliação para que a mesma não acabe perdendo o seu propósito. 2.2 Immediate recall protocol Immediate recall protocol é apontado por vários pesquisadores, como Johnston[11], Bernhardt[2] e Hayes[7], como uma poderosa ferramenta para avaliar a interação entre leitor e texto. Este método de avaliação ainda revela, segundo Bernhardt[2], como é organizada a informação armazenada, as estratégias de recuperação de informação e o método de reconstrução que o leitor emprega para codificar a informação em texto. Hayes[7] aponta a análise dos protocolos desenvolvidos pelos avaliados como a ferramenta cognitivo-psicológico mais poderosa para traçar processos psicológicos. Este método de análise indica onde a deficiência gramatical está interferindo com a comunicação entre texto e leitor. Por se tratar de um método de avaliação em que não há questões a serem respondidas, não existe interferência do teste no resultado da avaliação, pois questões e instruções acabam por se tornando outro texto a ser compreendido, e portanto, mais informações a serem codificadas pelo leitor. Nas subseções a seguir são descritos o procedimento do método Immediate recall protocol, juntamente com as vantagens e desvantagens de dois métodos de pontuação. 6

7 2.2.1 O Procedimento O método Immediate recall protocol deve ser empregado, segundo um procedimento bem simples, cujos passos seguem abaixo. 1. selecione um texto. 2. peça aos avaliados para lerem o texto quantas vezes eles acharem necessário. 3. dê tempo suficiente para que os avaliados leiam o texto várias vezes. 4. após terminarem de ler texto, retire o texto dos avaliados e peça para que eles escrevam tudo que eles lembrarem do texto que acabaram de ler. 5. colete os protocolos, os textos desenvolvidos pelos avaliados. Apesar de se tratar de um procedimento bem simples, este método faz com que equívocos e lacunas de compreensão venham à tona, e para identificá-los, basta fazer uma análise dos protocolos desenvolvidos pelos avaliados. Apesar de sua simplicidade, conforme apontado por Machado[4], existem problemas no método, como por exemplo no caso em que o avaliado não domina perfeitamente o uso da escrita; ele terá dificuldade em reproduzir sua compreensão. Machado[4] indica que uma exposição oral do texto compreendido tende a diminuir esse problema. No entanto, outros problemas podem ser também ser evidenciados, tais como timidez, insegurança, e pressão por tempo durante a conexão das idéias durante a fala Meyer s System Um dos sistemas de pontuação para os protocolos, desenvolvidos pelos avaliados, no método Immediate recall protocol, apontado por Bernhardt[3], é o Meyer s System. Este sistema identifica características estruturais e as unidades lexicais do texto avaliado; seu procedimento ajuda a avaliar a relação entre tipo de texto e o nível de desempenho do avaliado. Sua utilização ainda proporciona uma ilustração não apenas de como unidades relacionais e lexicais são recuperadas, mas também a partir de qual porção da estrutura essas unidades são recuperadas pelos avaliados. Bernhardt[3] ainda aponta algumas vantagens e desvantagens desse tipo de sistema: Vantagens divide o texto em unidades e fornece um mecanismo de pontuação. fornece um sistema de pontuação válido. a pontuação reflete a maneira como os avaliados procedem a recuperação do texto. 7

8 pode-se destacar, analisar e comparar diferentes partes do texto. Desvantagens o tempo para desenvolver o modelo de pontuação a partir do texto escolhido para a avaliação demanda muitas horas, em torno de 25 a 50 horas para um texto de 250 palavras, sem incluir o tempo necessário para treinamento. é necessário muito tempo para a análise de cada protocolo; em torno de uma hora por protocolo. Este método de pontuação é bastante rico em informações sobre a relação do avaliado com o texto, mas demanda que o preparadores do teste tenham grande conhecimento de gramática e lingüística, além da necessidade de treinamento para os desenvolvedores do modelo de pontuação e dos avaliadores dos protocolos Weighted pausal units Outro sistema de pontuação apontado por Bernhardt[3] e Johnson[12], para análise e pontuação de protocolos, é o weighted pausal units(wpu). Trata-se de um sistema de pontuação baseado em unidades pausais, que são pausas naturais que um leitor fluente da língua faz ao ler um texto. Trata-se de um sistema de pontuação simples, que não demanda muito conhecimento de gramática e lingüística para preparar o modelo de pontuação, com base no texto utilizado na avaliação, e para a análise dos protocolos desenvolvidos pelos avaliados. A seguir encontra-se uma descrição dos passos para preparação e análise dos protocolos: 1. peça para que leitores fluentes da língua leiam o texto e marquem os locais onde ocorrem pausas na leitura, dividindo, assim, o texto em unidades pausais. 2. compare os resultados obtidos, em caso de discrepância escolha aquele que tenha as menores unidades pausais 3. atribua a 25% das unidades pausais peso 1, peso 2, peso 3 e peso 4, assim classificando todas as unidades pausais do texto com base na relevância da informação contida nelas, peso 4 para as mais importantes e peso 1 para as menos importantes. 4. para a análise dos protocolos, busque por unidades pausais que tenham as mesmas informações que as unidades pausais obtidas da análise do texto; ao encontra-las atribua o peso da unidade pausal do texto ao protocolo, a pontuação dos avaliados é a soma desses pesos. 8

9 Bernhart[3] aponta como vantagens desse sistema o tempo demandado para análise de cada protocolo, em torno de 10 minutos, a facilidade de arranjar os resultados em tabelas, assim facilitando sua análise, e sua simplicidade de desenvolvimento. Apesar de sua simplicidade, este método nos fornece ricas informações por meio da análise do protocolo, onde podemos identificar em quais unidades pausais está havendo mais problemas de compreensão; delimitando bem os grupos de mesmo perfis, é possível identificar problema recorrentes aos membros do grupo, além de ser possível identificar redundância de informações entre a unidades pausais. Dessa forma, WPU se mostra ser um método eficiente de pontuação e análise de protocolos, simplificando o método de obtenção de pontuação e fornecendo informações relevantes sobre a relação entre leitor e o texto. 2.3 Estudos sobre Ruby on Rails Ruby on Rails é um framework de desenvolvimento web de código aberto, implementado em Ruby[6]. Este framework foi desenvolvido por Heinemeier Hansson. Os principais objetivos que Heinemeier teve ao desenvolver este framework foram: ser uma solução para desenvolvimento de aplicações web completa, fornecendo todas as ferramentas necessárias, incluindo persistência, lógica e apresentação. a comunicação entre as camadas ocorra de forma mais transparente possivel. ser escrito em somente uma linguagem. seguir o padrão de arquitetura MVC (Model View Controller) Esses objetivos foram definidos para que ao se desenvolver utilizando o framework, o desenvolvedor obtenha ganhos de produtividade e que a curva de aprendizado seja baixa. Para que se aumente a produtividade dos desenvolvedores, segundo [10], o framework Rails adota os seguintes conceitos: Don t repeat yourself (DRY) é o conceito que estabelece a necessidade de modificar o código de uma aplicação em apenas um local determinado, ou seja, não é necessário sair modificando outras partes que fazem a utilização dessa parte de código; dessa forma, ganha-se desempenho no desenvolvimento de uma aplicação web. 9

10 Convetion over configuration - em Rails assume-se uma série de padrões para a maneira como se deve construir uma aplicação web típica. Assim, o desempenho do desenvolvedor aumenta, já que ele não precisa configurar características do framework. Somente nos casos em que o usual não seja adequado, configurações diferentes das padronizadas também são permitidas. Também é interessante ressaltar que Rails consiste de 5 frameworks [8], conforme descritos a seguir. Action Mailer é um framework que fornece a camada que contem serviços de ; é utilizado para criar a parte da aplicação que envolve envio e recebimento de s. Action Pack é responsável por fazer a separação da resposta de uma requisição web entre o controler e a view de uma aplicação, dado que as aplicações desenvolvidas em Ruby on Rails seguem a arquitetura MVC. Action Web Service fornece mecanismos para publicar APIs de web services interoperacionais com Rails sem se aprofundar nos detalhes de protocolo. Active Record é responsável por fazer o mapeamento entre os modelos e a base de dados, fazendo a persistência dos dados dos modelos diretamente. Active Support são um conjunto de bibliotecas e classes auxiliares para o desenvolvimento das aplicações. Conforme já mencionado, Rails utiliza a arquitetura padrão MVC(Model-View- Controller) para o desenvolvimento das aplicações. Essa característica incentiva as boas práticas de codificação e organização no desenvolvimento de aplicações web [8]. Segundo o padrão MVC, a aplicação é dividida em 3 camadas, em cada uma dessas camadas deve-se alocar diferentes partes da aplicação, conforme descritas a seguir: Modelo(model) - é a representação das informações a serem tratadas pela aplicação. Controle(controller) - é a camada responsável por processar e responder a eventos, resumidamente é responsável por manipular os dados e pela lógica da aplicação. Visão(View) - é a camada responsável por exibir os dados de forma expecifica e fornecer recursos para interação, resumidamente é responsável por manipular a interface com o usuário e a apresentação lógica. Este tipo de arquitetura possui o seguinte resultado de requisição à aplicação: 10

11 1. o browser, no cliente, faz uma requisição para o controller da pagina no servidor. 2. o controller recupera os dados que precisa do model, para atender o requerimento. 3. o controller constrói a página e a envia para a view. 4. a view envia a página para o cliente, de forma que o browser possa apresentála. Este processo é exemplificado pela Figura 1. Algumas das principais razões para a utilização desse tipo de arquitetura[10] na construção de aplicações são listadas abaixo: fornece escalabilidade para a aplicação. torna a manutenção mais simples, já que os componentes da aplicação tem baixa dependência ente eles. promove o reuso de componentes. Figura 1: Diagrama de uma requisição em uma aplicação com arquitetura MVC Devido a todas essas características e por Rails ser um framework de fácil adoção, proporcionando boas práticas no desenvolvimento, esse framework foi escolhido para o desenvolvimento da ferramenta detalhada a seguir. 2.4 Qweb Foi dado início ao desenvolvimento de uma ferramenta de criação e aplicação de questionários via web, denominada Qweb. Seu principal objetivo é dar apoio à avaliação de acessibilidade e inteligibilidade. Para isso, foram levados em consideração todos os estudos realizados sobre os métodos de avaliação em seu planejamento. Portanto, a ferramenta dará suporte para os 3 métodos de avaliação discutidos neste documento, além da possibilidade de mescla-los, e dessa forma desenvolver uma avaliação que atenda diferentes necessidade, relacionadas tando 11

12 a avaliação de acessibilidade, levantamento de perfis, como para avaliação de inteligibilidade. Esta ferramenta está sendo desenvolvida em Ruby on Rails. Em seu projeto, definimos que ela seria composta de 3 principais funcionalidades: (a) desenvolvimento de questionários, (b) apresentação dos questionários e (c) armazenamento e análise dos dados obtidos. Nesta fase inicial do desenvolvimeto da Qweb foi dado enfoque à parte de desenvolvimento de questionários, e assim foram implementadas as operações básicas relacionadas ao CRUD(create, read, update e delete). Devido a característica da aplicação desenvolvida em Ruby on Rails deter a arquitetura MVC, tem sido dada prioridade para o desenvolvimento da lógica da aplicação (Controllers e models), para que em uma próxima fase de seu desenvolvimento possa ser dado o enfoque exclusivo à apresentação da aplicação(views). Dessa forma, pretendemos garantir, através de estudos e avaliações dedicadas, que a ferramente atenda os requisitos de acessibilidade definidos pelo W3C. A Figura 2 mostra o modelo conceitual da ferramenta até então desenvolvida. Ressaltamos que tal esquema pode vir a ser mudado no decorrer do projeto, devido a requisitos não identificados no início do projeto. Figura 2: Modelo conceitual da ferramenta Qweb Como podemos ver na Figura 2, cada questionário(survey) pertencerá a um usuário, dessa forma garantindo a integridade do questionário, não permitindo dessa forma acessos indevidos; cada questionário terá vários itens(item), que podem ser textos(text), recall protocols(recallprotocol), questões abertas (OpenQuestion) e questões de múltiplas escolhas(multichoicequestion); esse último tipo está relacionado a múltiplas respostas (MultiChoiceAnswer). 12

13 Na próxima seção são descritas as futuras atividades previstas para continuidade deste projeto. 3. Próximas Atividades Para as próximas fases do projeto será dada ênfase ao desenvolvimento da ferramenta Qweb focando nos pontos abaixo: 1. evolução do desenvolvimento das partes de desenvolvimento de questionários, de apresentação dos questionários e de armazenamento e análise dos dados obtidos. 2. desenvolvimento das funções relacionadas com as views (visualizações) da aplicação com enfoque em acessibilidade. 3. desenvolvimento do suporte ao controle de usuários. 4. testes para identificar problemas relacionados a lógica da aplicação. 5. testes de interação com usuário. Para tanto, serão realizados estudos relacionados com tecnologias de projeto de interfaces de aplicações web, tais como a tecnologia AJAX, bem como um estudo sobre acessibilidade da aplicações web para que a ferramenta seja acessível a diferentes perfis de usuários. Outro principal ponto de destaque dessa nova etapa do projeto é o planejamento de experimentos para os testes com usuários. O desafio de conhecermos melhor os futuros usuários do PorSimples tem sido alvo de discussões nas reuniões da equipe, e portanto, merece ser criteriosamente e continuamente investigado. Neste projeto, como parte essencial da construção da Qweb, irão ser adotadas técnicas de desenvolvimento centrado no usuário (DCU), priorizando uma integração e inclusão da participação dos usuários finais durante o desenvolvimento previsto. 4. Considerações Finais Através dos estudos realizados, foi possível identificar o Immediate recall protocol como um método que atende as necessidades do projeto PorSimples. Porém, tendo em vista outras necessidades desse projeto, como avaliação de acessibilidade, testes de interfaces e identificação de perfis de usuários, é necessário manter os métodos tradicionais de avaliação da compreensão de textos, na ferramenta Qweb que está sendo desenvolvida. 13

14 Para o desenvolvimento da ferramenta Qweb, foi escolhida a tecnologia Ruby on Rails, por estimular as melhores práticas, por ser um framework que utiliza arquitetura padrão MVC para construção das aplicações web, e permite desenvolver toda lógica da aplicação separadamente de sua interface; permitindo assim, que a aplicação possa ser modificada conforme forem sendo descobertas as necessidades e identificados os perfis dos usuários. Referências [1] Meyer B. J. F. Prose analysis: Porpouse, and problems. In B. K. Britton & J. B. Black (Eds.), Understanding expository text: A theoretical and pratical handbook for analyzing explanatory text (pp ). Hilldale, NJ: Lawrence Erlbaum, [2] Bernhardt E. B. Tree approaches to reading comprehension in intermediate German. Mordern Language Journal, 67, , [3] Bernhardt E. B. Reading Development in a Second Language: Theoretical, Empirical, and Classroom Perpective. Ablex Publishing Corporation, First Edition, ISBN [4] Machado E. M. R. Lendo e Compreendendo: Uma Experiência com 5a Série Disponivel em Último acesso em 12/10/2008. [5] Pyrczak F. Passage dependence of reading comprehension questions: Examples. Journal of Reading, 18, , [6] Williams J. Rails solutions: Ruby on Rails made easy. New York, USA. SpringerVerlag, [7] Hayes J.R. The complete problem solver. Hilldale, NJ: Lawrence Erlbaum, [8] Daniel Cárnio Junqueira and Renata Pontin de Mattos Fortes. Capitulo 3 - Introdução ao Desenvolvimento de Aplicações Web com Ruby on Rails. Mini-cursos Webmedia 2007, , [9] Perkins K. An analysis of four common item type used in testing EFL reading comprehension. RELC Journal, 15, 29-43, [10] Lenz P. Build Your Own Ruby On Rails Web Applications. SitePoint Pty. Ltd., First Edition, ISBN

15 [11] Johnston P. H. Reading comprehension assessment: A cognitive basis. DE: International Reading Association, [12] Johnson R. E. Recall of prose as a function of the structural importance of the linguistic units. Jounal of Verbal Learning and Verbal Behavior, 9, 12-20, [13] Valette R. M. Modern language testing. New York: Harcourt Brace Jovanovich, [14] Aluísio S. M. et al. Porsimples: Simplificação textual do português para inclusão e acessibilidade digital, Disponível em Último acesso em 12/10/2008. São Carlos 29 de outubro de 2008 Henrique Valim Gnann Prof. Dr. Renata Pontin de Mattos Fortes Prof. Dr. Sandra Maria Aluisio 15