Instrumento de avaliação das Boas Práticas em Unidades de Alimentação e Nutrição Escolar: da concepção à validação

Transcrição

1 947 Instrumento de avaliação das Boas Práticas em Unidades de Alimentação e Nutrição Escolar: da conceção à validação Instrument for assessment of best ractices in school food and nutrition units: from design to validation ARTIGO ARTICLE Elke Stedefeldt 1 Diogo Thimoteo da Cunha 2 Êneo Alves Silva Júnior 3 Sueli Maria da Silva 2 Ana Beatriz Almeida de Oliveira 4 1 Deartamento de Gestão e Cuidados em Saúde, Gruo de Estudos em Qualidade dos Alimentos, Universidade Federal de São Paulo. R. Silva Jardim 136, Vila Mathias elke_nutri@hotmail.com 2 Gruo de Estudos em Qualidade dos Alimentos, Universidade Federal de São Paulo. 3 Centro de Diagnósticos Laboratoriais. 4 Faculdade de Medicina, Universidade Federal do Rio Grande do Sul. Abstract The scoe of this study was to elaborate and validate an assessment tool for Best Practices in School Food and Nutrition Units. For this urose a survey was conducted in the city of Santos (São Paulo Brazil), in two stages: 1) Prearation of a Checklist for Best Practices in School Food and Nutrition Units (BPAE checklist). 2) Validation of the BPAE checklist. This checklist was alied in 76 ublic schools along with two other reference checklists. Sensitivity and secificity were estimated using the Receiver Oerating Characteristics (ROC) Curve and the checklist was evaluated by alication of the Likert scale. The thematic grous received weights to calculate the ercentage of adequacy. After the alication of the checklists in schools, the area under the curve value of 0.79 was found for the SS-196 checklist and 0.85 for the 542/2006 administrative checklist. These values indicate good suitability of the BPAE checklist to identify inadequacies, and it also received a ositive assessment from the school food nutritionists. It roved that the checklist will assist in decision-making to ensure quality control. Once the BPAE checklist has been fully tested and validated it should rove an imortant tool for quality control in school nutrition. Key words School nutrition, Food quality, Food handling, Validation studies Resumo O objetivo deste artigo é elaborar e validar instrumento de avaliação das Boas Práticas ara Unidades de Alimentação e Nutrição Escolares. Estudo desenvolvido na cidade de Santos, realizado em dois momentos: 1) Elaboração da Lista de Verificação das Boas Práticas na Alimentação Escolar (Lista de Verificação BPAE) e; 2) Validação da Lista de Verificação BPAE com alicação desta e de outras duas listas de referência em 76 escolas municiais. A sensibilidade e a esecificidade foram estimadas or meio da Curva ROC - Receiver Oerating Characteristics e a lista de verificação foi avaliada de acordo com a escala de Likert. Os blocos temáticos receberam esos ara o cálculo do ercentual de adequação. Aós alicação das listas nas escolas foi observado valor de área sob a curva de 0,79 em relação à lista SS-196 e 0,85 ara a Portaria 542/2006, indicando boa caacidade da Lista de Verificação BPAE em identificar inadequações. Esta lista recebeu avaliação ositiva dos nutricionistas da alimentação escolar revelando que a mesma auxiliará na tomada de decisões ara o controle de qualidade. A Lista de Verificação de BPAE elaborada e validada ode se constituir em imortante instrumento ara o controle de qualidade da alimentação escolar. Palavras-chave Alimentação escolar, Qualidade dos alimentos, Maniulação de alimentos, Estudos de validação

2 948 Stedefeldt E et al. Introdução Métodos O Programa Nacional de Alimentação Escolar (PNAE) é o maior rograma de alimentação em atividade no Brasil servindo mais de 37 milhões de refeições diariamente nas escolas úblicas do País. Seu objetivo visa atender às necessidades nutricionais dos alunos durante a ermanência em sala de aula, favorecendo a formação de hábitos alimentares saudáveis, a artir do fornecimento de alimentação saudável e segura do onto de vista higiênico-sanitário 1,2. Segundo a resolução federal brasileira da diretoria colegiada da Agência Nacional de Vigilância Sanitária RDC 216 de , boas ráticas (BP) são os rocedimentos que devem ser adotados ara que um alimento tenha sua qualidade higiênico-sanitária assegurada. Ancorado nesta legislação, a rimeira etaa ara imlantar as BP é a alicação de uma lista de verificação com o intuito de avaliar as não conformidades. Com esse levantamento, é ossível roor intervenções e lanos de ação ara as não conformidades observadas 4. Diversas estratégias odem ser utilizadas ara avaliar as condições higiênico-sanitárias de Unidades de Alimentação e Nutrição Escolares (UANE), sendo a lista de verificação o método mais utilizado, de acordo com diversos estudos ublicados nesta área 5-8. Sua grande utilização se dá elo fato de ser um método ráido, de baixo custo, rático e de alto benefício. Entretanto, a falta de um instrumento adronizado ara este fim faz com que diversas listas de verificação sejam criadas, sem contemlarem todos os itens e critérios de avaliação necessários. A lista de verificação da legislação federal RDC 275/ não é adequada ara alicação em escolas visto que foi elaborada ara alicação na indústria de alimentos. As UANE ossuem características diferentes de Unidades de Alimentação e Nutrição (UAN) industriais, sendo que a rimeira ossui características de cozinhas domésticas, rincialmente no que se refere ao dimensionamento e à estrutura física 7. Baseada nesta remissa, é necessária a elaboração e a validação de um instrumento economicamente viável, de alta alicabilidade e de fácil utilização ara avaliar as condições higiênico-sanitárias na alimentação escolar. O objetivo do resente estudo foi elaborar e validar um instrumento de avaliação das BP em UANE. O resente estudo caracteriza-se como de delineamento transversal com coleta de dados rimários realizada em dois momentos: 1) Elaboração da Lista de Verificação ara BP na Alimentação Escolar (Lista de verificação BPAE); 2) Validação do instrumento elaborado. O estudo foi desenvolvido na cidade de Santos (SP) no eríodo de fevereiro a dezembro de Elaboração da Lista de Verificação das BPAE A elaboração da Lista de Verificação das BPAE contemlou duas etaas relatadas a seguir: A rimeira etaa abrangeu a seleção dos itens de verificação mais frequentes nas diversas listas de verificação de BP rovenientes de municíios e instituições (listas de verificação não validadas e utilizadas na rática da alimentação escolar) e ublicadas elas três esferas do governo: federal, estadual e municial 9,14,15. Foi elaborada uma matriz de dados contendo todos os itens de verificação encontrados nas diversas listas. Os que aresentaram frequência igual ou maior a 50% foram considerados imortantes e incluídos na Lista de Verificação de BPAE. Outros itens embasados nas recomendações denominadas As Cinco Chaves ara a inocuidade dos alimentos da Organização Mundial da Saúde (OMS) 16 foram inseridos à lista, or serem considerados ertinentes neste cenário. Este rocedimento inicial ermitiu maximizar a adequação e a alicabilidade da Lista de Verificação de BPAE nas UANE. A segunda etaa consistiu em agruar e ontuar os itens que contemlaram a Lista de Verificação de BPAE. Para a tabulação dos resultados, cada item recebeu uma ontuação de acordo com a Resolução da Secretaria de Saúde do Estado de São Paulo número 196/1998 (SS-1996) 14 que determina as condições que imedem a multilicação, a sobrevivência de microrganismos e a contaminação cruzada. A nota zero foi atribuída a todas as resostas assinaladas na alternativa não, que caracterizava a não conformidade da questão às BP. Em relação às alternativas sim foram atribuídas as notas: 8 (oito) ara os itens que aresentaram as condições ou situações que evitam a multilicação de micro-organismos; 4 (quatro) ara os itens com condições ou situações que evitam a sobrevivência de micro-organismos; 2 (dois)

3 949 ara os que aresentaram condições ou situações que evitam a contaminação cruzada or contato direto com o alimento e 1 (um) ara os itens com condições ou situações que evitam a contaminação cruzada, sem contato direto com o alimento. A Lista de Verificação de BPAE revelou seis blocos temáticos, que receberam uma ontuação de eso (k) de acordo com grau de risco das situações (ou condições) ertencentes a esse bloco temático. O eso consiste em um valor constante, cuja somatória resultou em 100, e que atua como um multilicador nos blocos, dando maior ontuação aos itens considerados de maior risco. Os blocos temáticos estabelecidos e seus resectivos esos foram: edificações, k = 10; equiamentos ara temeratura controlada, k = 15; maniuladores, k = 25; recebimento, k = 10; rocessos e rocedimentos, k = 30 e; higienização ambiental, k = 10. Ao todo, a Lista de Verificação das BPAE foi comosta or 99 questões. O agruamento de questões demandou a elaboração de uma fórmula ara realizar o cálculo do ercentual de adequação das BP de cada bloco, e ara o cálculo da classificação geral da escola. Estes critérios foram adatados de acordo com a legislação SS e com outros dois estudos realizados na alimentação escolar 9,17. Para determinar a ontuação total do bloco temático (P), a fórmula a seguir foi utilizada: P = TS / (ΣTP - ΣNA) k Sendo: TS total de ontos obtidos, ΣTP total de ontos ossíveis, ΣNA total de ontos atribuídos a itens de verificação não alicáveis ; e k é o eso atribuído ao bloco temático (Σk = 100). Outra fórmula foi determinada ara o cálculo da ontuação final (PF) das UANE avaliadas que consistiu na somatória da ontuação obtida nos seis blocos temáticos (PF = P 1 + P 2 + P 3 + P 4 + P 5 + P 6 ). Validação da Lista de Verificação das BPAE O rimeiro momento da validação contextualizou-se ela elaboração de um delineamento metodológico a fim de estimar a sensibilidade e esecificidade da Lista de Verificação das BPAE. Desta forma, fez-se necessário comarar os dados da Lista de Verificação das BPAE com outras duas listas de verificação de referência: a da Resolução SS e a da Portaria 542/2006 da Secretaria da Saúde do Rio Grande do Sul 15. A lista da Resolução SS-196 foi selecionada devido à sua rerodutibilidade e aos critérios de ontuação. E a da Portaria 542/2006, ela roximidade ao conceito de BP ara alimentação escolar e or estar embasada na Legislação Federal RDC A amostra de escolas articiantes da alicação da Lista de Verificação das BPAE foi calculada levando em consideração 95% de intervalo de confiança e erro máximo de 5%. Para minimizar vieses, foram incluídas todas as escolas úblicas municiais ertencentes ao municíio de Santos, São Paulo 18, resultando em 76 escolas. As três listas de verificação foram alicadas nestas escolas or três nutricionistas, sem vínculo de trabalho no municíio esquisado, treinados utilizando os formulários in-loco. Esta etaa objetivou estimar os arâmetros de sensibilidade e esecificidade da lista de verificação das BPAE, or meio da identificação da Área sob a Curva (AUC), utilizando a Receiver Oerating Characteristics Curve (Curva ROC) Para comarar os resultados das listas de verificação foi definido o valor de 75% de adequação como onto de corte ara dicotomizar a classificação das escolas (abaixo desse onto foi considerado como inadequado e acima como adequado), de acordo com a classificação de conformidade da RDC Os dados desta etaa foram analisados utilizando os softwares SPSS 15.0 e Stata 9.1. O segundo e último momento comreendeu a alicação da Lista de Verificação das BPAE nas UANE or nutricionistas atuantes no PNAE em diferentes municíios nos estados de São Paulo e Rio de Janeiro. Para o cálculo amostral desta etaa foi considerado: avaliação ositiva de no mínimo 85% dos nutricionistas (ontuações 4 e 5 da escala de Likert), intervalo de confiança de 95% e erro amostral de no máximo 15%. Considerando estes valores, 25 nutricionistas seriam necessários ara esta avaliação 18. A lista de verificação foi então enviada a 40 nutricionistas, considerando as ossíveis não adesões. Os nutricionistas selecionados ossuíam cadastro no Centro Colaborador em Alimentação e Nutrição Escolar da Universidade Federal de São Paulo, caracterizando amostra de conveniência. Foi enviado junto à lista de verificação um questionário de avaliação da Lista de Verificação das BPAE ara os rofissionais resonderem e, ortanto, emitirem seu arecer aós a alicação nas UANE. Para este questionário, utilizou-se o critério denominado as Sete Dimensões de Avaliação roosta or Equal 22 : contemlação e inovação, benefício, adequação, utilidade, acessibilidade, igualdade e transferência. Ciência & Saúde Coletiva, 18(4): , 2013

4 950 Stedefeldt E et al. A ontuação das dimensões foi determinada ela Escala de Atitude de Likert 23 de cinco ontos, no qual o sujeito deve exressar seu grau de concordância ou discordância em relação às erguntas do questionário, sendo: 1 discordo lenamente, 2 discordo arcialmente, 3 não concordo nem discordo, 4 concordo arcialmente e 5 corresondeu a concordo lenamente. A Figura 1 aresenta o fluxograma de execução da esquisa. Questões éticas O resente estudo foi arovado elo Comitê de Ética e Pesquisa (CEP) da UNIFESP. Análise de diferentes listas de verificação (n = 14) e da matriz de itens de verificação (n = 416) Seleção dos itens de verificação e criação da lista de verificação das BPAE Figura 1. Fluxograma dos métodos utilizados na validação da lista de verificação da BPAE. Agruamento e ontuação dos itens de verificação Atribuição da constante (eso) nos blocos temáticos Consolidação da lista de verificação das BPAE Alicação de três listas de verificação (SS-196, ortaria 542 e BPAE) em 76 unidades de alimentação e nutrição escolas úblicas Análise dos dados Avaliação or nutricionistas da alimentação escolar Resultados e discussão A matriz de dados dos itens constantes nas diversas listas resultou em 416 itens. Foi constatado que os itens de verificação mais frequentes nas listas avaliadas abarcaram: conservação do uniforme (71,42%); cuidado com as unhas (71,42%); uso de adornos como brincos, relógio, anéis, etc. (71,42%); roteção dos cabelos (64,28%); higiene essoal do maniulador de alimento (64,28%); e exames eriódicos (57,14%). Convém destacar que todos estes itens de verificação foram incluídos na Lista de Verificação das BPAE assim como os referentes às temáticas contemladas nas Cinco Chaves da OMS 16. Estudos realizados em UANE atendidas elo PNAE demonstraram inadequações quanto à higiene e à conduta de maniuladores, incluindo uniformização, higiene das mãos e uso de adornos 5-7. As contribuições destes autores evidenciam que a reocuação com o maniulador de alimento da alimentação escolar deve ser constante. Essa reocuação também se refletiu nas listas de verificação avaliadas, sendo o maniulador e seus rocedimentos, os itens mais frequentes. Quanto aos critérios de ontuação em listas de verificação, os mesmos odem estimar com maior recisão o risco real observado. Entretanto, não são todos os estudos de avaliação de BP em UANE que utilizam listas de verificação com critérios de ontuação. Outros estudos utilizaram aenas o ercentual de adequação considerando que cada item de verificação tem como valor 1 (um) onto 6, Todavia, em outros estudos, critérios de ontuação foram elaborados, orém nunca semelhantes entre eles 7,8,27. O estudo de Santana et al. 8 utilizou os critérios de ontuação da Resolução SS , assim como a Lista de Verificação das BPAE. A Tabela 1 aresenta a classificação das UANE aós o cálculo da ontuação final (PF). Foram elaboradas cinco categorias de classificação. O maior número de classificações facilita a tomada de decisões e intervenções no intuito de corrigir e melhorar a ontuação final. Outras esquisas utilizaram cinco categorias de classificação da ontuação final de BP atribuída a UANE, orém com ontuação diferente 8,27. Aós estes rocedimentos, foi elaborada a Lista de Verificação de BPAE que está disonível no sitio eletrônico da Rede Brasileira de Alimentação Escolar (htt:// Na etaa de validação, a oção or alicar a Lista de Verificação das BPAE nas 76 escolas úblicas municiais, juntamente com outras listas

5 951 Tabela 1. Classificação de risco sanitário adatada e atribuída às Unidades de Alimentação e Nutrição Escolares (UANE) aós ontuação obtida or meio da Lista de Verificação BPAE. Santos, Classificação Situação de risco sanitário muito alto Situação de risco sanitário alto Situação de risco sanitário regular Situação de risco sanitário baixo Situação de risco sanitário muito baixo Pontuação (%) 0 a a a a a 100 de verificação de referência se deu or não haver adrão-ouro ara avaliação das BP. Não foi realizada comaração com a análise microbiológica, ois já foi aresentado em outros trabalhos que tal análise não aresenta relação (ou baixa relação) com a alicação de listas de verificação 28,29. A Tabela 2 aresenta os valores da análise de curva ROC entre as listas de verificação alicadas. É ossível observar valores de área sob a curva de 0,79 ara a lista de verificação da SS-196 e de 0,85 ara a lista da ortaria 542. Segundo Martinez et al. 21, quanto mais róximo de 1 for o valor da AUC, maior é a caacidade do teste ou instrumento, de discriminar a classificação entre dois gruos, no caso deste artigo, UANE adequadas e inadequadas. Portanto, os valores observados da AUC são razoáveis e indicam que a Lista de Verificação das BPAE tem relação quanto ao diagnóstico, com as outras listas à qual foi comarada. A etaa final do rocesso de validação evidenciou a avaliação do instrumento elos nutricionistas da alimentação escolar. A Tabela 3 aresenta os valores médios de cada dimensão de avaliação roosta. Todos os níveis de contemlação aresentaram a média acima de 3,8 ontos, caracterizando avaliação ositiva elos nutricionistas. Os itens com maior ontuação foram os de adequação e benefício indicando que o instrumento é considerado objetivo, adequado à rática e que auxiliará na tomada de decisões no âmbito do controle de qualidade. Furtado e Camos 30 citam que a articiação da comunidade e gruos de interesse é fundamental na esquisa avaliativa. Com isso, o instrumento avaliado ode ter maior alicabilidade or estar mais róximo da realidade do usuário, neste caso, o nutricionista da alimentação escolar. Conclusão Aós o cumrimento de todo o ercurso relatado, as contribuições evidenciaram a criação e validação da Lista de Verificação de BPAE, atendendo à necessidade dos nutricionistas de contarem com um instrumento esecifico ara o segmento da alimentação escolar, que atenda às exigências da Resolução FNDE nº 38 de e sobre a legislação vigente sobre BP, RDC 216/ A inexistência de estudos de validação que envolvam listas de verificação de BP e a ausência de um adrão-ouro, se rojetaram como dificuldades no delineamento do resente estudo, o que emreendeu a combinação de diversas estratégias metodológicas ara garantir a validação da Lista de Verificação das BPAE. A validação de instrumentos ara o controle de qualidade no cenário da alimentação escolar é útil e ganha significado substancial or subsidiar os diversos rofissionais no camo da esquisa e da rática. Trabalhos semelhantes ermitem gerar conhecimentos e ferramentas que assegurem a qualidade da alimentação servida aos escolares, contribuindo consequentemente, ara a aceitação das refeições e ara a oferta de uma alimentação saudável no contexto da segurança dos alimentos. Ciência & Saúde Coletiva, 18(4): , 2013 Tabela 2. Análise da Curva ROC (Receiever Oerating Characteristics) ara as listas de verificação da Resolução SS-196 e Portaria 542/2006 em relação à Lista de Verificação BPAE. Santos, Dados da curva ROC Observações Área sob a curva (AUC) Erro Padrão Intervalo de confiança de 95% SS ,7979 0,0556 0,69545 a 0,88511 Portaria ,8599 0,0453 0,75577 a 0,92547

6 952 Stedefeldt E et al. Tabela 3. Médias da ontuação definida or nutricionistas nas dimensões de avaliação da Lista de Verificação de BPAE. Santos, Questões Inovação: Traz uma nova forma ara verificação das boas ráticas em ambiente escolar com novas características como: forma de ontuação, conteúdo das erguntas. Inovação: Se destaca dos outros instrumentos elaborados ara esse fim. Contemlação: Possui as informações necessárias ara avaliar as boas ráticas e higiene no ambiente escolar. Benefício: Facilita e justifica a tomada de decisões dos alicadores quando o assunto for boas ráticas e higiene. Benefício: Ao avaliar e resondendo esse questionário, você se sentiu róximo ao rocesso da elaboração da lista de verificação. Adequação: Reseita a exeriência rofissional dos alicadores com informações ertinentes a boas ráticas no ambiente escolar. Adequação: Atende a suas necessidades como um instrumento ara avaliar as condições de boas ráticas e higiene no ambiente escolar. Utilidade: Contribui ara resolução dos roblemas do nutricionista da alimentação escolar. Acessibilidade: Está com erguntas claras, é de fácil entendimento e interretação. Acessibilidade: É facilmente integrável a sua rática rofissional Igualdade: Pode ser alicado nos diferentes cenários da alimentação escolar exceto escolas indígenas e em remanescentes de quilombos. Transferência: Tem otencial ara influenciar mudanças ositivas nas ráticas relacionadas a boas ráticas e higiene no ambiente escolar Transferência: Possui custo/benefício adequado (baixo custo e alto benefício) ara o alicador no ambiente escolar. Média 3,89 3,89 4,31 4,34 4,17 4,55 4,27 3,93 4,10 4,24 4,00 4,20 4,24 Colaboradores Referências E Stedefeldt, DT da Cunha e EA Silva Junior desenvolveram os métodos, instrumentos de avaliação e são resonsáveis ela coleta e análise dos dados e redação do artigo. SM da Silva e ABA Oliveira articiaram da análise dos resultados e redação do artigo. Agradecimentos Ao Fundo Nacional de Desenvolvimento da Educação (FNDE) elo financiamento do resente artigo e ao Prof. Dr. Eduardo Tondo, da Universidade Federal do Rio Grande do Sul, elas colaborações Sturion GL, Silva MV, Ometto AMH, Furtuoso COM, Piitone MAP. Fatores condicionantes da adesão ao Programa de Alimentação Escolar no Brasil. Rev Nutr 2005; 18(2): Fundo Nacional do Desenvolvimento da Educação [Internet]. Alimentação Escolar Histórico. [acesso 2011 maio 20]. Disonível em: htt:// gov.br/index.h/ae-historico Brasil. Resolução de Diretoria Colegiada n 216 de 15 de setembro de Disõe sobre Regulamento Técnico de Boas Práticas ara Serviços de Alimentação. Diário Oficial da União 2004; 16 set. Genta TMS, Mikcha JMG, Matioli G. Hygiene conditions of the self-service restaurants by evaluating the microbial quality of the mixed-food rearations. Inst Adolfo Lutz 2009; 68(1): Camos AK, Cardonha AMS, Pinheiro LBG, Ferreira NR, Azevedo PRM, Stamford TLM. Assessment of ersonal hygiene and ractices of food handlers in municial ublic schools of Natal, Brazil. Food Control 2009; 20(9): Gallina D, Simm KCB, Fatel ECS. Qualidade higiênico-sanitária da merenda escolar oferecida no municíio de Lindoeste, PR. Hig Aliment 2008; 22(158):54-58.

7 Oliveira MN, Brasil ALD, Taddei JAAC. Avaliação das condições higiênico-sanitárias das cozinhas de creches úblicas e filantróicas. Cien Saude Colet 2008; 13(3): Santana NG, Almeida RCC, Ferreira JS, Almeida PF. Microbiological quality and safety of meals served to children and adotion of good manufacturing ractices in ublic school catering in Brazil. Food Control 2009; 20: Brasil. Resolução nº 275 de 21 de outubro de Arova o regulamento técnico de rocedimentos oeracionais adronizados e a lista de verificação. Diário Oficial da União 2002; 06 nov. Associação Brasileira das Emresas em Refeições Coletivas. Relatório de Gestão da Qualidade: Selo Aberc de Qualidade Emresarial SAQ. São Paulo: Comitê Executivo do Selo ABERC de Qualidade Emresarial; Associação Brasileira de Nutrição. Pesquisa Nacional do Consumo Alimentar e Perfil Nutricional de Escolares, Modelos de Gestão e de Controle Social do Programa Nacional de Alimentação Escolar: Questionário F. São Paulo: ASBRAN; Programa De Alimento Seguro. Projeto APPCC Mesa: check list ara diagnóstico inicial. Rio de Janeiro: SENAC/DN; United State Deartment of Agriculture. Guidance for School Food Authorities: develoing a school food safety rogram based on the rocess aroach to Hazards Analysis and Critical Control Points HACCP rinciles [acessado 2011 maio 10]. Disonível em: htt:// HACCPGuidance.df São Paulo (Estado). Resolução SS-196 de 29 de dezembro de Padroniza os roteiros e guias de inseção roduzidos elo Centro de Vigilância Sanitária. Diário Oficial do Estado de São Paulo 1998; 31 dez. Rio Grande do Sul. Portaria SES/RS 542 de 19 de outubro de Arova a lista de verificação em Boas Práticas ara serviços de alimentação, arova normas ara cursos de caacitação em Boas Práticas ara serviços de alimentação. Diário Oficial do Estado do Rio Grande do Sul 2006; 19 out. Organização Mundial da Saúde (OMS). Cinco chaves ara inocuidade dos alimentos [acessado 2010 fev 28]. Disonível em: htt:// English/AD/DPC/VP/fos-5-claves-manual.htm Danelon MS, Silva MV. Análise das condições higiênico-sanitárias das áreas de rearo e consumo de alimentos, disoníveis ara alunos de escolas úblicas e rovadas. Hig Aliment 2007; 21(152): Dean AG, Sullivan KM, Soe MM. OenEi: Oen Source Eidemiologic Statistics for Public Health, Version [acessado 2010 maio 12]. Disonível em: Zweig MH, Cambell G. Receiver-Oerating Characteristic (ROC) lots: a fundamental evaluation tool in clinical medicine. Clin Chem 1993; 39(4): Hanley JA, McNeil BJ. The meaning and use of the area under a receiver oerating characteristic (ROC) curve. Radiology 1982; 143(1): Martinez EZ, Louzada-Neto F, Pereira BB. A curva ROC ara testes diagnósticos. Cad Saude Colet. 2003; 11(1):7-31. Equal. Validação de rodutos inovadores. Lisboa: União Euroéia/Fundo Social Euroeu; [acessado 2012 jul 23]. Disonível em: htt://ec.euroa. eu/emloyment_social/equal/data/document/0706- msf-t-leaf_t.df Likert, R. A technique for the measurement of attitudes. Arch of Psychol 1932; 22(140):1-55. Costa SR, Gaban CRG, Leal CRB. Detecção de Stahylococcus aureus nas mãos e narinas de maniuladores e avaliação das condições higiênicas das cozinhas, em escolas estaduais no municíio de Camo Grande-MS. Ensaios e Ciências 2002; 6(2): Lockis VR, Cruz AG, Walter EHM, Faria JAF, Granato D, Sant Ana AS. Prerequisite Programs at schools: diagnosis and economic evaluation. Foodborne Pathog Dis 2011; 8(2): Martinez-Tome M, Vera AM, Murcia A. Imroving the control of food roduction in catering establishments with articular reference to the safety of salads. Food Control 2000; 11(6): Cardoso RCV, Goes JAW, Almeida RCC, Guimarães AG, Barreto DL, Silva SL, Figueiredo KVNA, Júnior POV, Silva EO, Huttner LB. Programa nacional de alimentação escolar: há segurança na rodução de alimentos em escolas de Salvador (Bahia)? Rev Nutr 2010; 23(5): Tebbutt GM, Southwell JM. Comarative study of visual insections and microbiological samling in remises manufacturing and selling high-risk foods. Eidem Inf 1989; 103(3): Jones TF, Pavlin BI, LaFLeur BJ, Ingram LA, Schaffner W. Restaurant insection scores and foodborne disease. Emerg Infect Dis 2004; 10(4): Furtado JP, Camos RO. Particiação, rodução de conhecimento e esquisa avaliativa: a inserção de diferentes atores em uma investigação em saúde mental. Cad Saude Publica 2008; 24(11): Brasil. Resolução nº 38 de 16 de julho de Disõe sobre o atendimento da alimentação escolar e do Programa Dinheiro Direto na Escola aos alunos da educação básica. Diário Oficial da União 2009; 17 jul. Artigo aresentado em 03/01/2013 Arovado em 05/01/2013 Versão final aresentada em 09/01/2013 Ciência & Saúde Coletiva, 18(4): , 2013

8