Especificamente, a avaliação deve conduzir a uma compreensão das seguintes dimensões:

Transcrição

1 O QUE AVALIAR? Como um passo crucial na elaboração da estratégia, é desejável que se leve a cabo uma avaliação de fundo da situação actual do sistema nacional de estatísticas.a avaliação tem como objectivo responder a questão Aonde é que estamos? através de uma ccaracterização completa do Sistema Nacional de Estatísticas (SNE). Deve conduzir a uma percepção da adequação dos resultados e estatísticos e a organização e gestão do SNE como um todo. Os resultados devem ser accionáveis para contribuir para o processo de definição de objectivos estratégicos. A avaliação deve, assim, ser realista, objectiva e crítica. Há dois domínios que têm de ser considerados para compreender de que modo está a funcionar o SNE: a) em que grau os seus produtos satisfazem as necessidades dos utilizadores e b) a Se tiver sido feita uma avaliação prévia, é importante dispor de sua capacidade estatística. uma comparação dos resultados para avaliar as melhorias conseguidas. Relativamente à primeira, seria uma análise das necessidades dos utilizadores para definir a disponibilidade de dados para produzir os indicadores estatísticos solicitados e identificar lacunas ao nível dos dados. A maioria das lacunas é provocada por uma falta de correspondência entre a procura e a oferta de dados ou entre produtos e resultados (a eficácia do sistema do ponto de vista do utilizador), isto é, lacunas em termos dos dados pretendidos e aquilo que está disponível/lacunas em termos de qualidade de dados disponíveis e do serviço prestado. A avaliação também irá sublinhar os desempenhos do sistema de estatística (eficiência - capacidade/produtos) e apresentar os principais pontos fortes e fracos internos, assim como as ameaças externas que podem afectar o modo como o mesmo evolui e as oportunidades que devem ser aproveitadas. O sucesso será avaliado relativamente à situação de partida. Na verdade, para os países que já têm uma ENDE, a fase de apreciação equivale à fase de avaliação da anterior ENDE. Note-se que uma análise aprofundada da capacidade em matéria de estatística é crucial para a concepção de estratégias que ajudarão a reduzir as lacunas em dados e melhorar os resultados do sistema de estatística. Uma avaliação útil utiliza as boas práticas e os valores de referência em comparação com as normas e quadros internacionais, consoante os casos. Há actualmente várias ferramentas disponíveis para os países avaliarem o seu SNE. Em 2017, a Parceria PARIS21 fez uma análise das avaliações internacionais e sobre a utilização das mesmas, que vai ser discutida nas secções adiante. Especificamente, a avaliação deve conduzir a uma compreensão das seguintes dimensões: Avaliação das exigências/necessidades em matéria de dados e da satisfação dos utilizadores Page 1 of 10

2 Avaliação do SNE - Capacidade - Resultados em termos de estatística Na prática Antes da realização de uma avaliação, é extremamente importante decidir quem é o avaliador (p. ex., peritos nacionais, peritos internacionais, comissão nacional), quem será o ponto focal, quem vai participar no processo e qual a ferramenta de avaliação a utilizar no processo. A lista das pessoas que vão participar na avaliação pode incluir produtores de dados (a que níveis e de que agências), autoridades com maior responsabilidade pelo SNE, incluindo ministros, membros do conselho de estatística ou altos funcionários dos ministérios da tutela, actuais utilizadores de dados, utilizadores potenciais, fornecedores de dados, parceiros de desenvolvimento, organizações de investigação, universidades e organizações regionais. A preparação para a avaliação global obriga a uma análise aprofundada da documentação existente e das conclusões de outras avaliações anteriores. Haverá muito poucos países a iniciarem o planeamento estratégico a partir do zero (alguns países estão a projectar a sua segunda ENDE), e o objectivo será normalmente melhorar o sistema nacional de estatística que existir. A avaliação deverá começar por uma avaliação dos documentos estratégicos relevantes para identificar os domínios prioritários e os indicadores necessários. Estes documentos irão provavelmente incluir quadros de política de desenvolvimento nacional e as suas avaliações (p. ex., desenvolvimento sustentável, redução da pobreza, estratégias sectoriais e sub-nacionais), assim como documentos de política de desenvolvimento sub-regional e internacional (p. ex., Agenda 2030 para o Desenvolvimento Sustentável, acordos internacionais e relatórios de país sobre os ODS. Poderá também ser conveniente nesta fase consultar os documentos sobre políticas/programas dos doadores potenciais para o país. A análise de todos os documentos relevantes, incluindo os relatórios existentes sobre a situação da estatística, dará uma primeira imagem geral do desenvolvimento da estatística no país. Qualquer análise eficaz do SNE deve ser realizada e apropriada pelo próprio Existem várias ferramentas internacionais para ajudar neste processo; este país. documento proporcionará orientações sobre a forma de as seleccionar. A Parceria PARIS21 (2017: 15) elaborou directrizes sobre a forma de escolher a ferramenta de avaliação. A equipa responsável pela concepção da ENDE poderá utilizar as seguinte perguntas de orientação para identificar as ferramentas mais adequadas às necessidades do país: Quem precisa de ser convencido através da avaliação? Quem irá receber os resultados e actuar relativamente aos mesmos? Quem deve realizar a avaliação? Auto-avaliação com apoio de um perito internacional, ou avaliação independente por um parceiro de desenvolvimento? Page 2 of 10

3 As pessoas que precisam de ser influenciadas pelos resultados (para que sejam conseguidas as melhorias necessárias em matéria de capacidade) confiam e valorizam os resultados? Há alguma questão ou algum sector que exija atenção especial? Qual é a urgência da avaliação algumas avaliações são rápidas, outras demoram vários meses? Há algum parceiro de desenvolvimento interessado? Quem deve ser consultado para a avaliação? A preparação para a avaliação global requer uma análise exaustiva da documentação existente e revisão das constatações das avaliações anteriores. Muito poucos são os países que estarão a começara planificação estratégica do zero (alguns países estão a elaborar a ENDE pela segunda vez) e o objectivo será o de melhorar o sistema nacional de estatística existente. A avaliação começará com a revisãodos documentos das políticas para identificar áreas importantes e indicadores necessários. Estes documentos provavelmente incluirão quadro de políticas de desenvolvimento nacional e as suas revisões (tais como redução da pobreza -e estratégias sectoriais), bem como documentos de políticas de desenvolvimento sub regionais e internacionais (tais como Declaração do Milénio e relatórios dos ODMs). Pode também ser adequado nesta fase ler documentos de políticas nacionais de potenciais doadores. A análise de todos os documentos relevantes, incluindo relatórios existentes sobre a situação estatística, providenciará uma imagem geral do desenvolvimento estatístico do país. Quaisquer análises proveitosas da ENDE devem ser levadas em consideração e assumidas pelo país. Page 3 of 10

4 1. AVALIAÇÃO DA PROCURA/DAS NECESSIDADES EM MATÉRIA DE DADOS E DA SATISFAÇÃO DOS UTILIZADORES Page 4 of 10

5 A procura de estatísticas por parte dos utilizadores varia grandemente de acordo com a finalidade e capacidade, literacia e sofisticação destes na utilização de estatísticas. Assim, há que realizar uma análise da procura actual e potencial em matéria de dados. As necessidades dos utilizadores não podem ser devidamente satisfeitas se essas mesmas necessidades não tiverem sido devidamente identificadas, sintetizadas, compreendidas e priorizadas, e se os utilizadores não estiveram plenamente cientes da produção e das práticas de gestão em estatística. Importa sublinhar que os utilizadores têm invariavelmente uma longa lista de necessidades de estatística, e há que envidar todos os esforços para orientá-los para que identifiquem as suas prioridades. O estabelecimento de uma ligação entre as necessidades dos utilizadores e os planos de desenvolvimento nacional e/ou programas nacionais específicos será crucial no momento da tomada de decisões finais relativamente aos resultados de estatística que devem ser priorizados. Além disso, as necessidades e prioridades dos utilizadores estão em constante mudança, e o seguimento destas alterações obriga a que a consulta e o diálogo com os utilizadores sejam uma actividade constante. As consultas e discussões com os utilizadores devem procurar responder às seguintes perguntas principais: Quem são os principais utilizadores de estatísticas? De que forma utilizam as estatísticas nas suas próprias operações? Em que medida estão disponíveis as estatísticas necessárias e de que modo foram os utilizadores condicionados pela falta de estatísticas; o sistema existente contribui para a produção do conjunto de indicadores adequado para monitorizar os objectivos de desenvolvimento nacionais e cumprir os requisitos internacionais (ODS, por exemplo) e compromissos regionais? As estatísticas produzidas contribuem para uma melhor prestação de contas e transparência do governo? Como avaliam os utilizadores, quer pertençam a entidades governamentais ou não, a adequação das estatísticas existentes em termos de relevância, rigor, consistência, exaustividade, oportunidade, nível de desagregação (geográfica, de género, etc.), apresentação ou legibilidade das publicações, práticas em matéria de -revisão dos dados preliminares e acessibilidade a dados, meta-dados e micro dados? Qual é a sua relação com os principais produtores de estatística, e de que forma vêem o seu próprio papel no desenvolvimento do SNE? As estratégias de argumentação em prol da importância das estatísticas actuais são suficientes para sensibilizar o público para a importância dos dados produzidos; o sistema dá formação adequada para ajudar os utilizadores a interpretar os dados, cria indicadores e utiliza da melhor forma as estatísticas; o sistema disponibiliza estudos personalizados ou a pedido? Quais são as suas necessidades e prioridades actuais ou futuras percepcionadas? As suas necessidades estão ligadas a programas nacionais ou planos de desenvolvimento específicos? Na opinião dos utilizadores, qual a melhor forma de as suas necessidades serem satisfeitas no contexto da ENDE? 2. AVALIAÇÃO DO SNE Capacidade estatística Page 5 of 10

6 A Parceria PARIS21 criou o Quadro Capacity Development 4.0 (CD 4.0) para analisar a capacidade dos sistemas de estatística através de um prisma novo. Neste contexto, a capacidade estatística refere-se à capacidade de o sistema nacional de estatística de um país, das suas organizações e das pessoas para recolher, produzir, analisar e divulgar dados de elevada qualidade e fiáveis para satisfazer as necessidades dos utilizadores (Eurostat 2014; Banco Mundial, 2017). O quadro foi criado por uma Equipa de Trabalho constituída em 2017 para analisar a capacidade estatística no contexto do novo ecossistema de dados. A Equipa de Trabalho envolveu um grupo alargado de intervenientes, incluindo institutos nacionais de estatística, parceiros de desenvolvimento, organizações multilaterais e bilaterais, e fornecedores do sector privado. O Quadro CD 4.0 identifica três níveis principais na avaliação da capacidade, e é geralmente utilizado em vários quadros existentes (p. ex., Denney and Mallet, 2017) As estatísticas oficiais são produzidas pelo SNE, que é constituído por várias instituições ou agências que interagem entre si, e que são por sua vez constituídas por pessoas que interagem com outras. Por este motivo, a capacidade estatística tem de ser avaliada a três níveis: a) individual (p. ex., trabalhadores em estatística, incluindo potenciais); b) organizacional (p. ex., o INE); e c) o sistema no seu conjunto, que é constituído por indivíduos e organizações, acrescido das ligações e interacções entre os mesmos. São cinco os objectivos a considerar neste quadro: recursos, competências e conhecimento, gestão, política e poder (isto é, governação) e incentivos. As competências são necessárias para manejar recursos, enquanto a gestão permite dar-lhes a melhor utilização tendo em vista a concretização de metas e objectivos específicos. A definição de objectivos é uma questão de interacções políticas, que são orientadas por incentivos. Todos os objectivos têm de estar alinhados para assegurar um SNE que funcione. O Quadro Capacity Development 4.0 Sistema Organizacional Individual Destinatário/Nível conjuntura institucional Recursos humanos Antecedentes profissionais Recursos fra-estrutura dos fundos Orçamento lanos (ENDE, sectorial) Infra-estrutura Dados existentes cia em matéria de dados Processos de produção de estatísticas Competências técnicas Competências e conhecimento Garantia da qualidade e códigos de conduta 'Know-how' do trabalho rtilha de conhecimentos Inovação Resolução de problemas e pensamento criativo Comunicação de coordenação do SNE Planeamento estratégico e monitorização e avaliação Gestão do tempo e priorização Gestão ecossistemas de dados Concepção organizacional Gestão de RH Liderança Page 6 of 10

7 atégia de argumentação Gestão da mudança Estratégias de angariação de fundos elação entre produtores Transparência Trabalho de equipa e colaboração Política e poder ento com os utilizadores Competências em comunicação e negociação as autoridades políticas Política no local de trabalho fornecedores de dados Ligação estratégica em rede Prestação de contas das partes interessadas Remuneração e regalias Expectativas em termos de carreira Incentivos Apoio político Cultura organizacional Rendimento e estatuto social Legitimidade Reputação Ética profissional e automotivação Nesta data, a disponibilidade de indicadores de desempenho para medir as dimensões do CD 4.0 são limitadas. À medida que os ecossistemas de dados se tornam mais complexos, as avaliações do SNE terão gradualmente necessidade de integrar outros indicadores de capacidade, que incluem competências individuais para além das competências técnicas, novas práticas organizacionais e os intervenientes emergentes (p. ex, fornecedores privados, iniciativas em matéria de dados criadas pelos cidadãos). Isso permitirá à avaliação criar uma abordagem virada para o futuro e identificar domínios a desenvolver no âmbito do SNE. Resultados em termos de estatística Os resultados existentes e já planeados do SNE serão avaliados. Tal será complementado por uma avaliação de novos resultados potenciais a produzir em resposta às prioridades que tiverem sido identificadas. Cada um dos resultados principais deve ser comparado com os critérios acordados como, por exemplo, normas e quadros internacionais, metodologias recomendadas, entre outros. Os quadros de garantia da qualidade dos dados e as normas de divulgação como o Quadro de Avaliação da Qualidade dos Dados (Quality Assessment Framework (DQAF), e o Sistema Geral de Divulgação de Dados (General Data Dissemination System (GDDS)) do Banco Mundial são considerados como padrões de excelência na avaliação dos resultados estatísticos, sendo assim considerados na ENDE na maioria dos países. São muitos os países que subscrevem actualmente o GDDS e, consequentemente, já levaram a cabo muitas das etapas exigidas para a criação de uma abordagem estratégica relativamente ao desenvolvimento da estatística. Os países que ainda não o adoptaram considerá-lo-iam como uma etapa preliminar importante., há que considerar as seguintes os resultados em matéria de estatísticapara avaliar questões: Page 7 of 10

8 Quais as estatísticas que estão disponíveis (inventário da oferta), as suas fontes e rapidez com que são disponibilizadas aos utilizadores (políticas e processos de publicação, divulgação e comunicação); A qualidade das estatísticas e a forma como são produzidas (produção, processos, métodos e procedimentos, utilização de normas internacionais, constrangimentos e problemas) e tratadas, analisadas e arquivadas (políticas em matéria de TI, bases de dados, anonimização, etc.); Melhorias nos sistemas e processos de gestão de dados para facilitar uma produção de dados eficiente, isto é, reduzir a duplicação de esforços, preencher lacunas no sistema; Existem definições claras de todos os dados produzidos? São arquivados de forma a poderem ser acedidos por todos os utilizadores e produtores relevantes ao nível do SNE e fora dele? O sistema produz o conjunto correcto de indicadores para avaliar o desempenho do sector? Na prática A equipa de concepção da ENDE, em coordenação estreita com todas as outras unidades (ver PREPARAÇÃO) e com o apoio possível de consultores, fará a Avaliação. A análise prévia da informação existente, a classificação dos resultados das estatísticas e o inventário de todas as unidades do SNE irão facilitar o exercício acima. A avaliação das necessidades dos utilizadores pode ser feita através de várias abordagens. Como sucede geralmente com a avaliação, é provável que a equipa de concepção consiga tirar partido de processos existentes ou de uma avaliação de referência sobre as necessidades dos utilizadores (princípios de qualidade relacionados com as estatísticas oficiais) já realizada no passado. Uma das abordagens consiste em identificar quais os utilizadores interessados em conjuntos de dados específicos de acordo com os seus domínios preferidos e organizar o contacto com estes utilizadores. A lista elaborada através do processo de PREPARAÇÃO (ver PREPARAÇÃO - Identificação das partes interessadas) é um bom ponto de partida para a identificação dos principais utilizadores dos dados. As instituições seleccionadas de cada um dos principais grupos de utilizadores (ver DEFESA DA IMPORTÂNCIA) devem ser incluídas na consulta e nas discussões havidas com as mesmas, quer individualmente, quer em pequenos grupos, enquanto outras podem ser convidadas a contribuir por escrito. O processo deve assegurar que os responsáveis pelas políticas e os decisores, assim como o pessoal técnico das instituições que utilizam dados, são consultados. Uma segunda abordagem relativamente ao envolvimento dos utilizadores que teve sucesso em vários países consiste em organizar um "workshop" no país que reúna compiladores de dados, utilizadores de dados e agências doadoras. Os "workshops" tratam de tópicos específicos sobre estatísticas que são do interesse dos participantes, para além de incentivarem o diálogo entre grupos de compiladores e utilizadores. Os "workshops" têm-se revelado úteis na sensibilização dos participantes para a importância das estatísticas, disponibilizando relatórios de progresso sobre melhorias ao nível dos dados, e discutindo Page 8 of 10

9 novas questões. As opiniões dos vários utilizadores serão tidas em conta e comparadas com o inventário de estatísticas oficiais. Podem igualmente ser obtidas informações através de um questionário ou mediante uma visita concreta e entrevistas às partes interessadas. Esta última abordagem é geralmente a preferida para evitar taxas de resposta reduzidas na realização dos questionários. Durante o processo de preparação da ENDE, os comités sectoriais que vão ser criados elaborarão um quadro adequado para a participação dos utilizadores e a identificação das necessidades destes. Para avaliar a capacidade e os resultados em matéria de estatística, existem inúmeras ferramentas internacionais. Um estudo realizado pela Parceria PARIS21 (2018), em que catorze das perguntas e indicadores mais conhecidos de avaliações internacionais foram categorizados utilizando a classificação referida no Quadro Capacity Development 4.0, constatou que 40% de todas as perguntas incidem nas competências e conhecimento ao nível organizacional, sobretudo nos processos de produção de estatísticas e quadros de garantia de qualidade. Existem quatro tipos de ferramentas internacionais: A) as que são utilizadas pelas autoridades nacionais para informar os processos nacionais de planeamento estatístico e estratégico, B) ferramentas para parceiros que queiram 'investir' em estatística para informar a concepção e monitorização dos projectos, C) ferramentas de monitorização internacional do desempenho das estatísticas e D) avaliações da qualidade dos dados / cumprimento dos códigos de prática. (PARIS21, 2017: 7-8) As ferramentas de tipo A são "geralmente aplicadas sob os auspícios das autoridades nacionais de planeamento ou estatística, mas são geralmente levadas a cabo por peritos internacionais conhecidos ou pares trabalhando em conjunto com as autoridades nacionais (...) São normalmente aplicadas ao longo de um período de várias semanas ou meses e envolvem um número elevado de consultas a partes interessadas nacionais, regionais e internacionais". As ferramentas de tipo B "são geralmente aplicadas por peritos dos parceiros de desenvolvimento ou contratados pela própria organização dos parceiros de desenvolvimento (...) O período de diagnóstico prolonga-se por várias semanas e implica consultas às partes interessadas" (PARIS21, 2017: 7) Essas avaliações destinam-se a identificar os pontos fortes e fracos do sistema de estatística e os constrangimentos em termos de qualidade. As ferramentas de tipo C não implicam uma visita ao país, mas baseiam-se em informações disponíveis ao público em sítios Web de estatística nacionais" (PARIS21, 2017: 8). Por último, as ferramentas do tipo D são implementadas para observar as normas das organizações internacionais, são "normalmente obrigatórias e concebidas para verificar o cumprimento dos códigos de prática e as normas da própria organização". Além disso, uma análise SWOT (pontos fortes e fracos, oportunidades e ameaças) pode ajudar a compreender a conjuntura geral e sublinhar os pontos fortes e fracos (internos), bem como as oportunidades e ameaças (externas). Tal conduzirá à evolução desejada e ajudará a formar a visão (ver DEFINIÇÃO DE UMA PERSPECTIVA). Page 9 of 10

10 Powered by TCPDF ( Source URL: Page 10 of 10