Avaliação de competências: da intuição à ciência

Transcrição

1 Avaliação de competências: da intuição à ciência MANUEL JOÃO COSTA Escola de Ciências da Saúde, Universidade do Minho, Portugal XIII Jornades de Docència dels Ensenyaments de la Facultat de Medicina Barcelona, 17th May 2012

2 1 a a 40 >100

3 SKILLS

4 Intuições: o início Intuitions are a species of belief, and based ultimately in experience (wikipedia)

5 decisões

6 Ciência: a chegada?

7 OUTLINE Avaliação de Competências introdução alguns critérios, exemplos (literatura, UMinho) Intuições da distância entre intuições e ciência implicações para a prática conclusões

8 avaliar = Medir, ajuizar = ERRAR Medida= Valor verdadeiro + Erro

9 avaliar = Medir = ERRAR Medida = Valor verdadeiro + Erro

10 Fiabilidade (reliability): decisões, processos, instrumentos. > fiabilidade, < Erro na medição ttp://

11 Validade (decisões) > validade, < Erro (em tudo)

12 Impacto educativo

13 Aceitabilidade

14 Feasibility, custo/benefício ttp:// /

15 critérios C/B V V C/B F A IE A IE F

16 INTUIÇÕES? suspender 1. Uma decisão de reprovar 1 aluno numa unidade curricular deve ser baseada em informação objetiva sobre a sua Competencia conseguida com instrumentos válidos 2. O melhoramento das AC. nos cursos de medicina passa pela adoção de novas metodologias de avaliação corretas 3. A definição de checklists detalhadas em exames OSCE ou em rotações é uma exigência para fazer 1 AC válida Listas de comprobacion

17 INTUIÇÕES? 4. Uma boa forma de avaliar e classificar a aprendizagem de competências dum estudante numa rotação é observá-lo prolongadamente a entrevistar e examinar um doente no final. 5. É possivel avaliar competências de raciocínio clínico com questões tipo teste 6. A combinação de notas no final de um curso de medicina reflete o real valor das competências dos alunos

18 FORMATIVA SUMATIVA 18

19 FORMATIVE SUMMATIVE 19

20 CIÊNCIA/ INTUIÇÕES 1. Uma decisão de reprovar 1 aluno numa unidade curricular deve ser baseada em informação objetiva conseguida com instrumentos válidos sobre a sua C. Uma decisão de suspender 1 aluno numa unidade curricular deve ser baseada em MÚLTIPLOS ELEMENTOS DE informação sobre a sua Competencia conseguida com instrumentos válidos INCLUINDO OS DE NATUREZA objetiva conseguida com instrumentos ADEQUADOS (fit for purpose) V C/B A IE F

21 CIÊNCIA/ INTUIÇÕES Routine performance assessors base their judgements on observations they have made over a period of time (Norcini, 2011)

22 CIÊNCIA/ INTUIÇÕES V 2. O melhoramento das AC. nos cursos de medicina passa pela adoção de novas metodologias de avaliação corretas O melhoramento das AC. nos cursos de medicina passa pela adoção de novas metodologias de avaliação adequadas E TAMBÉM PELOS PROCESSOS DE MONITORIZAÇÃO E DESENVOLVIMENTO DE QUALIDADE DAS EXISTENTES. C/B A IE F

23 23

24 CIÊNCIA/ INTUIÇÕES V 1. A definição de checklists detalhadas em exames OSCE ou em rotações é uma exigência para fazer 1 AC válida C/B A IE F

25 CIÊNCIA/ INTUIÇÕES checklist de Profissionalismo dos alunos nas rotações (10 itens/ escala de 9) >800 observações 3 anos, alunos de 4º, 5º e 6º anos

26 CIÊNCIA/ INTUIÇÕES C/B 4. Uma boa forma de avaliar e classificar a V aprendizagem de competências dum estudante numa rotação é observá-lo prolongadamente a entrevistar e examinar um A doente no final. IE F

27 CIÊNCIA/ INTUIÇÕES Aumentar diversidade/frequencia de observações: MiniCex DOPS OSCE (simulação) F IE Requisito para rotaciónes/ decisão conjunta IE C/B

28 CIÊNCIA/ INTUIÇÕES 5. É possivel avaliar competências de raciocínio clínico com questões tipo teste J Open Ended Questions should be used SOLELY to test aspects that cannot be tested with MCQ (Schuwirth and van der Vleuten 2004)

29 CIÊNCIA/ INTUIÇÕES Um homem de 33 anos aparentemente saudável chega à consulta com sinais de fraqueza. Queixa-se de dores abdominais ocasionais, sem diarreia. Uma tia e um primo seus têm queixas parecidas. No exame neurológico, apresenta fraqueza ligeira nos membros superiores. Estes defeitos sugerem uma falha numa via biossintética. Qual? A porfiria aguda intermitente resulta de falhas numa via biossintética. Qual? 1. Colagénio 2. Tiroxina 3. Heme 4. Glucose

30 PROCESSO DE CONSTRUÇÃO DESENVOLVIMENTO autor revistos PRODUÇÃO I: ITEM COMISSÃO DE REVISÃO A REVER TESTE; colheita docimologia ITEM REVIST O R Autor revê ADEQUADA BANCO INADEQUA DA CONSOLIDAÇÃO

31 CIÊNCIA/ INTUIÇÕES 6. A combinação de classificações no final de um curso de medicina reflete o real valor das competências dos alunos?

32 Not everything that counts can be counted and not everything that can be counted counts. Albert Einstein

33 SOB INVESTIGAÇÃO

34 Ciência: a chegada?

35 Nunca terminadas

36 Avaliação de Competências

37 Avaliação de Competências Avaliar competências melhor, implica diminuir erros, aumentar aceitabilidade e pensar em relações custo/benefício Avaliar competências exige ciência, intuição não satisfaz Avaliar competências: usar o que se sabe, estudar o que não se sabe Avaliar competências: