O CAEd está organizado em cinco unidades:

Transcrição

1

2 O Centro de Políticas Públicas e Avaliação da Educação (CAEd), da Universidade Federal de Juiz de Fora, é uma instituição que operacionaliza (elabora e desenvolve) programas estaduais e municipais destinados a mensurar o rendimento de estudantes das escolas públicas. A instituição também cria e promove cursos de formação, qualificação e aprimoramento aos profissionais da Educação de diversos estados do Brasil, além de desenvolver software para a gestão de escolas públicas (como os projetos SisLAME e SIMADE) com o objetivo de modernizar a gestão educacional. O CAEd oferece ainda apoio para o desenvolvimento de projetos educacionais promovidos por iniciativas privadas, a exemplo de algumas ações da Fundação Roberto Marinho, Instituto Unibanco e Fundação Oi Futuro. O CAEd está organizado em cinco unidades: Unidade de Pesquisa; Unidade de Avaliação; Unidade de Formação; Unidade de Sistemas de Gestão; Unidade de Administração.

3 É refletir sobre uma determinada realidade a partir de dados e informações, e emitir um julgamento que possibilite uma ação.

4 Nas últimas décadas, paralelo às avaliações tradicionais, outro procedimento de avaliação educacional tem ganhado espaço: são as avaliações externas, geralmente em larga escala, que têm objetivos e procedimentos diferenciados das avaliações realizadas pelos professores nas salas de aula. Entre esses objetivos, podemos destacar a certificação, o credenciamento, o diagnóstico e a rendição de contas. Essas avaliações são, em geral, organizadas a partir de um sistema de avaliação cognitiva dos estudantes e são aplicadas de forma padronizada para um grande número de pessoas, entre os quais estão estudantes, professores, diretores, coordenadores.

5 As avaliações em larga escala usam, como instrumentos, testes de proficiência e questionários, que permitem avaliar o desempenho escolar e os fatores intra e extraescolares associados a esse desempenho.

6 Linha do tempo da avaliação educacional em larga escala no Brasil

7 AVALIAÇÃO EDUCACIONAL Avaliação Interna/Escola Avaliação Externa/Sistemas Processo da aprendizagem Desempenho dos estudantes Provas abertas Provas objetivas Observação/Registro Portfólio Testes de proficiência Questionários contextuais TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM

8 Avaliação Diagnóstica Formativa Somativa Interna Escola Externa Sistemas Interna Escola Externa Sistemas Interna Escola Externa Sistemas Pequena escala Larga escala

9 A diferença entre a avaliação interna e externa está principalmente na metodologia no que podemos fazer com os resultados. Mas, tanto na avaliação interna quanto na externa, como avaliar(?) e o que fazer com a avaliação(?) são duas discussões diferentes. A primeira remete-se à especificações da ferramenta e, a segunda, ao melhor uso dessa ferramenta.

10 4. 1. Diagnóstico do desempenho e fatores que interferem nesse desempenho no universo avaliado. 2. Acompanhamento / monitoramento da qualidade da educação ao longo do tempo. 3. Definição de subsídios para a formulação de políticas educacionais - foco qualidade e equidade. Promoção de melhorias na relação com orgãos centrais e escolas e no ensino ofertado pela rede como um todo.

11 Estado Resultados Transversais ou Longitudinais, por diferentes níveis. Regionais Municípios Escolas Turmas Estudante

12 Objetivo Melhorar a qualidade da educação com promoção da equidade Menor periodicidade entre os ciclos avaliativos (ciclos anuais de avaliação) Por quê? Desenho próprio da avaliação com vistas ao atendimento das necessidades específicas Rapidez no acesso às informações (menor tempo de processamento da base de resultados)

13 Etapa Descrição Disciplina Rede 2 EF 5 EF 6 EF 9 EF 2º Ano do Ensino Fundamental 5º Ano do Ensino Fundamental 6º Ano do Ensino Fundamental 9º Ano do Ensino Fundamental 1 EM 1º Ano do Ensino Médio 2 EM 2º Ano do Ensino Médio 3 EM 3º Ano do Ensino Médio Língua Portuguesa e Matemática Língua Portuguesa e Matemática Língua Portuguesa e Matemática Língua Portuguesa e Matemática Língua Portuguesa e Matemática Língua Portuguesa e Matemática Língua Portuguesa e Matemática Estadual Estadual Estadual Estadual Estadual Estadual Estadual

14

15

16

17 Itens Organizados em blocos Distribuídos em vários cadernos

18

19

20

21

22 Em avaliações educacionais, a proficiência é uma medida que representa um determinado traço latente (aptidão) de um estudante, assim sendo, podemos dizer que o conhecimento de um estudante em determinada disciplina é um traço latente que pode ser medido através de instrumentos compostos por itens elaborados a partir de uma matriz de habilidades. A ferramenta utilizada para calcular a proficiência é denominada Teoria da Resposta ao Item TRI, sendo caracterizada por um conjunto de modelos matemáticos, no qual a probabilidade de acerto a um item é estimada em função do conhecimento do estudante.

23

24 É pela verificação de um padrão gerado pela análise das respostas de todos os candidatos, que propiciará a definição da curva característica de cada item, com a qual será cotejado cada um dos acertos de todos os candidatos para gerar o índice de proficiência individual. Esse processo permite estimar a proficiência de cada estudante, observando-se quais - mais do que quantos - itens acertou, levando-se em conta as proficiências que eram exigidas pelo modelo da TRI cuja expressão gráfica é a curva característica do item. A curva característica de um item é uma representação gráfica da probabilidade de acerto que estudantes com diferentes graus de proficiência teriam, estatisticamente, com as características de cada item, pela determinação de cada um de seus parâmetros - discriminação, dificuldade e acerto ao acaso.

25 Probabilidade de Acerto 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Proficiência 275

26 A TRI nos permite: Comparar resultados de diferentes avaliações, como o SAEB. Avaliar com alto grau de precisão a proficiência de estudantes em amplas áreas do conhecimento sem submetê-los a longos testes. Comparar os resultados entre diferentes séries, como o início e fim do Ensino Médio.

27 Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões: Você consegue guardar as malas no bagageiro interno de um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

28 Como todas essas questões estão associadas à altura da pessoa... Alcançar malas no bagageiro Alcançar prateleira superior Dormir com pés para fora da cama 1,60m 1,70m 1,80m 1,90m... podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

29 Embora mais complexo, o processo de avaliação do desempenho é o mesmo. Como há uma certa progressão no desenvolvimento de competências e habilidades, podemos ordernar estas habilidades segundo sua complexidade e criar uma régua para estimar o desempenho. Esta régua pode se estender para além de um ano ou etapa escolar, abrangendo o conteúdo curricular do 5º ano do Ensino Fundamental ao 3º ano do Ensino Médio, como é feito atualmente pela escala SAEB. Dessa forma, é possível comparar não só resultados de estudantes dentro da mesma série, mas também a progressão dos mesmos ao longo de todo o seu aprendizado.

30

31

32 Uma das formas mais simples e objetivas de se analisar os resultados da avaliação é através dos padrões de desempenho. Estes padrões representam recortes na escala de proficiência, definidos a partir dos objetivos e metas de aprendizagem de cada etapa e disciplina avaliada.

33

34 Fatores Extraescolares Fatores Intraescolares Fatores socioeconômicos Fatores familiares Fatores individuais Gestão e administração Prática pedagógica Condições de infraestrutura Qualificação dos profissionais

35

36

37

38