• José Francisco Soares

Saeb: mudanças necessárias



O ministro da Educação publicou, em 6 de maio de 2020, portaria com os parâmetros da “Política Nacional de Avaliação da Educação Básica”. O impacto dessa política na garantia do direito à educação, fim último de toda política educacional, deve ser cuidadosamente avaliado. Este texto e outros, que o acompanharão, foram construídos como contribuição para este debate. O fato de o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) não ter publicizado documentos técnicos que justificam as opções escolhidas torna a análise da portaria especialmente difícil. Nestas condições, a análise exige inferências a partir do texto e a consideração das falas públicas dos agentes do governo sobre o tema.


O Sistema de Avaliação da Educação Básica (Saeb), na definição introduzida pela portaria, “é um sistema composto por um conjunto de instrumentos que permite a produção e a disseminação de evidências, estatísticas, avaliações, exames e estudos a respeito da qualidade das etapas que compõem a educação básica”. Esse sistema deve considerar as seguintes dimensões de qualidade para avaliar a educação básica: atendimento escolar; ensino e aprendizagem; investimento; profissionais da educação; gestão; equidade; e cidadania, direitos humanos e valores .


Este escopo dialoga com o estabelecido no artigo 11 da lei do Plano Nacional de Educação (PNE)[i], ao aceitar que o conceito de qualidade da educação ultrapassa as medidas de aprendizado dos estudantes. No entanto, os termos da portaria não contemplam a exigência dessa lei de que os indicadores escolares sejam construídos apenas quando há “participação de pelo menos 80% (oitenta por cento) dos(as) alunos(as) de cada ano escolar periodicamente avaliado em cada escola”. Sem este cuidado, fica aberta a possibilidade de seleção dos estudantes que farão o teste e a consequente dependência das estatísticas escolares de um grupo selecionado de estudantes. Além disso, a portaria não inclui, entre as dimensões de qualidade da educação, a infraestrutura das escolas, a existência de recursos pedagógicos e o dimensionamento do corpo docente, também previstos na lei do PNE.


Estas ausências sugerem a aceitação da ideia de que resultados provenientes de escolas com condições de funcionamento diferentes podem ser comparados. A limitação desse tipo de comparação ficou mais uma vez estabelecida em recente estudo da UNESCO que introduziu um novo indicador de infraestrutura das escolas e o associou ao indicador de resultado de aprendizado dos estudantes[ii].


Desigualdades


Por outro lado, a portaria, ao colocar a equidade como uma dimensão da qualidade, obriga a inclusão de indicadores de desigualdades educacionais nas sínteses oficiais do Saeb, o que não foi feito até aqui. O Índice de Desenvolvimento da Educação Básica (Ideb), o indicador síntese mais utilizado, é particularmente insensível às desigualdades educacionais prevalentes no Brasil[iii]. Também a inclusão da dimensão dos recursos e da obrigatoriedade de o Saeb considerar a “eficiência da educação praticada no País em seus diversos níveis governamentais” traz a discussão do financiamento da educação para o Saeb, cujos relatórios deverão ser muito mais abrangentes.


A face mais visível do Saeb são as medidas de desempenho dos estudantes nos testes de leitura e matemática. Estes testes têm sido objeto de muitas pesquisas e debates que mostraram fragilidades estruturais que precisam ser enfrentadas. O momento adequado para a introdução das mudanças necessárias é após 2021, quando se completa o ciclo de metas para o Ideb, estabelecidas em 2007, cujo monitoramento exige a manutenção da mesma metodologia.


A portaria diz que cabe ao Inep definir os objetivos de aprendizagem a ser avaliados nos testes. No entanto, vários artigos da portaria permitem inferir que o novo Saeb pretende apenas expandir o escopo dos testes em termos de estudantes, disciplinas e frequência, mantendo-se, no entanto, as mesmas definições pedagógicas atuais. E são exatamente estas que precisam de mudanças profundas. A ausência de divulgação de documento técnicos dificulta especialmente a análise desse ponto.


A portaria do Conselho Nacional de Educação (CNE) sobre a Base Nacional Comum Curricular (BNCC)[iv] estabelece que as aprendizagens essenciais, cuja aquisição caracteriza o atendimento do direito à educação, consistem em “conhecimentos, habilidades, atitudes, valores e a capacidade de os mobilizar, articular e integrar, expressando-se em competências”. Diante disso, se uma das finalidades do Saeb é fornecer evidências sobre a qualidade da educação, é preciso explicitar como os objetivos de aprendizagem incluídos na BNCC serão contemplados pelos testes nos próximos anos, já que isso não ocorre nos testes atuais.


A solução das questões dos testes atuais do Saeb exige basicamente processos cognitivos superficiais. Pesquisa de mestrado recente mostrou que, no caso de matemática, mais de 90% dos itens dos testes aplicados a estudantes do 5º e 9º ano do ensino fundamental são questões do nível cognitivo elementar[v].

Esse tipo de questão não é capaz de verificar muitas das aprendizagens essenciais estabelecidas na BNCC. Evidências internacionais, construídas com diferentes visões de mundo, apontam que a capacidade de raciocínio lógico e criativo, a colaboração e a comunicação oral e escrita são habilidades que os estudantes precisam para o mundo incerto, volátil e complexo em que vão viver[vi]. Nenhuma delas é tratada adequadamente nos testes do Saeb.


Múltipla escolha


Se o novo Saeb ignorar essas habilidades, fornecerá informações apenas sobre uma pequena parte dos aprendizados relevantes para os estudantes. Mais seriamente, como a avaliação tem o poder de influenciar o que é ensinado, insistir na especificação atual do Saeb é condenar a educação básica brasileira a ficar descolada das reais necessidades da vida dos estudantes, ignorando assim o esforço central feito pela BNCC.


A dificuldade de atualizar os objetivos de aprendizagem incluídos no Saeb é parcialmente explicada pelo fato de o Saeb ter usado, até aqui, apenas itens de múltipla escolha, formato que dificulta a verificação de habilidades de ordem mais elevada. Isso contrasta com o Programa Internacional de Avaliação de Estudantes (PISA, na sigla em inglês) e com o Progress in International Reading Literacy Study (PIRLS), exames citados com frequência pelos agentes educacionais do governo. Ambos utilizam questões abertas e, portanto, verificam com muito mais propriedade se os estudantes aprenderam o que é necessário para suas vidas. A aplicação recente do PISA for Schools em escolas públicas brasileiras mostrou que tirar nota 10 no Saeb não garante uma boa performance no PISA.


O Saeb é uma política que vai perdurar por longos anos, portanto, exige planejamento de longo prazo. Como a análise do contexto é o primeiro passo na definição de uma política pública, é difícil entender, sob qualquer aspecto técnico, social e mesmo ético, por que se optou pela introdução de uma mudança profunda no sistema de avaliação sem nenhuma menção aos problemas que as escolas estão enfrentando para mitigar as enormes consequências do afastamento prolongado da escola e da piora das condições das famílias, consequências da covid-19.


[i] http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2014/lei/l13005.htm [ii] https://unesdoc.unesco.org/ark:/48223/pf0000368757 [iii] https://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-73302013000300013 [iv] http://portal.mec.gov.br/docman/dezembro-2017-pdf/78631-pcp015-17-pdf/file [v]https://www.repositorio.ufop.br/bitstream/123456789/11597/1/DISSERTA%c3%87%c3%83O_ProvaBrasilAn%c3%a1lise.pdf [vi] https://journals.sagepub.com/doi/abs/10.3102/0013189X19890600 José Francisco Soares é conselheiro na Câmara de Educação Básica do Conselho Nacional de Educação (CNE). Presidiu o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) de 2014 a 2016. Doutor em estatística pela Universidade do Wisconsin-Madison e pós-doutor em educação pela Universidade de Michigan, ambas nos Estados Unidos, Soares é professor emérito da Universidade Federal de Minas Gerais (UFMG). Foi o primeiro presidente eleito da Associação Brasileira de Avaliação (ABAVE). Sua atuação acadêmica está concentrada no estudo de medidas de resultados educacionais, cálculo e explicação do efeito das escolas de ensino básico e indicadores de desigualdades educacionais. O artigo acima é de responsabilidade do autor e não reflete necessariamente a visão do blog Educa 2022.

Receba nossas atualizações

  • Ícone do Facebook Branco
  • Ícone do Twitter Branco
  • Branca Ícone Instagram

© 2020 por Educa 2022. Os textos do portal Educa 2022 podem ser reproduzidos, desde que citada a fonte "Educa 2022".