• José Francisco Soares

Usos do Saeb



O direito à educação se concretiza com a aquisição dos aprendizados essenciais para a vida do estudante, que, no caso brasileiro, foram definidos pela Base Nacional Comum Curricular (BNCC). O monitoramento da aquisição desses aprendizados é, portanto, uma consequência natural da sua fixação como direito. Nesse sentido, todo estudante tem o direito de ser avaliado, de ter seu aprendizado verificado, pois, se não há aprendizado, não há direito. No entanto, o monitoramento dos aprendizados tem também uma importante finalidade pedagógica, pois permite identificar as especificidades do atendimento que cada estudante precisa.


Defendi, em outro texto, que as aprendizagens essenciais devem estar concretizadas em um portfólio de atividades, desenvolvido e mantido por um processo de cooperação entre os docentes das redes de ensino, sob a coordenação e a curadoria da União. Colocado em uma plataforma computacional pública, esse portfólio deveria ser usado tanto para o ensino quanto para a avaliação do aprendizado dos estudantes por meio de testes para avaliações formativas e somativas.


É esperado que redes de ensino, considerando suas condições, necessidades gerenciais e cultura, optem por criar uma avaliação somativa para todos os seus estudantes, que deveria, entretanto, ser baseada no mesmo portfólio usado para as avaliações formativas.


Os resultados desses testes, embora úteis, são indicadores imperfeitos da situação do estudante e, em menor grau, da escola. A maior limitação é que esses testes são compostos de itens que contemplam apenas parte dos objetivos de aprendizagem que caracterizam o direito à educação.


Nesse aspecto é importante lembrar que há categorias inteiras de conhecimentos e habilidades essenciais que não são incluídas nos testes. Por exemplo, as habilidades socioemocionais e as habilidades de comunicação oral, cooperação e criatividade são todas fundamentais para a vida do estudante e não aparecem nos testes somativos, mesmo se estes deixarem de utilizar apenas itens de múltipla escolha.


Mau uso


Apesar de limitados, esses testes fornecem informações muito úteis. A posição de cada estudante, no continuum que retrata o aprendizado, gera uma informação útil para a orientação dos estudantes. No entanto, como esse escore indica, apenas probabilisticamente, o que sabe e o que não sabe um estudante especifico, a tomada de decisões sobre a situação do estudante não pode ser feita de forma automática a partir dos resultados do teste.


Aqui vale a metáfora da medicina, na qual os exames laboratoriais, embora essenciais, não excluem sua análise pelo médico que os usará junto com outras informações que coletou no exame clínico e no prontuário do paciente, para tomar sua decisão. Usar apenas a nota do Saeb para decidir a intervenção necessária a um estudante é como fazer um exame de colesterol para um grupo de pacientes e tratar todos com o resultado médio. Ou seja, é um mau uso da evidência obtida com os testes sugerir que basta conhecer o escore no teste para que os professores saibam o que fazer, e as famílias estejam informadas.


Os escores do conjunto dos alunos da escola trazem informação mais sólida do que o escore de um estudante individual, mas têm, também, limitações que precisam ser consideradas quando de seu uso. No entanto, pode-se afirmar com bastante segurança que há problemas de aprendizado em uma escola onde a maioria dos estudantes tem escores baixos em um teste adequadamente desenvolvido.


O motivo do baixo desempenho, contudo, não é completamente conhecido apenas com a interpretação pedagógica dos itens incluídos no teste, ainda que essas informações sejam muito úteis. Ou seja, é preciso buscar as explicações que podem estar em fatores escolares, da gestão pedagógica, das condições da escola, dos processos pedagógicos utilizados. As escolas precisam receber ajuda de seu sistema de ensino para identificar as causas do baixo aprendizado constatado em seus estudantes e desenhar estratégias de superação.


Se, por um lado, as avaliações externas têm limitações, por outro são imprescindíveis para a construção de um quadro geral do sistema a ser usado nas decisões de gestão dos sistemas de ensino e também na operacionalização do controle social. Nesse sentido, a inclusão das escolas privadas no Saeb é um fato que deve ser festejado. Embora o artigo 209 da Constituição Federal estabeleça que as atividades de ensino são livres à iniciativa privada, as escolas privadas devem atender as normas educacionais e ser avaliadas pelo poder público.


Os estudantes das escolas privadas que oferecem apenas o ensino fundamental nunca tiveram de se submeter aos mesmos testes dos estudantes das escolas públicas. No imaginário popular criou-se a ideia de que a escola privada é sinônimo de escola de boa qualidade. Obter dados confiáveis para verificar essa hipótese é importante − o que, finalmente, será possível com o novo Saeb. Naturalmente, os mesmos cuidados para a interpretação dos dados referidos acima se aplicam à escola privada.


Lenda urbana


A inclusão das escolas privadas torna necessária a discussão da adequação da atual métrica utilizada para medir os aprendizados. A recente aplicação do PISA for Schools, em escolas públicas brasileiras, mostra que tirar nota alta no Ideb não garante o mesmo no PISA. O motivo é simples: o PISA inclui conhecimentos e habilidades importantes para a vida que não são verificados no Saeb. No entanto, criou-se a lenda urbana de que nota 6 no Ideb indica uma escola de “Primeiro Mundo”. Com as escolas privadas incluídas no Saeb, o país será inundado com propagandas de escolas classificando-se como de padrão mundial. O que não será verdade, mas estará legitimado por “evidências”.


A recente portaria que reformulou a Política Nacional de Avaliação da Educação Básica sinaliza que o novo Saeb será estendido para todos os estudantes da escola, será aplicado todos os anos e chegará a incluir testes para todas as áreas. Essa expansão parece se apoiar na ideia de que a medida de desempenho induz, automaticamente, melhorias de aprendizado. No entanto, o aprendizado significativo, o que vai preparar os estudantes para a vida, depende da ação dos docentes na interação com seus alunos. Nesse processo, os docentes devem avaliar rotineiramente seus alunos, usando instrumentos associados às normas nacionais, postos à sua disposição pelos sistemas de ensino. Há ampla evidência na literatura mostrando que as escolas têm características institucionais especificas, o que impede o uso de técnicas de administração úteis em outras áreas[i].


Ou seja, pressionar as escolas por meio de testes não produz os resultados esperados. Além disso, a experiência de uso intensivo de testes foi política pública usada em vários países e, depois, descontinuada. Essas experiências deveriam ser consideradas antes de se iniciar um processo com grandes custos e benefícios incertos.

As experiências do México e do Chile são particularmente importantes, por se tratar de países que guardam semelhanças com o Brasil. O México descontinuou provas censitárias. O Chile, depois de avaliação recente, modificou o Sistema de Medição da Qualidade da Educação (SIMCE), diminuindo os testes e enfatizando a avaliação formativa[ii], mesma direção tomada pelo sistema da Califórnia, depois da introdução do Common Core[iii].


As necessidades de informação para planejamento educacional anual deveriam ser supridas por avaliações formatadas e executadas pelas redes e substancialmente facilitadas por uma plataforma pública. Na realidade, a missão última do Saeb deveria ser a de implementar essa plataforma, como expressão maior do papel de coordenação da União.

[i] Visscher, A. J. (Ed.). (2013). Managing schools towards high performance. Routledge. [ii] https://www.agenciaeducacion.cl/evaluaciones/que-es-el-simce/ [iii] https://ca.startingsmarter.org/ José Francisco Soares é conselheiro na Câmara de Educação Básica do Conselho Nacional de Educação (CNE). Presidiu o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) de 2014 a 2016. Doutor em estatística pela Universidade do Wisconsin-Madison e pós-doutor em educação pela Universidade de Michigan, ambas nos Estados Unidos, Soares é professor emérito da Universidade Federal de Minas Gerais (UFMG). Foi o primeiro presidente eleito da Associação Brasileira de Avaliação (ABAVE). Sua atuação acadêmica está concentrada no estudo de medidas de resultados educacionais, cálculo e explicação do efeito das escolas de ensino básico e indicadores de desigualdades educacionais. O artigo acima é de responsabilidade do autor e não reflete necessariamente a visão do blog Educa 2022.

Receba nossas atualizações

  • Ícone do Facebook Branco
  • Ícone do Twitter Branco

© 2020 por Educa 2022. Os textos do portal Educa 2022 podem ser reproduzidos, desde que citada a fonte "Educa 2022".