• Dilvo Ristoff

A avaliação e as perguntas

Atualizado: Mar 13


Reprodução do afresco 'A criação de Adão', pintado por Michelangelo no início do século 16.

A VERDADEIRA HISTÓRIA DO PARAÍSO

“No princípio Deus criou os céus e a terra e, ao observar o que havia feito, disse:

— Vejam só como é bom o que fiz!

E esta foi a manhã e a noite do sexto dia.

No sétimo dia Deus descansou. Foi então que o seu arcanjo veio e lhe perguntou:

— Senhor, como sabe se o que criou é bom? Quais são os seus critérios? Em que dados baseia o seu juízo? Que resultados, mais precisamente, o Senhor estava esperando? O Senhor por acaso não está por demais envolvido em sua criação para fazer uma avaliação desinteressada?

Deus passou o dia pensando sobre estas perguntas e à noite teve um sono bastante agitado. No oitavo dia Deus falou:

— Lúcifer, vá para o inferno!

E assim nasceu, iluminada de glória, a avaliação.

(Michael Quinn Patton. Utilization Focused Evaluation)


Durante anos, sempre que eu pensava na origem da avaliação, eu imaginava Sócrates perambulando pelas ruas de Atenas, perguntando, sempre perguntando e perguntando ainda mais. E, depois das perguntas, vinham as inferências, alguns juízos de valor e, em se tratando de Sócrates, novas perguntas, pois perguntar e dialogar eram o seu (e deveria ser o nosso!) caminho para a aprendizagem.


Sócrates dirigia as suas perguntas a todos, mas especialmente aos políticos, poetas e profissionais de destaque de seu tempo. Sobre estes, tinha muito a dizer e a criticar. Aos políticos faltava clareza, pois raciocinavam em círculo e deliberadamente confundiam conceitos básicos para confundir os incautos; aos poetas, que diziam coisas maravilhosas, faltava ciência, pois eram movidos não pela razão, mas pela inspiração das musas e buscavam não convencer, mas seduzir, apelando aos instintos e às emoções; aos profissionais, que sabiam quase tudo sobre quase nada, faltava principalmente humildade e por isso se tornavam pernósticos e presunçosos. Como cada um deles operava, a seu modo, como educadores das novas gerações, todos eles eram bons exemplos a não serem seguidos. Quem dizia isso? O avaliador!


Ainda como novato no ramo da avaliação parecia-me quase natural que Sócrates, por ousar falar essas coisas sobre tantas pessoas influentes, tivesse o fim que teve. Hoje, quatro décadas mais tarde, faço ainda o mesmo alerta aos candidatos a avaliador: a avaliação pode ser uma atividade de alto risco! Cuidado, que seu destino pode ser a cicuta!


Dito isso, também é bom lembrar que Sócrates considerava a educação pelo exemplo algo extremamente importante e, por isso mesmo, já na prisão, recusou-se a aceitar a proposta de seu amigo Critão para subornar os guardas, ir para o exílio e fugir à força das leis. Ao se recusar a dar um mau exemplo, Sócrates, mesmo declarando-se inocente, aceita a aplicação sobre si das leis que ajudara a escrever. O que aconteceria ao Estado se cada um decidisse fazer justiça com as próprias mãos, corrigindo injustiças com outras injustiças?


O desfecho de Sócrates poderia ser outro? Claro que sim, mas, como sabemos, ainda hoje não se fala mal dos poderosos impunemente! Era evidente que Sócrates, o avaliador, pela ousadia dos serviços prestados, não desfrutaria de refeições gratuitas no Pritaneu, nem de um salário pago pelo Estado pelo resto de sua vida, nem das outras tantas regalias que ainda hoje engordam emissores de juízos dos confins da pátria. Ao contrário, Sócrates é preso, julgado e condenado à morte, tomando cicuta. Como já alertava Scriven, seria também esse o destino de avaliadores que ousassem denunciar práticas pedagógicas deploráveis das grandes universidades do mundo, como uma Harvard, por exemplo. Talvez os avaliadores não fossem condenados à morte física, mas certamente, pelo poder de pressão das Harvards da vida, correriam o risco de serem condenados ao ostracismo pelas próprias agências avaliadoras.


Sócrates, no entanto, não foi nem de longe o primeiro avaliador. O primeiro dos primeiros, como lembra Michael Patton, foi Deus. Após criar o seu mundo, ele, Deus, como todos nós, não consegue ficar indiferente diante de sua criação. Não consegue, aparentemente, apreciar a sua obra em silêncio. Precisa dizer algo, pois viu que o mundo que criara não era apenas um objeto mudo, silencioso e distante, sem mérito, sem valor, sem importância, que não se distingue de nada à sua volta. Ao contrário, viu que estava diante de algo que era “bom” e isso, por alguma razão misteriosa, precisava ser dito e compartilhado, em regozijo, com aqueles à sua volta, como que a buscar a aprovação de uma comunidade interpretativa ou, quem sabe, um reconhecimento pelos navegantes do Facebook celestial ao trabalho realizado.


E eis que surge um gaiato de um arcanjo que ousa fazer as perguntas irritantes ao Grande Avaliador:


1. Senhor, como sabe se o que criou é bom?

2. Quais são os seus critérios?

3. Em que dados baseia o seu juízo?

4. Que resultados, mais precisamente, o Senhor estava esperando?

5. O Senhor por acaso não está por demais envolvido em sua criação para fazer uma avaliação desinteressada?


Quanta ousadia do arcanjo brincalhão! Pedir ao avaliador que explique o porquê de seu juízo?! E não de qualquer avaliador, mas do avaliador-mor, onisciente, onipotente, onipresente, onividente e onitudo. Pois, podemos não gostar das perguntas, mas elas fazem todo o sentido para os envolvidos com a avaliação.


A primeira pergunta é a que, em geral, chamamos de pergunta epistemológica. Ela é fundamental porque mostra como sabemos o que sabemos ou achamos que sabemos. Ela envolve os princípios, referências e requisitos lógicos necessários para a produção do conhecimento e que nos permitem inferir, julgar ou produzir ciência. Na avaliação feita pelos homens, o conhecimento, as inferências e juízos não brotam de uma bola de cristal.


A segunda pergunta clama pelos critérios de análise que fundamentam o juízo de valor ou, num instrumento de avaliação, justificam o conceito ou a nota a ser atribuída a um determinado indicador ou dimensão. Aplicando-se a escala de critérios de análise do Sistema Nacional de Avaliação da Educação Superior (de 1 a 5), teríamos algo assim: o mundo será considerado


· excelente (nota 5), quando todos os seres vivos vivem em harmonia e não matam uns aos outros;

· muito bom (nota 4), quando só os seres humanos vivem em harmonia e não matam uns aos outros;

· bom (nota 3), quando os seres humanos, na sua maioria, vivem em harmonia e não matam uns aos outros;

· ruim (nota 2), quando os seres humanos, na sua maioria, vivem em desarmonia e matam uns aos outros; e

· péssimo (nota 1), quando todos os seres humanos vivem em desarmonia e matam uns aos outros.


Afinal, quais são os critérios para dizer que o mundo é bom? A altura das montanhas? A profundidade dos rios? As águas cristalinas de Bonito? A cor das águas da Baía da Guanabara? A ausência de terremotos no Brasil? A abundância de terras agricultáveis? A abundância de água e sol no nordeste brasileiro? A exuberância das florestas? Como Lúcifer, o que queremos saber é simplesmente com base em que é possível afirmar que o mundo é bom. Sem a identificação dos critérios de análise (para cada indicador ou dimensão), a avaliação perde o sentido e deixa de ser avaliação para tornar-se achismo ou palpite.


A terceira pergunta é igualmente importante. Há dados para sustentar o juízo de que o que foi feito é bom ou continuamos com bola de cristal, cujos sinais só são compreensíveis por cartomantes, videntes ou divindades? Michael Quinn Patton, um dos papas da avaliação qualitativa, escreveu em um de seus textos que, em avaliação, tudo pode ser discutido, clarificado e negociado. O que não é negociável é que a avaliação esteja baseada em dados. Inferências e juízos que não são sustentados por dados tendem a ser ocos, vazios e não resistem à crítica. O mesmo pode ser dito da avaliação. Se não partir de uma cuidadosa análise dos dados disponíveis, ela tenderá ao achismo e à rejeição generalizada. Por outro lado, os dados, por si só, sem interpretação, ou seja, sem carga valorativa, são coisas estéreis e inúteis. Claro que Deus poderia ter explicado que antes de o mundo ser criado, só havia trevas sobre a face do abismo, que a Terra era sem forma e vazia, que não havia luz, que a água e a terra se confundiam, que não havia terra produtiva, nem ervas com sementes, nem árvores com frutos, nem estrelas no céu, nem dia nem noite, nem peixes, nem baleias no mar, nem répteis, nem aves no ar, nem as feras da Terra, nem o gado, nem homem, nem mulher... Comparar tudo isso com o nada poderia ser difícil e exigir muito esforço de comuns mortais, mas, enfim, a explicação, com certeza, ajudaria a esclarecer o porquê do juízo.


Mesmo assim, ficaria muita coisa ainda para ser respondida e, por isso, a próxima pergunta é igualmente importante: que resultados mais precisamente o Senhor estava esperando quando criou o mundo? Um mundo onde os bichos comem uns aos outros? Um mundo onde o passarinho senta na pata do gato e ambos convivem felizes no mesmo espaço? Um mundo onde a fome de um é saciada com a morte de outros? Um mundo onde a mulher “vive nas sombras ao invés de na luz da vida” e onde o homem toma as decisões e a mulher obedece? Os objetivos são, como sabemos, uma base valorativa importante, mas e o que dizer quando os objetivos são estranhos, incompreensíveis, improváveis ou contrários ao que imaginamos que a vida deveria ser? E o que dizer quando os objetivos são minimalistas, inflados ou, mesmo, extravagantes? Claro que se o objetivo foi plenamente alcançado, poder-se-ia dizer que a ação foi exitosa, mas ter logrado êxito não significa dizer que o que foi alcançado é necessariamente bom. Quando os objetivos são pífios e vazios, não alcançá-los pode ser motivo de celebração. Em suma, também os objetivos precisam ser avaliados.


Diante de tudo isso, cabe, sim, a pergunta: O Senhor por acaso não está por demais envolvido em sua criação para fazer uma avaliação desinteressada? A autoavaliação, embora possa ser profunda e reveladora, convive por natureza com conflitos de interesse. Por isso mesmo, cabe sempre perguntar a outros se eles têm algo a dizer, sejam eles objetos da avaliação ou grupos de interesse a eles associados. Adão parece que reclamou da solidão, no que foi prontamente atendido. Talvez o hipopótamo tenha também algo a dizer sobre o seu peso ou sobre o tamanho de seu nome, a baleia sobre as suas tendências suicidas, o rinoceronte sobre a sua aparência, os peixes sobre a sua mudez, a rosa sobre a sua efemeridade e os cágados sobre a sua velocidade. Enfim, talvez sob outras óticas o mundo não seja tão bom quanto parece ao seu criador e autoavaliador. Talvez, ouvindo o que os outros têm a dizer, correções de rumo e aperfeiçoamentos possam ser implementados para a felicidade geral. Por isso mesmo, a autoavaliação, embora importante ponto de partida, é insuficiente para uma avaliação mais completa, útil e justa. A avaliação externa, porque abre espaço para outros olhares, torna-se fundamental. Claro que a avaliação de um trabalho acaba por respingar no seu autor. E um autor, especialmente o novato, raramente gosta que outros apontem deficiências no seu texto. A realidade, no entanto, mostra que o texto melhora, ganha mais unidade, clareza, coerência, fluência e força argumentativa a cada reescrita, após as críticas atenciosas, embora nem sempre generosas, de seus leitores. Nem todo avaliador externo e nem todos os leitores são generosos e dedicam a atenção que o trabalho merece e às vezes, é verdade, dá mesmo vontade de mandá-los para o inferno, mas isso, embora expresse indignação e a autoridade do autor, por si só não melhora o texto.


Enfim, podemos até não gostar das perguntas de Lúcifer, mas se um coordenador de curso ou reitor vier nos dizer: “Veja como é bom o meu curso ou a minha instituição”, nós certamente vamos querer saber como é que ele chegou a esse juízo. Vamos exigir que nos mostre os indicadores e critérios de análise; exigiremos os dados que sustentam os seus juízos; faremos um cotejamento do resultado com os objetivos declarados; e vamos propor que a autoavaliação seja acompanhada de uma avaliação externa. Podemos até ser enviados ao inferno, com bilhete só de ida, mas continuaremos a fazer essas e outras perguntas. Avaliar pode ser divino na origem, mas saber fazer perguntas e exigir respostas é libertador. Até porque perguntar não ofende. Ou ofende?


* * *

Dilvo Ristoff é especialista em avaliação e doutor em literatura pela University of Southern California, nos Estados Unidos. Foi diretor de Estatísticas e Avaliação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), diretor de Educação Básica da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e diretor de Políticas e Programas da Secretaria de Educação Superior do Ministério da Educação (SESu/MEC). Foi também reitor da Universidade Federal da Fronteira Sul. É autor e coautor de inúmeros livros, entre eles, Universidade em foco − reflexões sobre a educação superior (Editora Insular, 1999), Neo-realismo e a crise da representação (Insular, 2003) e Construindo outra educação: tendências e desafios da educação superior (Insular, 2011). Atualmente ministra aulas e orienta dissertações no Programa de Mestrado em Métodos e Gestão em Avaliação da Universidade Federal de Santa Catarina (UFSC).


O artigo acima é de responsabilidade do autor e não reflete necessariamente a visão do Educa 2022.

Receba nossas atualizações

  • Ícone do Facebook Branco
  • Ícone do Twitter Branco
  • Branca Ícone Instagram

© 2021 por Educa 2022. Os textos do portal Educa 2022 podem ser reproduzidos, desde que citada a fonte "Educa 2022".