• Dilvo Ristoff

A avaliação que é melhor não fazer


Foto: Ben Shanks / Unsplash

Certo dia, Mulá Nasrudim encontrou um falcão no parapeito da janela. Nasrudim nunca havia visto uma ave desta espécie em toda a sua vida.

"Pobre criatura", exclamou compadecido. "Como puderam te deixar chegar a este estado?!"

Pegou uma tesoura, cortou as esporas do falcão, podou o seu bico e aparou as suas penas.

"Agora sim", exclamou Nasrudim satisfeito, "agora estás com mais cara de pássaro!"

Idries Shah



Há um consenso na literatura de que a avaliação formativa – aquela concebida não apenas para selecionar, regular, classificar ou ranquear, mas para aperfeiçoar processos e produtos – deve ser feita tanto por avaliadores internos quanto externos. Ambas são importantes e se complementam. Por ser de natureza participativa, este tipo de avaliação vai além da mera identificação de pontos fortes e fracos, ou da constatação da necessidade de melhoria da qualidade, para tornar-se também um compromisso institucional com o uso adequado e oportuno dos resultados para a tomada de decisões.


A autoavaliação tem a vantagem de possibilitar o envolvimento das pessoas na formulação de perguntas e na busca por respostas mais pertinentes ao seu dia a dia. Os avaliadores externos, por melhor que possa ser o seu trabalho, levam consigo o que aprenderam no processo avaliativo. Eles podem, na melhor das hipóteses, apontar para fragilidades e fortalezas e fazer boas recomendações, mas sem o envolvimento da comunidade interna, estas recomendações dificilmente se transformarão em compromissos institucionais com a melhoria da qualidade, pois não terão contribuído para o desenvolvimento do que Michael Quinn Patton denomina de pensamento avaliativo – “um desejo de testar a realidade, de perguntar: como sabemos o que pensamos que sabemos? Usar dados para informar as decisões – não tornar os dados a única base das decisões – mas fazer com que os dados ajudem a sustentar as decisões”.


A autoavaliação, no entanto, tem os seus limites e é importante que a avaliação não se esgote nela. Os autoavaliadores sofrem naturalmente de problemas associados ao que chamamos de conflito de interesses. Ao nos olharmos no espelho não nos vemos necessariamente como somos, nos cegamos para certas fragilidades e tendemos a enfatizar certas virtudes. E isto, na autoavaliação, pode afetar a objetividade e, claro, ser fatal à credibilidade, pois põe em evidência um conflito entre interesses específicos da instituição e os interesses mais amplos do público em geral. Portanto, dado que a avaliação interna pode fazer perguntas que a avaliação externa não costuma fazer, e este é o seu lado positivo, e dado também que a autoavaliação, pelo seu inerente conflito de interesse, pode afetar a validade e reduzir a credibilidade do processo avaliativo, é aconselhável fazer uso de avaliadores internos e externos. Afinal, o que mais importa é produzir boas descobertas e garantir que as mesmas sejam utilizadas para a melhoria da qualidade e para a tomada de boas decisões.


Avaliadores externos, no entanto, devem ser bem selecionados e capacitados. Precisam, igualmente, ter algumas qualidades consideradas essenciais. Quais são essas qualidades? A lista constante da literatura é imensa. Pessoalmente, eu destacaria que os avaliadores deveriam ter pelo menos as seguintes qualidades: (1) competência em métodos de mensuração e pesquisa; (2) habilidade em relações humanas; (3) integridade pessoal; e (4) compreensão do contexto e da substância do objeto da avaliação. Parecem coisas óbvias e são, mas são essenciais para que a avaliação evite os sobressaltos causados por equívocos elementares.


É fundamental, por exemplo, que avaliadores tenham uma boa capacidade para ler tabelas e gráficos e que saibam interpretar dados. A avaliação evidentemente não se confunde com a mensuração ou com os dados que produz, mas a mensuração é sem dúvida um instrumento poderoso para sustentar, com dados, as inferências e juízos, sem os quais a avaliação não existe. Como destacou, certa feita, Michael Quinn Patton, tudo é negociável em avaliação, menos que ela esteja baseada em dados.

Ter habilidade em relações humanas é fundamental tanto no processo da condução da autoavaliação quanto na participação em avaliações externas. Indivíduos autoritários, incapazes de dialogar, sem generosidade no trato com as pessoas, de convívio social difícil, excessivamente assertivos, sem clareza de comunicação, que falam demais e não sabem ouvir são incapazes de congregar esforços para que o processo avaliativo ocorra com a tranquilidade e a isenção necessárias. Estes indivíduos deveriam, em princípio, ser excluídos da condição de coordenadores ou, até mesmo, de membros das comissões de avaliação, pois tolhem a livre e espontânea manifestação dos atores envolvidos.


Da mesma forma, cabe destaque à questão da integridade do avaliador. A avaliação implica, por natureza, um trabalho ético, em que os avaliadores não apenas se declarem impedidos de participar sempre que houver conflito de interesses de qualquer natureza, mas que não aceitem subornos e não cedam a pressões políticas e ideológicas para emitir os seus juízos e fazer as suas recomendações. Se a integridade do avaliador for questionada, a avaliação como um todo é questionada e perde, portanto, a sua confiabilidade e razão de ser.


Por último, mas não menos importante, o bom avaliador deve entender o contexto e o histórico de seu objeto da avaliação. Se o objeto for uma instituição, o avaliador precisa ser sensível à natureza e ao contexto onde a IES está situada (na capital? No interior? Em cidade grande, média ou pequena? Em área rica? Pobre? No litoral? Na fronteira? Em zona agrária? Industrial?). Deve também atentar para o tempo de existência da instituição, sobre o tipo de organização acadêmica (estamos diante de uma Universidade, de um Centro Universitário, de um Instituto Federal ou de uma faculdade?) etc. etc. Isto equivale a dizer que o avaliador deve considerar objetivos, metas e as prioridades institucionais, conforme definidos em seu Plano de Desenvolvimento Institucional, pois as questões contextuais podem ter forte impacto sobre a Instituição, a missão institucional, os limites das metas estabelecidas, a qualidade das instalações, a atratividade da carreira docente, a capacidade de reter doutores no quadro, a mobilidade e a evasão estudantil, a relação candidato/vaga, as taxas de titulação, entre outras.


Ser insensível para com estas questões pode caracterizar uma incompreensão da natureza do objeto avaliado e um desrespeito à identidade institucional – um dos princípios basilares da boa avaliação. É muito comum se ouvir a queixa de que avaliadores de grandes e prestigiosas instituições, quando avaliam pequenas instituições, localizadas em pequenas cidades do interior do país, as avaliam como se estas tivessem que ser comparadas à sua instituição de origem, desconhecendo totalmente o contexto, o impacto social e a história do que estão avaliando. Quando isso ocorre, o que temos é, na verdade, uma avaliação mutiladora, como a feita por Mulla Nasrudim ao tentar, por desconhecimento, adaptar o falcão à sua visão de pássaro.

As qualidades exigidas de um bom avaliador são muitas. Daniel Stufflebeam, em um de seus livros, lista mais de duzentas qualidades esperadas. Creio, no entanto, que as quatro acima destacadas são conditio sine qua non. Se os avaliadores não souberem fazer uso de dados para sustentar os seus juízos e inferências; se não conseguirem trabalhar em equipe e congregar esforços; se forem fracos de caráter, aceitarem subornos e tiverem sua integridade pessoal questionada; e se, por fim, acharem que são o centro do mundo e demonstrarem desrespeito à identidade do objeto avaliado, melhor será se a avaliação não for feita. E que esses avaliadores sejam afastados do processo, pois não conseguirão assegurar uma avaliação séria, imparcial e justa.


* * *

Dilvo Ristoff é especialista em avaliação e doutor em literatura pela University of Southern California, nos Estados Unidos. Foi diretor de Estatísticas e Avaliação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), diretor de Educação Básica da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e diretor de Políticas e Programas da Secretaria de Educação Superior do Ministério da Educação (SESu/MEC). Foi também reitor da Universidade Federal da Fronteira Sul. É autor e coautor de inúmeros livros, entre eles, Universidade em foco − reflexões sobre a educação superior (Editora Insular, 1999), Neo-realismo e a crise da representação (Insular, 2003) e Construindo outra educação: tendências e desafios da educação superior (Insular, 2011). Atualmente ministra aulas e orienta dissertações no Programa de Mestrado em Métodos e Gestão em Avaliação da Universidade Federal de Santa Catarina (UFSC). O artigo acima é de responsabilidade do autor e não reflete necessariamente a visão do Educa 2022.

Receba nossas atualizações

  • Ícone do Facebook Branco
  • Ícone do Twitter Branco
  • Branca Ícone Instagram

© 2021 por Educa 2022. Os textos do portal Educa 2022 podem ser reproduzidos, desde que citada a fonte "Educa 2022".