• Dilvo Ristoff

Muito além do quantitativo



Uma parte substancial da boa avaliação é totalmente ou em sua maior parte qualitativa, o que significa dizer que a descrição e a interpretação são seus principais sustentáculos.

- Michael Scriven



Imaginemos, por um momento, que algum avaliador tenha submetido a seguinte pergunta à comunidade universitária cordobense, nos meses que antecederam os protestos que levaram à Reforma Universitária de 1918:


O processo de escolha dos dirigentes da universidade e a pouca interação da universidade com a sociedade criam um clima de ansiedade entre os estudantes e na comunidade em geral.


Assinale a alternativa que melhor expresse o seu entendimento:


———1. Concordo plenamente

———2. Concordo

———3. Discordo

———4. Discordo totalmente

Considerando os protestos estudantis de 1918, em Córdoba, que contaram até mesmo com o apoio do então presidente da Argentina, Hipólito Yrigoyen, poucos teriam dúvidas de que a grande maioria dos estudantes e, talvez, boa parte dos professores escolheriam a alternativa 1 acima. Estariam, portanto, concordando com a afirmação de que o processo de escolha do reitor e a pouca interação da universidade com a sociedade criam um clima de ansiedade entre estudantes e na comunidade em geral.

Agora, imaginemos, por um momento, Deodoro Roca, autor do manifesto pela Reforma na Universidade de Córdoba, respondendo a um questionário fechado como esse. Sua reação, assim como a de todos os estudantes que, como ele, clamavam por mudanças profundas na instituição, seria, com certeza, de total estupefação, pois o que os movia era muito mais do que um simples clima de ansiedade. Por isso mesmo, qualquer tabulação e quantificação das respostas, mesmo que amplamente favorável à asserção, seria para eles totalmente insuficiente e profundamente insatisfatória. Por quê? Simplesmente porque a quantificação revelaria pouco ou quase nada da movimentação e da agitação política que estavam em curso.

Se, no entanto, esta mesma pergunta, tivesse sido apresentada com um adendo que dissesse algo como, “Acrescente em suas próprias palavras quaisquer comentários pessoais que gostaria de fazer sobre o sistema de escolha dos dirigentes da universidade e sobre a relação da universidade com a comunidade”, teríamos respostas qualitativamente muito diferentes. A julgar pelo Manifesto Liminar de 21 de junho de 1918 e, se interpreto corretamente o que se passava na cabeça de Deodoro Roca, ele teria escrito algo muito próximo a isso:

Clima de ansiedade? Vocês devem estar cegos! O clima é de revolta! Nosso regime universitário é anacrônico. Está assentado sobre uma espécie de direito divino. Nossa luta é contra esse regime porque ele empobrece a vida acadêmica. Reivindicamos uma universidade estritamente democrática, autônoma, com direito a autogoverno sustentado na comunidade universitária, principalmente nos estudantes. Em um lar de estudantes, a autoridade não se exerce mandando, mas sugerindo e amando: ensinando. Não há aqui clima de ansiedade, mas de rebeldia – uma rebeldia que se torna violenta porque a soberba dos tiranos que nos ameaçam exige que seja rompida a última cadeia que, em pleno século XX, nos amarra à dominação monárquica e monástica. Contra esse regime que, em nome da ordem, quer continuar nos enganando e embrutecendo, proclamamos, bem alto, o direito à insurreição. Não podemos permitir que nossas vidas permaneçam sob jugo da tirania de uma seita religiosa! À enganação responderemos com revolução. A juventude cordobense já não pede, exige! Exige que se reconheça o direito de exteriorizar o pensamento próprio da comunidade universitária por meio de seus representantes por ela eleitos. Não estamos ansiosos, estamos cansados de suportar a opressão, o engano arteiro, a hipocrisia, a indigência de ideias dessa tirania clerical.

E mais: esse modelo gasto, arcaico e bárbaro de autoridade, esse velho reduto da opressão clerical serve apenas para proteger criminosamente a falsa dignidade e a falsa competência, avessa ao conceito moderno de universidade. As funções públicas de uma universidade não podem ser exercidas em benefício de camarilhas que comandam cátedras hereditárias. Os métodos docentes não podem estar contaminados por um dogmatismo estreito que mantém a nossa universidade distante da ciência e das disciplinas modernas, distante das demandas da sociedade. A universidade não pode continuar a existir como uma casa muda e fechada, como um claustro inacessível à população, como um santuário dos medíocres, onde a ciência passa silenciosa ou entra mutilada e grotesca no serviço burocrático, sem espaço para os altos espíritos da inovação e da criatividade. Repito, não há clima de ansiedade por aqui – há clima de revolta! Desça de seu pedestal, amigo, e junte-se a nós nessa luta contra o autoritarismo, contra o desrespeito à vontade da comunidade acadêmica, a favor da ciência, a favor da liberdade, da justiça e de uma universidade viva.


Em suma, se a pergunta tivesse sido feita de forma a permitir que o entrevistado expressasse o que realmente pensa, sente e conhece, teríamos um mundo de questões a considerar – questões que estão muito além da simples quantificação das alternativas assinaladas. O clima de ansiedade imaginado pelo avaliador seria, por assim dizer, substituído pelos termos, talvez não todos, mas sem dúvida os essenciais, do famoso Manifesto Liminar da Reforma de Córdoba, de 21 de junho de 1918. Posso estar enganado, mas penso que a resposta de Roca e seus aliados não seria muito diferente da que tentei apresentar acima. Se não concordar, convido-o a ler novamente ou pela primeira vez o Manifesto Liminar. Não tenho dúvidas de que o tal “clima de ansiedade” imaginado pelo avaliador se transformaria rapidamente em críticas diretas à forma de conduzir a universidade, exigindo, entre outras, a autonomia, o autogoverno, a participação estudantil, eleições para reitor, diretores, chefes de departamento e coordenadores de curso, o fim das cátedras hereditárias e a sua substituição por concursos públicos, a renovação das disciplinas, a valorização da pesquisa e da extensão, a democratização do campus, a aproximação com a sociedade, enfim, uma universidade viva e criativa. O resultado seria, portanto, muito distinto e muito mais rico em suas revelações do que uma mera redução quantitativa que indicasse o nível ou grau de um suposto “clima de ansiedade” entre os estudantes e a comunidade em geral.

A depender do tamanho da amostra, essas respostas representariam, no caso, um trabalho de sistematização bastante exigente para os avaliadores, pois já não mais se trata de apenas somar concordâncias ou discordâncias. Os textos, por terem sido livremente produzidos, sem limitações ou orientações de qualquer natureza, podem ser muito diferentes uns dos outros. Para dar-lhes significado, há que se fazer a leitura e a releitura cuidadosa que permitam aos avaliadores captarem a intenção da narrativa e a compreensão de seus autores sobre a realidade por eles descrita. Para que algo significativo possa ser comunicado aos diferentes grupos de interesse, essas leituras precisam ser tematicamente organizadas, descritas e, sobretudo, interpretadas. Sem esse árduo trabalho descritivo e interpretativo, as respostas correm o risco de não terem nem utilidade prática no contexto específico em que se manifestam nem aplicabilidade a contextos mais amplos.


Esta é, penso, a principal diferença entre o quantitativo e o qualitativo na avaliação. A soma das quantidades nos oferece um quadro rápido, sucinto, sistemático, padronizado, pronto para a análise e o consumo. Já as respostas abertas nos levam à necessidade de ler textos mais longos, nem sempre totalmente claros, e que abordam uma grande variedade de temas. É essa grande variedade que torna a análise complicada e trabalhosa, pois não há uma padronização a priori a ser seguida. Mesmo assim, como nem tudo pode ser previsto e quantificado de forma convincente e útil, a metodologia qualitativa tem mais seguidores e defensores do que em geral imaginamos, pois, indubitavelmente, há grandes vantagens em se ouvir antes de inferir e afirmar uma perspectiva. Como bem destaca Michael Patton: As respostas às perguntas abertas permitem que vejamos o mundo como o vêem os respondentes. O objetivo de perguntas abertas é permitir que o avaliador entenda e capte a perspectiva dos participantes de um programa sem predeterminar a sua perspectiva por meio da seleção a priori das categorias dos questionários”.

Claro que há muitas limitações na busca das informações apresentadas em questionários abertos (e.g. deficiências interpretativas dos avaliadores, deficiências de expressão escrita dos respondentes, dificuldades de sistematização de uma grande variedade de temas, etc.). Por isso mesmo, o seu objetivo não pode ser o de pretender substituir as avaliações quantitativas, tão importantes nas avaliações de larga escala em países com sistemas educacionais que envolvem milhões de estudantes. Mesmo assim, não há dúvidas de que a avaliação qualitativa pode, em muitas situações, ser um importante coadjuvante, um valioso complemento capaz de revelar muito mais sobre os nossos cursos e instituições educacionais do que imagina a vã filosofia das nossas abordagens positivistas tradicionais.


* * *


Dilvo Ristoff é especialista em avaliação e doutor em literatura pela University of Southern California, nos Estados Unidos. Foi diretor de Estatísticas e Avaliação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), diretor de Educação Básica da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e diretor de Políticas e Programas da Secretaria de Educação Superior do Ministério da Educação (SESu/MEC). Foi também reitor da Universidade Federal da Fronteira Sul. É autor e coautor de inúmeros livros, entre eles, Universidade em foco − reflexões sobre a educação superior (Editora Insular, 1999), Neo-realismo e a crise da representação (Insular, 2003) e Construindo outra educação: tendências e desafios da educação superior (Insular, 2011). Atualmente ministra aulas e orienta dissertações no Programa de Mestrado em Métodos e Gestão em Avaliação da Universidade Federal de Santa Catarina (UFSC).


O artigo acima é de responsabilidade do autor e não reflete necessariamente a visão do Educa 2022.