• Dilvo Ristoff

Bases para julgar mérito e valor



Logo que conseguimos ver, temos consciência de que também podemos ser vistos. O olho do outro se combina com o nosso próprio olho para tornar totalmente crível que fazemos parte do mundo visível.


– John Berger – Ways of Seeing


* * *


Cinco bases têm sido historicamente privilegiadas pela literatura para realizar a árdua tarefa de atribuir mérito e valor na área educacional: os objetivos; os interesses e necessidades dos envolvidos; os pareceres de especialistas ou pares; os objetos alternativos; e os ideais e valores sociais. Simplificadamente, tomando essas bases como referência, poderíamos dizer que uma instituição educacional é boa (1) se atender aos objetivos estabelecidos; (2) se responder aos interesses e atender às necessidades dos grupos de interesse pertinentes; (3) se os pares ou especialistas a considerarem de boa qualidade; (4) se a instituição X tiver o alto padrão de qualidade da instituição Y e (5) se o resultado do processo de formação estiver em sintonia com o que a sociedade dela espera.


Embora nenhuma dessas bases possa ser considerada autossuficiente ou perfeita, todas elas ajudam a desfazer a ideia nociva à avaliação de que juízos de valor carecem de validade e que seremos sempre vítimas imbeles dos impropérios do achismo. A identificação clara das bases valorativas torna-se fundamental justamente por reduzir o grau de interferência de preconceitos e de arbitrariedades dos avaliadores no processo de avaliação. Trata-se não de buscar a objetividade e a precisão obsessiva das mensurações, mas tão somente de buscar estabelecer uma diferença categórica entre simples opiniões, palpites e achismos e pareceres bem fundamentados. São, principalmente, as bases valorativas que nos permitem fazer essa distinção.


Quando da construção do Sistema Nacional de Avaliação da Educação Superior (SINAES), de alguma forma, todas as bases acima foram consideradas, embora a base dos objetos alternativos tenha sido peremptoriamente rejeitada, dada a sua forte inclinação em favor do ranqueamento e da consequente desconsideração da história e da identidade institucional. Duas bases, no entanto, se tornaram eixos norteadores do processo, tendo conquistado o status de protagonistas das avaliações in loco: os objetivos e os pareceres de pares especialistas.


Os objetivos e a identidade institucional


Não é por acaso que a primeira das dez dimensões da avaliação institucional seja “a missão e o Plano de Desenvolvimento Institucional (PDI)”, pois esse é o espaço no qual a instituição explicita o seu projeto político-pedagógico, declara os seus objetivos, metas, estratégias e define o que entende que é e o que pretende ser. O PDI é o espaço, por excelência, de definição da identidade institucional. De acordo com o Art. 2°, Inciso III, da Lei N° 10.861, de 14 de abril de 2004, “O SINAES ... deverá assegurar: III – o respeito à identidade e à diversidade de instituições e de cursos”.


É importante destacar que esse respeito, que ficou sacramentado na lei, foi amplamente discutido à época nas audiências públicas com as entidades representativas que deram as suas contribuições ao debate e que auxiliaram a Comissão Especial de Avaliação do MEC na definição da doutrina do sistema. Entre as convergências apontadas estava justamente esta: “as entidades coincidem em sua maioria na proposição da avaliação... realizada em função dos objetivos estabelecidos pela instituição” (p. 85). Em outras palavras, os objetivos institucionais tornaram-se a base valorativa norteadora tanto da autoavaliação quanto da avaliação externa. Mesmo contestada pelos defensores da goal-free evaluation (a avaliação sem metas), os objetivos – não obstante as óbvias deficiências que se apresentam quando eles são mal definidos, minimalizados ou inflados – se mantêm como uma base bastante sólida para a atribuição de mérito e valor. Essa base constitui-se, além do mais, como um poderoso avalista do respeito à identidade institucional.


Os pares ou especialistas como base valorativa


A segunda base valorativa que recebeu atenção especial no SINAES foi a avaliação pelos pares ou especialistas. Longe de ser perfeita, ela é uma base tradicional para a identificação de mérito e valor, pois acredita-se que pode avaliar melhor quem conhece profundamente o objeto da avaliação. Portanto, se quisermos saber se as baleias se comunicam, é melhor perguntar a quem estuda o assunto com profundidade, ao baleiólogo. Perguntar ao padeiro, ao frentista, ao salva-vidas ou ao professor de literatura, engenharia mecânica ou sociologia provavelmente gerará uma resposta muito simples e insatisfatória. Talvez ouçamos um “acho que sim” ou um “provavelmente” ou ainda um “não faço a menor ideia”. Se perguntarmos ao especialista, a resposta será, com certeza, muito diferente. Provavelmente a resposta comece com uma pergunta: De que tipo de baleia você está falando? Da baleia azul? Da bryde? Da cachalote? Da fin? Da franca? Da jubarte? Da minke? Da orca? Da beluga? E, depois disso, você que sequer sabia que existiam tantas espécies de baleias talvez receba uma informação como esta:


“As baleias dentadas comunicam-se através de cliques e assobios de alta frequência. Sons de clique único são usados ​​principalmente para ecolocalização, ao passo que cliques múltiplos são usados ​​para se comunicarem com outras baleias e até golfinhos na área. Quando estão em um grande grupo, percebe-se que cada baleia tem um timbre único e uma frequência única, permitindo identificar quem está falando. As baleias-de-barbatana (que não têm dentes e que se alimentam, nadando de boca aberta e engolindo água) usam sons de baixa frequência que podem ser ouvidos a longas distâncias. Algumas espécies, como a jubarte e a baleia azul, produzem linhas melódicas que os cientistas chamam de canções de baleia."*


E assim também ocorre com a avaliação. Mesmo que possamos discordar da avaliação feita pelos pares das áreas específicas do conhecimento, fica evidente que as inferências e os juízos por eles emitidos têm muito mais chance de lograr êxito pelo simples fato de que estarão provavelmente sustentados em um conjunto de informações geradas por longa experiência no setor ou por estudos realizados. E isto explica o porquê da preferência da avaliação por pares no âmbito educacional. Explica também por que, quando da formulação do SINAES, foi dada preferência para a avaliação pelos pares tanto na avaliação in loco de cursos quanto na avaliação in loco de instituições.

Em outras palavras, na avaliação de cursos decidiu-se que professores das engenharias avaliariam cursos de engenharia, professores de medicina avaliariam cursos de medicina, professores de letras avaliariam cursos de letras e assim por diante. Poucos não considerariam um contrassenso indicar um professor de literatura para avaliar um curso de engenharia civil ou um professor de enfermagem para avaliar um curso de direito. Para a avaliação das instituições, da mesma forma, espera-se dos pares que compõem as comissões de avaliação que possuam uma relação de compatibilidade com as dimensões e indicadores que uma avaliação dessa natureza demanda. Ou seja, espera-se, além de vivência acadêmica (em geral comprovada pela titulação de mestrado ou doutorado), experiência no âmbito da gestão universitária.


Embora em ambos os casos os candidatos a avaliadores passem, ou deveriam passar, por processo de capacitação, o que se observa é que é frequente e intensa a crítica à avaliação por pares especialistas. As críticas são de muitos tipos, desde as que apontam que os pares tendem a ser por vezes excessivamente rigorosos (conforme pode ser visto na avaliação e na frequente rejeição de papers científicos para publicação) e outras vezes excessivamente generosos nas suas avaliações, em função da endogenia, de um suposto compadrio advindo da convivência na mesma comunidade interpretativa. Essa endogenia, argumenta-se, torna os pares incapazes de produzir as perguntas que as pessoas de outras áreas do conhecimento e o público em geral querem ver respondidas.


A falácia homeopática


A crítica mais intensa à base valorativa centrada nos pares especialistas sustenta que ela está assentada sobre uma falácia avaliativa, em geral chamada de falácia homeopática. O nome deriva do apelo à similaridade, o que em avaliação se traduz na falsa ideia de que alguém só pode ser avaliado por alguém que guarde profunda semelhança no tocante à equivalência de papéis desempenhados, tarefas executadas, formação e experiência profissional. Isso equivale a dizer que só professores podem avaliar professores, só médicos podem avaliar médicos e só programadores de software podem avaliar programadores de software.


Essa argumentação encontra respaldo na lógica da avaliação formativa, na medida em que se supõe que os que mais conhecem sobre professores, médicos e programadores podem melhor traduzir as deficiências encontradas em sugestões para aperfeiçoamentos desejáveis, necessários e, sobretudo, viáveis. Sabe-se, no entanto, que os beneficiários dos serviços desses e de outros profissionais podem muito bem ter coisas importantes a dizer. Talvez o melhor avaliador do programa de software não seja o programador, mas quem usa o programa. O usuário talvez não entenda nada sobre técnicas de programação, mas ele poderá produzir relatos importantes sobre a utilidade, as limitações e a amicabilidade de um programa de computador, podendo, portanto, trazer aos programadores informações que talvez escapem aos especialistas, mas que são cruciais para as tarefas executadas por comuns mortais.

Da mesma forma, alunos podem trazer contribuições importantes sobre a qualidade das aulas, dos planos de ensino, das avaliações da aprendizagem, das habilidades comunicativas do professor, etc. E, claro, pacientes podem fazer revelações valiosas sobre a agilidade do atendimento médico recebido, sobre o efeito da medicação administrada, sobre a legibilidade das receitas, sobre a capacidade do médico de bem orientar o seu paciente, entre muitas outras. Da mesma forma, docentes de outras áreas do conhecimento podem trazer contribuições importantes às comissões de especialistas. Nessa questão, Michael Scriven radicaliza a crítica à avaliação pelos pares especialistas quando diz: “Mesmo a generalização mais frágil – a de que é necessário um expert em X para fornecer sugestões úteis às pessoas que fazem X – não se sustenta; um dos melhores técnicos de natação na história do esporte, Frank Kiputh, de Yale, sequer sabia nadar, muito menos nadar bem”.


Rumo a comissões mistas


Exageros à parte, não obstante os inquestionáveis méritos da avaliação por pares especialistas, fica evidente que sempre há margem para aperfeiçoamentos e que manter comissões de avaliação exclusivamente compostas por docentes de áreas específicas, embora exigência da Lei do SINAES (Art. 4°, Parágrafo 1°), não se constitui em algo sagrado e imutável. Com o SINAES prestes a completar 20 anos de existência, talvez tenha chegado a hora de fazer uma profunda avaliação da avaliação, considerando, entre outras tantas questões, também esta, que é aparentemente simples, mas que põe em xeque a sacralidade da avaliação in loco feita apenas por pares especialistas.


Nas bancas de teses e dissertações é prática comum, salutar e, em muitos casos, exigência legal incluir membros externos aos programas e instituições. Não raro esses avaliadores externos têm formação básica distinta da área específica dos trabalhos em questão, numa clara valorização da interdisciplinaridade ou da experiência em áreas afins. A ideia de incluir sempre, pelo menos, um membro externo sugere que precisamos de alguma forma nos proteger de nós mesmos, de nossos métodos, de nossas tendências e tendenciosidades. Como já destacava John Berger, no seu clássico Ways of Seeing (1972), “a maneira como vemos as coisas é afetada por aquilo que sabemos ou em que acreditamos”.

Por isso mesmo, o olhar externo nos ajuda nessa tarefa de nos vermos a nós mesmos e de nos vermos vendo, além de permitir que vejamos aspectos de um problema que permaneciam invisíveis aos olhos acostumados a ver o mundo sempre a partir de uma mesma perspectiva. O olhar externo nos ajuda, portanto, a tomar decisões mais inteligentes e, provavelmente, mais objetivas. Observadas as características e especificidades dos cursos de graduação e das instituições e as peculiaridades do processo regulatório, prática semelhante poderia, salvo melhor juízo, ser adotada para a avaliação da educação superior, sempre com a consciência de que, quando aceitamos ou recusamos um parecer, aceitamos ou recusamos um modo de ver as coisas.


Há evidentemente questões operacionais e econômicas que precisam ser consideradas e superadas na composição das novas comissões mistas de avaliação. São, no entanto, questões perfeitamente superáveis e que não derrotam o que é evidente: os ganhos com a inclusão de um olhar externo, para além do olhar dos pares, podem ser muitos e significativos. De pronto, às perguntas costumeiras serão acrescentadas outras, novas, com força original até aqui desconhecida. Com o acréscimo do olhar cidadão não especialista, a avaliação externa torna-se externa não só a um campus ou a um curso específico, mas externo também à área do conhecimento e às comunidades interpretativas hegemônicas, reduzindo o grau de endogenia naturalizada, promovendo um sadio processo de descentração.


Sem desmerecer o importante trabalho realizado pela Comissão Especial de Avaliação, quando da criação do SINAES, e sem desmerecer os ganhos sempre certos da avaliação pelos pares especialistas, é importante que se construa, com a inclusão de um olhar cidadão, um escudo contra a endogenia que nos permita ampliar o escopo interpretativo das comissões de avaliação hoje existentes. Que essas e outras questões sejam amplamente discutidas e cuidadosamente estudadas para que a avaliação da educação superior possa tornar-se ainda mais eficaz, aperfeiçoando os seus mecanismos de identificação de valor e mérito. Com a palavra a CONAES, a CTAA, o Inep e os envolvidos com o dia a dia da avaliação.

* Extraído de https://www.jervisbaywild.com.au/blog/whales-dolphins-communicate/ em 17 de março de 2021.


* * *

Dilvo Ristoff é especialista em avaliação e doutor em literatura pela University of Southern California, nos Estados Unidos. Foi diretor de Estatísticas e Avaliação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), diretor de Educação Básica da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e diretor de Políticas e Programas da Secretaria de Educação Superior do Ministério da Educação (SESu/MEC). Foi também reitor da Universidade Federal da Fronteira Sul. É autor e coautor de inúmeros livros, entre eles, Universidade em foco − reflexões sobre a educação superior (Editora Insular, 1999), Neo-realismo e a crise da representação (Insular, 2003) e Construindo outra educação: tendências e desafios da educação superior (Insular, 2011). Atualmente ministra aulas e orienta dissertações no Programa de Mestrado em Métodos e Gestão em Avaliação da Universidade Federal de Santa Catarina (UFSC). O artigo acima é de responsabilidade do autor e não reflete necessariamente a visão do Educa 2022.