• Dilvo Ristoff

Grifos, gárgulas e a Lei do SINAES


Foto: Sunbeam Photography / Unsplash

“É graças à avaliação que conseguimos distinguir a comida do lixo, as mentiras das verdades e a ciência da superstição."


– Michael Scriven


* * *


A Comissão Especial de Avaliação (CEA), encarregada de formular o Sistema Nacional de Avaliação da Educação Superior (SINAES), trabalhava com a clareza de que estava diante de um Estado avaliador – um Estado que, em suas leis maiores, já havia estabelecido funções nitidamente regulatórias para a avaliação. A CEA tinha, portanto, consciência de que o máximo que podia fazer, sem promover outra discussão que levasse dez anos, como foi o caso da Lei de Diretrizes e Bases da Educação Nacional (LDB), de 1996, era promover a função formativa por outros caminhos.


Foi com esse intuito que a CEA instituiu a autoavaliação como ponto de partida do processo avaliativo, estabelecendo, em lei, a criação, em cada IES do país, de Comissões Próprias de Autoavaliação (CPA). Nesta mesma direção definiu a Missão Institucional, o Plano de Desenvolvimento Institucional (PDI) e o Projeto Pedagógico Institucional (PPI) como orientadores maiores da avaliação, buscando assegurar, assim, o respeito à identidade de cada instituição. Por último, teve ainda o cuidado de assegurar que o ato regulatório, mesmo em casos de graves deficiências encontradas pelas comissões, não resultasse no fechamento imediato de cursos e instituições, mas num Protocolo de Compromisso – num acordo entre o MEC e a instituição que permitisse que esta tomasse, num prazo determinado, as medidas cabíveis para a correção das fragilidades, podendo, assim, aprender com os equívocos identificados e evitá-los no futuro. O objetivo era, portanto, melhorar a qualidade e não simplesmente juntar subsídios para decidir sobre o fechamento ou não de instituições e cursos.


No mesmo patamar de importância estava a preocupação em definir dimensões para os objetos avaliativos – “instituição” e “curso” – bem como em assegurar que os juízos e inferências produzidos fossem resultado de avaliação in loco a ser realizada por comissões de especialistas, constituídas por pares de áreas afins, no caso de cursos, ou com experiência em políticas educacionais e de gestão, no caso das instituições.


Não é, portanto, por acaso que constatamos o que reza o Art 3º da Lei do SINAES, a Lei n.º 10.861, de 14 de abril de 2004:


Art. 3.º: A avaliação das instituições de educação superior terá por objetivo identificar o seu perfil e o significado de sua atuação, por meio de suas atividades, cursos, programas, projetos e setores, considerando as diferentes dimensões institucionais, dentre elas obrigatoriamente as seguintes:


1. Missão e o PDI

2. Política de Ensino, Pesquisa e Extensão

3. Políticas de pessoal e condições de trabalho

4. Organização e gestão

5. Infra-estrutura física

6. Comunicação com a sociedade

7. Política de atendimento aos estudantes

8. Responsabilidade social da IES

9. Planejamento e avaliação

10. Sustentabilidade financeira


Destaque-se ainda o que diz o § 2.º do mesmo Artigo 3º:


§ 2.º Para a avaliação das instituições, serão utilizados procedimentos e instrumentos diversificados, dentre os quais a auto-avaliação e a avaliação externa in loco.


E ainda:


§ 3.º A avaliação das instituições de educação superior resultará na aplicação de conceitos, ordenados em uma escala com 5 (cinco) níveis, a cada uma das dimensões e ao conjunto das dimensões avaliadas[1].


É importante perceber que as dez dimensões previstas em lei foram definidas como obrigatórias e não como opcionais. Ou seja, para a avaliação institucional ocorrer, há que se considerar as dez dimensões previstas em lei. Ponto! O resto é invencionice que fere a lei! Cada uma destas dimensões deve ser avaliada individualmente, devendo lhe ser atribuída nota de 1 a 5 e, juntamente com as demais dimensões, outra nota de 1 a 5. Para fazer diferente, há que se mudar a lei primeiro. Não bastam portarias!


Da mesma forma, a avaliação institucional prevê dois momentos – o da autoavaliação, coordenada pela Comissão Própria da Avaliação, e o da avaliação externa, a ser realizada in loco por comissão designada pelo Inep para tal.


Convém relembrar que a Lei do SINAES no seu Art. 2.º, parágrafo único, estabelece que “Os resultados da avaliação ... constituirão referencial básico dos processos de regulação e supervisão da educação superior, neles compreendidos o credenciamento e a renovação de credenciamento de instituições de educação superior, a autorização, o reconhecimento e a renovação de reconhecimento de cursos de graduação”.


E mais: o Artigo 4.º prevê que:


A avaliação dos cursos de graduação tem por objetivo identificar as condições de ensino oferecidas aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica.


Além de estabelecer as dimensões, em seu parágrafo 1.º, o artigo 4.º prevê:


A avaliação dos cursos de graduação utilizará procedimentos e instrumentos diversificados, dentre os quais obrigatoriamente as visitas por comissões de especialistas das respectivas áreas do conhecimento.


E, finalmente, no parágrafo 2º. desse mesmo artigo, lê-se:


A avaliação dos cursos de graduação resultará na atribuição de conceitos, ordenados em uma escala com 5 (cinco) níveis, a cada uma das dimensões e ao conjunto das dimensões avaliadas.

Limpando o terreno


Por que estou expondo estas questões tão óbvias para os que militam há mais tempo na avaliação? Porque, depois de mais de uma década de SINAES, sem que ele se consolidasse adequadamente, entendo que precisamos fazer uma limpeza geral no terreno avaliativo. Não consigo imaginar como possa ser possível recuperar os ideais e as ideias centrais do SINAES com tantos penduricalhos que ridicularizam a doutrina fundamental do Sistema.

A que estou me referindo? Primeiro, ao ENADE, não como exame (como exame é bom!), mas como gárgula monstruosa e assustadora do sistema, que despeja índices, como o Conceito Prévio de Curso (CPC) e o Índice Geral de Cursos (IGC) – ambos majoritariamente derivados de um falso protagonista, o ENADE –, para longe do “edifício institucional” preconizado pela Lei do SINAES, como se quisessem afugentar os que a ele buscassem acesso.

Ora, se a lei, conforme destacam os trechos negritados acima, prevê a avaliação obrigatória de dez dimensões claramente definidas e listadas, como explicar que uma instituição possa ter a sua avaliação finalizada, gerando ato regulatório, com base em um índice, derivado de outro índice, derivado de outros instrumentos que pouco ou nada tem a ver com as dimensões previstas em lei para cursos e instituições?


Querer sustentar a regulação em um índice derivado principalmente do ENADE é, primeiro, uma insensatez, uma aberração técnica; segundo, é uma afronta à lei do SINAES, que estabelece dimensões muito claras do que deve ser avaliado. E na Lei do SINAES não há previsão para avaliar cursos a partir de perguntas feitas a alunos em um questionário socioeconômico ou em uma prova de conteúdo.

Sabia-se desde os tempos da CEA que os alunos ingressam com níveis distintos, em instituições muito distintas e que os seus posicionamentos numa curva normalizada, determinados a partir de seus desempenhos diversos, não poderiam jamais substituir adequadamente as inferências e juízos de valor produzidos por pares acadêmicos a partir da análise criteriosa dos dados e informações pertinentes às dimensões previstas em lei. Foi este o motivo de privilegiar a avaliação por comissões de pares e não os resultados de um exame de larga escala, cuja aplicação pode ser feita até mesmo por amostragem e que, por isso mesmo, nunca teve pretensões regulatórias e não se presta a este fim.


Os índices, embora tivessem uma justificativa pragmática nos primeiros anos do SINAES, relacionada às dificuldades de realização de grande número de avaliações in loco, necessárias em nome da verificabilidade em um ambiente privatizado e de grande expansão, hoje não mais se justificam, especialmente quando o credenciamento de instituições e cursos para participarem das principais políticas públicas na esfera educacional (Prouni, Sisu, Fies) dependem diretamente da avaliação. E não se justificam porque os índices, tal qual estão desenhados, afrontam não só a lei do SINAES, mas o bom senso, pois produzem orientações equivocadas à sociedade e às IES, além de alimentarem a preguiça com relação ao que é mais precioso na avaliação: a afirmação de valores. Refiro-me aos valores subjacentes a cada um dos muitos indicadores que compõem os instrumentos de avaliação.

Presenciamos, por isso mesmo, a cada dia que passa, situações inusitadas de (1) cursos que nunca são avaliados presencialmente (o que significa que dirigentes passam a ter menosprezo pela avaliação in loco pelos pares e a tudo o que ela significa. Parece que ouço dirigentes dizerem: “Para que me preocupar com avaliação in loco se posso, com alguns malabarismos à venda na praça, assegurar uma nota 3, via ENADE e Questionário Socioeconômico e me livrar dela”?); (2) cursos de IES públicas de alta qualidade que são impedidos de participarem do Sisu (com perda a cada ano de grande quantidade de vagas públicas e gratuitas) porque os alunos ou boicotaram o ENADE ou compareceram ao exame apenas para assinar a prova.


Não surpreende, portanto, o que ocorreu em 2014 com o curso de jornalismo de uma conceituada universidade federal do sul do Brasil. Este curso foi impedido pelo MEC de participar do Sisu e mesmo de matricular alunos já selecionados em processo seletivo próprio, por ter ficado com CPC 2. Ocorre que, na avaliação in loco, a comissão atribuiu nota 4 ao curso, ou seja, com qualidade superior ao mínimo exigido. Dito de outra forma: a avaliação por critério, feita in loco pelos pares, considerou o curso como sendo de alta qualidade enquanto os índices informaram à sociedade exatamente o contrário, com graves consequências para a reputação do curso diante da sociedade e para a política de acesso dos estudantes.


Não menos grave foi a situação vivida por uma IES do sul do Brasil, premiada pelo respectivo conselho estadual de Educação por ter obtido IGC 5. O conselho estadual, certamente acreditando que o IGC era de fato um indicativo válido da qualidade institucional, decidiu distinguir a instituição com a premiação.


A comissão de avaliação in loco, no entanto, após cuidadosa análise, decidiu, por unanimidade, atribuir nota 2 a esta instituição, por julgá-la totalmente inadequada para funcionamento, em cinco das 10 dimensões da avaliação institucional do SINAES e atendendo apenas ao mínimo exigido nas demais.


E assim vai! O custo acadêmico e ético destes equívocos é alto e, sim, eles ameaçam os padrões acadêmicos, iludem a população e, repito, alimentam a preguiça com relação ao que verdadeiramente importa na avaliação: os valores que acreditamos fundamentais para promover a qualidade.

Os 10 desafios do SINAES


Estamos hoje, portanto, além dos hercúleos desafios da expansão e da inclusão, diante de desafios muito específicos com relação ao SINAES – desafios que precisam ser enfrentados urgentemente sob pena de desacreditarmos totalmente a avaliação. Entre estes desafios, eu destacaria os seguintes: (1) Deslocar efetivamente o centro da avaliação para a avaliação institucional (esta é a origem do SINAES e, até prova em contrário, seria fundamental dar à avaliação institucional o protagonismo que lhe é de direito); (2) Ampliar ao máximo a integração dos instrumentos de avaliação e de informação desenvolvidos por diferentes órgãos do Ministério da Educação, outros ministérios e dos sistemas estaduais. (Isto permitirá o melhor aproveitamento dos dados gerados para as políticas de inclusão e expansão, bem como a construção de instrumentos de avaliação mais leves); (3) Impedir que a regulação da educação superior seja feita com base nos índices, reforçando a legalidade da avaliação no âmbito do SINAES, mediante a obrigatoriedade da avaliação in loco; (4) Acabar com a obsessão pelos índices, o que significa dizer acabar com o protagonismo do ENADE (o ENADE e, por consequência, o CPC e o IGC, deve retornar à sua posição de coadjuvante do sistema, isto é, um indicador a mais da avaliação de cursos em tempos de expansão, mas nunca o seu centro); (5) Nunca privilegiar o uso dos índices sobre os resultados da avaliação in loco nas políticas e programas de democratização e inclusão do MEC; (6) Consolidar a cultura da autoavaliação nas Instituições de Educação Superior (o MEC, as comissões de avaliação externa e os fóruns de pró-reitores precisam valorizar mais as CPAs, pois isto lhes dará a robustez necessária para enfrentar as resistências dentro do campus. As CPAs devem operar como timoneiros dos processos de análise e interpretação dos dados dentro das instituições); (7) Estruturar o Inep e a Secretaria de Regulação da Educação Superior (SERES) para que possam dar conta das demandas impostas pela expansão da educação superior prevista no PNE 2014-2024; (8) Implantar e revisar periodicamente as salvaguardas que protegem os avaliadores dos agrados excessivos e das tentativas de suborno que por vezes contaminam as avaliações in loco; (9) Não permitir que a avaliação, a regulação e a supervisão se confundam, mantendo o princípio de que quem avalia não regula e quem regula não avalia; e (10) Ser proativo na divulgação de dados relativos aos processos avaliativos e aos sistemas de coleta de informações sobre a educação básica e superior. Quem tem acesso privilegiado aos dados tem também a obrigação de, com a maior brevidade possível, torná-los acessíveis à população, em especial à comunidade acadêmica. E os dados devem ser acessíveis não só como microdados – que meia dúzia de especialistas conseguem ler e transformar em informação útil –, mas como dados traduzidos para uma linguagem que todas as pessoas minimamente educadas entendam. Isto trará mais pessoas bem-informadas ao centro das discussões e será bom para o país.


Em suma, precisamos assegurar o respeito aos procedimentos avaliativos e aos seus usos para fins regulatórios, em sintonia com o que reza a lei do SINAES, sob pena de permitirmos que a pseudo e a quase-avaliação substituam a verdadeira avaliação – a avaliação in loco, feita por pares e com base em critérios. Precisamos dar mais atenção ao que realmente importa na avaliação e menos destaque aos grifos fictícios e fabulosos e às gárgulas assustadoras que despejam índices caprichosos e que estão mais para mitos de outro mundo do que para a realidade do nosso dia a dia educacional.

[1] Todas as ênfases no texto da lei são minhas.


* * *


Dilvo Ristoff é especialista em avaliação e doutor em literatura pela University of Southern California, nos Estados Unidos. Foi diretor de Estatísticas e Avaliação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), diretor de Educação Básica da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e diretor de Políticas e Programas da Secretaria de Educação Superior do Ministério da Educação (SESu/MEC). Foi também reitor da Universidade Federal da Fronteira Sul. É autor e coautor de inúmeros livros, entre eles, Universidade em foco − reflexões sobre a educação superior (Editora Insular, 1999), Neo-realismo e a crise da representação (Insular, 2003) e Construindo outra educação: tendências e desafios da educação superior (Insular, 2011). Atualmente ministra aulas e orienta dissertações no Programa de Mestrado em Métodos e Gestão em Avaliação da Universidade Federal de Santa Catarina (UFSC).


O artigo acima é de responsabilidade do autor e não reflete necessariamente a visão do Educa 2022.