A Arte de avaliar: quando a avaliação precisa ser avaliada

Frequentemente surgem nos noticiários denúncias de erros ou inadequações em livros didáticos adquiridos pelo poder público. Na grande maioria dos casos, porém, são denúncias de erros de revisão de pouca ou nenhuma relevância, fáceis de corrigir na sala de aula. Igualmente irrelevantes são as análises que esses erros geram: predominantemente comentários superficiais que se caracterizam por um forte viés político-partidário ou pelo oportunismo eleitoral. A notícia, consequentemente, queima como palha seca e logo se esgota, sem contribuir para o aprimoramento dos programas governamentais e para a educação como um todo. Nessa toada, os problemas reais, de fundo, passam praticamente despercebidos e pouco ou nenhum espaço é reservado ao debate informado, consistente e construtivo a respeito do papel do livro didático no ensino básico, da importância de diretrizes claras e objetivas para orientar não apenas as aquisições dos materiais didáticos, mas também todo o ensino. Sobretudo, perde-se a oportunidade de tratar um tema complexo e difícil da educação: os alcances e os limites dos métodos e sistemas de avaliação.

Neste artigo pretendemos discutir o Programa Nacional do Livro Didático (PNLD), desenvolvido pelo Ministério da Educação, destacar sua importância e pertinência e ressaltar a eficiência da sua execução. Vamos expor também aquela que é a maior de suas limitações: a avaliação pedagógica dos livros didáticos que integram o PNLD desenvolvida pela secretaria de Ensino Básico (SEB) com o apoio de pesquisadores e especialistas em ensino de diversas universidades brasileiras. Trata-se, portanto, de um convite para refletirmos sobre o papel das universidades no desenvolvimento e na implantação das políticas públicas para concluirmos que também elas precisam passar por avaliações e, principalmente, serem avaliadas.

Antes de avançarmos, é preciso fazer uma breve retrospectiva. Afinal, em qualquer situação de avaliação é preciso delinear contextos e retomar trajetórias. Há exatamente um ano, tornamos público o resultado da avaliação de quatro coleções didáticas nossas que, em seu conjunto, totalizam doze livros destinados aos alunos dos anos iniciais do Ensino Fundamental. Tal feito foi inédito: jamais um autor de livro didático ou até mesmo uma editora se propôs a publicar a avaliação de seus livros, sobretudo quando essa resultou em reprovação e exclusão do pnld. Curiosamente, a publicidade é um dos calcanhares de aquiles de toda e qualquer avaliação. Quando positiva, avaliador e avaliado soltam ao vento os resultados de suas proezas. Mas, quando o contrário acontece, os reprovados costumam se esconder ressentidos. Avaliação ainda é sinônimo de vergonha, infelizmente. E os avaliadores, na certeza de seus critérios e do seu julgamento, alardeiam a eficácia de sua ação eliminatória. Mas, e quando seu julgamento é frágil e seus métodos questionáveis? Buscam refúgio no anonimato, é claro. Em praticamente todas as notícias sobre erros ou impertinências nos materiais didáticos adquiridos pelo mec ou por qualquer outra esfera do governo (município ou estado) não se encontra o nome dos responsáveis pela avaliação do material e pela autorização da sua compra.

No livro ‘Com a palavra, o autor – em nossa defesa: um elogio à importância e uma crítica às limitações do Programa Nacional do Livro Didático’, descrevemos detalhadamente e, principalmente, refutamos todos os argumentos utilizados pelos técnicos da SEB e pelos especialistas das universidades na reprovação de nossas obras expressos no relatório de reprovação enviado pelo MEC à editora . Sim, todos eles. Revanchismo? Seria tosco confundir publicidade com vingança. Pelo contrário. Enquanto elaborávamos o livro, em pleno período de eleição, nenhum dos fatos ali descritos vazaram para os meios de comunicação. O livro foi e é um convite para as universidades envolvidas tornarem público e passível de crítica o seu modus operandi. E o que aconteceu? Nada. Silêncio. Anonimato.

Apesar da enorme injustiça da qual foram vítimas as nossas obras didáticas e do festival de problemas que apontamos no livro ‘Com a palavra…’, nós nos mantemos otimistas quanto ao PNLD e convictos de que se trata de um programa socialmente importante, que encerra uma concepção democrática indispensável para a construção de uma sociedade mais justa e plural.

É socialmente relevante porque garante o acesso ao livro didático a todos os alunos das escolas públicas brasileiras e também porque a qualidade do livro didático que o governo distribui é igual ou superior à qualidade dos livros utilizados pelos alunos de escolas particulares, inclusive aquelas frequentadas pelas classes mais abastadas. Nós temos plena consciência de que a distribuição de livros de qualidade não é suficiente para garantir o sucesso das aprendizagens dos alunos, mas não temos dúvida de que é um importante instrumento para o professor desenvolver a sua proposta de ensino.

A verdade é que o PNLD se consolidou como uma política de Estado que certamente renderá frutos a médio e longo prazo na melhoria da qualidade do ensino no Brasil. Todas estas qualidades, entretanto, não podem servir de escudo para os seus defeitos e deficiências.

Infelizmente, o PNLD tem sido vítima dos especialistas contratados para realizar a etapa da avaliação pedagógica. A inconsistência entre os pareceres de equipes de diferentes edições do PNLD, e até mesmo dentro de uma mesma equipe, é forte indicativo de que a avaliação do livro didático no PNLD necessita urgentemente de uma revisão profunda e deve ser submetida a mecanismos de controle de qualidade ainda inexistentes. Mas não é só isso. A quantidade de erros, equívocos e distorções na avaliação dos nossos livros foi tão grande e de natureza tão variada que, por vocação didática, decidimos criar uma “classificação de erros”, com categorias baseadas na natureza do equívoco .

1. Inexistência na obra do fato alegado no argumento de reprovação. Apresentar como prova da argumentação fatos que inexistem é uma estratégia retórica bastante perversa. O ônus da prova recai sobre o avaliado que, nesse caso, precisa comprovar que os fatos apontados inexistem.

2. Erro conceitual ou desatualização do avaliador. Quando cometem este tipo de erro, os avaliadores geralmente se refugiam na sua condição de peritos e seus argumentos assumem um tom professoral e excessivamente técnico. São raros os casos nos quais eles se dão ao trabalho de demonstrar ou fundamentar suas alegações por meio de bibliografia especializada. Este tipo de erro é particularmente grave, pois, além da exclusão do PNLD, a obra reprovada só pode ser inscrita em edições subsequentes do programa se for reformulada de acordo com o relatório de reprovação. O autor de uma obra reprovada precisa alterar conteúdo conceitualmente correto por conteúdo conceitualmente errado caso queira ser aprovado, o que é uma afronta a todo e qualquer princípio ético.

3. Uso de critérios de avaliação que não constam do Edital e contradizem documentos oficiais que orientam a Educação Básica. Na condição de peritos, os avaliadores têm poder discricionário, uma vez que o edital do PNLD não descreve minuciosamente todos os critérios de avaliação. Todavia, o poder discricionário tem várias limitações impostas pela lei das licitações. Uma dessas limitações é descrita nos editais do PNLD e estabelece que a avaliação pedagógica deve ser realizada considerando-se, necessariamente, “o respeito à legislação, às diretrizes e normas legais da educação”. O avaliador não pode julgar com base em critérios conflitantes, por exemplo, com as recomendações dos Parâmetros Curriculares Nacionais, salvo quando o critério constar explicitamente do edital do PNLD e tiver fundamento legal.

4. Uso de critérios de avaliação incompatíveis ou incoerentes com os critérios utilizados por equipes de avaliação precedentes sem que os novos critérios constem no edital. Este tipo de erro também caracteriza exorbitância do poder discricionário do avaliador, pois fere uma diretriz dos programas do material didático: a garantia de transparência e publicidade nos processos de avaliação. Nem poderia ser diferente, pois os editais do PNLD estão sujeitos à legislação que regulamenta as licitações. Logo, a obra não pode ser avaliada segundo critério desconhecido, em particular quando o critério usado pelo avaliador é diferente ou conflitante com os critérios usados em edições anteriores do programa. O avaliador não pode inovar, ele está limitado pela legislação e pelo edital. Quando o parecer de uma avaliação diverge das avaliações anteriores, deve estar respaldado em fundamentos sólidos e bem documentados para demonstrar não somente o erro no livro, mas também o equívoco da equipe avaliadora precedente. Os critérios de avaliação não podem ficar ao sabor do humor de cada avaliador.

5. Uso de critérios de avaliação que não constam do edital e excedem o poder discricionário do avaliador

O excesso de rigor é outro caso de erro. Quando um campo do conhecimento admite mais de uma abordagem para um mesmo tema, o avaliador do livro didático não pode exigir uma delas em detrimento da outra sem respaldo explícito no Edital. Ou seja, exigir uma definição minuciosa e tecnicamente complexa em detrimento de uma simplificação didática que não esgota o conceito, mas não compromete a aprendizagem do aluno. Erros por excesso de rigor geralmente também constituem violação do princípio da isonomia, pois ao “nível” de exigência costuma variar de um avaliador para outro, resultando em reprovação de obras por conteúdos iguais ou semelhantes ao encontrado em obras aprovadas.

Também classificamos como excesso de rigor quando o avaliador do pnld exige que uma definição típica de um campo do conhecimento seja adotada quando o texto utiliza o termo na perspectiva de outro campo, o que ocorre, geralmente, nas áreas de Ciências, História e Geografia. Podemos condenar Einstein e Infeld por “erro conceitual” ou “imprecisão indutora de erro” pelo uso do termo “evolução” com significado diverso daquele definido pela Biologia no título do livro A Evolução da Física ? É claro que não! Seria ridículo! A bem da verdade, esse tipo de erro geralmente sinaliza o despreparo do avaliador para a avaliação de livros multidisciplinares típicos do Ensino Fundamental.

6. Afronta ao princípio da isonomia ao reprovar com base em conteúdos (textos, imagens, atividades etc.) presentes em obras aprovadas na mesma edição do PNLD. Não se pretende aqui justificar a presença de erros nas obras reprovadas pela presença dos mesmos erros em obras aprovadas. Longe disso. Mas este tipo de erro na avaliação, fartamente encontrado nos relatórios de reprovação das nossas obras, é, na realidade, uma violação frontal às leis que regulamentam as licitações e a uma diretriz que norteou todos os editais do PNLD: o princípio da isonomia. Por exemplo, na avaliação do componente língua portuguesa a diversidade de textos é um dos critérios julgados. Todavia, os editais do PNLD são particularmente vagos quanto à quantificação de determinados quesitos (por exemplo: quais devem ser os tipos de texto destinados ao eixo da leitura nos livros de alfabetização e qual é a quantidade esperada de cada um deles). Consequentemente, se uma determinada diversidade de textos é considerada adequada em uma coleção, a mesma diversidade de textos (ou uma diversidade ainda maior) não pode ser considerada insuficiente em outra coleção. Ou ambas são suficientes ou ambas são insuficientes. É o que diz o edital e a lei das licitações.

7. O uso de termos e descrições vagas, dúbias ou insuficientemente precisas para permitir a tipificação do erro e, consequentemente, a sua correção quando da reformulação da obra

Este é o erro de avaliação mais cruel para os autores dos livros didáticos. Ora, o que fazer quando o avaliador justifica seu parecer com afirmações vagas tais como:
“a obra apresenta uma variedade insuficiente de gêneros textuais”; ou
“a explicação poderia ser melhor”?

Qual é a quantidade suficiente de gêneros textuais? O edital não diz. O avaliador condena, e também não diz. Se a explicação poderia ser melhor, é importante que o avaliador pelo menos informe como ela poderia ser melhorada. Um relatório de reprovação que exclui uma obra por três anos de todas as vendas para escolas públicas não pode, legal e moralmente, recorrer a afirmações vagas, imprecisas e que não tipificam um suposto erro para justificar a exclusão de toda uma coleção do programa. Muito mais do que abuso do poder discricionário, este tipo de erro é forte indício de que os avaliadores não trabalharam com dedicação à responsabilidade da tarefa e proporcionalmente aos quase r$ 10 mil por livro avaliado, pagos pelo FNDE .

Os relatórios de reprovação também encerram erros que sugerem ilegalidades, algumas das quais são tão inusitadas que não se enquadram em nenhuma das categorias de erros que criamos. No caso mais escandaloso, os avaliadores condenaram as páginas 1 e 2 de um dos nossos livros, alegando a presença de atividade inadequada. Ora, segundo o edital do PNLD 2010, os avaliadores não poderiam ter acesso às páginas 1 e 2 dos livros avaliados uma vez que devem analisar apenas exemplares descaracterizados, isto é, exemplares nas quais as páginas 1 e 2 estão em branco! As páginas 1 e 2 correspondem à folha de rosto e ao verso da folha de rosto e seus conteúdos são definidos pelo edital. Não existe, nem poderia existir qualquer atividade nessas páginas! Ou seja, além da ilegalidade caracterizada pela simples menção aos conteúdos das páginas 1 e 2, esse pequeno trecho do relatório de reprovação também comprova que os avaliadores se valem de fatos inexistentes para compor seus argumentos.

Ainda existe ampla margem para aprimoramento do PNLD. É possível agregar-lhe agilidade, maior eficiência econômica e, mais importante ainda, melhores resultados na formação dos estudantes. Além disso, apesar das suas incontestáveis virtudes, o PNLD tem seus resultados comprometidos e poderá ter sua própria continuidade ameaçada em decorrência de graves distorções no atual sistema de avaliação das obras didáticas. É nesta questão que pretendemos nos concentrar na parte final deste artigo. O “direito de defesa” do autor do livro didático: será mesmo possível dialogar com a universidade? Julgar como julgam os avaliadores do PNLD é fácil. Os pareceres individuais não são divulgados. O nome dos avaliadores não é divulgado. Os relatórios de reprovação não admitem contestação. Assim é fácil mesmo. Embora deva ser difícil para os ‘cardeais’ da avaliação aceitarem que seus pareceres sejam contestados por reles autores de livros didáticos, na nossa opinião, o motivo principal para a resistência deles em aceitar o direito de defesa dos autores é inconfesso e inconfessável: os responsáveis pela avaliação temem revelar suas deficiências conceituais e a fragilidade dos argumentos com que fundamentam seus pareceres.

Os responsáveis pela avaliação promovem, nos meios acadêmicos e na mídia, uma imagem de seriedade e competência baseada exclusivamente em autoavaliações indulgentes e complacentes. Mas, enquanto passam a imagem de guardiões dos valores mais altos da sociedade e do conhecimento, de vanguarda na “guerra contra o terror” dos livros didáticos, eles escondem os seus pareceres e buscam, por outras vias, a aliança no seu meio profissional.

Esta é a maior e mais grave distorção do PNLD: a impossibilidade de os autores defenderem suas obras. Esta aberração foi regra em todos os PNLD realizados até hoje e só será abolida a partir do PNLD 2013, quando entra em efeito o parágrafo 3º do artigo 20 do Decreto nº 7 084/2010, que estabelece:

O parecer indicativo de reprovação da obra poderá ser objeto de recurso fundamentado por parte do titular de direito autoral ou de edição, no prazo de dez dias a contar da publicação do resultado da avaliação pedagógica, vedados pedidos genéricos de revisão da avaliação.

Esta inovação legislativa é um avanço e constitui um esforço do Ministério da Educação para evitar problemas como os que denunciamos há mais de um ano. Infelizmente, o novo dispositivo legal contém falhas que podem comprometer, e até mesmo anular, os efeitos pretendidos. O decreto, por exemplo, assegura o direito de recurso apenas às editoras (detentores de direitos autorais ou de edição) e não aos autores. Isto é muito ruim, pois nem todas as editoras estão dispostas a defender seus autores por temerem se indispor com os responsáveis pelo PNLD, o seu ‘maior cliente’.

A falha mais grave do Decreto nº 7 084/2010, porém, está na maneira como será feita a análise dos recursos contra os pareceres indicativos de reprovação, definida entre os parágrafos 4º e 6º do artigo 20. Esses dispositivos, na prática, anulam qualquer possibilidade de exercício real do direito de defesa. Primeiro pela assimetria. Enquanto o decreto estabelece um prazo de dez dias para a entrega do recurso, no qual os autores terão que demonstrar e fundamentar sua contestação, à equipe revisora são consagrados trinta dias para apenas se manifestar sobre a procedência ou improcedência do recurso! Como se não bastasse, o decreto estabelece que os recursos deverão ser dirigidos à seb. Mas não podemos deixar de ressaltar que a seb é a instituição responsável pela avaliação e, inclusive, participa da coordenação da avaliação de todas as áreas de conhecimento por meio do representante da Comissão Técnica do pnld. Em última instância, os erros na avaliação são de responsabilidade da coordenação da avaliação, uma vez que:

a coordenação é responsável pela escolha dos avaliadores e seu treinamento;
a coordenação é responsável pela distribuição das obras para os avaliadores;
os coordenadores são os únicos que têm acesso às obras identificadas; e
os coordenadores são os únicos que têm acesso aos pareceres individuais e, com base neles, redigem e assinam o parecer final.

Em suma, os erros na avaliação significam que a coordenação: falhou ao chamar avaliadores sem competência para avaliar livros didáticos; falhou ao treiná-los; e falhou ao não identificar os erros, quando recebeu os pareceres individuais e ao redigir o parecer final.

Ora, como assegurar um julgamento isento nesse sistema recursal? Ao aprovar ou reprovar os recursos, a seb analisará a procedência de pareceres que são de sua própria responsabilidade. Isso não caracterizaria impedimento ou conflito de interesse? Certamente, sim. Os responsáveis pela avaliação terão a humildade de reconhecer seus erros? Certamente, não. Em mais de 13 edições do PNLD, não há sequer um caso no qual os responsáveis pela avaliação admitiram ter errado. Nem um errinho.

Mas as distorções no mecanismo recursal são ainda mais profundas. O Decreto nº 7 084/2010 também prevê que a SEB poderá contar com o auxílio de equipes revisoras formadas por integrantes da equipe de avaliação. Ora, mesmo que os membros da equipe revisora não tenham participado diretamente da avaliação da coleção sob recurso, os vínculos dos avaliadores com a coordenação são muito fortes. Os membros da equipe de avaliação são convidados pelos coordenadores para participar do PNLD. Estão envolvidas, portanto, questões de amizade, confiança, prestígio, espírito de equipe e também interesses econômicos consideráveis. Ex-avaliadores informaram-nos que chegaram a receber R$ 5 mil para avaliar uma coleção composta por quatro livros. Na avaliação de Ciências, no PNLD 2010, por exemplo, foram convidados 44 profissionais para avaliar 44 coleções. Portanto, em média, cada avaliador recebeu duas coleções para avaliar. Como o salário de um professor doutor titular nas universidades federais é de R$ 11 755,00 , pode-se dimensionar bem a importância da remuneração auferida na avaliação do PNLD no orçamento de um avaliador. Qual seria a disposição do avaliador em declarar improcedente um parecer assinado pelos responsáveis pela sua ‘boquinha’ na avaliação do PNLD? Isso também não constitui impedimento ou conflito de interesse?

Como se já não bastasse, temos de considerar também que somente a coordenação da avaliação conhece a identidade dos avaliadores. Consequentemente, somente ela é capaz de nomear os membros da equipe revisora que irá julgar o parecer pelo qual ela, coordenação, responsabilizou-se! E, pior ainda, não há sequer um mecanismo para se verificar a lisura da atuação dos coordenadores, nem na etapa principal nem na etapa recursal! Infelizmente, temos justificado receio de que a análise do recurso se torne um mecanismo meramente protocolar, formal. Dessa forma, concluímos que, infelizmente, o Decreto nº 7 084/2010 não garante o direito de defesa.

A nosso ver, a solução para o problema é relativamente simples: os recursos deveriam ser entregues para o FNDE, o executor do PNLD; o FNDE constituiria uma comissão revisora sem vínculos com autores, com editoras, com os responsáveis pela avaliação ou com a equipe avaliadora; e os nomes dos membros da equipe revisora e seus pareceres seriam divulgados ao final do processo, junto com o resultado dos recursos.

Obras descaracterizadas e a isonomia na avaliação. Por que tanto segredo?

Uma das diretrizes do pnld é a garantia da isonomia entre as coleções didáticas participantes. Segundo os responsáveis pela avaliação, a isonomia e a imparcialidade da avaliação são asseguradas pela exigência de exemplares descaracterizados, isto é, sem identificação de editora, autor e colaborador. Argumentam que a medida impede o reconhecimento das coleções didáticas pelos avaliadores, garantindo assim uma avaliação isenta, imparcial e isonômica.

Na verdade, essa exigência é uma grande bobagem, pois, como demonstraremos, não garante a isonomia e representa um desperdício de tempo e verbas públicas, uma vez que aumenta significativamente o custo e o tempo da fase de triagem das obras, além de constituir um complicador de toda a logística da avaliação. Essa exigência faria algum sentido somente se todas as obras inscritas fossem inéditas e os avaliadores não tivessem qualquer tipo de relacionamento (direto ou indireto) com os autores e as editoras participantes. Mas a realidade passa bem longe disso. A maioria das coleções inscritas no pnld é formada por obras que são comercializadas há muitos anos e já participaram de mais de um Programa. Muitas delas já venderam milhões de exemplares tanto no mercado de escolas particulares como nos Programas do Governo Federal. Toda coleção de livros didáticos tem um projeto gráfico e uma iconografia próprios, muito característicos. Portanto, qualquer pessoa ligada aos livros didáticos identificará as obras que estão no mercado ou já foram avaliadas sem qualquer dificuldade, até mesmo “sem querer”. Considerando que a equipe de avaliação é supostamente formada por especialistas em educação, é evidente que os avaliadores não têm dificuldade para reconhecer as obras mais antigas ou as mais vendidas. Ou seja, a suposta “identidade secreta” das obras “descaracterizadas” é uma falácia, em que nem mesmo o mais ingênuo leitor de Batman acreditaria.

Por outro lado, o avaliador que não conhece as obras mais vendidas ou inscritas em vários programas não tem experiência com livros didáticos e, portanto, é provável que, ele também, não tenha a experiência necessária para atuar como avaliador. A verdade é que, apesar do discurso dos responsáveis pela avaliação, as coleções didáticas são, inevitavelmente, avaliadas com base em opiniões preconcebidas (favoráveis ou não) e o argumento de que a descaracterização das obras visa imparcialidade e isonomia é necessariamente falso.

Se a descaracterização das obras é insuficiente para impedir a identificação das obras e, ainda por cima, deixa o processo mais lento e mais caro, então por que manter o sistema? Os únicos que poderiam ter algum interesse em todo o segredo são os avaliadores. Mas, no caso do pnld, o segredo só os protege quando eles erram.

Para garantir a isonomia entre as obras avaliadas, o Decreto nº 7 084/2010, artigo 14, parágrafo 2º, exige:

Os integrantes das equipes avaliadoras firmarão termo declarando não prestarem pessoalmente serviço ou consultoria e, ainda, não possuírem cônjuge ou parente até o terceiro grau entre os titulares de direito autoral ou de edição inscritos no processo, ou qualquer outra situação que configure impedimento ou conflito de interesse.

Ora, uma parcela dos autores tem origem acadêmica e as relações de afeto e desafeto são frequentes nas universidades. Com todo o segredo que caracteriza a atual avaliação, como verificar se a obra de um autor foi avaliada por um colega de pesquisa ou por um desafeto? Ambas as situações configuram impedimento e conflito de interesse.

Os avaliadores são professores universitários e publicam livros. Publicar livros por uma editora e avaliar os livros dessa editora não constitui conflito de interesse? Como poderiam os avaliadores se declarar impedidos se as obras não estão caracterizadas? Mais grave ainda é que o segredo que envolve a identidade dos avaliadores e o teor dos seus pareceres impossibilitam a fiscalização do processo, medida indispensável para coibir eventuais desvios de conduta.

Atualmente, ninguém duvida da inutilidade da descaracterização das obras para garantir uma avaliação isonômica. Este fato, mais todo o segredo que envolve o processo da avaliação só contribuem para gerar um enorme desconforto entre os autores e fomentar a impressão de que a avaliação protege alguns autores e editoras enquanto persegue outros.

Para garantir a isonomia entre as obras participantes é indispensável também que os avaliadores não tenham qualquer vínculo com autores ou editoras. Pois, mesmo no caso de o avaliador não reconhecer a obra ou os seus autores, é difícil imaginar que ele não julgue com “bons olhos” uma obra afinada com sua escola de pensamento em detrimento das obras oriundas de outros centros de pesquisa ou linhas acadêmicas. Mesmo sem qualquer irregularidade ou má-fé, a avaliação de obras descaracterizadas não contribui para uma avaliação isenta e isonômica. Pelo contrário, abre caminho para avaliações baseadas em opiniões preconcebidas (positivas ou negativas) sobre algumas obras em contraste com outras em primeira edição e realizadas por autores sem relacionamento com os avaliadores, ou de obras alinhadas com concepções de ensino que, embora sejam legítimas e permitidas pelas regras do pnld, são diferentes da concepção que predomina entre os integrantes da equipe de avaliação.

Para concluir este assunto, gostaríamos de chamar a atenção para uma questão crucial. Com todo o segredo que envolve a escolha dos avaliadores, a distribuição das coleções entre eles e o teor de seus pareceres, inexistem mecanismos de controle sobre as equipes de avaliação. Isto é inadmissível numa sociedade democrática e num programa que movimenta mais de r$ 1 bilhão por ano.

Este problema seria facilmente resolvido caso os avaliadores recebessem as obras caracterizadas, dando oportunidade para que se declarem impedidos sempre que tiverem algum tipo de relacionamento com os autores e/ou a editora de uma obra. Evidentemente, esta medida deve ser complementada pela ampla divulgação do nome dos avaliadores de cada coleção bem como do teor do seu parecer individual. Pois somente assim será possível identificar eventuais desvios de conduta.

Universidade, transparência e diálogo: é possível?

É óbvio e indiscutível que durante todo o processo de avaliação os avaliadores devem ser protegidos pelo sigilo para não sofrerem qualquer tipo de pressão daqueles interessados nos resultados, sejam indivíduos ou empresas. Mas, por que não divulgar a identidade dos avaliadores de cada obra, bem como o teor dos seus pareceres ao final do processo? A quem interessa o sigilo pós-avaliação? Os responsáveis pela avaliação argumentam que o sigilo visa proteger os avaliadores. Mas, proteger do quê? Devemos presumir que os pareceres são feitos com isenção e competência. Se os pareceres são bem feitos, corretos, coerentes e competentes, por que não divulgá-los? Por que não divulgar o nome de seus autores?

O sistema atual protege apenas o avaliador incompetente ou negligente, pois, ao não divulgar o seu parecer, impede o público de tomar conhecimento de suas asneiras. Também protege a coordenação na eventualidade de falta de isenção ou outros desvios de conduta. As vítimas, como sempre, são os elos frágeis da cadeia, pela ordem: os alunos, os professores, a educação e os autores. Em nossa opinião, os bons avaliadores e os bons coordenadores também sofrem com o atual sistema, pois qualquer suspeita é estendida a todos eles. Temos certeza de que muitos dos avaliadores são sérios e realizam seu trabalho com esmero e dedicação. Mas, no sistema atual, o trabalho do bom avaliador é maculado pelas aberrações do mau avaliador, bem como pela omissão ou cumplicidade da coordenação, que esconde e protege a “maçã podre”.

A verdade é que não existe justificativa para a manutenção do sigilo após a divulgação do resultado da avaliação. Pelo contrário, o teor dos pareceres deve ser público para que o processo ganhe em transparência e também para que a avaliação contribua para o aprimoramento dos livros didáticos. O segredo não acrescenta nada à qualidade do livro, à qualidade da avaliação, à isenção da avaliação e aos mecanismos de controle necessários em compras públicas de grande vulto.

A qualidade e a lisura da avaliação só podem ser garantidas pela total transparência do processo e pela publicidade de todos os pareceres (favoráveis ou desfavoráveis).

Como tornar as avaliações mais coerentes?

É inadmissível que mais de 90% das obras aprovadas em um pnld sejam reprovadas na edição seguinte do programa, como aconteceu com as coleções de Ciências no pnld 2010. Esse percentual é uma forte evidência de inconsistência do programa, em particular quando se considera que os critérios de avaliação estabelecidos nos editais de 2007 e 2010 são praticamente idênticos e pouco mudaram desde 2001. Também é de estranhar o fato de que apenas doze das 47 coleções de Alfabetização aprovadas no pnld 2007 tenham sido aprovadas no pnld 2010.

É dever do Poder Público sinalizar claramente suas orientações e metas para o Ensino Básico, e essas metas e orientações devem balizar a avaliação do livro didático para, assim, refletir-se nos materiais didáticos comprados no âmbito do pnld. Consequentemente, as distorções verificadas em 2010 indicam que as experiências dos programas anteriores foram totalmente desconsideradas, o que, em si, já é uma aberração. Mais grave ainda é constatar que o Edital do pnld 2010 não sinalizou nenhuma nova orientação significativa. Logo, qualquer mudança indica ilegalidade ou desorientação.

Mais uma fonte de distorção da avaliação (e desperdício de recursos públicos) está relacionada ao fato de os avaliadores não tomarem conhecimento dos pareceres de avaliações anteriores. Este caso é o mais fácil de comprovar: assim como aconteceu com três de nossas quatro coleções, existem inúmeros outros exemplos de obras aprovadas em uma avaliação (inclusive recomendadas com distinção) e reprovadas na avaliação seguinte.

Os responsáveis pelo pnld justificam as discrepâncias entre os diferentes programas afirmando que os critérios de avaliação evoluem e ficam “mais rigorosos” ao longo do tempo. Mas os fatos desmentem essa alegação. Os critérios de avaliação permanecem praticamente os mesmos desde o primeiro edital do pnld. A justificativa nada mais é do que uma desculpa esfarrapada para encobrir a verdade: a avaliação é inconsistente, incoerente, onerosa e demanda uma urgente reformulação. Caso os avaliadores utilizassem os pareceres de avaliações anteriores das obras reinscritas como ponto de partida para a sua análise, o processo de avaliação poderia ser muito mais célere e menos oneroso, além de resultar em avaliações mais consistentes. Em caso de divergência com as equipes precedentes, os avaliadores deveriam fundamentar seu ponto de vista e, dessa forma, contribuir para o aprimoramento dos parâmetros e critérios de avaliação nas questões onde não existe consenso. Essas definições deveriam ser divulgadas em documentos oficiais e referidas nos editais, para atender à diretriz de ampla publicidade exigida pela lei das licitações e pelo Decreto nº 7 084/2010.

Outro fato relevante que sem dúvida norteia, controla e ampara o trabalho de avaliação é o edital. Trata-se do documento que detalha as exigências e as regras de cada edição do pnld.

Os editais do pnld são independentes uns dos outros, isto é, a presença de determinadas exigências em um certo edital não implica que as mesmas exigências constarão no edital seguinte. Ao longo dos anos, estes editais refletiram as mudanças decorrentes das inovações introduzidas no pnld (novos componentes curriculares, nova ortografia, normas de condutas etc.). Todavia, os critérios da avaliação pedagógica se mantiveram praticamente inalterados na sua essência, especialmente os critérios eliminatórios.

As deficiências dos editais concentram-se justamente na parte que trata do conteúdo didático-pedagógico (sobretudo na parte específica de cada componente curricular) e, consequentemente, da avaliação pedagógica. A maioria dos critérios de avaliação é apresentada de modo vago, o que tem dado margem a interpretações muito divergentes tanto entre as equipes de avaliação de diferentes edições do pnld como dentro de uma mesma equipe de avaliação. Esta discrepância é agravada pela omissão dos editais em definir a atuação das equipes de avaliação do pnld, os limites do poder discricionário dos avaliadores e os mecanismos de controle de qualidade do processo avaliativo. Embora os editais citem que a avaliação deve ser feita considerando-se as avaliações anteriores, o que se observa, na prática, é que frequentemente o avaliador utiliza critérios próprios, ferindo o princípio da transparência e da isonomia exigidos pelo Decreto nº 7 084/2010, pela legislação que regulamenta as licitações e os próprios termos dos editais. O resultado é um número assustador de casos de gritante inconsistência na avaliação de uma mesma obra em diferentes edições do pnld e, como já demonstramos, dentro de uma mesma edição do pnld. Compete à seb elaborar critérios de avaliação mais claros e, com base na experiência de várias edições do pnld, resolver os casos onde se verificam um maior número de inconsistências e dificuldades de interpretação. Para evitar que o edital se torne um documento excessivamente longo, as definições poderiam constar de documentos amplamente divulgados. Nesse caso, o edital apenas citaria os documentos de referência que devem ser considerados pelos autores ao escreverem suas obras e pelos avaliadores ao julgá-las.

Uma palavra final

Escrever Com a Palavra, o Autor foi uma tarefa árdua, solitária e dolorosa. Nós a enfrentamos com muita tristeza, mas com um forte senso de dever. Nossos objetivos não se restringem à defesa dos nossos livros, mas do pnld como um todo. Podemos dizer o mesmo a respeito deste artigo.

Embora façamos várias denúncias, elas não têm conotação vingativa. Todas foram fundamentadas em fatos, na literatura técnica e científica, bem como nos princípios e nos critérios estabelecidos pelo pnld, nas diretrizes para a educação, na legislação e na Constituição Federal. Fizemos questão de criticar os erros, mas também de elogiar os pontos positivos do Programa e oferecer soluções.

Depois das denúncias que fizemos no livro, qual é a possibilidade de análise isenta das nossas obras na avaliação do pnld 2013? Não temos como saber. Diversos autores e professores universitários nos alertaram para o perigo de estarmos cometendo um “suicídio autoral”. Acreditam que tanto as nossas obras como as obras de outros autores que publicam por nossa editora serão sistematicamente perseguidas nas avaliações futuras. É possível. Mas uma questão ética se impôs: não poderíamos, por medo de retaliação, deixar de externar nossa opinião e apontar os defeitos e desvios que verificamos num programa social tão importante quanto o pnld. Para concluir, é importante relatar que em março de 2010 protocolamos uma representação junto ao mec denunciando todos os fatos relatados em nosso livro. Em agosto de 2010, publicamos o livro Com a Palavra, o Autor. O livro foi enviado para todos os órgãos do mec envolvidos no pnld. Também foram doados exemplares para os membros das comissões de educação da Câmara e do Senado, para os conselheiros do Tribunal de Contas da União e para as bibliotecas de todas as universidades públicas do país. A imprensa repercutiu o fato, mas nenhuma manifestação veio do mec ou dos grupos universitários ligados à avaliação.

Em dezembro de 2010, impugnamos o Edital do pnld 2013 e ingressamos com uma representação no tcu contra esse edital. O tcu acolheu parcialmente o pedido e determinou alterações no Decreto nº 7 084/2010 e nos futuros editais do pnld. A seb e os responsáveis pela avaliação simplesmente ignoraram a impugnação.

Também em dezembro de 2010, protocolamos tempestivamente um longo pedido de esclarecimentos a respeito do Edital do pnld 2013, indispensáveis para a inscrição de nossas obras. O prazo de inscrição se esgotou em 15 de abril de 2011 mas, até hoje, não recebemos a resposta que, segundo as leis que regem as licitações, deveria ter sido dada.

No passado, aqueles que ousavam contestar a avaliação eram execrados na mídia. Pelo jeito, a estratégia dos responsáveis pela avaliação mudou: agora fingem que não existimos. Logo, não podemos deixar de nos identificar com Garabombo, o personagem de Manuel Scorza. Como ele, ficamos transparentes.

– … Bajé a quejarme a la Subprefectura.
– Y?
– No me vieron.
– ¡Pero yo lo veo!
– Es que usted es de nuestra sangre, pero los blancos no me ven. Siete días pasé sentado en la puerta del despacho. Las autoridades iban y venían, pero no me miraban.
– Achau… se estremeció el Ladrón de Caballos.
– Al comienzo no me di cuenta. Creí que no era mi turno. Ustedes saben cómo viven las autoridades: siempre distraídas. Pasaban sin mirarme. Yo me decía “siguen ocupados”, pero a la segunda semana comencé a sospechar y un día que el Subprefecto Valerio estaba solo me presenté ¡No me vio! Hablé largo rato. Ni siquiera alzó los ojos. Comencé a maliciar. Al fin de la semana mi cuñado Malecio me aconsejó consultar a Victoria de Racre.

El Albigeo y el Ladrón de Caballos dejaron de masticar.
– ¿Y qué dijo doña Victoria?
Era mujer tan temida que ningún comunero osaba nombrarla sin ostentoso respeto.
– ¡Que me había vuelto invisible!

Mas a verdade é que nós existimos, e é o rei que está nu.