A recente descoberta de comandos ocultos inseridos em artigos acadêmicos para manipular ferramentas de inteligência artificial revelou mais do que uma falha pontual na integridade científica — escancarou um dilema ético e estrutural na forma como a ciência está sendo produzida, avaliada e disseminada em um mundo cada vez mais automatizado.
Investigação do jornal japonês Nikkei identificou que ao menos 17 artigos hospedados na plataforma arXiv, ainda não revisados por pares, continham instruções escondidas em letras brancas ou fontes microscópicas. As mensagens, direcionadas a ferramentas de IA que auxiliam na revisão de manuscritos, solicitavam avaliações exclusivamente positivas e até recomendavam a aceitação do artigo com base em supostas contribuições “impactantes” e “inovadoras”.
Essa notícia é chocante, pois o uso cada vez mais disseminado da IA em atividades de pesquisa — seja na geração de texto, revisão de literatura, tradução ou análise de dados — já é realidade em universidades, centros de pesquisa e até no ensino médio. Ferramentas como ChatGPT, Claude ou Scite.ai vêm sendo empregadas para resumir artigos, sugerir bibliografias ou revisar estilo e gramática. Quando usada com responsabilidade, a IA pode economizar tempo e ampliar o acesso à produção acadêmica.
No entanto, a aplicação da IA no sistema de revisão por pares é especialmente delicada e polêmica. A revisão é um dos últimos filtros de credibilidade científica antes da publicação de um artigo. Substituí-la (ou mesmo complementá-la) por algoritmos levanta sérias questões sobre confiabilidade, viés e superficialidade.
O caso dos prompts ocultos mostra como pesquisadores — diante da escassez de revisores humanos e das regras difusas sobre uso de IA — passaram a tentar “influenciar” esses agentes automatizados. Em outras palavras: não se trata apenas de má conduta individual, mas da adaptação a um sistema onde a confiança nas máquinas cresce mais rápido do que os mecanismos de governança e regulação.
Ética da manipulação
Imagine o seguinte cenário: um pesquisador submete um artigo para uma conferência internacional. Sabendo que muitos revisores estão sobrecarregados ou usando IA para agilizar análises, ele insere um texto oculto com instruções para que a IA recomende aceitação imediata. O revisor humano, ao delegar parte da tarefa à IA, pode nem perceber o truque — e aprovar um artigo medíocre.
Essa estratégia é comparável à prática de SEO malicioso em sites, onde desenvolvedores escondem palavras-chave para enganar mecanismos de busca. A diferença é que, no caso acadêmico, o risco vai além de cliques: compromete a qualidade do conhecimento científico, influencia políticas públicas, orienta investimentos e forma opinião especializada.
Vácuo regulatório
Não existe consenso internacional sobre o uso de IA na revisão científica. Enquanto há editoras que permitem a aplicação de IA em etapas específicas, outras a proíbem terminantemente. Essa heterogeneidade cria um “vácuo regulatório” que favorece abusos e confusões, especialmente em plataformas abertas como o arXiv.
Um exemplo: o pesquisador que alega ter usado prompts para “testar” a presença de IA nos avaliadores. A intenção, segundo ele, seria denunciar a superficialidade de revisões feitas por robôs. Mesmo que verdadeira, essa racionalização demonstra um ambiente acadêmico cada vez mais cínico, onde a manipulação tecnológica é aceita como ferramenta de contestação.
Para evitar que práticas como os prompts ocultos se tornem corriqueiras, três medidas são urgentes:
Diretrizes claras sobre o uso de IA na revisão por pares, estabelecidas por conferências, periódicos e plataformas de pré-print. A revisão feita com IA não deve ser secreta, mas registrada, justificada e auditável.
Formação ética e técnica de pesquisadores, incluindo programas de pós-graduação e capacitação continuada, para o uso responsável de tecnologias emergentes.
Desenvolvimento de ferramentas de detecção e neutralização de comandos ocultos, assim como já existem sistemas antiplágio e verificadores de texto gerado por IA.
Humanos no loop
O avanço da inteligência artificial é irreversível, e seu uso na ciência é inevitável — mas isso não significa abrir mão do discernimento humano. A revisão por pares não pode ser reduzida a uma leitura automatizada de argumentos lógicos ou palavras-chave. Ela exige julgamento, contexto, sensibilidade, dúvida.
Infelizmente, o caso dos prompts ocultos é um sintoma de um sistema pressionado por produtividade, competição e escassez de tempo. Cabe à comunidade científica — autores, editores, avaliadores e instituições — construir um novo equilíbrio entre tecnologia e ética. Porque, no fim, o que está em jogo não é apenas a qualidade de um artigo, mas a integridade da própria ciência.
_____
(*) Fundada em 2000, a Zeppelini Publishers atua no segmento editorial técnico e científico, atendendo empresas e organizações e desenvolvendo estratégias para todas as áreas da produção de publicações impressas e online.
Foto: EyeEm / Freepik