Estilo repetido, falta de citações, ‘enrolation’…. professores descobrem falhas em textos do robô ChatGPT, mas elogiam novidade

Ferramenta de inteligência artificial vem assombrando quem a testa pela rapidez e o nível de detalhes com que escreve diversos tipos de textos. Inteligência artificial preocupa professores: oportunidade para educar ou deseducar?
Pexels
Já ouviu falar no robô conversador chamado ChatGPT? Ele viralizou desde o fim de dezembro, quando foi aberto para qualquer pessoa testá-lo gratuitamente e, por consequência, aprimorá-lo.
g1 faz perguntas para o ChatGPT, que sabe (quase) tudo
Ao mesmo tempo em que vem colecionando elogios pela criação de rápida e detalhada de todo tipo de texto, além de responder a quase todas as perguntas, a ferramenta começa a receber reações negativas.
Na última quarta-feira (4), escolas públicas de Nova York passaram a vetar o ChatGPT nas redes locais.
Educadores entendem que será inevitável que os alunos recorram ao robô e é muito difícil detectar que um texto foi feito pela máquina. Não adianta “jogar no Google” porque os textos do ChatGPT não são tirados da internet.
Mas alguns professores estão expondo alguns deslizes do robô. Veja abaixo.
Percebeu o ‘enrolation’ porque tema não era popular
Darren Hick, professor-assistente de filosofia da Universidade Furman, nos EUA, descobriu que texto de aluno foi escrito pelo robô
Reprodução/Facebook
Darren Hick, professor-assistente de filosofia da Universidade Furman, nos Estados Unidos, contou em um post no Facebook que desmascarou uma redação feita pelo ChatGPT em dezembro e entregue por um aluno.
Não foi fácil; veja o passo a passo e quais pistas “denunciaram” o robô:
🔎 Nada de app antiplágio – Hick sabia que o ChatGPT “dribla” os aplicativos antiplágio, que confrontam parágrafos com textos que existem na internet para desmascarar o famoso “copia e cola”. Mas a inteligência artificial permite que ele combine as palavras que estão em seu “depósito” de forma única, o que faz com que seu texto não seja detectado pelos apps.
✋ Página do próprio chat ‘denuncia’ – Primeiro o professor recorreu a uma página criada pelos próprios desenvolvedores do ChatGPT para supostamente apontar a probabilidade de um texto ter sido criado pelo robô. E a resposta foi de quase 100%.
🤖 Então, ele mesmo fez o teste – Hick foi ao site do ChatGPT e pediu que o robô escrevesse um ensaio com o mesmo tema: o filósofo David Hume e o paradoxo do horror. E recebeu, em segundos, “uma resposta que parecia ter sido escrita por um humano”.
🎓 O robô escreve bem – “Mais do que isso, (escrita por) um humano com bom senso de gramática e uma compreensão de como as redações devem ser estruturadas”, descreveu o professor.
“É um estilo (de texto) limpo. Mas é reconhecível”, afirmou. É como se tivesse sido escrito por um estudante muito esperto do último ano da “secondary school”, o equivalente ao ensino médio no Brasil, comparou.
😯 Maaaaaaaas – Nem tudo deu certo. “O primeiro indicador de que eu estava lidando com inteligência artificial foi que, apesar da coerência sintática da redação, ela não fazia sentido.”
Segundo Hick, o texto que o robô lhe entregou descrevia as visões de Hume sobre o paradoxo do horror de forma confiante e detalhada, mas “totalmente equivocada”.
A redação até continha algumas verdades sobre o filósofo e dizia do que se tratava o paradoxo do horror, mas depois era só “bobagem” — ainda que bem escrita. Poderia enganar apenas um leigo.
E a falta de citações ou referências também denunciou o robô, segundo o professor.
🧐 Então, o tema faz diferença – Hick acha que, se a redação fosse sobre um assunto mais conhecido, seria mais difícil desmascarar o robô.
Segundo ele, o ChatGPT tem mais domínio sobre assuntos populares, como o livro “Moby Dick” ou as causas da guerra na Ucrânia — temas que ele também usou para testar a máquina.
David K. Thomson, professor-associado de história na Universidade Sacred Heart, em Connecticut, também nos EUA, concorda. Ele entende que o robô se sai muito bem com o tipo de questão que costuma aparecer em testes para serem feitos em casa.
“(O texto) Não é perfeito. Mas os dos estudantes de faculdade também não são”, afirmou ao “Washington Post”.
Mas, quando a proposta foi mais sofisticada, como na vez em que pediu que o chat escrevesse sobre como o escritor abolicionista Frederick Douglass criou seu argumento contra a escravidão, a resposta foi menos convincente, segundo ele.
Robô derrapou na referência
Mark Shaples, professor emérito de tecnologia educacional na britânica Open University, pegou mentiras ao testar o GPT-3, versão anterior do modelo de linguagem usado no ChatGPT, em maio passado.
✍️ Nota pé saiu ‘torta’ – Ele pediu uma redação sobre estilos de aprendizagem e divulgou o resultado em um blog. O robô produziu um texto que tinha uma referência no pé: “Dunn, R., & Dunn, K. (1997). Learning styles: Research and practice. Journal of Research in Education, 7(2), 139-151.”
Segundo Sharples, o jornal “Research in Education” existe, mas não publicou uma edição de número “7(2)” em 1997. E os autores referenciados, Dunn, R., & Dunn, K., chegaram a publicar textos sobre estilos de aprendizagem, mas nunca nesse jornal.
A Open AI, organização desenvolvedora do robô, admite que ele pode dar informações erradas ou enviesadas mesmo na versão atual.
Mas o ChatGPT não se deu mal em todas
Kevin Bryan, economista e professor-associado na Universidade de Toronto, no Canadá, se diz chocado com o quanto o robô é bom. “Não dá mais para dar tarefas para casa”, resumiu.
👏 Nível de MBA – Diferente dos colegas, Bryan contou que recebeu respostas muito satisfatórias ao testar o robô com questões que usaria em uma prova de gerenciamento estratégico de um MBA. Ele começou com uma pergunta mais simples e foi adicionando complexidade em outras 3 questões.
📝 O resultado? 3 notas A e uma B, na avaliação dele. Sobre um dos exercícios, o professor disse que, “apesar de alguns erros pequenos, as respostas eram “do nível de um ótimo aluno de teoria da economia”.
“Nenhuma das respostas estava errada e muitas era bem sofisticadas nos argumentos sobre conteúdos conceitualmente difíceis. Não eram são só palavras sem sentido”, afirmou no Twitter.
Oportunidade de educar ou deseducar?
Para justificar o bloqueio à ferramenta, o Departamento de Educação da cidade de Nova York citou que o robô atrapalha o desenvolvimento dos alunos.
“Embora possa fornecer respostas rápidas e fáceis para perguntas, ele não desenvolve habilidades de pensamento crítico e resolução de problemas, essenciais para o sucesso acadêmico e ao longo da vida.”
Mas muitos pesquisadores da educação dizem que é um caminho sem volta e que a inteligência artificial deveria ser usada como auxílio para o ensino, inclusive para se perceber as suas limitações.
Mesmo diante da referência inventada pelo robô, o professor Sharples, do Reino Unido, é a favor da tecnologia.
Para ele, o chat pode se revezar com alunos na criação de histórias (cada um escreve um parágrafo), por exemplo. Ou os estudantes podem ser desafiados a avaliar os prós e contras dos textos gerados durante a aula.
“Como educadores, se estamos pedindo exercícios para os estudantes que podem ser feitos por robôs de inteligência artificial, estamos verdadeiramente ajudando os alunos a aprender?”, provoca.
Conheça o ChatGPT, a tecnologia que viralizou por ter resposta para (quase) tudo