Testamos o ChatGPT: saiba se a ferramenta realmente funciona

Desde 30 de dezembro, quando foi lançado, o ChatGPT tem gerado todo tipo de discussão pela internet. No meio de tudo o que a ferramenta pode fazer, uma questão que se repete é se essa inteligência artificial é capaz de substituir o homem em atividades de produção de textos, tradução, solução de problemas técnicos – como na área de matemática, física ou engenharia – ou desenvolvimento de estudos acadêmicos.

Desenvolvido pela empresa de pesquisa em tecnologia Open AI, o ChatGPT é uma espécie de chatbot on-line dotado de inteligência artificial, supostamente capaz de responder questões sobre diversos assuntos e conversar naturalmente sobre vários tópicos.

Deixamos que o próprio ChatGPT fale por si, perguntando à ferramenta o que ele é. Eis a resposta:

"Eu sou o ChatGPT, um modelo de linguagem desenvolvido pela OpenAI. Eu fui treinado em grandes quantidades de dados textuais para poder gerar respostas para perguntas e realizar conversas em linguagem natural com os usuários. Minha programação é baseada em algoritmos de aprendizado de máquina e inteligência artificial, que me permitem aprender continuamente com cada interação e melhorar minhas respostas ao longo do tempo."

Nos ramos da comunicação e do marketing, a habilidade de gerar conteúdo pegou de surpresa pauteiros, jornalistas, redatores, copywriters e editores. À primeira impressão, o receio era de que a ferramenta pudesse realizar o trabalho de um humano tão bem a ponto de substituir uma pessoa. Mas, o que o ChatGPT é realmente capaz de fazer? 

Neste post, convidamos parte da equipe da Experta para colocar a inteligência artificial à prova e desafiamos o ChatGPT a resolver problemas relacionados à produção de pautas, textos, conteúdo completo, SEO on page e uma estratégia de link building.

Continue a leitura e veja como a ferramenta se saiu!

Ideias de briefing para pautas

Na jornada de desafios ao ChatGPT, nosso primeiro teste foi solicitar sugestões de temas para pautas jornalísticas. A pauteira da Experta, Heloísa Aguieiras, pediu cinco ideias de briefings sobre astrologia. 

A resposta da ferramenta está na imagem a seguir:

Antes de obter o resultado, Helô já se deparou com um problema. O ChatGPT registrou um erro de compatibilidade, contendo a seguinte mensagem: Erro de aplicativo: ocorreu uma exceção do lado do cliente (consulte o console do navegador para obter mais informações).

Helô relata ainda outros problemas pelos quais já passou com a plataforma: “a pesquisa trava ou fornece palavras com frases desconexas”. Porém, na segunda tentativa, a ferramenta funcionou e deu exatas cinco sugestões de pautas sobre astrologia, consideradas boas pela pauteira.

Entre as vantagens, ela destaca que a ferramenta oferece algumas ideias de temas e de condução para pautas, sendo bem rápida, o que ajuda quando o prazo para entrega do trabalho é curto. Nas palavras de Helô,

"O ChatGPT é uma excelente ferramenta para funcionar como um 'pontapé' na criação de pauta."

Então, por que não fazer uma pauta completa com o ChatGPT? Apesar de ser "uma luz na construção de pautas", segundo nossa pauteira, a ferramenta não trouxe ideias totalmente novas.

"As respostas são mais completas a cada refino da pergunta. Por isso, é importante o profissional no comando da ferramenta, conduzindo o objetivo do trabalho, senão ela se torna apenas um elencador de palavras", analisa Helô.

Na avaliação final, Heloísa considera o ChatGPT bastante funcional para destravar a criatividade, mas as respostas para pautas devem ser complementadas com pesquisas e levantamentos que forneçam boas referências para as redatoras.

"Também é importante ressaltar que o ChatGPT não conhece as particularidades do nosso trabalho. Não sabe as pautas que já desenvolvemos e aquelas das quais não costumamos tratar", completa Helô.

Apoio na redação de textos

Passando para o tema “escrever pelo ChatGPT”, convidamos nossa redatora Gracielle Nocelli a gerar um conteúdo pela ferramenta e dar seu parecer. 

Graci testou três temas de pautas, esperando que a inteligência artificial oferecesse um conteúdo que pudesse ser usado para link building, blog post ou Digital PR.

O primeiro assunto, da área de Economia e Finanças, foi: "Como investir em 2023". Na imagem a seguir, podemos ver a resposta do ChatGPT:

Apesar de abordar os aspectos gerais sobre o tema, as respostas do ChatGPT não foram profundas.

"A ferramenta apresenta definições conceituais de algumas aplicações financeiras e orienta o leitor a procurar o conselho de profissionais da área. Se compararmos com o trabalho do jornalista, a apuração já teria buscado informações junto a um especialista ou às instituições que representam a categoria."

Graci aponta ainda a ausência de contextualização e a falta de dados econômicos que orientem o leitor para a compreensão do tema. "Não há informações sobre o contexto macroeconômico ou indicadores nacionais de inflação, juros, entre outras variáveis que afetam diretamente a decisão sobre como investir."

No segundo teste, para uma pauta da editoria de Ciência e Tecnologia, Graci perguntou à plataforma: "Quais são os caminhos para uma pesquisa científica chegar ao mercado?". 

O ChatGPT respondeu:

Na avaliação da redatora, embora tenha trazido exemplos, não foram citadas as fontes de informação, essenciais no trabalho jornalístico.

Por último, pensando em solucionar uma pauta para blogpost, Gracielle testou o tema "Aviso prévio é obrigatório em rescisões de empregada doméstica". Vejamos a resposta:

Mesmo que, dessa vez, tenha mostrado a fonte da informação – a Lei Complementar nº 150/2015 ou Lei das Domésticas –, o texto gerado pela inteligência artificial pecou pela falta de aprofundamento.

Na avaliação geral, Graci percebe que o ChatGPT pode auxiliar na pré-apuração realizada pelo jornalista, mas é incapaz de substituir o trabalho de um profissional.

"A ferramenta pode ser usada para uma consulta prévia sobre as pautas que serão trabalhadas. Por apresentar informações amplas, o jornalista tem uma ideia geral sobre o assunto e dali pode definir quais serão os caminhos a serem explorados e aprofundados na apuração junto às fontes escritas e humanas."

Criação de conteúdo completo

Outro desafio que propomos à ferramenta foi escrever um conteúdo completo. O teste foi feito por este editor de conteúdo, Clecius Campos.

Pedi ao ChatGPT que criasse um texto jornalístico com 600 palavras sobre o tema "investir na crise". A expectativa era obter um conteúdo que pudesse ser distribuído para veículos de imprensa.

A seguir, um print com parte da resposta obtida:

A primeira decepção apareceu no número de palavras. Embora eu tenha solicitado 600, a ferramenta me apresentou um texto com 473. Não bastasse a defasagem numérica, o conteúdo também deixou a desejar.

Na redação jornalística, dados, referências, autoridades, personagens e aspas são elementos essenciais para dar credibilidade ao conteúdo. Nada disso aparece no texto apresentado pela inteligência artificial. 

A sequência de parágrafos desenvolve argumentos sem mencionar números, porcentagens, especialistas do mercado ou qualquer outro exemplo que torne o conteúdo confiável.

Questões conceituais também podem ser discutidas. O subtema "crise" é uma confusão para a ferramenta, que ora trata da crise sanitária – causada pela Covid-19 – ora parece falar de uma crise financeira, mas sem especificar qual: internacional, interna, setorial?

Além disso, é possível perceber uma dificuldade do ChatGPT em trabalhar com sinônimos, analogias e vocábulos similares. O texto sobre investir na crise tem 38 ocorrências de palavras com o radical "invest" – investir, investimento, investidores... – e nenhuma vez a palavra "aplicar", por exemplo. Para buscadores como o Google, repetir palavras-chave é um fator negativo para a experiência do usuário e pode indicar keyword stuffing.

O conteúdo, portanto, não conta com uma qualidade jornalística a ponto de ser usado para substituir a escrita de um profissional. No entanto, vale mencionar que os argumentos apresentados servem como guia de raciocínio e podem ser confirmados com autoridades e especialistas, desde que um cérebro humano intervenha.

SEO on page

Pensando em solucionar questões de SEO on page, a analista de SEO da Experta, Panmela Tonassi, propôs três desafios ao ChatGPT. A ideia era verificar se a inteligência artificial consegue atuar na otimização de sites para mecanismos de busca.

O primeiro pedido feito por Panmela foi "montar uma estrutura de um site de educação". Vejamos a resposta da plataforma:

Na avaliação de Panmela, o ChatGPT trouxe oportunidades para estruturar o menu de um site, porém, a resposta foi considerada genérica. 

"Em aplicações de SEO, precisamos elaborar uma estratégia de palavras-chave condizente com o objetivo do cliente. Com isso, é necessário um trabalho de pesquisa de palavras-chave para aproveitar as oportunidades de termos dentro dessa estrutura", explica Pan.

A analista de SEO acredita que o ChatGPT auxilia na visão da arquitetura do site, mas não detalha o conteúdo de cada item sugerido. 

"Para isso, é necessário um especialista em SEO", avalia.

O segundo teste foi um pedido de palavras-chave relacionadas ao termo "link building" para atender a uma empresa de SEO. A resposta está no print a seguir:

Panmela avalia que o ChatGPT retornou palavras que realmente estão relacionadas ao nicho de SEO, porém o termo foi repetido em todas as sugestões, deixando de fora outras variações importantes. Ela pontua:

"Percebo que ele ainda não consegue substituir os softwares de pesquisa de palavras-chave."

Por último, Pan fez um teste técnico e pediu que o ChatGPT criasse um sitemap para URLs fornecidas no momento da busca. 

A resposta da inteligência artificial pode ser vista na imagem abaixo:

Nesse quesito, a ferramenta surpreendeu: Panmela considera que o ChatGPT se mostrou capaz de criar uma estrutura. Cabe ao profissional de SEO se debruçar sobre o sitemap e seguir com as otimizações e estratégias do site.

Link building e SEO off page

Para testar o que o ChatGPT entende de estratégia de SEO off page, o analista de link building da Experta, Luiz Affonso Mehl, também testou a ferramenta. À inteligência artificial, ele fez três perguntas. Vejamos cada uma delas.

A primeira questão foi: “Poderia me informar bons sites para obter backlinks?”. Abaixo, a resposta da plataforma:

Na análise de Luiz, o ChatGPT o surpreendeu sobre o assunto link building. 

"Minha avaliação da resposta foi positiva. A ferramenta se mostrou por dentro das normas corretas para uma boa prática de link building e ainda me surpreendeu dando dicas de como obter backlinks." 

O analista de LB disse esperar que a ferramenta apresentasse uma lista de sites variados, sem nenhuma referência, mas acabou dando um retorno "muito semelhante ao que um ser humano que trabalha na área daria", completou.

No segundo teste, Luiz fez uma pergunta mais específica, pedindo ajuda ao ChatGPT para encontrar páginas na internet sobre educação. A intenção era levantar 100 domínios sobre o assunto que pudessem servir, posteriormente, para captação de parcerias de conteúdo e linkagem.

A pergunta foi: "Poderia me informar 100 sites brasileiros sobre educação?" Vejamos, a seguir, a resposta:

A inteligência artificial listou pouco mais de 30 sites, em ordem alfabética, com title e URL. A listagem não impressionou Luiz.

"Nesse quesito, minha avaliação foi negativa. Fiz a busca e o ChatGPT não conseguiu passar do número 34. Essa mesma pergunta no Google traria uma infinidade de sites, do domínio com maior autoridade para o menor."

Além da quantidade de resultados e da organização da lista, Luiz também critica a carência de informação frente à mesma busca no Google. "O ChatGPT não mostra uma meta description para o usuário, ou seja, eu só conseguiria saber sobre o que o site faz exatamente, entrando no domínio, tornando a experiência pouco prática."

Por fim, Luiz testou uma busca ainda mais focada, solicitando o e-mail de contato de um site. A resposta, considerada negativa, pode ser vista a seguir:

Para o analista de LB, a promessa de otimizar o tempo e tornar tudo mais prático não se concretizou para a parte final do link building, que é a captação de parceiros e a distribuição de conteúdo.

"Do meu ponto de vista, o ChatGPT não atua como um buscador, por isso jamais irá substituí-lo. É uma inteligência complementar, que pode sim sanar dúvidas em determinados contextos, mas não possui a abrangência e a riqueza de detalhes que um mecanismo de busca traz."

Luiz considera, porém, que a IA é uma grande aliada, funcionando como um alicerce para os motores de busca e trazendo respostas rápidas para as mais diversas dúvidas do cotidiano.

Experta acompanha e incorpora tecnologias

Na avaliação final, a Experta acredita que a inteligência artificial é uma evolução importante que precisa ser acompanhada de perto e até incorporada à rotina de trabalho dos profissionais. Nossa COO, Viviane Camargos, considera que qualquer empresa de tecnologia deve estar atenta às transformações e preparada para absorver inovações.

“Aqui na Experta, acreditamos muito na tecnologia e inovação para otimizar processos, mensurar resultados, facilitar tarefas e até integrar a equipe. Seja com o ChatGPT ou outras inteligências artificiais e ferramentas com aprendizado de máquina. Nós abraçamos as novidades e incorporamos no nosso trabalho se isso significar um avanço.”

Isso não quer dizer que o ChatGPT ou qualquer outra funcionalidade que utilize IA seja capaz de ocupar a vaga de um colaborador humano.

“O ChatGPT não pode substituir um cérebro humano para o trabalho que desenvolvemos na Experta, especialmente no quesito qualidade. Somos conhecidas pelo conteúdo útil, informativo, autêntico, único e otimizado, desenvolvido conforme as diretrizes do Google, priorizando as pessoas. Além disso, nossos valores como empresa celebram e incentivam a humanidade.”

Acompanhe as inovações no nosso blog

A Experta está sempre atenta às novidades tecnológicas que envolvem criação de conteúdo, ranqueamento, marketing, SEO, link building e mensuração de resultados. 

Lançamentos como o ChatGPT estão no nosso radar e você pode acompanhar tudo aqui mesmo!

Para ler mais conteúdos como este, visite nosso blog.