Como criamos o Hyve, um chatbot AI para WordPress – primeira versão agora gratuita

Nos últimos meses, temos experimentado IA para criar ferramentas inovadoras para WordPress. Um de nossos projetos recentes, QuickWP, um construtor de sites WordPress com tecnologia de IA, foi um desses projetos. Com base nas coisas que aprendemos ao fazer o QuickWP, estamos entusiasmados em apresentar algo totalmente novo, mas relacionado!

Neste post, quero contar tudo sobre o Hyve, um chatbot de IA para WordPress. Hyve aproveita seu conteúdo WordPress para responder às perguntas dos usuários de forma inteligente, fornecendo respostas precisas e conscientes do contexto diretamente dos materiais existentes em seu site. Ok, isso é demais, então vamos decompô-lo:

Em uma frase, Hyve trabalha com seu conteúdo existente, usa-o como base de conhecimento e responde às perguntas dos usuários com base nos dados fornecidos.

Lançamos a versão inicial do Hyve no final de abril e, desde então, ouvimos muitos comentários de nossos usuários para melhorar o plugin para resolver possíveis problemas e torná-lo mais utilizável para nossos usuários na versão 1.1. Hoje, temos o prazer de anunciar que estamos tornando o Hyve 1.0.3 gratuito para uso de todos os nossos usuários. Hyve é de código aberto e licenciado sob GPLv3.

Mas primeiro, vamos começar do início:

O que é Hyve?

Novamente, em termos simples, Hyve é um chatbot de IA para WordPress que usa APIs OpenAI em combinação com os dados do seu site para responder às perguntas dos usuários. Você pode treinar a Hyve no conteúdo do seu site, e ela usará essas informações para fornecer respostas precisas e relevantes. Com Hyve, você pode aproveitar suas postagens, páginas e até dados personalizados como sua fonte de conhecimento, que chamamos de Base de Conhecimento.

Todos os dados permanecem na sua conta WordPress e OpenAI. Você não precisa se conectar a nenhum serviço adicional para usar o Hyve. Para a atualização da versão 1.1, criamos este vídeo para dar aos nossos usuários um passo a passo do Hyve:

Além da Base de Conhecimento, você também tem mais opções para personalizar seu chatbot e saber quais perguntas seus usuários estão fazendo e que ficam sem resposta. Este recurso ajuda você a garantir que está adicionando as perguntas certas à sua base de conhecimento.

Um projeto de hackathon fracassado

Deixe-me contar a história de como Hyve nasceu.

Não é a história que você pediu, mas mesmo assim a história que você precisava.

Em março de 2023, apenas alguns meses após o lançamento do ChatGPT e os projetos de IA assumirem o controle do Twitter (sim, ainda se chamava Twitter em março de 2023); decidimos realizar um hackathon remoto de dois dias na empresa centrado na IA.

Um desenvolvedor escolheu um projeto para criar um chatbot de IA para WordPress usando APIs OpenAI e dados retirados de documentos da empresa. Para sua frustração, ele lutou com a tarefa e, por fim, o projeto falhou.

Neste ponto, devo salientar que fui o desenvolvedor.

Caso você esteja interessado, acabei enviando um criador automático de comentários de spam de última hora usando OpenAI que tinha apenas 50 linhas de código.

Embora a ideia tenha morrido após aquele hackathon, a equipe a discutiu no início deste ano e, desta vez, fizemos mais pesquisas e preparação antes de escrever a primeira linha do código. E foi assim que nasceu a Hyve.

Então, por que falhou na primeira vez e não na segunda?

Engenharia imediata, RAG e ajuste fino

Engenharia imediata, geração aumentada de recuperação (RAG) e ajuste fino são técnicas usadas no desenvolvimento de ferramentas de IA. Quando usados ​​corretamente, cada um desses métodos aumenta significativamente a precisão, a relevância e o desempenho geral.

Mas também é importante saber exatamente quando não utilizá-los. Na primeira vez no projeto hackathon, nós (ou mais especificamente, eu) cometemos o erro de pensar que o ajuste fino era a resposta.

Como novato, entendi que o ajuste fino era a forma de “treinar” um modelo de IA para realizar a tarefa, mostrando-lhe centenas de exemplos de como responder a cada pergunta. Mas eu estava tão errado.

Em teoria, o chatbot fez exatamente o que foi treinado para fazer. Ele atendeu a uma pergunta do usuário e respondeu com algumas informações incorretas no estilo de redação e no tom dos documentos de nossa empresa. Para explicar o porquê, vamos mergulhar rapidamente no significado de todas essas técnicas:

Engenharia imediata

Talvez a técnica mais famosa que todos que trabalham com ChatGPT e outras ferramentas de IA conheçam. Damos ao nosso modelo de IA algumas instruções sobre o que fazer e especificamos como ele deve responder. Por exemplo, podemos fornecer uma lista de dados de 20 e-mails e pedir para resumi-los em uma linha cada. Ele pegará os dados e responderá com algo parecido com isto:

• Na terça-feira, Jeff lhe enviou um e-mail sobre a remessa de impressão.
• Na sexta-feira, você recebeu votos de aniversário de Jeff e Matt.
• …e assim por diante

Essa abordagem é ótima para tarefas simples, quando sabemos exatamente quais informações fornecer à nossa IA ao fazer perguntas, mas falha quando as tarefas são muito mais complexas.

Geração Aumentada de Recuperação (RAG)

Conforme mencionado, a engenharia imediata é eficaz para tarefas simples, mas pode apresentar dificuldades com consultas mais complexas. É aqui que entra em jogo a Geração Aumentada de Recuperação (RAG). O RAG aprimora os recursos de IA combinando métodos baseados em recuperação com modelos generativos. Em vez de confiar apenas no prompt fornecido, o RAG pesquisa em um grande banco de dados de documentos para encontrar informações relevantes, que então usa para gerar uma resposta mais precisa e contextualmente rica.

Por exemplo, o usuário pode perguntar: “Vocês oferecem passeios de bicicleta em Nice?” Com o RAG, a IA irá primeiro recuperar artigos relevantes para esta questão e depois basear a sua resposta nas informações fornecidas nesses artigos.

Ou imagine pedir à IA atualizações meteorológicas ou preços de ações. Tudo isso exige que ele busque informações de acesso de alguma outra fonte.

Esta abordagem é particularmente útil ao lidar com grandes quantidades de dados ou quando as informações necessárias não são fornecidas diretamente no prompt inicial.

No Hyve, não podemos fornecer todos os dados da Base de Conhecimento em cada consulta. Seria muito impraticável, então precisamos usar a técnica RAG para primeiro reunir quais informações são relevantes para a consulta do usuário e depois passá-las para a IA junto com a pergunta do usuário.

Afinação

O ajuste fino envolve pegar um modelo de IA pré-treinado e treiná-lo ainda mais em um conjunto de dados específico para torná-lo mais adequado a tarefas ou domínios específicos. O ajuste fino tem menos a ver com dizer exatamente à IA o que dizer e mais com ajudá-la a entender como responder.

Por exemplo, considere o caso anterior da seção de engenharia imediata, onde a IA resume e-mails:

• Na terça-feira, Jeff lhe enviou um e-mail sobre a remessa de impressão.
• Na sexta-feira, você recebeu votos de aniversário de Jeff e Matt.

Neste cenário, se a IA não fosse afinada, poderia produzir respostas que variam em tom ou formato, tornando os resumos inconsistentes ou menos úteis para casos de utilização específicos. O ajuste fino pode padronizar as respostas da IA, garantindo que sigam um estilo e tom consistentes. Após o ajuste fino, a IA pode fornecer resumos mais uniformes como este:

• Na terça-feira, Jeff informou sobre o status da remessa de impressão.
• Na sexta-feira, Jeff e Matt enviaram-lhe cumprimentos de aniversário.

Da mesma forma, no projeto hackathon, o ajuste fino realizou o que se pretendia. Embora sempre respondesse errado, sempre respondia no mesmo formato e tom que usamos nos documentos de nossa empresa. O ajuste fino funcionou bem; a falha estava mais na técnica que escolhemos para a tarefa.

O ajuste fino, quando usado corretamente, pode ser uma ferramenta muito poderosa para construir modelos de IA para tarefas muito específicas. Na verdade, ele pode ser treinado em modelos de classificação inferior e ainda assim produzir resultados muito melhores do que um modelo de classificação superior.

Escolhendo a técnica certa

Todas as técnicas mencionadas são altamente úteis quando usadas corretamente. Mas, quando usados ​​incorretamente, eles podem piorar as suas ferramentas de IA na realização do que pretendem fazer.

O ajuste fino não foi a abordagem certa para o nosso projeto hackathon. Se tivéssemos nos limitado à engenharia imediata com RAG, os resultados teriam sido muito melhores.

Como regra geral, sempre comece apenas com engenharia imediata. Se fizer exatamente o que você deseja, não será necessário usar RAG ou ajuste fino.

Se não estiver produzindo o resultado que você deseja, veja se precisa de mais informações contextuais ou se o formato/tom é consistente. Com base nisso, pode-se decidir se requer RAG, ajuste fino ou ambos.

Eu realmente recomendo assistir esta palestra na conta do OpenAI no YouTube se quiser saber mais sobre como escolher a técnica certa.

Como funciona o Hyve

Agora que discutimos algumas técnicas para construir ferramentas de IA, vamos explorar como as usamos no desenvolvimento de um chatbot de IA para WordPress.

OpenAI oferece várias maneiras de construir IAs conversacionais. Para este projeto, escolhemos a API Assistant em vez da API Chat Completions. Ambas as APIs têm seus prós e contras, mas preferimos a API Assistant, pois ela permite aos usuários visualizar facilmente o histórico de bate-papo e manter o contexto, tratando cada conversa como um tópico. Isso foi particularmente útil ao construir o QuickWP, então decidimos continuar. Outros podem preferir a API Chat Completions, e isso também é bom.

Com a API Assistant, criamos um Assistant quando o usuário conecta sua conta OpenAI e configura o prompt lá. Dessa forma, não precisamos enviar o prompt a cada solicitação, pois a OpenAI faz o gerenciamento.

Quando os usuários enviam sua consulta ao chatbot, convertemos a pergunta em embeddings usando a API Embeddings da OpenAI e executamos um algoritmo para compará-los com a base de conhecimento do site para obter as correspondências mais próximas. Em seguida, enviamos a melhor correspondência juntamente com a pergunta do usuário ao Assistente, garantindo que a IA considere apenas o contexto fornecido ao responder à consulta.

Consideramos usar o ajuste fino para melhorar a qualidade da resposta, mas decidimos não fazer isso por enquanto para manter as coisas simples para o usuário. No entanto, poderemos ajustar um modelo no futuro para garantir que ele siga rigorosamente as instruções conforme pretendido. Por enquanto, a engenharia imediata funciona bem sem adicionar complexidade.

E agora o Hyve v1.0 é gratuito

Lançamos o Hyve em abril e, desde então, muitos clientes forneceram comentários valiosos sobre como melhorar sua funcionalidade. Com base nisso, no mês passado lançamos o Hyve v1.1, que inclui recursos avançados, como insights detalhados para administradores de sites sobre perguntas não respondidas, maiores opções de personalização para o Assistente e inúmeras outras melhorias.

Agora, temos o prazer de anunciar que o Hyve v1.0.3 é gratuito para todos os usuários que desejam experimentá-lo. Esta versão é única, o que significa que não receberá atualizações ou suporte ao cliente. Hyve v1.0.3 inclui todos os recursos da versão original, junto com correções para todos os bugs conhecidos.

Ao oferecer esta versão gratuita, esperamos que mais pessoas experimentem o Hyve, fornecendo-nos comentários e insights adicionais sobre diferentes casos de uso. Isso nos ajudará a continuar melhorando e retribuindo à comunidade.

Quem sabe você também adora o Hyve e decide se inscrever para receber atualizações. Se fizer isso, basta inserir a chave de licença e você começará a receber atualizações.

Também aproveitamos esta oportunidade para compartilhar nossa jornada de construção de um chatbot de IA para WordPress com a comunidade. Os criadores entre vocês podem encontrar algo útil ou pode ajudá-los a explicar como os chatbots de IA funcionam nos bastidores.

Esperamos que você experimente o Hyve e goste de usá-lo tanto quanto nós gostamos de construí-lo. Se você tiver problemas para baixar/instalar o Hyve ou tiver alguma dúvida, deixe um comentário abaixo. E novamente, você pode baixar o Hyve v1.0.3 clicando no link aqui. E se quiser conferir a versão mais recente, você pode encontrá-la na página do produto Hyve.