WordPress용 AI 챗봇인 Hyve를 만든 방법 - 첫 번째 버전이 현재 무료입니다.

지난 몇 달 동안 우리는 WordPress를 위한 혁신적인 도구를 만들기 위해 AI를 실험해 왔습니다. 최근 프로젝트 중 하나인 AI 기반 WordPress 사이트 빌더인 QuickWP가 그러한 프로젝트 중 하나였습니다. QuickWP를 만들면서 배운 내용을 바탕으로 완전히 새로운 내용을 소개하게 되어 기쁩니다.

이번 포스팅에서는 워드프레스(WordPress)용 AI 챗봇인 Hyve에 대해 알려드리고자 합니다. Hyve는 WordPress 콘텐츠를 활용하여 사용자 문의에 지능적으로 응답하고 사이트의 기존 자료에서 직접 정확하고 상황에 맞는 답변을 제공합니다. 좋아요, 한입의 내용이므로 분석해 보겠습니다.

한마디로 말하면, Hyve는 기존 콘텐츠로 작업하고 이를 지식 기반으로 사용하며 제공된 데이터를 기반으로 사용자 질문에 응답합니다.

지난 4월 말에 Hyve의 첫 번째 버전을 출시했으며, 이후 사용자들의 많은 피드백을 듣고 가능한 문제를 해결하고 사용자가 더 쉽게 사용할 수 있도록 플러그인을 개선한 버전 1.1을 출시했습니다. 오늘 우리는 모든 사용자가 Hyve 1.0.3을 무료로 사용할 수 있게 되었음을 발표하게 되어 기쁘게 생각합니다. Hyve는 오픈 소스이며 GPLv3에 따라 라이센스가 부여됩니다.

하지만 먼저 처음부터 시작해 보겠습니다.

하이브란 무엇인가요?

간단히 말해서 Hyve는 OpenAI API를 사이트 데이터와 함께 사용하여 사용자의 질문에 답변하는 WordPress용 AI 챗봇입니다. 웹사이트 콘텐츠에 대해 Hyve를 교육할 수 있으며, Hyve는 해당 정보를 사용하여 정확하고 관련성이 높은 응답을 제공합니다. Hyve를 사용하면 게시물, 페이지, 심지어 사용자 정의 데이터까지 지식 베이스라고 하는 지식 소스로 활용할 수 있습니다.

모든 데이터는 WordPress 및 OpenAI 계정에 유지됩니다. Hyve를 사용하기 위해 추가적인 서비스에 연결할 필요는 없습니다. 1.1 버전 업데이트를 위해 우리는 사용자에게 Hyve에 대한 안내를 제공하기 위해 이 비디오를 만들었습니다.

기술 자료 외에도 챗봇을 맞춤화하고 사용자가 묻는 질문 중 답변이 없는 항목을 알아볼 수 있는 더 많은 옵션도 있습니다. 이 기능은 지식 베이스에 올바른 질문을 추가하고 있는지 확인하는 데 도움이 됩니다.

실패한 해커톤 프로젝트

하이브가 탄생하게 된 이야기를 들려드리겠습니다.

당신이 요청한 이야기는 아니지만 그럼에도 불구하고 당신에게 필요한 이야기입니다.

ChatGPT가 출시되고 불과 몇 달 뒤인 2023년 3월로 돌아가 AI 프로젝트가 Twitter를 장악했습니다(예, 2023년 3월에도 여전히 Twitter라고 불렸습니다). 우리는 AI를 중심으로 사내에서 이틀간 원격 해커톤을 열기로 결정했습니다.

한 개발자는 OpenAI API와 회사 문서에서 스크랩한 데이터를 사용하여 WordPress용 AI 챗봇을 만드는 프로젝트를 선택했습니다. 그는 좌절감을 느끼며 작업에 어려움을 겪었고 결국 프로젝트는 실패했습니다.

이쯤 되면 제가 개발자라는 점을 지적하고 싶습니다.

관심이 있으신 경우를 대비해 저는 OpenAI를 사용하여 코드가 겨우 50줄에 불과한 최종 순간 자동 스팸 댓글 작성기를 제출하게 되었습니다.

해당 해커톤 이후 아이디어가 사라졌지만 팀에서는 올해 초 이에 대해 논의했으며 이번에는 첫 번째 코드 줄을 작성하기 전에 더 많은 연구와 준비를 수행했습니다. 그리고 그것이 하이브가 탄생한 방법입니다.

그렇다면 왜 첫 번째에는 실패하고 두 번째에는 실패했을까요?

신속한 엔지니어링, RAG 및 미세 조정

신속한 엔지니어링, 검색 증강 생성(RAG) 및 미세 조정은 AI 도구 개발에 사용되는 기술입니다. 올바르게 사용하면 이러한 각 방법은 정확성, 관련성 및 전반적인 성능을 크게 향상시킵니다.

그러나 언제 사용하지 말아야 하는지를 정확히 아는 것도 중요합니다. 처음 해커톤 프로젝트에서 우리(더 구체적으로 말하면 나)는 미세 조정이 답이라고 생각하는 실수를 범했습니다.

초보자로서 나는 미세 조정이 각 질문에 응답하는 방법에 대한 수백 가지 예를 보여줌으로써 작업을 수행하도록 AI 모델을 "훈련"하는 방법이라는 것을 이해했습니다. 그러나 나는 너무 틀렸다.

이론적으로 챗봇은 훈련받은 대로 정확하게 수행했습니다. 사용자로부터 질문을 받고 회사 문서의 작성 스타일과 어조에 있어 대부분 잘못된 정보로 답변했습니다. 이유를 설명하기 위해 이러한 모든 기술의 의미를 빠르게 살펴보겠습니다.

신속한 엔지니어링

아마도 ChatGPT 및 기타 AI 도구를 사용하는 모든 사람이 알고 있는 가장 유명한 기술일 것입니다. 우리는 AI 모델에 수행할 작업에 대한 몇 가지 지침을 제공하고 응답 방법을 지정합니다. 예를 들어, 20개 이메일의 데이터 목록을 제공하고 이를 각각 한 줄로 요약하도록 요청할 수 있습니다. 데이터를 가져와서 다음과 같이 응답합니다.

• 화요일에 Jeff가 인쇄 배송에 관해 이메일을 보냈습니다.
• 금요일에 Jeff와 Matt로부터 생일 축하를 받았습니다.
• …등등

이 접근 방식은 질문을 할 때 AI에 어떤 정보를 제공해야 하는지 정확히 알고 있는 간단한 작업에는 적합하지만 작업이 훨씬 더 복잡하면 실패합니다.

검색 증강 생성(RAG)

앞서 언급했듯이 프롬프트 엔지니어링은 간단한 작업에는 효과적이지만 더 복잡한 쿼리에는 어려움을 겪을 수 있습니다. 여기서 RAG(Retrieval-Augmented Generation)가 시작됩니다. RAG는 ​​검색 기반 방법과 생성 모델을 결합하여 AI 기능을 향상시킵니다. RAG는 ​​제공된 프롬프트에만 의존하는 대신 대규모 문서 데이터베이스를 검색하여 관련 정보를 찾은 다음 이를 사용하여 보다 정확하고 상황에 맞게 풍부한 응답을 생성합니다.

예를 들어, 사용자는 "니스에서 자전거 투어를 제공합니까?"라고 물을 수 있습니다. RAG를 사용하면 AI는 먼저 이 질문과 관련된 기사를 검색한 다음 해당 기사에 제공된 정보를 기반으로 답변합니다.

아니면 AI에게 날씨 업데이트나 주가를 묻는 것을 상상해 보세요. 이 모든 작업에는 다른 소스에서 액세스 정보를 가져와야 합니다.

이 접근 방식은 방대한 양의 데이터를 처리할 때나 필요한 정보가 초기 프롬프트에 직접 제공되지 않을 때 특히 유용합니다.

Hyve에서는 모든 단일 쿼리에 대해 지식 베이스의 모든 데이터를 제공할 수 없습니다. 너무 비실용적이므로 RAG 기술을 사용하여 먼저 사용자의 쿼리와 관련된 정보를 수집한 다음 이를 사용자의 질문과 함께 AI에 전달해야 합니다.

미세 조정

미세 조정에는 사전 훈련된 AI 모델을 가져와서 특정 작업이나 도메인에 더 능숙하게 만들기 위해 특정 데이터 세트에 대해 추가 훈련이 포함됩니다. 미세 조정은 AI에게 말해야 할 내용을 정확하게 알려주는 것보다 AI가 응답하는 방법을 이해하도록 돕는 것입니다.

예를 들어 AI가 이메일을 요약하는 프롬프트 엔지니어링 섹션의 이전 사례를 고려해보세요.

• 화요일에 Jeff가 인쇄 배송에 관해 이메일을 보냈습니다.
• 금요일에 Jeff와 Matt로부터 생일 축하를 받았습니다.

이 시나리오에서 AI가 미세 조정되지 않은 경우 톤이나 형식이 다양한 응답을 생성하여 요약이 일관되지 않거나 특정 사용 사례에 덜 유용할 수 있습니다. 미세 조정을 통해 AI의 반응을 표준화하여 일관된 스타일과 톤을 따르도록 할 수 있습니다. 미세 조정 후 AI는 다음과 같이 보다 균일한 요약을 제공할 수 있습니다.

• 화요일에 Jeff가 인쇄 배송 상태에 대해 알려 주었습니다.
• 금요일에 Jeff와 Matt가 모두 당신에게 생일 축하 인사를 보냈습니다.

마찬가지로 해커톤 프로젝트에서도 미세 조정을 통해 의도한 바를 달성했습니다. 항상 잘못된 답변으로 응답했지만 항상 회사 문서에서 사용하는 것과 동일한 형식과 어조로 응답했습니다. 미세 조정이 잘 작동했습니다. 결함은 우리가 작업을 위해 선택한 기술에 더 많이 있었습니다.

미세 조정을 올바르게 사용하면 매우 특정한 작업을 위한 AI 모델을 구축하는 데 매우 강력한 도구가 될 수 있습니다. 실제로 낮은 순위 모델에 대해 학습할 수 있지만 높은 순위 모델보다 훨씬 더 나은 결과를 생성할 수 있습니다.

올바른 기술 선택

언급된 모든 기술은 올바르게 사용하면 매우 유용합니다. 그러나 잘못 사용하면 AI 도구가 수행해야 할 작업을 수행하는 데 있어 성능이 저하될 수 있습니다.

미세 조정은 우리 해커톤 프로젝트에 적합한 접근 방식이 아니었습니다. RAG를 사용하여 신속한 엔지니어링에만 전념했다면 결과는 훨씬 더 좋았을 것입니다.

경험상 항상 즉각적인 엔지니어링으로 시작하십시오. 원하는 작업을 정확하게 수행한다면 RAG나 미세 조정을 사용할 필요가 없습니다.

원하는 결과를 내지 못하는 경우, 더 많은 맥락 정보가 필요한지, 형식/어조가 일관된지 확인하세요. 이를 바탕으로 RAG, 미세 조정 또는 둘 다 필요한지 결정할 수 있습니다.

올바른 기술을 선택하는 방법에 대해 자세히 알아보려면 OpenAI의 YouTube 계정에서 이 강연을 시청하는 것이 좋습니다.

하이브 작동 방식

이제 AI 도구를 구축하기 위한 몇 가지 기술을 논의했으므로 WordPress용 AI 챗봇 개발에 이러한 기술을 어떻게 사용했는지 살펴보겠습니다.

OpenAI는 대화형 AI를 구축하는 다양한 방법을 제공합니다. 이 프로젝트에서는 Chat Completions API 대신 Assistant API를 선택했습니다. 두 API 모두 장단점이 있지만 사용자가 각 대화를 스레드로 처리하여 채팅 기록을 쉽게 보고 컨텍스트를 유지할 수 있는 Assistant API를 선호했습니다. 이는 QuickWP를 구축할 때 특히 유용했기 때문에 우리는 이를 고수하기로 결정했습니다. 다른 사람들은 Chat Completions API를 선호할 수도 있으며 그것도 괜찮습니다.

Assistant API를 사용하면 사용자가 OpenAI 계정을 연결할 때 어시스턴트를 생성하고 거기에 프롬프트를 설정할 수 있습니다. 이렇게 하면 OpenAI가 관리하므로 각 요청마다 프롬프트를 보낼 필요가 없습니다.

사용자가 쿼리를 챗봇에 보내면 OpenAI의 Embeddings API를 사용하여 질문을 임베딩으로 변환하고 알고리즘을 실행하여 가장 가까운 일치 항목을 찾기 위해 사이트의 지식 기반과 비교합니다. 그런 다음 사용자의 질문과 함께 가장 일치하는 항목을 Assistant에 보내 AI가 쿼리에 응답할 때 제공된 컨텍스트만 고려하도록 합니다.

우리는 응답 품질을 향상시키기 위해 미세 조정을 사용하는 것을 고려했지만 사용자를 위해 작업을 단순하게 유지하기 위해 지금은 사용하지 않기로 결정했습니다. 그러나 향후에는 모델이 의도한 대로 프롬프트를 엄격하게 따르도록 모델을 미세 조정할 수도 있습니다. 현재로서는 프롬프트 엔지니어링이 복잡성을 추가하지 않고도 충분히 잘 작동합니다.

이제 Hyve v1.0이 무료입니다

우리는 4월에 Hyve를 출시했으며 그 이후로 많은 고객들로부터 기능 향상 방법에 대한 귀중한 피드백을 제공해 왔습니다. 이를 기반으로 지난 달 우리는 답변되지 않은 질문에 대한 사이트 관리자를 위한 자세한 통찰력, 도우미에 대한 더 큰 사용자 정의 옵션 및 기타 다양한 개선 사항과 같은 고급 기능을 포함하는 Hyve v1.1을 출시했습니다.

이제 Hyve v1.0.3을 사용해 보고 싶은 모든 사용자에게 무료로 제공된다는 소식을 발표하게 되어 기쁘게 생각합니다. 이 버전은 일회성 릴리스이므로 업데이트나 고객 지원을 받을 수 없습니다. Hyve v1.0.3에는 원본 버전의 모든 기능과 알려진 모든 버그에 대한 수정 사항이 포함되어 있습니다.

이 무료 버전을 제공함으로써 더 많은 사람들이 Hyve를 사용해 다양한 사용 사례에 대한 추가 피드백과 통찰력을 얻을 수 있기를 바랍니다. 이는 우리가 지속적으로 개선하고 지역 사회에 환원하는 데 도움이 될 것입니다.

당신도 Hyve를 좋아하고 업데이트를 구독하기로 결정할 수도 있습니다. 그렇다면 라이센스 키를 입력하기만 하면 업데이트 수신이 시작됩니다.

우리는 또한 이 기회를 이용하여 WordPress용 AI 챗봇을 구축하는 과정을 커뮤니티와 공유했습니다. 여러분 중 제작자가 유용한 것을 발견할 수도 있고, AI 챗봇이 내부적으로 어떻게 작동하는지 설명하는 데 도움이 될 수도 있습니다.

Hyve를 직접 사용해 보시고 우리가 만드는 즐거움만큼 즐겁게 사용해 보시길 바랍니다. Hyve를 다운로드/설치하는 데 문제가 있거나 질문이 있는 경우 아래에 의견을 남겨주세요. 그리고 여기 링크를 클릭하면 Hyve v1.0.3을 다시 다운로드할 수 있습니다. 그리고 최신 버전을 확인하고 싶다면 하이브 제품 페이지에서 만나보실 수 있습니다.