Wiznet makers

ChatGPT 출시 이후 기업용 챗봇의 변화

ChatGPT, Bard, BingChat 등의 LLM 기반의 챗봇들이 출시된 이후 도메인을 가리지 않고 수많은 기업들은 기업용 챗봇의 도입을 원하고있으며, 기존의  Rule-based 시스템의 챗봇을 운영하던 기업에서도 보다 자연스러우면서도 뛰어난 챗GPT같은 챗봇을 도입하기를 원하고 있습니다.

하지만 우리가 흔히 사용하는 ChatGPT는 특정 도메인이나 목적에 집중한 모델이 아닌 범용 모델입니다. 따라서 기업에서 고객 대응이나 업무용으로 ChatGPT를 제공하려고 한다면, 해당 기업에 대한 정보가 해당 모델에 학습되지 않았을 경우, 또 학습일 기준 데이터(ChatGPT의 경우 2021년 이전) 까지만 학습이 되어 실시간으로 업데이트 된 외부 정보들에 대해서는 잘 모르거나, 할루시네이션(hallucination)에도 취약합니다. 

따라서 단순히 범용적으로 제공되는 LLM을 회사 운영차원에서 사용하기는 무리가 있으며, 기업에 맞는 LLM 모델을 만들어서 활용해야 합니다.

기업에 맞는 LLM 모델을 만드는 3가지 전략

다음은 OpenAI에서 발표한 기업용 맞춤 LLM 모델을 구축하는 세가지 전략에 대해 요약한 내용입니다.

1.  제로 베이스에서 모델 개발 :
   • 바닥부터 모델을 직접 구축하는 방식
   • 숙련된 ML 엔지니어, 많은 데이터, 강력한 인프라 필요
   • 대기업 위주로 주로 적용됨 (예: Google, Meta, 네이버 등)
2. 파인 튜닝:
   • 기존 사전 훈련 모델에 도메인 데이터를 추가 학습
   • 진입 장벽은 상대적으로 낮으나 ML 전문가 필요
   • "모델 드리프트"와 같은 문제 발생 가능
3.  RAG를 활용한 검색
   • 베이스 모델에서 외부 데이터를 가져와 임베딩을 진행
   • 사용자 질문에 따라 관련 임베딩 제공
   • 비용면에서 효율적이며, 데이터 최신성 보장, 할루시네이션 문제 대비 가능

이렇게 3가지 방식을 통해 각 기업에 맞는 LLM 모델을 구축할 수 있습니다.

하지만 현실적으로 대부분의 기업들은 높은 진입장볍 때문에 파인튜닝과 RAG 방식 중에서 선택해야 합니다.

Fine-Tuning vs. RAG

Microsoft의 Ashish Bhatia의 Fine-tuning과  RAG 방식 비교에 대한 요약입니다. (원문링크) 

Finetuning과 RAG사이의 선택은 프로젝트의 구체적인 목표와 리소스에 따라 달라진다고 말하고 있습니다. 코드 생성처럼 모델에 완전히 새로운 작업을 가르치려는 목표를 가지고 있다면 파인튜닝이 적합한 선택일 수 있습니다. 하지만, 제약 조건과 제한된 예산 내에서 모델을 새로운 도메인에 맞게 조정하는 것이 중점이라면 RAG가 더 효율적이고 접근하기 쉬운 해결책을 제공할 수 있다고 말하고 있습니다.

WIZnet AI Chatbot의 도입

저희 WIZnet에는 위에서 소개한 방식 중 RAG가 더 어울린다고 생각되어 해당 기술의 UI를 제공하는 Chatbase를 활용하여 LLM 모델을 도입하였습니다. 

WIZnet에서는 Docs, Forum, Channel Talk, e-shop 등 다양한 플랫폼에서 데이터를 수집하여 Vector DB에 저장하고 가공하였습니다. 이렇게 가공된 데이터는 Retrieval이 가능한 형태로 변환되었기 때문에, 사용자의 질의응답 형태의 챗봇 서비스나 기타 다양한 업무에 활용될 수 있습니다.

이를 통해 일반적인 고객 응대나 기술 지원, 사내 Contents 제작과 같은 업무에도 활용 가능하도록 노력하고 있습니다.

WIZnet AI Chatbot의 도입

• WIZnet Forum에 적용 예정인 기술지원용 Chatbot 
  •  실시간으로 사전 응대가 가능함 (아래는 예시 이미지)
• 일본 홈페이지(jp.wiznet.io) 에 공개되어있는 챗봇
  • ChatGPT 기반으로 운영되어 일본어 데이터 없이도 번역에 효과적임

이렇게 다양한 방식의 챗봇을 개발 및 도입 예정이지만, 쉼없이 나오는 새로운 기술들에 맞추어 끊임없는 연구와 피드백이 필요합니다. 

특히, 사용자 및 직원들의 피드백을 통한 데이터 개선이 앞으로의 과제로 남아있습니다. 

WIZnet의 더욱 발전된 챗봇 서비스를 제공하기 위해 끊임없이 노력하고 있으니 많은 관심과 기대를 부탁드립니다.

Changes in enterprise chatbots since the launch of ChatGPT

Since the release of LLM-based chatbots such as ChatGPT, Bard, and BingChat, many companies regardless of domain want to introduce corporate chatbots, and even companies that operate chatbots with existing rule-based systems want to introduce chatbots like ChatGPT that are more natural and superior.

However, ChatGPT, which we usually use, is a general-purpose model, not a model focused on a specific domain or purpose. Therefore, if a company wants to provide ChatGPT for customer response or business use, if the information about the company is not trained in the model, or if it is trained only up to the data as of the training date (before 2021 in the case of ChatGPT), it is not familiar with external information updated in real time, or is vulnerable to hallucination. 

Therefore, it is not possible to simply use a general-purpose LLM for company operations, and it is necessary to create and utilize an LLM model tailored to the company.

Three strategies for creating a customized LLM model

The following summarizes three strategies for building a customized LLM model for your organization, as published by OpenAI.

1.   Develop a model from scratch :
   • Build the model from the ground up
   • Requires skilled ML engineers, lots of data, and robust infrastructure
   • Mainly applied to large enterprises (e.g. Google, Meta, NAVER, etc.)
2. Fine tuning:
   • Training an existing pre-trained model with additional domain data
   • Relatively low barrier to entry, but requires ML experts
   • May encounter issues such as "model drift"
3.  Search with RAG
   • Pull external data from the base model for embedding
   • Provides relevant embeddings based on user questions
   • Cost-effective, ensures data freshness, and avoids halting issues

With these three approaches, you can build an LLM model that fits your organization.

However, the reality is that most organizations have to choose between fine-tuning and RAG due to the high barriers to entry.
 

Fine-Tuning vs. RAG

Microsoft's Ashish Bhatia summarizes a comparison of fine-tuning and RAG approaches. (link) 

He says that the choice between fine-tuning and RAG depends on your project's specific goals and resources. If your goal is to teach your model to do something completely new, like generate code, then finetuning might be the right choice. However, if your focus is on adapting the model to a new domain within constraints and a limited budget, they say RAG can provide a more efficient and accessible solution.

Introducing the WIZnet AI Chatbot

At WIZnet, we found RAG to be a better fit than any of the above approaches, so we adopted the LLM model by utilizing Chatbase, which provides a UI for the technology. 

At WIZnet, we collected data from various platforms such as Docs, Forum, Channel Talk, and e-shop, stored it in Vector DB, and processed it. The processed data was converted into a retrievable form, so it can be utilized for chatbot services in the form of user questions and answers or various other tasks.

Through this, we are striving to utilize it for tasks such as general customer service, technical support, and in-house content production.

Introduction of WIZnet AI Chatbot

• Chatbot for technical support to be applied to WIZnet Forum  
  •   Proactive support in real time (example image below)
• Chatbot publicly available on the Japanese homepage (jp.wiznet.io)
  • Operated based on ChatGPT, effective for translation without Japanese data

Although we plan to develop and introduce various types of chatbots, we need constant research and feedback to keep up with new technologies.

In particular, improving data through feedback from users and employees remains an ongoing challenge.

We are constantly striving to provide more advanced chatbot services for WIZnet, so we ask for your interest and expectations.