Fin 소개: GPT-4를 기반으로 하는 Intercom의 획기적인 AI 챗봇

OpenAI의 ChatGPT가 등장하면서 모든 것이 바뀌었습니다. 고객 서비스에 대한 막대한 영향은 즉시 명백해졌습니다.

Inbox용 AI 기능 모음을 신속하게 출시하여 이 기술을 적용하여 효율성을 높였습니다. 그러나 우리가 가장 많이 받은 질문은 "ChatGPT가 내 고객 질문에 대답할 수 있습니까?"였습니다. 우리가 이전에 본 어떤 것보다 자연어를 더 잘 이해한다는 것이 너무나 분명했습니다.

불행하게도 우리의 초기 탐색은 환각이 너무 큰 문제라는 것을 보여주었습니다. ChatGPT를 지원하는 GPT-3.5는 답을 모를 때 일을 꾸미는 경향이 너무 컸습니다.

그러나 GPT-4의 최근 발표로 상황이 바뀌었습니다. 이 모델은 환각을 줄이기 위해 설계되었습니다. 초기 테스트에서 GPT-4로 구축한 것을 공유하게 되어 기쁩니다.

새로운 AI 챗봇: Fin을 소개합니다

오늘 우리는 이 새로운 기술의 이점을 가지고 있고 비즈니스 요구에 적합한 AI 기반 고객 서비스 봇을 구축했음을 발표합니다. Fin이라고 하며 지원 팀의 소중한 파트너가 될 수 있는 역량이 있다고 생각합니다.

GPT 기반 챗봇 구축 실험을 시작했을 때 우리는 여러 가지 디자인 목표를 염두에 두었습니다. 우리는 다음을 수행할 수 있는 봇을 만들고 싶었습니다.

• GPT 기술을 사용하여 자연스럽게 대화하십시오.
• 귀하가 관리하는 정보를 사용하여 귀하의 비즈니스에 대한 질문에 답하십시오.
• 환각과 부정확한 반응을 허용 가능한 수준으로 줄입니다.
• 최소한의 구성 및 설정이 필요합니다.

우리는 이것을 달성했다고 믿습니다. 당사의 새로운 AI 챗봇은 "즉시" 작동하여 지원 규모와 해결 시간을 즉시 줄여줍니다.

지원 쿼리에 대해 기존 봇보다 훨씬 더 자연스럽게 대화할 수 있어 최신 AI의 자연스러운 대화 능력을 고객 서비스에 제공합니다.

여러 대화 전환에 걸친 쿼리를 이해할 수 있으므로 고객이 후속 질문을 하고 추가 설명을 얻을 수 있습니다.

Fin은 고객과의 자연스러운 대화에 참여합니다.

우리는 신뢰와 신뢰성이 중요한 고객 지원을 제공하기 위해 특별히 맞춤화된 기능과 보호 장치로 GPT-4를 확장했습니다.

Fin은 도메인 외부 질문에 대한 응답을 거부합니다.

Fin은 기존 헬프 센터의 콘텐츠를 기반으로만 답변을 제공하도록 설계되어 정확성과 신뢰성을 높입니다. 이러한 신뢰감을 강화하기 위해 항상 원본 기사에 대한 링크를 제공하므로 고객이 응답을 확인할 수 있습니다.

아래에서 논의할 것처럼 완벽하지는 않지만 이제 많은 기업에서 사용할 준비가 되었다고 믿습니다.

Fin은 초기 설정 시간이 거의 필요하지 않습니다. 기존 Intercom 또는 Zendesk 헬프 센터의 정보를 수집하여 AI의 힘을 사용하여 복잡한 고객 질문을 즉시 해석하고 헬프 센터 지식을 적용하여 답변합니다.

필연적으로 챗봇은 모든 고객 질문에 답할 수 없습니다. 이러한 상황에서 인간 지원 팀에게 더 어려운 질문을 원활하게 전달할 수 있습니다. Intercom이 지원하는 모든 워크플로를 사용하여 고객 서비스 팀의 일부로 효과적으로 작동합니다.

Fin이 질문에 대답할 수 없는 경우 다음을 수행할 수 있는 CS 담당자에게 원활하게 전달할 수 있습니다.

이 AI 챗봇을 구축한 방법

Fin을 만들기 위해 우리는 Resolution Bot의 기존 기술을 OpenAI의 새로운 GPT-4와 결합했습니다.

우리는 4년 전에 Resolution Bot을 출시했으며 설정 시 매우 잘 작동하지만 "Answers" 또는 "Intents"를 수동으로 큐레이팅해야 합니다. 안타깝게도 일부 고객이 이 초기 장애물을 극복하는 데 어려움을 겪고 있음을 알고 있습니다.

"헬프 센터에 이미 존재하는 지식을 사용하여 Fin이 실행되도록 설계했습니다."

새로운 봇의 경우 이러한 마찰을 줄이고 싶었습니다.

따라서 헬프 센터용으로 이미 생성된 지식을 사용하여 실행되도록 설계했습니다. 헬프 센터 문서를 사용하고 정보를 사용하여 고객 질문에 직접 답변합니다.

질문을 받으면 챗봇은 AI를 사용하여 자동으로 기사의 정보를 자연스러운 대답으로 바꿔줍니다. 그리고 기사를 업데이트하면 봇의 답글이 거의 즉시 업데이트됩니다. 즉, 도움말 콘텐츠를 한 곳에서만 유지 관리하면 되며 최신 버전이 고객에게 자동으로 제공될 수 있습니다.

이는 기업이 최신 AI의 이점을 안전하고 예측 가능한 방식으로 실제로 활용하고 헬프 센터 콘텐츠 생성과 관련된 기존 프로세스를 사용할 수 있는 방법을 제공합니다.

앞으로 우리는 더 나아가 다른 기계 학습 기술을 통합하여 AI 봇이 고객에 대해 가지고 있는 자사 데이터를 사용하여 질문에 답할 수 있도록 할 계획입니다.

신뢰할 수 있는 챗봇 만들기

이 챗봇은 부정확하거나 예상치 못한 응답의 위험을 피하기 위해 귀하가 이미 만든 도움말 콘텐츠만을 사용하여 질문에 답하도록 설계되었습니다. 이렇게 하면 Fin이 말할 수 있는 내용을 고도로 제어할 수 있습니다.

"일부 다른 GPT 봇은 웹의 방대한 양의 정보를 기반으로 답변을 제공하지만 실제로 봇이 사용할 수 있는 정보를 제한하면 예측 가능성과 신뢰성이 크게 향상됩니다."

누군가 헬프 센터에서 다루지 않는 질문을 하면 대답을 모른다고 합니다. 이것은 중요한 기능입니다. 일부 다른 GPT 봇은 웹의 방대한 양의 정보를 기반으로 답변을 제공하지만 실제로 봇이 사용할 수 있는 정보를 제한하면 예측 가능성과 신뢰성이 크게 높아집니다.

우리는 신뢰성을 염두에 두고 Fin을 위한 새로운 사용자 인터페이스를 설계하여 부정확성을 더욱 완화했습니다. 답변이 제공되면 소스 기사에 명확하게 연결되어 사용자가 소스가 관련이 있는지 확인할 수 있으므로 사소한 오류의 영향을 줄일 수 있습니다.

Fin은 항상 응답 소스를 제공하여 고객이 답변을 확인할 수 있도록 합니다.

또한 도움말 센터에 포함되지 않은 주제에 대해 봇이 대화하도록 하는 사용자의 능력을 줄이기 위한 조치를 취했습니다.

제한 사항

정확성

최종 사용자가 우리가 설계한 제약을 의도적으로 우회하여 AI 챗봇이 부적절한 말을 하도록 만드는 것이 가능할 수 있습니다. 이러한 일이 발생한다면 고객과의 자연스러운 상호 작용이 아니라 단호한 시도 ​​후에만 발생한다고 생각합니다.

AI가 완벽하지 않다는 점을 지적해야 합니다. 부적절하거나 잘못된 정보를 제공할 위험을 감수할 수 없는 일부 고객이 있습니다. 그들은 아직 이 AI 기반 챗봇을 채택하고 싶지 않을 수도 있습니다.

대규모 언어 모델은 현재 Resolution Bot과 같이 우리가 구축한 이전 봇과 다른 실패 모드를 가지고 있습니다. Resolution Bot은 때때로 관련 없는 답변을 제공할 수 있지만 AI 봇은 때때로 잘못된 답변을 제공할 수 있습니다. 예를 들어 기사 내용으로 인해 혼란스러워 사용자에게 사실이 아닌 진술을 할 수 있습니다. 최근 모델에서는 이 기회가 많이 줄어들었지만 0이 아닙니다.

이 제한을 정량화할 수 있도록 기존 헬프 센터를 봇으로 가져와 수동으로 테스트할 수 있는 경험을 구축하고 있습니다.

"우리는 이러한 모델이 계속해서 개선될 것이며 그 결과 정확도가 향상될 것이라고 믿습니다."

전반적으로 GPT-4의 최근 개선 사항과 우리가 구축한 설계 제약 조건을 통해 성능이 많은 기업에서 요구하는 정확도 기준보다 높다고 확신합니다.

앞으로 우리는 이러한 모델이 계속해서 개선될 것이며 그 결과 정확도가 향상될 것이라고 믿습니다. 우리는 또한 이 기술의 한계에 대한 사용자의 이해가 시간이 지남에 따라 커질 것이라고 믿습니다. 우리의 AI 봇 응답은 이를 가능하게 하기 위해 "AI"로 명확하게 표시됩니다.

마지막으로, 우리는 이 영역에서 서로 다른 비즈니스가 자연스럽게 서로 다른 장단점을 가질 것이라고 믿습니다. 그 정도까지 우리는 이 디자인 프로토타입에서 볼 수 있듯이 기업이 원하는 절충안을 설정할 수 있는 구성 설정을 구축하고 있습니다.

Fin의 창의성 수준을 제어하기 위한 구성 설정을 탐색하고 있습니다.

GPT 모델 비용

이 챗봇을 구동하는 데 사용되는 대규모 언어 모델은 현재 실행 비용이 많이 든다는 점에 유의해야 합니다. 이것은 많은 컴퓨팅 성능이 필요한 최첨단 기술입니다. 그러나 우리는 이 비용이 시간이 지남에 따라 감소할 것이라고 믿습니다.

우리는 지원 담당자가 동일한 질문에 대답하는 것과 비교할 때 많은 기업에서 AI 챗봇을 구현하는 것이 ROI에 긍정적일 것이라고 확신합니다.

지연 시간

마지막으로 GPT-4와 같은 고급 대규모 언어 모델에는 고유한 대기 시간이 있습니다. 이것은 봇과 상호 작용할 때 볼 수 있습니다. 10초 이상의 대기 시간은 드문 일이 아닙니다. 또한 시간이 지남에 따라 개선될 것으로 기대합니다.

Fin은 얼마나 빨리 출시되나요?

지금까지 내부 테스트용으로 사용해 온 Fin의 초기 버전을 구축했으며 곧 제한된 베타 버전으로 출시할 예정입니다. 현재 우리의 주요 제약은 비용과 가격입니다.

우리는 여전히 테스트를 기반으로 사용자 경험을 반복하고 다듬고 Fin과 Resolution Bot 간의 통합을 반복하고 있습니다. 고급 고객은 특히 주문 취소와 같이 사용자의 쿼리를 완전히 해결하기 위해 조치를 취해야 하는 상황에서 Resolution Bot 및 유사 기술을 계속 사용할 것이라고 믿습니다.

"인터콤은 대부분의 고객 대화가 인간의 지원 없이 성공적으로 해결되는 미래를 향해 오랫동안 구축해 왔습니다."

우리는 앞으로 몇 주 또는 몇 달 안에 테스트 프로세스를 빠르게 진행할 것으로 예상합니다. 참고로 1월 말에 발표한 GPT 기반 Inbox AI 기능은 이제 모든 고객이 사용할 수 있으며 이미 수천 명의 고객이 사용하고 있습니다.

고객 서비스의 미래에 가입하세요

Intercom은 인간의 지원 없이 대부분의 고객 대화가 성공적으로 해결되는 미래를 향해 오랫동안 구축해 왔으며 팀이 더 높은 가치의 고객 대화를 위해 작업할 수 있도록 합니다.

우리는 오늘의 발표가 고객 서비스 분야의 패러다임 전환을 의미한다고 믿습니다. 미래는 바로 지금 일어나고 있습니다.

새로운 AI 기반 봇에 대해 자세히 알아보고 여기에서 대기자 명단에 등록할 수 있습니다.