머신 러닝의 새로운 시작

우리는 전에 여기에 있었다. 미디어 소문, 과장된 주장 및 현장 작업 사이에서 기계 학습을 다룰 때 환상과 현실을 구별하기 어려울 때가 있습니다. 신경망이 성숙하고 팩에서 눈에 띄면 기술이 과장된 광고에 부응할 수 있을까요?

지난 5년 동안 우리는 신경망 기술이 스스로 발전하는 것을 보았습니다. GPT-3는 인간과 유사한 텍스트를 주문형으로 생성할 수 있으며, 텍스트 프롬프트에서 이미지를 생성하는 기계 학습 모델인 DALL-E는 소셜 미디어에서 폭발적인 인기를 얻으며 "다스 베이더는 무엇을 할 것인가"와 같은 세계에서 가장 시급한 질문에 답합니다. 얼음낚시 같나요?” 또는 "Walter White가 Animal Crossing에 있다면 어떻게 생겼을까요?"

우리는 이 급증에 대해 알고 싶었기 때문에 머신 러닝 이사인 Fergal Reid에게 오늘 에피소드에서 그의 두뇌를 선택할 수 있는지 물었습니다. 작업이 여전히 가능한 것과 가능한 것 사이의 균형을 유지하는 작업임에도 불구하고 상황이 이제 막 확장되기 시작한 것 같습니다. 기술 환경이 변화하고 있고 비즈니스 애플리케이션이 (잠재적으로) 판도를 바꾸고 있으며, 스포일러를 경고하지만 Fergal은 과대 광고를 매우 믿습니다.

Intercom on Product의 오늘 에피소드에서 우리의 최고 제품 책임자(CPO)인 Paul Adams와 저는 Fergal Reid와 함께 신경망을 둘러싼 최근의 화제, 기계 학습이 비즈니스를 지원하는 방법, 우리가 이 기술에서 기대할 수 있는 것에 대해 이야기했습니다. 앞으로 몇 년.

다음은 대화에서 우리가 가장 좋아하는 내용입니다.

• 신경망은 지난 5년 동안 상당한 발전을 이루었으며 이제 텍스트, 이미지 또는 사운드와 같은 비정형 데이터를 대규모로 처리하는 가장 좋은 방법입니다.
• CX에서 신경망은 고객과 가능한 최상의 상호 작용을 제공하는 작업을 선택하기 위해 보다 전통적인 기계 학습 방법과 함께 사용됩니다.
• ML 제품을 구축하려면 균형이 필요합니다. 솔루션을 달성할 수 없는 경우 문제부터 시작하는 것은 무의미하지만 실제 고객 요구를 충족할 수 없는 경우 기술로 시작해서는 안 됩니다.
• AI는 과거에 상당히 과장되었습니다. 보다 현실적인 클레임이 더 적은 수의 계정을 닫을 가능성이 높지만 고객 유지에 도움이 됩니다.
• ML 팀은 결코 제공되지 않는 연구에 상당한 양의 리소스를 투자하는 경향이 있습니다. 고객 경험에 실제 영향을 미치는 프로젝트와 최대한 일치시키십시오.
• ML에 투자하려면 기술 및 운영 측면 모두에서 경험이 있는 사람을 고용하여 첫날부터 제품 팀과 협력할 수 있도록 하십시오.

토론이 재미있다면 팟캐스트의 더 많은 에피소드를 확인하세요. iTunes, Spotify, YouTube에서 팔로우하거나 선택한 플레이어에서 RSS 피드를 가져올 수 있습니다. 다음은 에피소드의 가볍게 편집된 대본입니다.

과대 광고가 반격

Des Traynor: Intercom On Product, 에피소드 18에 오신 것을 환영합니다. 오늘은 흥미로운 주제가 있습니다. 그것은 모두 인공 지능과 기계 학습에 관한 것입니다. 저는 언제나처럼 Intercom의 최고 제품 책임자인 Mr. Paul Adams와 함께합니다. 폴, 어때?

폴 아담스: 난 괜찮아, 데스. 고맙습니다.

Des Traynor: 그리고 오늘 우리는 기계 학습 이사인 Mr. Fergal Reid를 특별 게스트로 모셨습니다. 퍼갈, 어때?

퍼갈 리드: ​​좋습니다, 데스. 오늘 팟캐스트에 출연하게 되어 정말 기쁩니다. 그 안으로 들어가기를 기대합니다.

데스 트레이너: 훌륭합니다. 당신은 우리의 첫 번째 또는 두 번째 손님이라고 생각합니다. 그래서 매우, 매우 감사하게 생각해야 합니다.

Fergal Reid: 정말 특권이 있다고 느낍니다.

"우리는 새롭고 흥미로운 신경망 기반 기술의 지속적인 발전을 보았습니다. 실제로 자체적으로 시작되고 유용하기 시작했습니다."

Des Traynor: 음, 어떤 의미에서는 끝에서 시작하겠습니다. AI 과대 광고 기계가 다시 한 번 오버 드라이브 된 것처럼 느껴집니다. 이것은 내 관점에서 몇 년마다 발생하지만 내가 진정으로 볼 수있는 것은 사람들이 많은 예술을 만드는 것입니다. DALL-E 세대가 시작되었으며 생성된 이미지 중 일부는 숨이 멎을 정도로 아름답습니다. 요전에는 DALL-E 프롬프트에 대한 마켓플레이스가 있는 것을 보았습니다. 여기서 말 그대로 메타에 해당하는 이미지를 생성하는 프롬프트를 구입할 수 있습니다. 보다 실용적인 의미에서 GitHub 부조종사는 이제 작성하는 동안 코드를 보강할 수 있습니다. 이는 매우 놀라운 일입니다. 저는 OpenAI의 GPT-3으로 플레이하고 질문을 하고 그것이 저를 위해 작은 단락과 이야기를 만들도록 했고 꽤 인상적이었습니다. 다시 조금 확대하면 실제로 어떻게 될까요? 최근에 무슨 일이 있었나요? 이것이 특정한 일련의 사건과 관련이 있습니까? 무슨 일이야?

Fergal Reid: 포장을 푸는 것은 복잡한 일입니다. 많은 일이 일어나고 있습니다. 회사 전반에 걸쳐 AI 및 기계 학습의 이 영역에 대한 투자가 너무 많기 때문에 무슨 일이 일어나고 있는지 정확히 파악하기가 어렵습니다. 사람들이 기계 학습 논문을 올리는 arxiv를 보면 매일 새로운 내용이 쏟아집니다. 그래서 그것을 통해 이야기를 진행하기가 어렵습니다. 제 생각에 지난 5년 동안 우리는 새롭고 흥미진진한 신경망 기반 기술의 지속적인 발전이 실제로 자체적으로 시작되고 유용하기 시작하는 것을 보았습니다. 당신은 GPT-3, OpenAI에 대해 언급했고 그것이 우리가 큰 언어 모델이라고 부르는 것입니다. 이것은 다음 단어와 그것이 본 단어의 시퀀스를 예측하려고 시도하는 큰 신경망입니다. 그리고 그들은 단지 그것을 확장하고 있습니다. 그들은 그것에 점점 더 많은 컴퓨팅을 추가했고 놀라운 일을 하기 시작했습니다.

Des Traynor: 그래서, 아마도 몇 가지 사전 정의일 것입니다. 따라서 더 많은 컴퓨팅을 추가하면 CPU 성능이 더 높아지나요?

퍼갈 리드: ​​네, 맞습니다. 먼 옛날로 돌아가보면, 우리 컴퓨터의 CPU, 우리 컴퓨터의 두뇌는 범용 작업을 수행하는 데 정말, 정말 빨랐습니다. 그리고 아마도 90년대 중후반에 주로 비디오 게임과 물건에 의해 주도되었을 때 우리는 이러한 GPU 또는 그래픽 처리 장치를 채택하는 대규모 시장을 가졌습니다.

Des Traynor: 비디오 카드 같은 거랑 그런 거요?

Fergal Reid: 비디오 카드와 3dfx 카드 및 모든 것. 그리고 그들은 컴퓨터 게임용 그래픽을 만드는 데 정말 능숙했습니다. 그러다가 2000년대 초반에 사람들은 "오, 우리가 비디오 게임을 위해 하는 종류의 연산은 행렬과 곱셈에 정말 좋습니다."라고 말했습니다. 그리고 그런 종류의 것들은 신경망을 훈련할 때 수행해야 하는 작업에도 정말 유용하다는 것이 밝혀졌습니다. 그리고 오랜 시간이 지나면 AI와 암호화폐 채굴 혁명이 있기 때문에 비디오 스톡 가치는 천정부지로 치솟습니다.

신경망의 부상

Des Traynor: 신경망 작업에 대한 새로운 이해를 언급하셨습니다. 예전에 대학 다닐 때 그런 얘기를 들은 것 같아요. 그들에게 더 많은 작업이 투입되었습니까? 기계 학습을 수행하는 주요 방법으로 등장했습니까? 우리가 멀어진 대안이 있습니까?

Fergal Reid: 예, 저는 우리가 멀리 떨어진 대안이 있다고 말하고 싶습니다. 이제 신경망을 과도하게 팔고 싶지 않습니다. 신경망은 새로운 인기를 얻고 있으며 지난 5년 동안 본 거의 모든 혁신은 신경망에 관한 것입니다. 그러나 그것은 기계 학습의 하위 섹션입니다. Intercom의 기계 학습 팀에서 신경망은 우리가 하는 일의 30% 정도이며, 누군가가 다음에 할 일을 예측하는 데 동일한 로지스틱 진행 과정을 사용합니다.

대량의 텍스트, 이미지 또는 소리와 같은 구조화되지 않은 데이터가 있는 경우 이제 신경망이 해당 데이터를 처리하는 가장 좋은 방법입니다. 시각적 요소, 사운드 요소, 텍스트 합성과 같은 혁신을 위해서는 해당 데이터에서 많은 종속성을 캡처할 수 있는 대규모 모델이 필요하며 신경망이 이를 수행하는 주요 방법입니다. 사람들은 규모를 키우는 데 많은 투자를 했으며 훨씬 더 크게 운영할 수 있습니다. 읽고 있는 모델 중 일부는 해당 모델을 훈련시키는 데만 천만 달러 상당의 컴퓨팅 비용이 들 수 있습니다.

"과거에는 구조화되지 않은 텍스트 또는 이미지 데이터의 경우 기계 학습 관점에서 '여기서 무엇을 해야 할지 모르겠군요'라고 생각했습니다."

여러 가지 일들이 일어나고 있습니다. 우리는 그들을 대규모로 훈련시키는 데 점점 더 능숙해지고 있습니다. 우리는 진행 상황을 이해하고 이해할 수 있는 방식으로 문제를 더 잘 표현하고 있습니다. 동영상에서는 계속해서 성능을 개선하고 있습니다. 그래서 많은 기술 혁명이 일어났습니다. 그것은 완전히 다른 경향의 합류점입니다.

Des Traynor: 제품 측면으로 전환하기 위해 이전에는 불가능했던 지금 가능한 것은 무엇입니까? DALL-E는 프롬프트를 받아 이미지를 생성할 수 있습니다. GPT-3는 매우 사실적으로 보이는 생성된 텍스트를 생성할 수 있습니다. 많은 양의 텍스트를 분석하고 그 내용을 파악하고 줄이거나 단순화하거나 감정 등을 확인하려는 경우 현재 보유하고 있는 기능 목록이 있습니까? 내가 묻는 이유는 이것을 PM이 이에 대해 어떻게 생각해야 하는지에 더 가깝게 연결하려고 하기 때문입니다.

Fergal Reid: 네, 이에 대해 생각하는 몇 가지 다른 방법이 있습니다. 과거에는 구조화되지 않은 텍스트 또는 이미지 데이터에 대해 기계 학습 관점에서 살펴보고 "여기서 무엇을 해야 할지 모르겠습니다. 이 크기와 내 문서에 포함될 수 있는 텍스트의 가능한 단락 수는 엄청나게 많습니다. 전통적인 기계 학습으로 이를 어떻게 처리해야 할지 모르겠습니다.” 그리고 기능 추출과 같은 작업을 수행할 수 있습니다. 그러나 지금과 다른 점은 해당 데이터로 작업하는 방법이 과거보다 훨씬 더 잘 작동한다는 것입니다. 그리고 기능에 대한 손 엔지니어링이 많이 필요하지 않습니다. 신경망을 사용할 수 있습니다.

우리는 중간 단계, 중간 계층이 나타나는 것을 보기 시작했습니다. 우리가 임베딩이라고 하는 것이 있습니다. 엄청난 양의 텍스트 데이터로 훈련된 이러한 큰 신경망 중 하나를 가져오면 Google이나 천만 달러를 지출하는 대기업 중 한 명이 출시할 수 있습니다. 그리고 그것을 사용하여 텍스트를 숫자 벡터로 변환하는 데 사용할 수 있습니다. 그런 다음 해당 숫자 벡터로 작업을 수행할 수 있습니다. 따라서 획기적인 기술이 있었지만 스타트업이 제품을 만들기 위해 실제로 작업할 수 있는 빌딩 블록을 제공했습니다.

"많은 비정형 데이터, 특히 대량의 데이터를 처리하는 스타트업 에코시스템에 속해 있으며 이를 통해 결정을 내리려는 경우 확실히 주의를 기울여야 합니다."

Des Traynor: 그럼, 처음 X퍼센트는 더 큰 회사가 당신을 위해 해주나요?

퍼갈 리드: ​​맞습니다. 또는 열린 컨소시엄도 있습니다. 대규모 훈련을 위해 많은 돈을 모은 후 출시되는 컨소시엄을 구성하는 사람들이 있습니다.

Des Traynor: 따라서 제품에 답글 작성, 작성, 구문 분석 또는 이해와 같이 사람이 쓴 텍스트가 많이 포함되어 있는 경우 지난 몇 년 동안 발 아래 땅이 움직였다고 가정해야 합니까?

Fergal Reid: 네, 저는 그것이 공정한 가정이라고 생각합니다. 많은 비정형 데이터, 특히 대량의 데이터를 처리하는 스타트업 생태계에 속해 있으며 이를 통해 결정을 내려야 하는 경우 확실히 주의를 기울여야 합니다. 기능 환경이 변경되었습니다. 10년 전에는 걱정할 필요가 없었지만 지금은 이전에는 만들 수 없었던 멋진 것을 만들 수 있습니다. 우리는 검색과 같은 단순한 것들의 변화를 보기 시작했습니다. 6, 7년 전에는 Elasticsearch나 이와 유사한 것을 얻고 이러한 검증된 알고리즘을 사용하여 검색을 처리했습니다. 이제 신경 검색을 사용할 수 있습니다. 그리고 우리는 그 분야에서 새로운 기술과 제품을 보기 시작했습니다.

차선책을 찾아서

Paul Adams: 한 가지 묻고 싶은 것은 차선책을 약속하는 제품입니다. 저는 이것이 두 가지 이유로 제품 팀에게 중요하다고 생각합니다. 하나는 해당 공간에 있는 제품일 뿐입니다. 고객 커뮤니케이션 제품이나 영업 팀을 위한 제품이 있는 경우 영업 사원에게 차선책이 무엇인지 알려야 한다는 약속이 많습니다. 그리고 제품 팀은 종종 고객과 사용자가 더 많은 일을 하고 더 많이 참여하도록 하기 때문에 성장을 주도하는 도구입니다. 그 중 어느 정도가 과장입니까? 얼마가 진짜야?

Fergal Reid: 이러한 머신 러닝 제품에는 항상 문제가 있습니다. 생계를 위해 머신 러닝 제품을 만드는 사람으로서 이렇게 말합니다. 외부에서 얼마나 과장된 내용이고 얼마가 진짜인지 구별하기가 매우 어렵습니다. 특정 제품을 분석하고 벤치마킹하지 않는 한 특정 제품에 대해 말할 수 없습니다. 차선책은 실제로 신경망이 될 가능성이 적습니다. 또는 그것들이 거기에 있다면, 그것들은 그것의 구성요소로서 거기에 있을 것입니다. Intercom 컨텍스트에 적용하기 위해 지원 담당자와 최종 사용자 간에 발생한 대화의 텍스트를 가져와 임베딩을 사용하여 이해하려고 합니다. 하지만 그 다음에는 진행 상황, 계정 가치 또는 고객이 고객 여정에서 어디에 있는지에 대한 다른 신호와 함께 이를 결합하고 보다 전통적인 기계 학습 분류기 또는 회귀자를 사용하여 시도하고 "좋아, 내가 할 수 있는 다음으로 최선은 무엇일까?"

“정확도가 증가하고, 증가하고, 증가함에 따라 '항상 옳은 것은 아니지만 유용하며 생각할 필요가 없습니다. 도움이 된다 '

그리고 이 물건은 꽤 잘 작동합니다. 우리 제품에는 사람들이 웹사이트에 와서 메신저를 열 때 무엇을 물어볼 것인지 예측하는 보다 전통적인 기계 학습 방법을 사용하는 기능이 있습니다. 우리는 해당 사용자에 대해 가지고 있는 모든 데이터와 신호를 기반으로 이를 수행하며 꽤 잘 작동합니다. 그것으로 좋은 예측을 할 수 있다면 거기에서 다음으로 가장 좋은 조치인 보다 일반적인 것으로 가는 짧은 단계입니다.

나는 그 물건이 꽤 잘 작동한다고 확신합니다. 나는 정확성에 대한 합리적인 기대를 가질 것입니다. 이 모든 것들은 누군가를 보강하고 도울 때 잘 작동합니다. 정확도가 너무 낮으면 "아, 짜증난다. 엉터리야. 그것에 주의를 기울일 가치가 없습니다.” 그러나 정확도가 증가, 증가, 증가함에 따라 "항상 옳은 것은 아니지만 유용하며 생각할 필요가 없습니다. 나는 단지 그것을보고 그것이 도움이된다는 것을 인식 할 수 있습니다.” 그것이 바로 우리가 이 제품에서 찾고 있는 것이며, 업계에 이와 같은 것을 가지고 있는 사람들이 있을 것이라고 확신합니다.

데스 트레이너: 네. 나는 Gmail의 자동 완성 기능이 내가 그 기능을 끄지 않을 것이라는 인식의 절벽을 넘은 것 같은 느낌이 든다. 답장을 입력하고 다음 두 가지를 추측하고 탭을 누르면 문장이나 단어 또는 이와 유사한 것을 변경할 수 있지만 방향적으로는 그렇지 않은 것보다 더 가치가 있습니다.

"어떤 제안이 팀원의 행동을 유도하여 고객에게 더 나은 CSAT 또는 더 나은 평생 가치를 제공하는지 배울 수 있는 미래가 보입니다."

Paul Adams: 그래도 재미있습니다. 행동을 바꾸는 것 같아요. 나는 제안을 보고 "그렇게 말하지는 않겠지만 충분히 가깝습니다."라고 말합니다. 탭, 탭, 탭. 입력, 전송.

Fergal Reid: 그들이 제안한 제안과 제안의 감정을 측정하고 현실 세계를 어떻게 변화시켰는지 실험을 해본 적이 있는지 궁금합니다. 페이스북은 과거에 이와 같은 실험을 한 것으로 유명합니다. 인터콤 같은 걸 보면 받은 편지함 내에서 스마트 답장 추천을 시작하는 미래가 보입니다. 어떤 제안이 팀원의 행동을 촉진하여 고객에게 더 나은 CSAT 또는 더 나은 평생 가치를 제공하는지 배울 수 있는 미래가 보입니다. 저 마찰 프롬프트. 아내에게 "사랑해"라고 쓸 때마다 생각한다. 가끔 "사랑해"라는 제안을 받고 "내가 직접 타이핑하고 있어"라고 생각합니다.

데스 트레이너: 네. 그것에 대해 더 식민지적인 것이 있습니다. 우리는 도구를 형성하고 도구는 우리를 형성합니다. Intercom을 사용하는 팀에 새로 온보딩된 CS 담당자는 Intercom에서 이것이 가장 잘 수행되는 행동이라고 말하는 사실을 기반으로 실제로 동료들처럼 많이 말하고 타이핑하게 될 것이라고 상상할 수 있습니다. 거의 고객 지원 학교와 같습니다.

Fergal Reid: 우리는 모범 사례처럼 보이는 새로운 담당자를 위한 저마찰 훈련 램프의 아이디어를 좋아하는 일부 고객과 이야기했습니다. 그것이 시스템이 당신이 좋은 방법으로 하도록 유도하는 것입니다.

문제 대 기술

Des Traynor: 한 단계 더 올라가면 DALL-E가 나왔을 때에도 가장 인기 있는 스레드가 "누가 좋은 사용 사례를 말할 수 있습니까?"와 같은 이야기가 많았다고 생각합니다. 이것?" 또는 "여기 내 최고의 아이디어가 있습니다." 분명히 모든 사람의 마음은 "오, 당신은 티셔츠 회사를 만들 수 있습니다."또는 무엇이든갑니다. 그것이 무엇에 유용할 수 있는지에 대한 나의 최고의 찌르기는 어린이 동화책에 주석을 달 수 있는 능력입니다. 어린이 유형의 이야기가 있고 이미지가 이를 보강하는 것으로 나타나는 도구를 상상해 보십시오. 또한 스톡 사진을 대체하기 위해 Squarespace 또는 Mailchimp용 플러그인이 될 수 있음을 알 수 있습니다. Keynote나 Google Slides'도 비슷할 것입니다.

그러나 나는 우리가 이것을 거꾸로 접근하고 있는 것 같은 느낌이 듭니다. 우리는 "이제 텍스트를 가져와 이미지를 생성할 수 있으므로 이를 기반으로 회사를 만들자"고 말하고 있습니다. 최고의 회사가 나오는 곳이 아닙니다. 일반적으로 그들은 세상의 문제를 해결하고자 하는 경향이 있습니다. 팬이나 PM이 이 공간에 대해 생각하는 가장 좋은 방법은 무엇인가요? 일반적으로 말해서, 그들은 아마도 새로운 신경 기술의 특정 부분이 아니라 문제에 집착할 것입니다.

퍼갈 리드: ​​이것은 매우 복잡한 질문입니다. 많은 경우 표준적인 조언은 새로운 기술 스타트업을 구축하는 경우 문제를 찾는 솔루션이 되고 싶지 않다는 것입니다. 당신은 실제적인 구체적인 문제를 찾아 해결책에 접근하기를 원합니다. 일반적으로 좋은 조언이라고 생각합니다. Intercom에는 문제부터 시작하는 원칙이 있습니다. 하지만 거기에는 예외가 있다고 생각합니다. 진정으로 파괴적인 기술을 사용하면 "무언가 세상을 바꾸고, 풍경을 바꾸고, 여기에 새로운 기능이 있습니다. 그리고 그것이 무엇에 좋은지는 모르겠지만, 무언가에 혁명적으로 좋을 것이라는 것은 압니다. ” 솔루션부터 시작해서 문제를 찾아보는 것도 괜찮다고 생각합니다.

"아직 능력이 없는 기술 솔루션을 구축하려는 경우 문제부터 시작하는 것은 의미가 없습니다."

나는 현재 ML과 AI에 대한 과대 광고를 믿습니다. 이번에는 진짜라고 말하고 싶습니다. 따라서 "이봐, 우리는 여기에 혁명적인 능력을 가지고 있다. 이것을 적용할 수 있는 모든 훌륭한 기회는 어디에 있습니까?” 그렇다면 분명히 상호 작용이 있습니다. 기회를 찾았다고 생각되면 문제를 해결하고 시작하고 싶을 것입니다.

여기 인터콤의 머신러닝 팀은 다른 팀에 비해 조금 특이한 편입니다. 우리는 문제와 기술 사이의 회색 공간에 있어야 하기 때문에 다른 팀보다 제품 원칙에 조금 더 적응합니다. 아직 능력이 없는 기술 솔루션을 구축하려는 경우 문제부터 시작하는 것은 의미가 없습니다. 따라서 우리는 기술을 조금 시작하고 프로토타입을 만들고 가능한 것이 무엇인지 아이디어를 얻은 다음 문제를 해결하고 "유용한지 아닌지"를 물어봐야 합니다.

Des Traynor: 어떤 의미에서는 혁신의 수요와 공급 측면을 모두 살펴봐야 하는 것과 같습니다. 우리가 해결할 수 있는 모든 문제와 우리가 가진 능력 중에서 상호 연결이 좋은 회사가 어디 있습니까? 제품 Resolution Bot을 사용한다면 이를 문제/솔루션 쌍으로 어떻게 표현하시겠습니까?

"Resolution Bot을 사용하여 버전 1에 신경망이나 그 어떤 것도 사용하지 않았지만 여기서 좋은 것을 구축할 수 있다는 확신이 있었습니다."

Fergal Reid: 처음 시작할 때 봇이 정말 열악했던 기술 및 제품 환경의 변화가 있다는 것을 알고 있었고 봇이 매우 제한된 상황에서 매력적인 경험을 제공하기 시작했습니다. .” 그런 다음 "좋아요, 우리의 특정 영역을 가지고 채팅과 대화를 나누고 문제와 훌륭한 고객 경험을 제공할 기술 사이에 일치하는 결혼이 있는지 확인할 수 있습니까?"

Resolution Bot을 사용하여 버전 1에 신경망이나 그 어떤 것도 사용하지 않았지만 여기서 좋은 것을 구축할 수 있다는 확신이 있었습니다. 우리는 최소한의 기술 투자를 구축했고, 엉망진창인 프로토타입이 실제로 고객에게 도움이 되고 사람들이 실제로 그것을 원할 것이라는 것을 검증하고 위험을 감수한 다음 반복하고 반복하고 반복했습니다. 우리는 현재 우리 기술의 버전 3 또는 버전 4를 사용 중이며 매우 현대적이고 멋진 신경망을 사용하며 동급 최고의 성능과 정확도를 얻습니다. 그러나 첫 번째 버전은 이것이 사람들에게 실제로 도움이 될 것인지 검증하기 위한 Elasticsearch 기성품이었습니다.

당신은 그 검색을 안내하기를 원합니다. 당신은 "이 제품 공간의 일반적인 방향에 뭔가 좋은 것이 있다는 것을 알고 있습니다."라고 말하고 싶을 것입니다. 나는 배달이 불가능한 제품에 대한 검증된 수요로 끝나지 않을 것입니다. 당신은 거기에 있고 싶지 않습니다. 당신은 또한 "나는 아무도 신경 쓰지 않는 무언가를 위해 바늘을 움직일 놀라운 알고리즘을 가지고 있다"고 말하고 싶지 않을 것입니다. 해당 방정식의 양쪽을 반복하고 중간에 착륙 지점을 찾아야 합니다.

사실 너무 좋은?

Paul Adams: 실제로 의자의 세 번째 다리가 있습니다. 문제가 있고, 해결책이 있고, 이야기가 있거나 그것에 대해 말할 수 있는 내용이 있습니다. AI와 머신 러닝과 관련하여 제가 고심했던 것 중 하나는 당신이 외부적으로 말하는 것에 대해 기분이 좋은 것과 다른 사람들이 외부적으로 말하는 것에 대한 것입니다. 최악의 상황은 모든 회사가 나서서 엄청난 주장을 하고 실제로 그들이 말하는 내용을 아는 사람들이 “말도 안되는 주장이다”라고 말하는 통신의 비극입니다. “하지만 경쟁 딜레마가 있습니다. 우리 경쟁자가 80%라고 말하고 그들이 그것을 얻을 수 있다고 생각할 방법이 없지만 우리는 50이라면 그것에 대해 어떻게 생각합니까? 당신이 할 수 있는 주장과 문제, 해결책, 이야기 사이의 균형에 대해 어떻게 생각합니까?

“저는 시장에서 제품을 접하고 그들의 주장을 평가하고 '그것이 실제로 효과가 있습니까? 당신은 그것을 어떻게 평가합니까?'

퍼갈 리드: ​​제 말은, 매우 어렵습니다. 나는 내부 제품 개발과 시장에서의 성공을 분리할 것이라고 생각합니다. 내부 제품 개발을 통해 인터콤에서도 마찬가지입니다. 제가 와서 "여러분, 충분히 좋은 제품 경험을 제공할 수 있을 거라 확신합니다." 전혀 그렇지 않습니다. 따라서 내부적으로는 사람들과 협력하고 상황을 잘 설명해야 하지만 최소한 인센티브는 일치해야 합니다.

외부적으로 사람들이 머신러닝 제품으로 시장에서 경쟁할 때 정말 어렵습니다. 나는 시장에서 제품을 접하고 그들의 주장을 평가하고 "그것이 실제로 작동합니까? 당신은 그것을 어떻게 평가합니까?” 놀라운 것을 약속하는 새로운 연구 논문을 보고 "우리는 AI에게 이것을 말했고 이것이 답장으로 말했습니다"와 같은 예가 있더라도 내 첫 번째 질문은 항상 "글쎄요. 예시? 10번 중에 9번, 10번 중에 1번 하는 건가요?” 각각에 따라 매우 다르기 때문입니다. 항상 "실제로 성능은 어떻습니까?"라는 암시가 있습니다. 당신이 앉아서 그것을 가지고 노는 일종의 일대일을하지 않는 한 당신은 정말로 말할 수 없습니다. 우리 고객들은 더 많은 개념 증명과 평가를 하고 있는데 저는 그것을 좋아합니다. 훌륭 하군요. 그것이 우리가 보고 싶은 것입니다.

"확실히 초과 약속하고 미달 전달한 다음 계정 이탈을 지켜볼 수 있습니다."

일반적으로 공간 측면에서 사람들이 데모를 공개적으로 사용 가능하게 만드는 것을 보고 있다고 생각합니다. 사람들은 DALL-E 2로 이동하고 더 일찍 독립적인 연구원에 액세스할 수 있습니다. 또는 "이것은 표준 프롬프트에서 한 번에 생성되는 것입니다."라고 신문에 작성합니다. 그것은 사람들이 그것에 대해 머리를 쓰는 데 도움이됩니다.

Des Traynor: 어떤 종류의 수익을 원하는지에 대한 질문이 있습니다. 왜냐하면 당신은 확실히 초과 약속하고, 미달 전달하고, 계정 이탈을 지켜볼 수 있기 때문입니다. 또는 "우리가 당신을 위해 할 수 있는 일은 다음과 같습니다."라고 말하면 거래를 잃을 위험이 있지만 전환하면 전환한 만큼 얻을 수 있습니다. 저는 위험한 세상이라고 생각합니다. 높은 길과 낮은 길을 선택하는 것입니다. 정확히 그들이 얻을 것이라고 생각한 것을 얻을 고객을 데려가는 것과 11개월째에 그들이 원하는 것에 거의 도달하지 못했기 때문에 많은 화난 고객을 얻는 것과는 대조적입니다. 도전입니다.

Fergal Reid: 그것은 도전이고, 그 도전에는 많은 측면이 있습니다. 우리도 기대치를 관리해야 합니다. 머신 러닝은 점점 나아지고 있지만 아직 완벽하지는 않습니다. 때때로 Resolution Bot을 구매하는 고객이 있으며 동급 최강이지만 여전히 실수를 합니다. 모든 소프트웨어 제품은 여전히 ​​실수를 합니다. 따라서 긍정적인 관계를 유지하려면 모든 면에서 기대치를 관리해야 합니다.

Des Traynor: 머신 러닝 자원 확보에 대해 어떻게 생각하시나요? Intercom에는 기계 학습 기능을 제공하기 위해 모든 팀과 파트너가 분리되어 스스로 주도하는 팀이 있습니다. 이대로 남을 것 같니? 팀에 ML 엔지니어가 포함되어야 한다고 생각하십니까? Intercom의 모든 팀에는 자체 디자이너가 있습니다. 우리는 추가할 디자인을 찾아 떠돌아다니는 디자인 팀이 없습니다. 있는 그대로의 의미가 있습니까? 거기에 있는 우리 청취자들은 어떻게 발가락을 담그겠습니까? 그들은 전용 ML 종류의 포드로 시작할 것인가, 아니면 사람을 가질 것인가? 스타트업이 ML을 도입하려면 어떻게 시작해야 하나요?

Fergal Reid: 저는 중앙 집중식 머신 러닝 팀이 기술 개발의 이 시점에서 우리 규모 이하의 조직에 더 낫다는 강한 의견을 가지고 있습니다. 우리는 여기서 미성숙한 기술을 다루고 있습니다. 기술은 사용하기 어렵고 잘못되기 쉽습니다. 소프트웨어 엔지니어링, 데이터 과학 또는 분석의 기술과 겹치는 기술 세트가 있지만 동일하지는 않습니다. 머신 러닝 제품에는 고유한 함정이 있기 때문에 이러한 일련의 기술을 연마하고 연마할 수 있는 중앙 집중식 팀을 갖는 것이 매우 합리적이라고 생각합니다. 그들은 확률적입니다. 우리가 언급했듯이 그들은 때때로 잘못 이해합니다. 따라서 기계 학습 제품을 설계하거나 구축할 때 정말 땀을 많이 흘려야 합니다. 정확도가 우수한 고객 경험을 제공하기에 충분히 좋은가? 그건 어렵다.

“프로젝트별로 도움이 되는 중앙 집중식 모델이 현재 올바른 모델이라고 생각합니다.”

디자이너와 이야기할 때 우리가 흔히 보는 한 가지는 모든 것이 올바르게 진행되는 황금 경로를 생각할 수 없다는 아이디어를 처음부터 머리로 이해하는 것이 어렵다는 것입니다. 일이 잘못되고 오류가 누적될 수 있는 모든 경로를 고려해야 합니다. 그건 어렵다.

우리는 소프트웨어 엔지니어링의 이상한 교차점에 있으며 데이터 과학 또는 연구와 함께 이러한 제품을 배포할 수 있어야 합니다. 우리는 제품 팀을 운영해야 합니다. 우리는 날렵하고 효율적이어야 하지만 혁신을 위한 공간을 만드는 연구 팀처럼 운영해야 합니다. 작업에 2주를 보냈는데 아무 성과가 없었습니까? 괜찮아. 우리는 그것에 기꺼이 투자해야 합니다. 따라서 프로젝트별로 도움이 되는 중앙 집중식 모델이 현재로서는 올바른 모델이라고 생각합니다.

현실감 있게

Des Traynor: Fergal과 같은 사람이 다음과 같이 말하는 사실을 어떻게 처리합니까? 이 모든 것의 첫 번째 측면에서 아무 것도 보지 못할 수도 있습니다.” 동시에 나 같은 사람은 "이봐, 우리는 로드맵에 도달해야 하고 우리가 무엇을 만들고 있는지 회사에 알리고 무엇을 판매해야 하는지 영업 팀에 알려야 합니다."라고 말합니다. 그 복잡성을 어떻게 해결합니까?

Paul Adams: 배송되지 않는 제품에 대해 수년 동안 일한 사람으로서 저는 가능한 한 빨리 배송되지 않을 제품의 냄새에 대해 깊고 깊은 흉터 조직을 가지고 있습니다.

Des Traynor: 분명히 말해서, 이것은 당신의 전 고용주일 것입니다, 맞죠?

폴 아담스: 그렇습니다. 이전 직장에서는 그렇습니다. 하지만 Intercom에 입사한 첫날부터 Des와 저는 항상 배송과 작게 시작하는 것에 집착했습니다. 우리는 범위를 지정하고 우리가 식별한 문제에 대한 가장 작은 가장 빠른 해결책인 가능한 한 빨리 무언가를 얻는 데 집착합니다. 그래서 늘 그래왔으면 하는 바램이 있습니다.

"나는 학계에서 왔고 학계에서 시간을 보낸 사람은 막대기에 달을 약속하고 아무 것도하지 않는 프로젝트를 너무 많이 보았을 것입니다."

자, 분명히 이것은 다릅니다. Fergal이 대답했으면 하는 한 가지 질문은 약간의 참고 사항이지만 중요하다고 생각합니다. 이전에 기계 학습 팀에 리소스를 제공하는 방법에 대한 Des의 질문에 답할 때 ML 엔지니어에 대해 이야기하고 있었던 것입니다. . 거의 모든 ML 팀 역사에서 ML 엔지니어였습니다. 하지만 최근에 ML 디자이너를 고용했습니다. 그것에 대해서도 간단히 말씀해 주시겠습니까? 저는 그것이 여기서 답의 중요한 부분이라고 생각하기 때문입니다. ML 디자이너는 무엇을 하며 차이점은 무엇인가요?

퍼갈 리드: ​​그래서, 그것은 어려운 질문입니다. 이것은 그녀의 3주차가 시작되는 시점이므로 그녀와 이야기하기 전에 그녀가 무엇을 할 것인지에 대해 팟캐스트에서 이야기하고 싶지 않습니다...

Des Traynor: 더 높은 수준에서. 기계 학습 설계와 일반 설계에 대해 어떻게 생각하시나요?

Fergal Reid: 순서를 다시 거꾸로 하면 이 문제로 다시 돌아올 것입니다. 나는 배송되지 않는 일을 하는 것을 싫어합니다. 저는 박사 학위를 가지고 있고 학계에서 왔습니다. 학계에서 시간을 보낸 사람이라면 막대기에 달을 약속하고는 아무 것도 하지 않는 프로젝트를 너무 많이 보았을 것입니다. 그리고 그것의 일부는 필요 낭비입니다, 그렇죠? 위험하기 때문에 많은 것을 시도해야 합니다. 그러나 그것의 일부는 항상 작동하지 않을 것입니다. 따라서 이 두 가지를 분리하는 것이 여기서 절대적으로 중요합니다. 저는 기계 학습 팀이 가능한 한 탐색적이고 위험하며, 필요 이상으로 탐색적이지 않고 위험하지 않기를 바랍니다.

우리는 여기에서 두 개의 세계를 시도하고 밟고 있습니다. 우리는 다음과 같은 매우 확고한 인터콤 원칙을 유지하려고 노력합니다. 실패하려면 빨리 실패하십시오. 문제부터 시작하십시오. 작게 시작하여 작은 단계로 이동하십시오. 우리는 이러한 원칙을 따르기 위해 매우 열심히 노력합니다. 그러나 우리는 누군가가 이것을 원할 것이라고 확신할 때 필요할 때 조사와 위험한 일을 합니다. 우리는 개발의 모든 단계에서 제거하려는 위험에 대해 매우 명확하게 알고 싶습니다. 네, 그렇게 운영하고 있습니다. 나는 우리가 평균적인 Intercom 팀보다 더 연구적이라고 말하고 싶지만, 아마도 작은 단계로 나아가는 것에 대해 그리고 우리가 세계의 대다수 ML 팀보다 정확히 줄이려고 하는 위험에 대해 더 사려깊을 것입니다. 확실히 연구실 팀보다 훨씬 더 많은 경향이 있습니다.

이를 염두에 두고 최근에 기계 학습 팀을 구성한 5년 만에 처음으로 디자이너를 고용했습니다. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. 괜찮아. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. 괜찮아. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. 고마워, 폴. And we'll see you all again for Intercom on Product. Take care, everyone.