機器學習的新曙光

我們以前來過這裡。 在媒體熱議、誇大其詞和實際工作之間，有時在處理機器學習時很難區分幻想與現實。 隨著神經網絡的成熟和脫穎而出，這項技術能否辜負炒作？

在過去的五年裡，我們已經看到神經網絡技術真正起飛。 GPT-3 可以按需創建類似人類的文本，而 DALL-E 是一種從文本提示生成圖像的機器學習模型，在社交媒體上大受歡迎，它回答了世界上最緊迫的問題，例如“達斯維德會怎樣？看起來像冰釣？” 或者“如果沃爾特懷特在動物穿越中會是什麼樣子？”

我們想知道這種激增是怎麼回事，所以我們詢問了我們的機器學習總監 Fergal Reid，是否可以為今天的劇集挑選他的大腦。 儘管這項工作仍然在很大程度上平衡了可能與可行之間的關係，但事情似乎才剛剛開始擴大規模。 技術領域正在發生變化，商業應用程序（可能）正在改變遊戲規則，而且，劇透警告，Fergal 非常相信這種炒作。

在今天的 Intercom on Product 節目中，我們的首席產品官 Paul Adams 和我與 Fergal Reid 坐下來討論了最近圍繞神經網絡的熱議，機器學習如何為企業提供動力，以及我們可以從技術中期待什麼未來幾年。

以下是我們最喜歡的談話內容：

• 神經網絡在過去五年中取得了重大進展，現在它們是處理文本、圖像或聲音等非結構化數據的最佳方式。
• 在 CX 中，神經網絡可能會與更傳統的機器學習方法一起使用，以選擇能夠與客戶進行最佳交互的操作。
• 構建 ML 產品需要平衡——如果解決方案無法實現，那麼從問題開始是沒有意義的，但如果技術不能滿足真正的客戶需求，你就不應該從技術開始。
• 過去，人工智能被誇大了。 雖然更現實的索賠可能關閉更少的賬戶，但它在客戶保留方面得到了回報。
• ML 團隊傾向於將相當一部分資源投入到從未發布過的研究中。 盡可能將其與對客戶體驗有實際影響的項目相匹配。
• 如果您想投資 ML，請僱用在技術和運營方面都有經驗的人，這樣他們就可以從第一天開始與產品​​團隊合作。

如果您喜歡我們的討論，請查看我們播客的更多劇集。 您可以關注 iTunes、Spotify、YouTube 或在您選擇的播放器中獲取 RSS 提要。 以下是該劇集的輕微編輯記錄。

炒作反擊

Des Traynor：歡迎收看 Intercom On Product，第 18 集。今天，我們有一個有趣的話題要討論。 這一切都與人工智能和機器學習有關。 與以往一樣，Intercom 的首席產品官 Paul Adams 先生也加入了我的行列。 保羅，你好嗎？

保羅亞當斯：我很好，德斯。 謝謝你。

Des Traynor：今天，我們有一位特邀嘉賓，Fergal Reid 先生，他是我們的機器學習總監。 弗格爾，最近怎麼樣？

Fergal Reid：很好，Des。 我很高興今天能上播客。 期待進入它。

德·特雷納：非常好。 我想你是我們的第一個或第二個客人，所以你應該非常非常感激。

Fergal Reid：確實，我感到非常榮幸。

“我們已經看到了一些令人興奮的新事物的持續進步——神經網絡驅動的技術——真正開始發揮作用並發​​揮作用”

Des Traynor：嗯，從某種意義上說，讓我們從最後開始。 感覺就像人工智能炒作機器再次處於超速狀態。 從我的角度來看，這種情況每隔幾年就會發生一次，但我真正看到的是人們創造了很多藝術。 DALL-E 一代已經開始，一些創造的圖像令人嘆為觀止。 前幾天，我看到有一個 DALL-E 提示的市場，您可以在其中購買為您創建圖像的提示，這是元數據。 從更實際的意義上說，GitHub copilot 現在可以在您編寫代碼時增強您的代碼，這非常不可思議； 我玩過 OpenAI 的 GPT-3，提出問題並讓它為我製作小段落和故事，這令人印象深刻。 如果我們稍微放大一點，實際上發生了什麼？ 最近有沒有發生什麼事情？ 這與任何特定的事件鏈有關嗎？ 這是怎麼回事？

Fergal Reid：拆開包裝是一件複雜的事情——有很多事情要做。 各公司對人工智能和機器學習領域的投資如此之多，因此很難準確了解正在發生的事情。 如果您查看 arxiv，人們將他們的機器學習論文放在其中，每天都會有大量新東西湧現。 因此，很難通過它進行敘述。 在我看來，在過去的五年裡，我們看到了一些令人興奮的新事物的持續進步——神經網絡驅動技術——真正開始發揮作用並發​​揮作用。 你提到了 GPT-3、OpenAI，這就是我們所說的大型語言模型，它是一個大型神經網絡，試圖預測下一個單詞和它看到的單詞序列。 他們只是在擴大規模。 他們只是向它添加了越來越多的計算，它開始做一些令人驚奇的事情。

Des Traynor：所以，也許只是一些字典定義。 那麼，增加更多的計算，是不是更多的 CPU 能力？

Fergal Reid：是的，沒錯。 追溯到很久以前，我們計算機中的 CPU，我們計算機的大腦，在做通用的事情方面確實非常非常快。 也許在九十年代中後期，主要由視頻遊戲和其他東西驅動，我們擁有了採用這些 GPU 或圖形處理單元的大眾市場。

Des Traynor：像視頻卡之類的東西？

Fergal Reid：在視頻卡和您的 3dfx 卡以及所有內容中。 他們非常擅長為電腦遊戲製作圖形。 然後，在 2000 年代初，人們會說，“哦，我們為視頻遊戲所做的那種運算對矩陣和乘法非常有用。” 事實證明，當你訓練神經網絡時，這類東西對於你需要做的操作也非常有用。 因此，很長一段時間後，視頻股票的價值飆升，因為人工智能和加密貨幣挖礦革命正在興起。

神經網絡的興起

Des Traynor：你提到了神經網絡工作的新進展。 我覺得我在大學的時候就听說過他們。 是否有更多的工作投入到他們身上？ 它們是否已成為進行機器學習的主要方式？ 有沒有我們已經遠離的替代方案？

Fergal Reid：是的，我會說我們已經放棄了另一種選擇。 現在，我不想過度推銷神經網絡。 神經網絡是新的熱點，過去五年你看到的幾乎所有突破都是神經網絡。 但是，這是機器學習的一個小節。 在 Intercom 的機器學習團隊中，神經網絡可能占我們工作的 30%，使用相同的邏輯進展材料來預測某人接下來要做什麼。

當有大量文本、圖像或聲音等非結構化數據時，神經網絡現在絕對是處理這些數據的最佳方式。 對於你所看到的突破——視覺材料、聲音材料、文本合成——你需要一個能夠真正捕捉數據中大量依賴關係的大型模型，而神經網絡是實現這一目標的主要方式。 人們在使它們規模化方面投入了大量資金，您可以將它們運行得更大。 您正在閱讀的某些模型可能僅僅為了訓練該模型就需要花費 1000 萬美元的計算。

“過去，對於任何非結構化的文本或圖像數據，我們都會從機器學習的角度來看待它，就像‘不知道在這裡做什麼’”

有很多事情正在發生。 我們在大規模培訓他們方面做得越來越好。 我們越來越善於以一種我們可以取得進展和理解的方式表達問題。 在視頻中，我們將繼續改進性能。 因此，發生了許多技術革命。 這是許多不同趨勢的匯合。

Des Traynor：要過渡到產品方面，現在有什麼可能是以前沒有的？ DALL-E可以提示並生成圖像； GPT-3 可以生成非常逼真的生成文本。 如果你想分析大量文本並弄清楚它在說什麼，減少它或簡化它或檢查情緒或其他什麼，我們現在有某種能力列表嗎？ 我問的原因是我試圖將其與 PM 應該如何考慮這一點聯繫起來。

Fergal Reid：是的，有幾種不同的方式來思考這個問題。 過去，對於任何非結構化的文本或圖像數據，我們都會從機器學習的角度來看待它，並且會說：“不知道在這裡做什麼。 這個大小，以及我的文檔中可能包含的文本段落的數量非常高。 我不知道如何用傳統的機器學習來處理這個問題。” 你可以做一些事情，比如提取特徵，比如，“我要把它分解成一個詞袋，然後提取東西。” 但現在不同的是，您處理這些數據的方法將比過去好得多。 而且您不需要太多的手工工程功能。 您可以使用神經網絡。

我們開始看到中間步驟，中間層出現。 有一種我們稱之為嵌入的東西，你可以在其中使用一個經過大量文本數據訓練的大型神經網絡，然後它們將由谷歌或其中一個花費 1000 萬美元的大玩家發布訓練，您可以使用它來獲取您提供的任何文本，將其轉換為數字向量。 然後，您可以使用該數字向量進行處理。 因此，出現了突破性技術，但它為初創公司提供了實際可以用來製造產品的構建塊。

“如果您在任何初創生態系統中處理大量非結構化數據，尤其是大量數據，您可能正在嘗試使用它做出決策，那麼您絕對應該注意”

Des Traynor：那麼，第一個 X% 是由大公司為您完成的？

弗格爾·里德：沒錯。 或者開放財團，也是如此。 有些人組建了一個財團，他們籌集了大量資金來訓練一些大的東西，然後發布。

Des Traynor：所以，如果你的產品涉及大量人工編寫的文本，無論是創建回复、編寫、解析還是理解它，你應該假設在過去的幾年裡，你的腳下已經發生了變化？

Fergal Reid：是的，我認為這是一個合理的假設。 如果您在任何初創生態系統中處理大量非結構化數據，尤其是大量數據，您可能正在嘗試使用它做出決策，那麼您絕對應該注意。 能力格局發生了變化。 10 年前，您無需擔心任何事情，但現在，也許您可以構建一些以前無法構建的很酷的東西。 我們開始看到像搜索這樣簡單的東西發生了變化。 六七年前，你會得到 Elasticsearch 或類似的東西，並使用這些久經考驗的算法來處理你的搜索。 現在你可以使用神經搜索了。 我們開始在該領域看到新興技術和產品。

尋找下一個最佳行動

Paul Adams：我想問你的一件事是承諾下一個最佳行動的產品。 我認為這對產品團隊很重要，原因有兩個。 一個就是那個領域的產品——如果你有客戶溝通產品或銷售團隊的產品，那麼有很多承諾可以告訴銷售人員下一步最佳行動是什麼。 產品團隊經常試圖讓他們的客戶和用戶做更多的事情並參與更多，因此這是他們推動增長的工具。 其中有多少是炒作？ 多少是真實的？

Fergal Reid：這些機器學習產品總是存在問題，我說這是一個以構建機器學習產品為生的人，很難從外部判斷多少是炒作，多少是真實的。 除非我對它們進行了分析和基準測試，否則我無法談論具體的產品。 我想說下一個最好的動作實際上不太可能是神經網絡。 或者，如果他們在那裡，他們將作為其中的一個組成部分在那裡。 將其置於對講環境中，我將獲取支持代表和最終用戶之間正在發生的對話文本，並使用嵌入來嘗試理解這一點。 但隨後，我可能會將其與一堆關於正在發生的事情的其他信號放在一起，可能是賬戶的價值或客戶在他們的客戶旅程中所處的位置，並使用更傳統的機器學習分類器或回歸器來嘗試和預測，“好吧，我能做的下一件最好的事情是什麼？”

“隨著準確性的提高、提高、提高，它跨越了一個關鍵閾值，就像，'這並不總是正確的，但它很有用，我不必思考。 它有幫助'”

這東西效果很好。 我們的產品具有使用更傳統的機器學習方法的功能，這些方法試圖預測，例如，當某人訪問網站並打開信使時將要問什麼。 我們根據我們擁有的關於該用戶的所有數據和信號來做到這一點，而且效果很好。 如果你能用它做出好的預測，那麼從那裡到更一般的東西是下一個最佳行動的一小步。

我敢打賭，這些東西效果很好。 我會對準確性有合理的期望。 當他們增強和幫助某人時，所有這些事情都會很好地發揮作用。 如果準確度太低，就像，“哦，這很煩人。 這很糟糕。 不值得關注。” 但隨後，隨著準確性的提高、提高、提高，它跨越了一個關鍵閾值，就像是，“它並不總是正確的，但它很有用，我不必思考。 我可以看著它並認識到它有幫助。” 這就是我們在這些產品中尋找的東西，我敢肯定業內有人擁有這樣的東西。

德·特雷納：是的。 我覺得 Gmail 的自動完成功能已經越過了我不會關閉該功能的感知懸崖。 你輸入一個回复，它會猜測你接下來要說的兩件事，你可以點擊 Tab，也許你會改變一個句子或一個詞或類似的東西，但它在方向上比沒有更有價值。

“我看到了這樣一個未來，我們可以了解哪些建議會促使團隊行為以雙贏的方式提供更好的 CSAT 或更好的客戶終身價值”

Paul Adams：不過，這很有趣。 我認為它會改變行為。 我看著這個建議，然後說：“我不會這麼說，但它已經足夠接近了。” 選項卡，選項卡，選項卡。 輸入，發送。

Fergal Reid：我想知道他們是否做過實驗來衡量他們產生的建議和建議的情緒，以及它們如何改變現實世界。 Facebook 在過去臭名昭著地做了一些這樣的實驗。 如果你看一下 Intercom 之類的東西，我會看到未來我們將開始在收件箱中提出智能回復建議。 我看到了一個未來，我們可以了解哪些建議會促進隊友行為，從而以雙贏的方式提供更好的 CSAT 或更好的客戶終身價值。 那些低摩擦的提示。 每當我給我的妻子寫“我愛你”時，我都會想到這一點。 有時我會收到“我愛你”的建議，我會說，“我自己打字。”

德·特雷納：是的。 它有一些更殖民的東西——我們塑造了我們的工具，我們的工具塑造了我們。 您可以想像一個新加入使用 Intercom 的團隊的 CS 代表實際上最終會像他們的同事一樣說話和打字，因為 Intercom 告訴他們這是似乎表現最好的行為。 它幾乎就像一所提供客戶支持的學校。

Fergal Reid：我們與一些喜歡為新代表提供低摩擦訓練坡道的客戶進行了交談，這似乎是最佳實踐。 這就是系統推動你以一種好的方式去做的事情。

問題與技術

Des Traynor：如果我們回到一個級別，我覺得很多敘述，即使當 DALL-E 出現時，最流行的主題是，“誰能說出一個好的用例？這個？” 或者，“這是我最好的主意。” 顯然，每個人的想法都是，“哦，你可以建立一家 T 卹公司”或其他什麼。 我對這可能有用的最好的嘗試是註釋兒童故事書的能力。 想像一個工具，其中有一個兒童類型的故事，並且圖像似乎可以增強它。 您還可以看到它如何成為 Squarespace 或 Mailchimp 的插件來替代圖庫攝影。 Keynote 或 Google Slides 將是類似的。

不過，我確實覺得我們正在倒退。 我們說，“鑑於我們現在可以獲取文本並生成圖像，讓我們利用它建立一家公司”，這不是最好的公司的來源。 通常，他們傾向於解決世界上的問題。 粉絲或 PM 思考這個空間的最佳方式是什麼？ 一般來說，他們可能痴迷於一個問題，而不是某個特定的新神經技術。

Fergal Reid：這是一個非常複雜的問題。 很多時候，標準的建議是，如果你正在建立一些新技術創業公司，你永遠不想成為一個尋找問題的解決方案。 你想找到一個真正的具體問題，然後找到一個解決方案。 我認為這通常是個好建議。 在 Intercom，我們有一個從問題入手的原則。 但我認為也有例外。 有了真正的顛覆性技術，你會想，“有些東西正在改變世界，它正在改變景觀，這裡有新的能力，我不知道它有什麼好處，但我知道它會對某些東西產生革命性的好處， ” 我認為從解決方案開始，然後尋找問題是可以的。

“如果你試圖構建一個還沒有能力的技術解決方案，那麼從問題開始是沒有意義的”

我相信目前關於 ML 和 AI 的炒作。 我想說這次是真的，所以公平地說，“看，我們在這裡擁有革命性的能力。 可以應用它的所有絕佳機會在哪裡？” 然後，顯然，有一個相互作用。 當你認為你找到了機會時，你可能想從問題開始。

與其他團隊相比，Intercom 的機器學習團隊有點不尋常。 我們比其他團隊更適應產品原則，因為我們必須處於從問題開始到技術開始之間的灰色空間中。 如果您正在嘗試構建一個還沒有能力的技術解決方案，那麼從問題開始是沒有意義的。 所以，我們必須從技術開始，做一些原型設計，了解什麼是可能的，然後去真正解決問題並問，“它有用還是沒用？”

Des Traynor：從某種意義上說，這幾乎就像你必須同時審視創新的需求和供應方面。 在我們可以解決的所有問題和我們擁有的能力中，哪裡是一個好的互聯企業？ 如果我們採用我們的產品 Resolution Bot，您將如何將其表述為問題/解決方案配對？

“有了 Resolution Bot，我們的第一版沒有使用神經網絡或任何東西，但我們堅信可以在這裡建立一些好的東西”

Fergal Reid：當我們開始時，我們意識到在技術和產品領域發生了變化，機器人非常糟糕，它們開始在非常有限的情況下提供令人信服的體驗，“好吧，這裡有一些東西。” 然後就像是，“好的，我們可以使用我們的特定領域嗎？我們可以進行聊天和對話，看看是否存在這種結合，是否存在問題和技術之間的匹配，從而提供出色的客戶體驗？”

有了 Resolution Bot，我們的第一版沒有使用神經網絡或任何東西，但我們堅信可以在這裡構建一些好的東西。 我們建立了最少的技術投資，驗證了一個糟糕的拼湊原型實際上可以幫助客戶並且人們確實想要它，降低風險，然後對其進行迭代，迭代它，再迭代它。 我們現在使用的是我們技術的第三版或第四版，它使用了非常現代的、花哨的神經網絡，它獲得了一流的性能和準確性。 但第一個版本是現成的 Elasticsearch，只是為了驗證這實際上可以幫助人們。

你想引導那個搜索。 你想像，“我知道在產品空間的這個大方向上有一些好處。” 對於無法交付的產品，我不會以經過驗證的需求而告終。 你不想在那裡。 你也不想這樣說，“我有一個很棒的算法，它肯定會為沒人關心的事情做出改變。” 您必須在該等式的兩邊進行迭代，並在中間找到一些著陸區。

難以置信？

Paul Adams：凳子實際上還有第三條腿。 有一個問題，有一個解決方案，然後是故事，或者你可以說些什麼。 在談到人工智能和機器學習時，我一直在努力解決的一件事是，你對外界所說的話以及其他人在外界所說的話感覺良好。 最糟糕的是，所有公司都站出來提出巨額索賠，而真正知道他們在說什麼的人會說，“他們是可笑的索賠”。 “但存在這種競爭困境。 如果我們的競爭對手說 80%，我們認為他們不可能得到，但我們的競爭對手是 50%，你怎麼看？ 您如何看待您可以提出的主張以及問題、解決方案和故事之間的平衡？

“我在市場上遇到產品並評估他們的說法，我想，'它真的做到了嗎？ 你如何評價？

Fergal Reid：我的意思是，這非常困難。 我認為我會將內部產品開發與市場成功分開。 在內部產品開發方面，對講機也是如此，如果我來說，“嘿，伙計們，我很確定我們可以提供足夠好的產品體驗，”如果事實證明這是我至少要負責根本不是這樣。 所以，在內部，你必須與人合作並很好地解釋事情，但至少激勵是一致的。

在外部，當人們在市場上與機器學習產品競爭時，真的很難。 我在市場上遇到產品並評估他們的說法，我想，“它真的做到了嗎？ 你怎麼評價？” 即使我看到一篇新的研究論文承諾了一些令人驚奇的事情，並且它有“我們對 AI 這麼說，它就是這麼回答的”的例子，我的第一個問題總是像，“嗯，那是精心挑選的嗎？例子？ 它是 10 次中的 9 次還是 10 次中的一次？” 因為每個人都有很大的不同。 總有這種含蓄的，“好吧，實際上表現如何？” 除非您在坐下來玩它的地方進行某種正面交鋒，否則您無法真正分辨出來。 我們的客戶正在做更多的概念驗證和評估，我很喜歡。 那好極了。 這就是我們想要看到的。

“你絕對可以過度承諾、交付不足，然後眼睜睜地看著客戶流失”

就總體空間而言，我認為您會看到人們越來越多地公開演示。 人們去 DALL-E 2，他們可以更早地接觸到獨立研究人員。 或者他們在報紙上寫下這樣的話：“這就是在標準提示下一次運行所產生的結果。” 這有助於人們了解它。

Des Traynor：有一個問題是你想要什麼樣的收入，因為你肯定會過度承諾、交付不足，然後看著客戶流失。 或者您可以說，“這就是我們認為我們可以為您做的事情”，冒著失去交易的風險，但要知道，如果他們轉換了，他們將得到轉換後的結果。 我認為這是一個危險的世界——走高路與低路； 在第 11 個月接受那些將得到他們認為會得到的東西的客戶，而不是在第 11 個月吸引很多憤怒的客戶，因為他們沒有達到他們希望的結果。 這是一個挑戰。

Fergal Reid：這是一個挑戰，這個挑戰有很多方面。 我們也必須管理期望。 機器學習正在變得越來越好，但仍不完美。 我們有時會有客戶購買我們的 Resolution Bot，它很好，是同類中最好的，但它仍然會出錯。 每個軟件產品仍然會犯錯誤。 因此，您必須管理各方的期望才能建立這種積極的關係。

Des Traynor：您如何看待機器學習資源？ 在 Intercom，我們有一個由您自己領導的團隊，該團隊與所有團隊分開，然後是合作夥伴來提供機器學習功能。 你覺得會一直這樣嗎？ 你認為團隊應該有嵌入式 ML 工程師嗎？ Intercom 的每個團隊都有自己的設計師——我們沒有一個設計團隊四處尋找要添加的設計。 它的方式有意義嗎？ 對於我們的聽眾來說，他們將如何涉足？ 他們會從一個專門的 ML 類型的 pod 開始，還是會有一個人？ 初創公司應該如何開始引入機器學習？

Fergal Reid：我強烈認為，在技術開發的這一點上，集中式機器學習團隊更適合我們規模或更小的組織。 我們在這里處理不成熟的技術。 該技術難以使用且容易出錯。 有一組技能與軟件工程、數據科學或分析的技能重疊，但它們並不相同。 我認為擁有一個可以工作和磨練這套技能並學習陷阱的集中式團隊很有意義，因為機器學習產品具有獨特的陷阱。 它們是概率性的。 正如我們所提到的，他們有時會弄錯。 因此，當你在設計或構建機器學習產品時，你必須真正出汗。 準確率是否足以提供良好的客戶體驗？ 這很難。

“我認為，在每個項目的基礎上提供幫助的集中式模型是目前正確的模型”

當您與設計師交談時，我們經常看到的一件事是，他們一開始很難理解您不能只考慮一切順利的黃金路徑的想法。 您必須考慮所有出錯的路徑和錯誤可能累積的路徑。 這很難。

我們正處於軟件工程這個奇怪的交叉點，我們必須能夠將這些產品與數據科學或研究一起部署。 我們必須運營一個產品團隊。 我們必須精益高效，但我們也必須像研究團隊一樣運作，為創新創造空間。 花了兩個星期的時間做某事，結果卻一無所獲？ 沒關係。 我們必須願意為此投資。 所以，我認為一個集中的模型，然後在每個項目的基礎上提供幫助是目前正確的模型。

保持真實

Des Traynor：您如何處理像 Fergal 這樣的人說：“嘿，保羅，我們將嘗試一種可以改變我們客戶支持產品性質的產品，但它可能不起作用，並且在這一切的第一面，你可能看不到任何東西。” 與此同時，像我這樣的人說，“嘿，我們需要製定路線圖，我們需要告訴公司我們正在建設什麼，告訴銷售團隊要賣什麼。” 你如何解決這種複雜性？

保羅亞當斯：作為一個多年來一直致力於從未發貨的產品的人，我有很深的疤痕組織，因為任何聞不到不會盡快發貨的東西，盡可能小。

Des Traynor：明確地說，這將是你的前雇主，對吧？

保羅亞當斯：是的。 在我以前的工作中，是的。 但從在 Intercom 工作的第一天起，Des 和我就一直痴迷於運輸和從小處著手。 我們痴迷於確定範圍並儘快解決問題，這是我們發現的問題的最小最快解決方案。 所以我有一個始終如一的願望。

“我來自學術界，任何有時間在學術界工作的人都可能看過這麼多項目，承諾在棍子上登月，然後什麼也沒做”

現在，顯然，這是不同的。 不過，我希望 Fergal 回答一個問題——有點旁注，但我認為這很重要——當你之前回答 Des 關於如何為機器學習團隊提供資源的問題時，你是在談論 ML 工程師. 對於我們這裡的幾乎所有 ML 團隊歷史，都是 ML 工程師。 但我們最近聘請了一位 ML 設計師。 你也能簡單地告訴我們一下嗎？ 因為我認為這是答案的重要部分。 ML 設計師做什麼，有什麼區別？

Fergal Reid：所以，這是一個很難的問題。 這是她第三週的開始，所以我不想在與她交談之前在播客上談論她將要做什麼……

Des Traynor：在更高的層次上。 您如何看待機器學習設計與常規設計？

Fergal Reid：讓我再把順序倒過來，我會回到這個。 我討厭做不發貨的東西。 我有博士學位，我來自學術界，任何有時間在學術界工作的人都可能看過很多項目，承諾在棍子上登月，然後什麼也沒做。 其中一部分是必要的浪費，對吧？ 你必須嘗試很多事情，因為它太冒險了。 但其中的一部分永遠不會奏效。 因此，將這兩件事分開是絕對關鍵。 我希望機器學習團隊盡可能地具有探索性和風險性，而不是不必要的探索性和風險性。

我們在這裡嘗試並踏入兩個世界。 我們努力保持這些極其堅定的對講原則：如果你要失敗，那就快速失敗； 從問題開始； 從小處著手，小步前進。 我們非常努力地遵循這些原則。 但是，如果我們非常確信有人會想要這個，我們會在需要時進行研究和冒險的事情。 我們希望非常非常清楚我們在開發的每個階段都試圖消除的風險。 所以，是的，這就是我們的運作方式。 我會說我們比普通的對講團隊更具研究性，但可能比世界上絕大多數 ML 團隊更考慮小步移動以及我們試圖降低的風險。 當然，這比研究實驗室團隊所傾向於的要多得多。

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. 但肯定是有區別的。

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. 好的。 This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. 砰。 什麼時候？ 砰。

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. 好的。 And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. 那就是關於它的​​一切。 It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. 謝謝你，保羅。 And we'll see you all again for Intercom on Product. Take care, everyone.