الفجر الجديد لتعلم الآلة

لقد كنا هنا من قبل. بين ضجة الوسائط والادعاءات المبالغ فيها والعمل على أرض الواقع ، يصعب أحيانًا التمييز بين الخيال والواقع عند التعامل مع التعلم الآلي. عندما تنضج الشبكات العصبية وتبرز من العبوة ، هل يمكن للتكنولوجيا أن ترقى إلى مستوى الضجيج؟

في السنوات الخمس الماضية ، رأينا تقنية الشبكة العصبية تنطلق حقًا من تلقاء نفسها. يمكن لـ GPT-3 إنشاء نص شبيه بالبشر عند الطلب ، وقد انتشر نموذج التعلم الآلي DALL-E ، الذي ينشئ صورًا من الرسائل النصية ، في شعبيته على وسائل التواصل الاجتماعي ، مجيبًا على الأسئلة الأكثر إلحاحًا في العالم مثل ، "ماذا سيكون دارث فيدر تبدو مثل الصيد على الجليد؟ " أو "كيف كان سيبدو والتر وايت لو كان في معبر الحيوان؟"

أردنا معرفة ما حدث مع هذه الزيادة ، لذلك سألنا مدير التعلم الآلي لدينا ، فيرغال ريد ، إذا كان بإمكاننا اختيار دماغه لحلقة اليوم. على الرغم من أن العمل لا يزال يمثل إلى حد كبير عملية موازنة بين ما هو ممكن وما هو ممكن ، إلا أن الأشياء ، على ما يبدو ، بدأت للتو في التوسع. المشهد التكنولوجي آخذ في التغير ، وتطبيقات الأعمال (من المحتمل) أن تغير قواعد اللعبة ، وفي حالة تأهب مفسد ، يؤمن فيرجال كثيرًا بهذا الضجيج.

في حلقة اليوم من Intercom on Product ، جلست مع بول آدامز ، كبير مسؤولي المنتجات لدينا ، مع فيرغال ريد للحديث عن الضجة الأخيرة المحيطة بالشبكات العصبية ، وكيف يعمل التعلم الآلي على تعزيز الأعمال ، وما يمكن أن نتوقعه من التكنولوجيا في السنوات القليلة المقبلة.

فيما يلي بعض النقاط السريعة المفضلة لدينا من المحادثة:

• حققت الشبكات العصبية تقدمًا كبيرًا في السنوات الخمس الماضية ، وهي الآن أفضل طريقة للتعامل مع البيانات غير المهيكلة مثل النص أو الصور أو الصوت على نطاق واسع.
• في تجربة العملاء ، من المرجح أن يتم استخدام الشبكات العصبية مع طرق تعلم الآلة التقليدية لاختيار الإجراءات التي توفر أفضل تفاعل ممكن مع العميل.
• يتطلب بناء منتجات ML التوازن - لا جدوى من البدء بالمشكلة إذا كان الحل بعيد المنال ، لكن لا يجب أن تبدأ بالتكنولوجيا إذا لم تستطع تلبية احتياجات العملاء الحقيقية.
• لقد تم المبالغة في الذكاء الاصطناعي في الماضي. في حين أنه من المحتمل أن تؤدي المطالبات الأكثر واقعية إلى إغلاق عدد أقل من الحسابات ، إلا أنها تؤتي ثمارها في الاحتفاظ بالعملاء.
• تميل فرق ML إلى استثمار حصة عادلة من الموارد في الأبحاث التي لا يتم شحنها مطلقًا. قم بمطابقتها قدر الإمكان مع المشاريع التي لها تأثير فعلي على تجربة العميل.
• إذا كنت ترغب في الاستثمار في ML ، فقم بتعيين شخص لديه خبرة في كل من الجانب التقني والتشغيلي حتى يتمكنوا من بدء العمل مع فريق المنتج من اليوم الأول.

إذا كنت تستمتع بمناقشتنا ، فتحقق من المزيد من حلقات البودكاست الخاص بنا. يمكنك المتابعة على iTunes أو Spotify أو YouTube أو الحصول على موجز RSS في المشغل الذي تختاره. ما يلي هو نسخة منقحة قليلاً من الحلقة.

الضجيج يعود

Des Traynor: مرحبًا بكم في Intercom On Product ، الحلقة 18. اليوم ، لدينا موضوع مثير للاهتمام للمناقشة. الأمر كله يتعلق بالذكاء الاصطناعي والتعلم الآلي. انضم إليّ ، كعادتي ، كبير مسؤولي المنتجات في Intercom ، السيد بول آدامز. كيف حالك بول؟

بول آدامز: أنا بخير ، ديس. شكرًا لك.

ديس تراينور: واليوم ، لدينا ضيف خاص ، السيد فيرغال ريد ، وهو مدير التعلم الآلي لدينا. كيف حالك يا (فيرغال)؟

فيرغال ريد: هذا جيد ، ديس. يسعدني حقًا أن أكون في البودكاست اليوم. نتطلع إلى الدخول فيه.

ديس تراينور: ممتاز. أعتقد أنك ضيفنا الأول أو الثاني ، لذا يجب أن تشعر بالامتنان الشديد.

فيرغال ريد: أشعر بامتياز كبير حقًا.

"لقد رأينا تقدمًا مستدامًا لشيء جديد ومثير - تقنية تعتمد على الشبكة العصبية - بدأت حقًا في الظهور بمفردها وتكون مفيدة"

ديس تراينور: حسنًا ، لنبدأ في النهاية ، بمعنى ما. يبدو الأمر كما لو أن آلة الضجيج بالذكاء الاصطناعي تعمل مرة أخرى بأقصى سرعة. يحدث هذا كل بضع سنوات من وجهة نظري ، ولكن ما يمكنني رؤيته حقًا هو أن الناس يخلقون الكثير من الفن. لقد انطلق جيل DALL-E ، وبعض الصور التي تم إنشاؤها تخطف الأنفاس. في اليوم الآخر ، رأيت أن هناك سوقًا لمطالبات DALL-E حيث يمكنك حرفيًا شراء المطالبات التي تنشئ صورًا لك ، وهي عبارة عن التعريف كما يحصل. بمعنى أكثر عملية ، يستطيع مساعد الطيار GitHub الآن زيادة شفرتك أثناء الكتابة ، وهو أمر لا يصدق ؛ لقد لعبت مع GPT-3 من OpenAI ، وطرح الأسئلة والسماح لها بصياغة فقرات وقصص صغيرة من أجلي ، وكان الأمر مثيرًا للإعجاب. إذا قمنا بالتكبير قليلاً ، فما الذي يحدث بالفعل؟ هل حدث شيء ما في الفترة الماضية؟ هل هذا له علاقة بسلسلة معينة من الأحداث؟ ما أخبارك؟

فيرغال ريد: تفريغ الأمتعة أمر معقد - هناك الكثير مما يحدث. هناك الكثير من الاستثمار في هذا المجال من الذكاء الاصطناعي والتعلم الآلي عبر الشركات ، لذلك من الصعب تحديد ما يحدث بالضبط. إذا نظرت إلى arxiv ، حيث يضع الناس أوراق التعلم الآلي الخاصة بهم ، فهناك سيل من الأشياء الجديدة كل يوم. لذلك ، من الصعب أن تخطو قصة من خلال ذلك. في رأيي ، على مدى السنوات الخمس الماضية ، شهدنا تقدمًا مستدامًا لشيء جديد ومثير - تقنية مدفوعة بالشبكة العصبية - بدأت حقًا في الظهور بمفردها وتكون مفيدة. لقد ذكرت GPT-3 و OpenAI ، وهذا ما نسميه نموذج اللغة الكبير ، وهو عبارة عن شبكة عصبية كبيرة تحاول التنبؤ بالكلمة التالية وتسلسل الكلمات التي يتم رؤيتها. وهم فقط يوسعون ذلك. لقد أضافوا المزيد والمزيد من الحوسبة إليها ، وبدأت في القيام بأشياء مذهلة.

ديس تراينور: إذن ، ربما مجرد تعريفين من القاموس. لذا ، بإضافة المزيد من الحوسبة ، هل هذا المزيد من طاقة وحدة المعالجة المركزية؟

فيرغال ريد: أجل ، بالضبط. للرجوع إلى الوراء بعيدًا ، كانت وحدات المعالجة المركزية في أجهزة الكمبيوتر لدينا ، دماغ أجهزة الكمبيوتر الخاصة بنا ، سريعة حقًا في القيام بأشياء ذات أغراض عامة. وربما في منتصف التسعينيات ، مدفوعًا بشكل أساسي بألعاب الفيديو والأشياء ، كان لدينا هذا السوق الضخم لاعتماد وحدات معالجة الرسومات هذه ، أو وحدات معالجة الرسومات.

ديس تراينور: هل تحب بطاقات الفيديو والقرف من هذا القبيل؟

Fergal Reid: في بطاقات الفيديو وبطاقة 3dfx وكل شيء. وكانوا جيدين حقًا في عمل رسومات لألعاب الكمبيوتر. ثم ، في أوائل العقد الأول من القرن الحادي والعشرين ، كان الناس مثل ، "أوه ، نوع العمليات التي نقوم بها لألعاب الفيديو جيدة حقًا للمصفوفة والضرب." واتضح أن هذا النوع من الأشياء مفيد أيضًا للعمليات التي تحتاج إلى القيام بها عندما تقوم بتدريب شبكة عصبية. وهكذا ، بعد وقت طويل ، تجاوزت قيمة مخزون الفيديو السقف نظرًا لوجود ثورة في مجال الذكاء الإصطناعي والتشفير.

ظهور الشبكات العصبية

ديس تراينور: لقد أشرت إلى استيعاب جديد في العمل على الشبكات العصبية. أشعر أنني سمعت عنهم عندما كنت في الكلية ، في ذلك اليوم. هل تم وضع المزيد من العمل فيها؟ هل ظهرت كطريقة أساسية للقيام بالتعلم الآلي؟ هل هناك بديل ابتعدنا عنه؟

فيرغال ريد: نعم ، أود أن أقول إن هناك بديلًا ابتعدنا عنه. الآن ، لا أريد المبالغة في بيع الشبكات العصبية. الشبكات العصبية هي السخونة الجديدة ، وتقريبًا جميع الاختراقات التي رأيتها في السنوات الخمس الماضية هي شبكات عصبية. ومع ذلك ، هذا قسم فرعي من التعلم الآلي. في فريق التعلم الآلي هنا في Intercom ، ربما تمثل الشبكات العصبية 30٪ مما نقوم به ، باستخدام نفس عناصر التقدم اللوجستي للتنبؤ بما سيفعله شخص ما بعد ذلك.

عندما تكون هناك بيانات غير منظمة مثل كتل النص أو الصور أو الأصوات ، فإن الشبكات العصبية هي بالتأكيد أفضل طريقة للتعامل مع تلك البيانات. بالنسبة للاختراقات التي تراها - العناصر المرئية ، والمواد الصوتية ، وتركيب النص - فأنت بحاجة إلى نموذج ضخم يمكنه حقًا التقاط الكثير من التبعيات في تلك البيانات ، والشبكات العصبية هي الطريقة الرئيسية للقيام بذلك. لقد استثمر الناس كثيرًا في توسيع نطاقها ، ويمكنك تشغيلها على نطاق أكبر. بعض النماذج التي تقرأ عنها قد تكلف 10 ملايين دولار من الحوسبة فقط لتدريب هذا النموذج.

"في الماضي ، بالنسبة إلى أي بيانات نصية أو صور غير منظمة ، كنا ننظر إليها من منظور التعلم الآلي ونقول ،" لا أعرف ماذا أفعل هنا "

هناك عدد من الأشياء التي تحدث. نحن نتحسن في تدريبهم على نطاق واسع. نحن نتحسن في التعبير عن المشكلة بطريقة يمكننا من خلالها إحراز تقدم وفهمها. بالفيديو ، نحن مستمرون في تحسين الأداء. لذلك ، كان هناك الكثير من الثورات التكنولوجية. إنه التقاء مجموعة كبيرة من الاتجاهات المختلفة.

ديس تراينور: للانتقال إلى جانب المنتج ، ما الذي هو ممكن الآن ولم يكن من قبل؟ يمكن لـ DALL-E أخذ مطالبة وإنتاج صورة ؛ يمكن أن ينتج GPT-3 نصًا تم إنشاؤه بمظهر واقعي جدًا. إذا كنت ترغب في تحليل عبء من النص والعمل على ما يقوله ، قم بتقليله أو تبسيطه أو التحقق من المشاعر أو أي شيء آخر ، فهل هناك نوع من قائمة القدرات التي لدينا الآن؟ سبب سؤالي هو أنني أحاول ربط هذا بشكل أقرب إلى الكيفية التي يجب أن يفكر بها رؤساء الوزراء في هذا الأمر.

فيرغال ريد: نعم ، هناك عدة طرق مختلفة للتفكير في هذا الأمر. في الماضي ، بالنسبة إلى أي بيانات نصية أو صور غير منظمة ، كنا ننظر إليها من منظور التعلم الآلي ونقول ، "لا أعرف ما يجب القيام به هنا. حجم هذا ، وعدد فقرات النص المحتملة التي يمكن أن تكون في وثيقي عالية بشكل جنوني. لا أعرف كيف أتعامل مع ذلك مع التعلم الآلي التقليدي ". ويمكنك القيام بأشياء مثل استخراج الميزات ، على سبيل المثال ، "سأقوم بتقسيم هذا إلى كيس من الكلمات واستخراج الأشياء." لكن الشيء المختلف الآن هو أن طريقتك في العمل مع تلك البيانات ستعمل بشكل أفضل بكثير مما كانت عليه في الماضي. ولا تحتاج إلى نفس القدر من الهندسة اليدوية للميزات. يمكنك استخدام شبكة عصبية.

لقد بدأنا في رؤية خطوات وسطية ، تظهر طبقات وسطى. هناك هذا الشيء الذي نسميه حفلات الزفاف ، حيث يمكنك أن تأخذ إحدى هذه الشبكات العصبية الكبيرة التي تم تدريبها على الكثير من البيانات النصية ، ثم يتم إصدارها بواسطة Google أو أحد كبار اللاعبين ، الذين ينفقون 10 ملايين دولار على التدريب ، ويمكنك استخدام ذلك لأخذ أي نص تعطيه لتحويله إلى متجه من الأرقام. بعد ذلك ، يمكنك عمل أشياء باستخدام متجه الأرقام هذا. لذلك ، كانت هناك تقنية متطورة ، لكنها أعطت اللبنات الأساسية التي يمكن للشركات الناشئة العمل معها في الواقع لصنع المنتجات.

"إذا كنت تعمل في أي نظام بيئي لبدء التشغيل وتتعامل مع الكثير من البيانات غير المهيكلة ، ولا سيما الكميات الكبيرة ، حيث ربما تحاول اتخاذ قرارات بشأنها ، فيجب عليك بالتأكيد الانتباه"

ديس تراينور: إذن ، أول X بالمائة يتم إجراؤه من أجلك من قبل الشركات الكبرى؟

فيرغال ريد: بالضبط. أو كونسورتيوم مفتوح أيضًا. هناك أشخاص يشكلون اتحادًا يجمع الكثير من الأموال لتدريب شيء كبير يتم إصداره بعد ذلك.

ديس تراينور: إذا كان منتجك يتضمن الكثير من النصوص المكتوبة من قبل الإنسان ، سواء إنشاء ردود أو كتابتها أو تحليلها أو فهمها ، يجب أن تفترض أن الأرضية قد تغيرت من تحت قدميك خلال العامين الماضيين؟

فيرغال ريد: أجل ، أعتقد أن هذا افتراض عادل. إذا كنت تعمل في أي نظام بيئي لبدء التشغيل وتتعامل مع الكثير من البيانات غير المهيكلة ، وخاصة الكميات الكبيرة ، حيث ربما تحاول اتخاذ قرارات بشأنها ، فيجب عليك بالتأكيد الانتباه. لقد تغير مشهد القدرات. قبل 10 سنوات ، لم يكن هناك ما يدعو للقلق ، ولكن الآن ، ربما هناك شيء رائع يمكنك بناؤه لم يكن بإمكانك بناؤه من قبل. بدأنا نشهد تغييرًا في أشياء بسيطة مثل البحث. قبل ستة أو سبعة أعوام ، كنت تحصل على Elasticsearch أو شيء من هذا القبيل وتستخدم هذه الخوارزميات المجربة والصحيحة للتعامل مع بحثك. الآن يمكنك استخدام البحث العصبي. وبدأنا نرى التكنولوجيا والمنتجات الناشئة في هذا الفضاء.

بحثًا عن أفضل عمل تالي

بول آدمز: أود أن أسألكم عن أحد الأشياء التي تعدكم بأفضل عمل تالي. أعتقد أن هذا مهم لفرق المنتج لسببين. الأول هو مجرد منتجات في تلك المساحة - إذا كان لديك منتج تواصل مع العملاء أو منتج لفرق المبيعات ، فهناك الكثير من الوعد حول إخبار مندوب المبيعات بأفضل إجراء تالي. وغالبًا ما تحاول فرق المنتجات حث العملاء والمستخدمين على بذل المزيد من الجهد والمشاركة بشكل أكبر ، لذا فهي أداة لهم لدفع عجلة النمو. كم من هذا هو الضجيج؟ كم هو حقيقي؟

Fergal Reid: هناك دائمًا مشكلة في منتجات التعلم الآلي هذه ، وأنا أقول هذا بصفتي شخصًا يبني منتجات التعلم الآلي من أجل لقمة العيش ، وهو أمر يصعب للغاية تحديد مقدار الضجيج ومقدار ما هو حقيقي من الخارج. لا يمكنني التحدث عن منتجات معينة إلا إذا قمت بتحليلها وقياسها. أود أن أقول إن أفضل عمل تالي هو في الواقع أقل احتمالا أن تكون الشبكات العصبية. أو إذا كانوا هناك ، فسيكونون هناك كعنصر من مكوناتها. لوضعها في سياق الاتصال الداخلي ، سآخذ نص المحادثة التي كانت تحدث بين مندوب الدعم والمستخدم النهائي وأستخدم الزخارف لمحاولة فهم ذلك. ولكن بعد ذلك ، من المحتمل أن أضع ذلك جنبًا إلى جنب مع مجموعة من الإشارات الأخرى حول ما يحدث ، ربما قيمة الحساب أو مكان وجود العميل في رحلة العميل الخاصة بهم ، واستخدام مصنف أو عامل رجعي للتعلم الآلي أكثر تقليدية لمحاولة توقع ، "حسنًا ، ما هو ثاني أفضل شيء يمكنني فعله؟"

"كلما زادت الدقة ، وزادت ، وزادت ، فإنها تتجاوز عتبة حرجة حيث تبدو ،" ليس هذا صحيحًا دائمًا ، ولكنه مفيد ، ولا يتعين علي التفكير. إنها تساعد "

وهذه الأشياء تعمل بشكل جيد. لدينا ميزات في منتجاتنا تستخدم طرقًا تقليدية للتعلم الآلي تحاول التنبؤ ، على سبيل المثال ، بما سيطلبه شخص ما عند زيارته لموقع ويب وفتح برنامج المراسلة. نقوم بذلك بناءً على جميع البيانات والإشارات التي لدينا حول هذا المستخدم ، وهذا يعمل بشكل جيد. إذا كان بإمكانك عمل تنبؤات جيدة بذلك ، فهذه خطوة قصيرة من هناك إلى شيء أكثر عمومية وهو الإجراء التالي الأفضل.

أراهن أن الأشياء تعمل بشكل جيد. سيكون لدي توقعات معقولة من الدقة. كل هذه الأشياء تعمل بشكل جيد عندما تعمل على زيادة ومساعدة شخص ما. إذا كانت الدقة منخفضة جدًا ، فسيكون الأمر مثل ، "أوه ، هذا مزعج. إنه سيئ. لا يستحق الاهتمام به ". ولكن بعد ذلك ، مع زيادة الدقة ، وتزايدها ، وتزايدها ، فإنها تتجاوز عتبة حرجة حيث تكون مثل ، "ليس هذا صحيحًا دائمًا ، ولكنه مفيد ، ولا يتعين علي التفكير. يمكنني فقط إلقاء نظرة عليه وإدراك أنه يساعد ". هذا ما نبحث عنه مع هذه المنتجات ، وأنا متأكد من أن هناك أشخاصًا في الصناعة لديهم أشياء من هذا القبيل.

دي تراينور: نعم. أشعر أن الإكمال التلقائي لـ Gmail قد تجاوز هذا الجرف الإدراكي حيث لا يمكنني إيقاف تشغيل هذه الميزة. أنت تكتب ردًا ، فهي تخمن الشيئين التاليين اللذين ستقولهما ، ويمكنك الضغط على علامة تبويب ، وربما يمكنك تغيير جملة أو كلمة أو شيء من هذا القبيل ، لكن الاتجاه أكثر قيمة من عدمه.

"أرى مستقبلًا يمكننا من خلاله معرفة الاقتراحات التي تحفز سلوك الزملاء في الفريق الذي يعطي أفضل CSAT أو قيمة عمرية أفضل للعميل بطريقة مربحة للجانبين"

بول آدمز: إنه أمر مضحك ، رغم ذلك. أعتقد أنه يغير السلوك. ألقي نظرة على الاقتراح وقلت ، "لن أقول ذلك تمامًا ، لكنه قريب بما فيه الكفاية." علامة تبويب ، علامة تبويب ، علامة تبويب. أدخل ، أرسل.

Fergal Reid: أتساءل عما إذا كانوا قد أجروا تجارب من أي وقت مضى حيث يقيسون الاقتراحات ومشاعر الاقتراحات التي ينتجونها ، وكيف غيروا العالم الحقيقي. أجرى Facebook بشكل سيئ بعض التجارب مثل هذه في الماضي. إذا نظرت إلى شيء مثل Intercom ، فأنا أرى المستقبل حيث بدأنا في تقديم توصيات الرد الذكي داخل البريد الوارد. أرى مستقبلًا حيث يمكننا معرفة الاقتراحات التي تحفز سلوك الزملاء في الفريق الذي يعطي أفضل CSAT أو قيمة عمرية أفضل للعميل بطريقة مربحة للجانبين. تلك المطالبات منخفضة الاحتكاك. أفكر في ذلك عندما أكتب "أنا أحبك" لزوجتي. أحيانًا أحصل على اقتراح لـ "أنا أحبك" ، وأقول ، "أنا أكتب ذلك بنفسي."

دي تراينور: نعم. هناك شيء أكثر استعمارية حوله - نحن نشكل أدواتنا ، وأدواتنا تشكلنا. يمكنك أن تتخيل أن مندوب خدمات الكمبيوتر الذي تم انضمامه حديثًا إلى فريق يستخدم الاتصال الداخلي سينتهي به الأمر في النهاية إلى التحدث والكتابة كثيرًا مثل زملائهم استنادًا إلى حقيقة أن Intercom تخبرهم أن هذا هو السلوك الذي يبدو أنه يعمل بشكل أفضل. إنها تقريبًا مثل مدرسة لدعم العملاء.

Fergal Reid: لقد تحدثنا إلى بعض العملاء الذين أحبوا فكرة منحدر تدريب منخفض الاحتكاك للممثلين الجدد ، والتي تبدو وكأنها أفضل ممارسة. هذا ما يدفعك النظام إلى القيام به بطريقة جيدة.

مشكلة مقابل التكنولوجيا

ديس تراينور: إذا عدنا إلى مستوى أعلى ، أشعر أن الكثير من السرد ، حتى عندما ، على سبيل المثال ، ظهرت DALL-E ، كانت المواضيع الأكثر شيوعًا فيها أشياء مثل ، "هل يمكن لأي شخص تسمية حالة استخدام جيدة لـ هذه؟" أو ، "هذه هي أفضل فكرة لدي." من الواضح أن أذهان الجميع تقول ، "أوه ، يمكنك بناء شركة قمصان ،" أو أيا كان. أفضل ما لدي في ما يمكن أن يكون مفيدًا هو القدرة على إضافة تعليقات توضيحية إلى كتاب قصص للأطفال. تخيل أداة يكون فيها نوع الطفل من القصة والصور يبدو أنها تزيدها. يمكنك أيضًا أن ترى كيف يمكن أن يكون مكونًا إضافيًا لـ Squarespace أو Mailchimp ليحل محل معرض الصور الفوتوغرافية. سيكون Keynote أو Google Slides متشابهين.

أشعر وكأننا نقترب من هذا إلى الوراء ، رغم ذلك. نحن نقول ، "بالنظر إلى أنه يمكننا الآن أخذ النصوص وإنتاج الصور ، فلنقم ببناء شركة منها" ، وهو ليس المكان الذي تأتي منه أفضل الشركات. عادة ، يميلون إلى الرغبة في حل مشكلة في العالم. ما هي أفضل طريقة يمكن أن يفكر بها أحد المعجبين أو رئيس الوزراء في هذه المساحة؟ بشكل عام ، من المحتمل أن يكونوا مهووسين بمشكلة ما ، وليس بقطعة معينة من التكنولوجيا العصبية الجديدة.

فيرغال ريد: هذا سؤال معقد للغاية. في كثير من الأحيان ، فإن النصيحة القياسية هي أنه إذا كنت تقوم ببناء شركة تقنية جديدة ، فأنت لا تريد أبدًا أن تكون حلاً يبحث عن مشكلة. تريد أن تجد مشكلة حقيقية ملموسة ثم تقترب من حل. أعتقد أن هذه نصيحة جيدة بشكل عام. في Intercom ، لدينا مبدأ حول البدء بالمشكلة. لكن أعتقد أن هناك استثناءات لذلك. مع التكنولوجيا المدمرة حقًا ، حيث تريد ، "هناك شيء ما يغير العالم ، إنه يغير المشهد ، هناك قدرة جديدة هنا ، ولا أعرف ما هو مفيد ، لكنني أعلم أنه سيكون مفيدًا بشكل ثوري لشيء ما ، أعتقد أنه لا بأس في البدء بالحل ثم البحث عن المشاكل.

"لا جدوى من البدء بالمشكلة إذا كنت تحاول إنشاء حل تقني غير قادر على ذلك بعد"

أعتقد أن الضجيج حول ML و AI في الوقت الحالي. أود أن أقول إن الأمر حقيقي هذه المرة ، ولذا فمن الإنصاف القول ، "انظر ، لدينا قدرة ثورية هنا. أين جميع الفرص العظيمة التي يمكن تطبيق ذلك فيها؟ " ثم ، من الواضح ، هناك تفاعل. عندما تعتقد أنك وجدت فرصة ، فربما تريد أن تبدأ بالمشكلة.

يعتبر فريق التعلم الآلي هنا في Intercom غير عادي بعض الشيء مقارنة بالفرق الأخرى. نحن نتكيف مع مبادئ المنتج أكثر قليلاً مما تفعله الفرق الأخرى لأنه يجب أن نكون في هذه المساحة الرمادية بين البدء بالمشكلة والتكنولوجيا. ليس هناك فائدة من البدء بالمشكلة إذا كنت تحاول بناء حل تقني غير قادر بعد. لذا ، علينا أن نبدأ بالتكنولوجيا قليلاً ، ونقوم ببعض النماذج الأولية ، ونحصل على فكرة عما هو ممكن ، ثم نذهب ونفكر في المشكلة نسأل ، "هل هي مفيدة أم لا؟"

ديس تراينور: يبدو الأمر كما لو أنه يتعين عليك النظر إلى جانب العرض والطلب في الابتكار ، بمعنى ما. من بين كل المشاكل التي يمكننا حلها والقدرات التي لدينا ، أين هي شركة جيدة في الربط البيني؟ إذا أخذنا برنامج Resolution Bot الخاص بمنتجنا ، كيف يمكنك توضيح ذلك باعتباره اقترانًا بالمشكلة / الحل؟

"مع Resolution Bot ، لم نستخدم الشبكات العصبية أو أي شيء لإصدارنا الأول ، ولكن لدينا قناعة أنه من الممكن بناء شيء جيد هنا"

فيرغال ريد: عندما بدأنا ، كنا ندرك أن هناك تحركًا في التكنولوجيا وفي مجال المنتجات حيث كانت الروبوتات فقيرة حقًا ، وبدأت في تقديم تجارب مقنعة في ظروف محدودة للغاية حيث ، "حسنًا ، هناك شيء ما هنا . " وبعد ذلك ، كان الأمر مثل ، "حسنًا ، هل يمكننا أخذ مجالنا الخاص ، هل يمكننا إجراء محادثة ومحادثات ومعرفة ما إذا كان هناك هذا الزواج ، الذي يتطابق بين المشكلة والتكنولوجيا التي ستوفر تجارب رائعة للعملاء؟"

مع Resolution Bot ، لم نستخدم الشبكات العصبية أو أي شيء لنسختنا الأولى ، لكن كان لدينا قناعة أنه من الممكن بناء شيء جيد هنا. لقد قمنا ببناء الحد الأدنى من الاستثمار التكنولوجي ، وتأكدنا من أن النموذج الأولي السيء الذي تم تجميعه سيساعد العملاء بالفعل وأن الناس سيريدونه بالفعل ، وتخلصنا من ذلك ، ثم كررناه وكررناه وكررناه. نحن الآن في الإصدار الثالث أو الإصدار الرابع من تقنيتنا ، وهي تستخدم شبكات عصبية حديثة جدًا ورائعة ، وتحصل على أفضل أداء ودقة في فئتها. لكن الإصدار الأول كان Elasticsearch جاهزًا فقط للتحقق من أن هذا من شأنه أن يساعد الناس بالفعل.

تريد توجيه هذا البحث. تريد أن تقول ، "أعلم أن هناك شيئًا جيدًا في هذا الاتجاه العام لمساحة المنتج." لن ينتهي بي الأمر بطلب تم التحقق من صحته لمنتج يستحيل تقديمه. أنت لا تريد أن تكون هناك. أنت أيضًا لا تريد أن تكون مثل ، "لدي خوارزمية مذهلة ستحرك بالتأكيد الإبرة لشيء لا يهتم به أحد." عليك أن تقوم بالتكرار على طرفي المعادلة وتجد بعض منطقة الهبوط في المنتصف.

جيدة جدا ليكون صحيحا؟

بول آدمز: هناك بالفعل ساق ثالثة من البراز. هناك مشكلة ، هناك حل ، ثم هناك القصة ، أو ما يمكنك قوله عنها. أحد الأشياء التي عانيت معها عندما يتعلق الأمر بالذكاء الاصطناعي والتعلم الآلي هو ما تشعر بالرضا حيال قوله خارجيًا وما يقوله الآخرون خارجيًا. في أسوأ الأحوال توجد مأساة اتصالات حيث تخرج جميع الشركات وتقدم ادعاءات ضخمة ، والأشخاص الذين يعرفون حقًا ما الذي يتحدثون عنه يقولون ، "إنها ادعاءات سخيفة". لكن هناك معضلة تنافسية. إذا قال منافسنا 80٪ ، ولا توجد طريقة نعتقد أنه يمكنهم الحصول عليها ، لكن منافسنا هو 50 ، فما رأيك في ذلك؟ ما رأيك في الادعاءات التي يمكنك تقديمها والتوازن بين المشكلة والحل والقصة؟

"صادفت منتجات في السوق وقمت بتقييم ادعاءاتهم ، وأقول ،" هل هو في الواقع يفعل ذلك؟ كيف تقيم ذلك؟ "

فيرغال ريد: أعني ، الأمر صعب للغاية. أعتقد أنني سأفصل تطوير المنتج الداخلي عن النجاح في السوق. مع تطوير المنتج الداخلي ، وهذا صحيح في Intercom ، إذا أتيت وقلت ، "مرحبًا يا رفاق ، أنا متأكد من أنه يمكننا تقديم تجربة منتج جيدة بما فيه الكفاية" ، فأنا على الأقل مسؤول إذا اتضح أن ذلك ليس هذا هو الحال على الإطلاق. لذا ، داخليًا ، عليك العمل مع الناس وشرح الأمور جيدًا ، ولكن على الأقل تتماشى الحوافز.

خارجيًا ، عندما يتنافس الأشخاص في السوق مع منتجات التعلم الآلي ، يكون الأمر صعبًا حقًا. لقد صادفت منتجات في السوق وقمت بتقييم ادعاءاتهم ، وأقول ، "هل هو في الواقع يفعل ذلك؟ كيف تقيم ذلك؟ " حتى لو رأيت ورقة بحثية جديدة تعد بشيء مذهل ، ولديها أمثلة على "قلنا هذا للذكاء الاصطناعي ، وهذا ما قالته مرة أخرى" ، سؤالي الأول دائمًا مثل ، "حسنًا ، هل كان ذلك مثال؟ هل تفعل ذلك 9 مرات من أصل 10 أم مرة واحدة من أصل 10؟ " لأنها مختلفة جدًا اعتمادًا على كل منها. هناك دائمًا هذا ضمنيًا ، "حسنًا ، ما هو الأداء ، في الواقع؟" لا يمكنك حقًا معرفة ما لم تفعل نوعًا ما وجهاً لوجه حيث تجلس وتلعب به. يقوم عملاؤنا بمزيد من الإثباتات المباشرة للمفهوم والتقييمات ، وأنا أحب ذلك. هذا رائع. هذا ما نريد رؤيته.

"يمكنك بالتأكيد تقديم وعود زائدة عن الحد والتخفيض ثم مشاهدة الحساب يتضخم"

فيما يتعلق بالمساحة بشكل عام ، أعتقد أنك ترى أشخاصًا يجعلون العروض التوضيحية متاحة للجمهور أكثر وأكثر. يذهب الناس إلى DALL-E 2 ، ويمكنهم الوصول إلى باحثين مستقلين في وقت سابق. أو يكتبون أشياء في الصحف تقول ، "هذا ما ينتجه a في جولة واحدة على موجه قياسي." يساعد ذلك الناس على الالتفاف حوله.

ديس تراينور: هناك سؤال حول نوع الإيرادات التي تريدها لأنه يمكنك بالتأكيد تقديم وعود زائدة عن الحد والتخفيض ثم مشاهدة تمخض الحساب. أو يمكنك أن تقول ، "هذا ما نعتقد أنه يمكننا القيام به من أجلك" ، تخاطر بخسارة الصفقة ، لكن اعلم أنه إذا تحولوا ، فسوف يحصلون على ما تحولوا من أجله. أعتقد أنه عالم خطير أن تكون فيه - أن تسلك الطريق السريع مقابل الطريق السفلي ؛ أخذ العملاء الذين سيحصلون بالضبط على ما اعتقدوا أنهم سيحصلون عليه مقابل الحصول على الكثير من العملاء الغاضبين في الشهر 11 لأنهم لم يقتربوا مما كانوا يأملون فيه. انه تحد.

فيرغال ريد: إنه تحد ، وهناك جوانب كثيرة لذلك التحدي. علينا إدارة التوقعات أيضًا. يتحسن التعلم الآلي ، لكنه لا يزال غير مثالي. لدينا في بعض الأحيان عملاء يشترون برنامج Resolution Bot ، وهو أمر جيد ، وهو الأفضل في فئته ، لكنه لا يزال يخطئ. كل منتج برمجي لا يزال يخطئ. لذلك عليك إدارة التوقعات من جميع الجوانب للحصول على تلك العلاقة الإيجابية.

ديس ترينور: ما رأيك في توفير موارد للتعلم الآلي؟ في Intercom ، لدينا فريق بقيادة نفسك ومنفصل عن جميع الفرق ومن ثم شركاء لتقديم وظائف التعلم الآلي. هل تعتقد أنها ستبقى على هذا النحو؟ هل تعتقد أن الفرق يجب أن يكون لديها مهندسو ML مدمجون؟ كل فريق في Intercom لديه مصممه الخاص - ليس لدينا فريق تصميم يتجول ويبحث عن أجزاء من التصميم لإضافتها. هل يعقل ما هو عليه؟ بالنسبة للمستمعين لدينا ، كيف يغمسون أصابعهم؟ هل سيبدأون بنوع من نوع ML مخصص ، أم سيكون لديهم شخص؟ كيف يجب أن تبدأ الشركات الناشئة في إدخال ML؟

Fergal Reid: لدي رأي قوي بأن فريق التعلم الآلي المركزي هو الأفضل للمؤسسات من حجمنا أو الأصغر في هذه المرحلة من تطوير التكنولوجيا. نحن نتعامل مع تكنولوجيا غير ناضجة هنا. التكنولوجيا صعبة الاستخدام ويسهل حدوثها بشكل خاطئ. هناك مجموعة من المهارات التي تتداخل مع مهارات هندسة البرمجيات أو علم البيانات أو التحليلات ، لكنها ليست مثلها. أعتقد أنه من المنطقي أن يكون لديك فريق مركزي يمكنه العمل وصقل تلك المجموعة من المهارات وتعلم العثرات لأن منتجات التعلم الآلي بها عيوب فريدة. إنها احتمالية. كما ذكرنا ، فهم يخطئون أحيانًا. وهكذا ، عندما تصمم أو تبني منتجًا للتعلم الآلي ، عليك أن تتعرق حقًا. هل معدل الدقة جيد بما يكفي لتقديم تجربة جيدة للعميل؟ هذا صعب.

"أعتقد أن النموذج المركزي الذي يدخل بعد ذلك للمساعدة على أساس كل مشروع لكل مشروع هو النموذج المناسب في الوقت الحالي"

عندما تتحدث إلى مصمم ، فإن الشيء الوحيد الذي نراه غالبًا هو أنه من الصعب عليهم في البداية أن يدوروا حول فكرة أنه لا يمكنك مجرد التفكير في المسار الذهبي حيث يسير كل شيء بشكل صحيح. عليك أن تفكر في جميع المسارات التي تسوء فيها الأمور ويمكن أن تتراكم الأخطاء. هذا صعب.

نحن في هذا التقاطع الغريب لهندسة البرمجيات ، وعلينا أن نكون قادرين على نشر هذه المنتجات مع علم البيانات أو البحث. علينا تشغيل فريق منتج. يجب أن نتحلى بالرشاقة والكفاءة ، ولكن علينا أيضًا أن ندير إلى حد ما فريق بحث حيث نخلق مساحة للابتكار. أمضيت أسبوعين في العمل على شيء ولم يذهب إلى أي مكان؟ هذا جيّد. يجب أن نكون مستعدين للاستثمار في ذلك. لذلك ، أعتقد أن النموذج المركزي الذي يدخل بعد ذلك للمساعدة على أساس كل مشروع على حدة هو النموذج الصحيح في الوقت الحالي.

ابقائها حقيقية

ديس تراينور: كيف تتعامل مع حقيقة أن شخصًا ما مثل فيرغال يقول ، "مرحبًا ، بول ، سنقوم بتجربة منتج يمكن أن يغير طبيعة منتج دعم العملاء لدينا ، ولكنه قد لا يعمل ، و قد لا ترى أي شيء في الجانب الأول من كل هذا ". في الوقت نفسه ، يقول شخص مثلي ، "مرحبًا ، نحتاج إلى الوصول إلى خرائط الطريق ، وعلينا إخبار الشركة بما نبنيه وإخبار فريق المبيعات بما يجب بيعه." كيف تحل هذا التعقيد؟

بول آدمز: بصفتي شخصًا عمل لسنوات على منتجات لم يتم شحنها مطلقًا ، لدي أنسجة عميقة وعميقة حول أي شم لشيء لن يتم شحنه في أسرع وقت ممكن ، بأكبر قدر ممكن.

ديس تراينور: سيكون هذا هو رب عملك السابق ، لكي أكون واضحًا ، أليس كذلك؟

بول آدمز: نعم. في عملي السابق ، نعم. ولكن منذ اليوم الأول في Intercom ، كنت أنا و Des دائمًا مهووسين بالشحن والبدء على نطاق صغير. نحن مهووسون بتحديد النطاق وإخراج شيء ما في أسرع وقت ممكن ، وهو الحل الأصغر والأسرع للمشكلة التي حددناها. لذلك لدي رغبة على هذا النحو دائمًا.

"لقد جئت من الأوساط الأكاديمية ، ومن المحتمل أن أي شخص كان لديه وقت في الأوساط الأكاديمية قد رأى الكثير من المشاريع التي وعدت القمر على عصا ثم لم يفعل أي شيء أبدًا"

الآن ، من الواضح أن هذا مختلف. سؤال واحد أود أن يجيب عليه فيرغال ، رغم أنه - ملاحظة جانبية قليلاً ، لكنني أعتقد أنه مهم - عندما كنت تجيب على سؤال ديس سابقًا حول كيفية قيامك بتزويد فريق التعلم الآلي ، فأنت تتحدث عن مهندسي ML . بالنسبة إلى كل تاريخ فريق ML هنا تقريبًا ، كان مهندسو ML. لكننا قمنا مؤخرًا بتعيين مصمم ML. هل يمكنك إخبارنا بإيجاز عن ذلك أيضًا؟ لأنني أعتقد أن هذا جزء مهم من الإجابة هنا. ماذا يفعل مصمم ML ، وما الفرق؟

فيرغال ريد: هذا سؤال صعب. هذه بداية أسبوعها الثالث ، لذا لا أريد التحدث في البودكاست عما ستفعله قبل التحدث معها ...

ديس ترينور: على مستوى أعلى. ما رأيك في تصميم التعلم الآلي مقابل التصميم العادي؟

Fergal Reid: دعني أقلب الترتيب مرة أخرى ، وسأعود إلى هذا. أكره العمل على الأشياء التي لا تشحن. أنا حاصل على درجة الدكتوراه ، وأنا من الأوساط الأكاديمية ، ومن المحتمل أن أي شخص لديه وقت في الأوساط الأكاديمية قد رأى الكثير من المشاريع التي وعدت القمر على عصا ثم لم يفعل شيئًا أبدًا. وجزء منها إهدار ضروري ، أليس كذلك؟ عليك أن تجرب الكثير من الأشياء لأنها محفوفة بالمخاطر. لكن جزءًا منه لن ينجح دائمًا. لذا فإن تفريق هذين الأمرين أمر أساسي هنا. أرغب في أن يكون فريق التعلم الآلي استكشافيًا ومحفوفًا بالمخاطر قدر الإمكان وألا يكون أكثر استكشافية وألا يكون أكثر خطورة من اللازم.

نحن نحاول ونخطو عالمين هنا. نحاول الحفاظ على مبادئ الاتصال الداخلي الثابتة للغاية هذه: إذا كنت ستفشل ، تفشل بسرعة ؛ ابدأ بالمشكلة ابدأ صغيرًا ، تحرك بخطوات صغيرة. نحن نحاول جاهدين اتباع هذه المبادئ. لكننا نقوم بالبحث والأشياء الخطرة عندما نحتاج إلى ذلك إذا كنا مقتنعين تمامًا بأن شخصًا ما يريد ذلك. نريد أن نكون واضحين للغاية بشأن المخاطر التي نحاول التخلص منها في كل مرحلة من مراحل التطوير. حسنًا ، هكذا نعمل. أود أن أقول إننا أكثر بحثًا من فريق Intercom العادي ، ولكن ربما أكثر تفكيرًا بشأن التحرك بخطوات صغيرة وحول الخطر الذي نحاول تقليله بالضبط من الغالبية العظمى من فرق ML في العالم. بالتأكيد أكثر بكثير مما يميل فريق مختبر أبحاث إلى أن يكون كذلك.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. تمام. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. تمام. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.