Apprendimento supervisionato e non supervisionato: quale modello di machine learning è giusto per te?

L'apprendimento automatico non deve essere mistificante. Analizzeremo i due tipi più comuni e i loro casi d'uso in questo articolo.

In qualità di leader aziendale, sai che l'adozione di nuove tecnologie può alleviare i punti deboli e rendere la tua attività più competitiva. Ecco perché durante un anno di interruzione, molte aziende si sono rivolte alla trasformazione digitale per farcela.

Potresti anche essere consapevole del potenziale delle tecnologie emergenti come l'apprendimento automatico che possono rendere la tua azienda a prova di futuro. Ma attenzione all'acquirente: se non capisci le applicazioni dell'apprendimento automatico, rischi di sprecare denaro per risultati inutilizzabili. Prendi l'esempio qui sotto per vedere cosa intendiamo.

Per prepararci a scrivere questo articolo, abbiamo utilizzato uno strumento di generazione del linguaggio naturale (NLG) per aiutarci a capire come suddividere al meglio l'apprendimento supervisionato da quello non supervisionato. Ecco un estratto dalla nostra controparte NLG:

"Ogni modello di apprendimento non supervisionato fornisce matrici tensorong anticipate basate sul coefficiente di correlazione, sulla risposta falsa positiva, su dati statisticamente utili piuttosto minimi (o fortemente dipendenti da esso), viene utilizzato per la riduzione della dimensionalità utilizzando grafici e alberi per generare i propri punti dati limite".

Mi sento confuso? Anche noi. Ma nonostante la sconcertante sintassi delle frasi dello strumento NLG, questo esperimento con l'intelligenza artificiale (AI) non è stato del tutto inutile. Ci ha fatto capire che quando si tratta di ottenere i migliori risultati dall'IA, trovare l'applicazione giusta è importante, ed è esattamente il motivo per cui abbiamo scritto questa guida per aiutarti.

Abbiamo parlato con Thomas Wood, un consulente di data science per Fast Data Science, e ci ha aiutato a scomporre l'argomento in termini di facile comprensione. Con l'aiuto di Wood, spiegheremo la differenza tra due metodi comuni di machine learning, l'apprendimento supervisionato e non supervisionato, e quali casi d'uso sono più adatti a ciascun metodo.

Quali sono le principali differenze tra apprendimento supervisionato e non supervisionato?

Se dovessimo ridurlo a una frase, sarebbe questa: la principale differenza tra l'apprendimento supervisionato e l'apprendimento non supervisionato è che l'apprendimento supervisionato utilizza dati etichettati per aiutare a prevedere i risultati, mentre l'apprendimento non supervisionato non lo fa.

Tuttavia, ci sono ulteriori sfumature tra i due approcci, che continueremo a chiarire in modo che tu possa scegliere l'approccio migliore per la tua situazione.

Come funziona l'apprendimento automatico supervisionato

Come accennato in precedenza, l'apprendimento supervisionato utilizza dati etichettati per addestrare il modello. Ma cosa significa in teoria? Esaminiamo alcuni esempi per iniziare.

Con l'apprendimento supervisionato, al modello vengono forniti sia gli input che gli output corrispondenti. Supponiamo di addestrare il modello per identificare e classificare diversi tipi di frutti. In questo esempio, fornirai diverse immagini di frutti come input, insieme alla loro forma, dimensione, colore e profilo aromatico. Successivamente, fornirai al modello i nomi di ciascun frutto come output.

Alla fine, l'algoritmo rileverà uno schema tra le caratteristiche dei frutti (gli input) ei loro nomi (gli output). Una volta che ciò accade, al modello può essere fornito un nuovo input e prevederà l'output per te. Questo tipo di apprendimento supervisionato, chiamato classificazione , è il più comune .

Come funziona l'apprendimento automatico senza supervisione

Al contrario, l'apprendimento non supervisionato funziona insegnando al modello a identificare i modelli da solo (quindi non supervisionato ) da dati non etichettati. Ciò significa che viene fornito un input, ma non un output.

Per capire come funziona, continuiamo con l'esempio di frutta riportato sopra. Con l'apprendimento non supervisionato, fornirai al modello il set di dati di input (le immagini dei frutti e le loro caratteristiche), ma non fornirai l'output (i nomi dei frutti).

Il modello utilizzerà un algoritmo adatto per addestrarsi a dividere i frutti in diversi gruppi in base alle caratteristiche più simili tra loro. Questo tipo di apprendimento non supervisionato, chiamato clustering , è il più comune.

Hai bisogno di eseguire ancora una volta i due modelli di machine learning? Guarda questo breve video per una spiegazione di alto livello:

Quando dovrebbe essere utilizzato l'apprendimento supervisionato rispetto all'apprendimento non supervisionato?

Il fatto che tu debba utilizzare l'apprendimento supervisionato o non supervisionato dipende dai tuoi obiettivi e dalla struttura e dal volume dei dati che hai a disposizione. Prima di prendere una decisione, chiedi al tuo data scientist di valutare quanto segue:

• I dati di input sono un set di dati senza etichetta o etichettato? Se non è etichettato, il tuo team può supportare un'etichettatura aggiuntiva?
• Qual è l'obiettivo che vuoi raggiungere? Stai lavorando con un problema ricorrente e ben definito o l'algoritmo dovrà prevedere nuovi problemi?
• Esistono algoritmi che supportano il volume e la struttura dei dati? Hanno la stessa dimensionalità di cui hai bisogno (numero di caratteristiche o attributi)?

Quando utilizzare l'apprendimento automatico supervisionato

Secondo Gartner, l'apprendimento supervisionato è il tipo di apprendimento automatico più diffuso e utilizzato negli scenari aziendali. Ciò è probabilmente dovuto al fatto che, sebbene la classificazione dei big data possa essere una vera sfida nell'apprendimento supervisionato, i risultati sono estremamente accurati e affidabili (fonte completa a disposizione dei clienti).

Ecco alcuni esempi di casi d'uso per l'apprendimento supervisionato. Alcuni sono specifici del settore, mentre altri possono essere applicati a qualsiasi organizzazione:

• Identificazione dei fattori di rischio per le malattie e pianificazione delle misure preventive
• Classificare se un'e-mail è spam o meno
• Prevedere i prezzi delle case
• Prevedere il tasso di abbandono dei clienti
• Previsione delle precipitazioni e delle condizioni meteorologiche
• Scoprire se un richiedente prestito è a basso o ad alto rischio
• Prevedere il guasto di parti meccaniche nei motori delle automobili
• Prevedere i punteggi delle condivisioni sui social media e i punteggi delle prestazioni

Wood ha condiviso con noi un esempio di come ha utilizzato l'apprendimento supervisionato per creare un sistema di valutazione per le e-mail in arrivo di un cliente. Con l'aiuto di un sistema CRM, le e-mail sono state classificate in gruppi che rappresentavano domande comuni (ad es. cambio di indirizzo del cliente, reclami). Wood ha quindi utilizzato queste categorie per addestrare un modello in modo che quando riceve una nuova e-mail in arrivo, sappia a quale categoria assegnare quella e-mail. Lui dice:

“L'apprendimento supervisionato è stato possibile in questo caso grazie alla presenza del sistema CRM che ha fornito una serie di 'etichette' per addestrare il modello. Senza questi, sarebbe stato possibile solo l'apprendimento senza supervisione".

Quando utilizzare l'apprendimento automatico non supervisionato

A differenza dell'apprendimento supervisionato, l'apprendimento non supervisionato può gestire grandi volumi di dati in tempo reale. E poiché il modello identificherà automaticamente la struttura nei dati (classificazione), è utile nei casi in cui un essere umano avrebbe difficoltà a trovare le tendenze all'interno dei dati da solo.

Ad esempio, se si tenta di segmentare i potenziali consumatori in gruppi per scopi di marketing, un metodo di raggruppamento senza supervisione sarebbe un ottimo punto di partenza.

Ecco alcuni esempi di casi d'uso per l'apprendimento non supervisionato:

• Raggruppare i clienti in base al loro comportamento di acquisto
• Trovare correlazioni nei dati dei clienti (ad esempio, le persone che acquistano una borsa di un certo stile potrebbero essere interessate anche a un certo stile di scarpe)
• Segmentazione dei dati per cronologia degli acquisti
• Classificare le persone in base a interessi diversi
• Raggruppamento delle scorte per metriche di produzione e vendita

Wood ci ha spiegato che una volta ha lavorato per un'azienda farmaceutica con stabilimenti di produzione in tutto il mondo. Il software utilizzato dall'azienda per registrare gli errori accaduti nelle proprie strutture non disponeva di un menu a discesa con opzioni di errore comuni tra cui scegliere.

Per questo motivo, i lavoratori della fabbrica hanno documentato gli errori in testo normale (in inglese o nella loro lingua locale). L'azienda desiderava conoscere le cause dei comuni problemi di fabbricazione, ma senza una categorizzazione degli errori era impossibile effettuare analisi statistiche sui dati.

Wood ha utilizzato un algoritmo di apprendimento non supervisionato per scoprire punti in comune negli errori. È stato in grado di identificare i temi più importanti e di produrre statistiche come la scomposizione dei grafici a torta dei problemi di produzione comuni nell'azienda. Legno dice:

"Ciò ha fornito all'azienda una panoramica immediata dei problemi della propria attività che altrimenti avrebbero richiesto un notevole lavoro manuale".

Preparati per un futuro intelligente: abbraccia l'apprendimento automatico

L'apprendimento automatico è un potente strumento che può aiutarti a risolvere i problemi aziendali e prendere decisioni basate sui dati. Si spera che questo articolo ti dia alcune idee su come implementare l'apprendimento automatico supervisionato o non supervisionato nella tua organizzazione.

Se sei pronto ad abbracciare la tecnologia di apprendimento automatico, i tuoi prossimi passi dovrebbero essere valutare le capacità del tuo attuale stack software. Quindi, chiedi ai tuoi fornitori i casi d'uso di altri clienti del tuo settore che siano in linea con le applicazioni per le quali vorresti utilizzare l'apprendimento automatico.