Come utilizzare l'apprendimento automatico nell'analisi dei big data

Anni fa, gli imprenditori dovevano fare affidamento sulla loro memoria per personalizzare il modo in cui servivano la loro clientela. Quando la signora Jones è entrata, il proprietario di un negozio ha dovuto ricordare cosa aveva comprato l'ultima volta, se avesse finito per riportarlo indietro e se se ne fosse lamentata durante la sua ultima visita.

Ora, grazie ai big data, tonnellate di dati aziendali e di clienti sono a portata di mano. Sai dove vive la signora Jones, cosa ha acquistato negli ultimi 10 anni, quanto ha speso, quanto spesso restituisce gli articoli e dozzine di altri parametri. Utilizzando l'apprendimento automatico, puoi trasformare questi e altri dati in informazioni utili per il business. Ecco una ripartizione dei big data e dell'apprendimento automatico e come sfruttarli per potenziare la tua attività.

Cosa sono i big data e l'apprendimento automatico?

Big data e machine learning sono diversi ma intimamente connessi.

Cosa sono i big data?

I big data si riferiscono a set di dati enormi o incredibilmente complessi che potrebbero essere impossibili da sfruttare senza strumenti specializzati. Alcune aziende non hanno mai a che fare con i big data. Ad esempio, se hai un ristorante con tre sedi che producono dati sulle vendite e sull'inventario, non si tratta di "big data".

D'altra parte, se lo stesso ristorante aggiunge altre 10 sedi e un'app mobile che consente ai clienti di effettuare ordini online, sfruttare i premi fedeltà e chattare con un rappresentante del servizio clienti via SMS, ora hai una situazione di big data. La sola app può produrre dati riguardanti:

• I pasti che i clienti ordinano più spesso
• Le ore del giorno i clienti effettuano gli ordini
• Da dove i clienti ordinano il cibo in base ai dati di geolocalizzazione
• Dove vivono i clienti e le statistiche di acquisto associate a ciascuna città
• Dati di vendita da ogni posizione
• Come i clienti utilizzano i loro punti premio
• Acquisto di dati durante i periodi di punta e festivi

Questi esempi graffiano semplicemente la superficie. Questo tipo di app potrebbe generare dozzine di set di dati. Inoltre, le informazioni sarebbero trasmesse in streaming quasi costantemente. Sono i big data.

Che cos'è l'apprendimento automatico?

L'apprendimento automatico (ML) si riferisce all'utilizzo di computer per riconoscere i modelli nei dati. L'apprendimento automatico lo fa utilizzando algoritmi, che sono insiemi di istruzioni disposte passo dopo passo. Un modello di apprendimento automatico utilizza i passaggi di un algoritmo per apprendere i modelli. Ciò include anche riconoscere quando gli schemi vengono interrotti e imparare a confrontare gli schemi tra loro.

Come semplice esempio, supponiamo di voler costruire un algoritmo di apprendimento automatico per analizzare i dati di vendita. Hai cinque anni di dati di vendita. Il tuo obiettivo è massimizzare i profitti estivi scoprendo quali prodotti dovresti offrire in vendita tra giugno e agosto.

Ovviamente, potresti fare un ulteriore passo avanti nel ML e incorporare il costo delle merci vendute (COGS) per ciascun prodotto, inclusi spedizione, manodopera, archiviazione e altri dati. Quindi il tuo modello ML potrebbe consigliarti non solo i prodotti che hanno il volume di vendite estive più alto, ma può anche dirti quali portano il maggior profitto netto.

Che cos'è l'apprendimento automatico nei big data?

Nel contesto dei big data, ogni volta che possono essere presenti modelli nei dati, puoi utilizzare l'apprendimento automatico per scoprirli e fornire informazioni utili. Inoltre, puoi utilizzare ML per formulare consigli in base ai modelli analizzati dagli algoritmi.

Come funziona il machine learning con i big data

Una delle applicazioni più popolari dell'apprendimento automatico sono i veicoli a guida autonoma. L'auto utilizza l'apprendimento automatico per decidere cosa fare in relazione ai dati che raccoglie dall'ambiente circostante e da altri veicoli.

Ad esempio, quando le telecamere all'interno di un veicolo a guida autonoma “vedono” un segnale di stop, possono riconoscerlo come tale e azionare automaticamente i freni. Il processo alla base di questa decisione molto probabilmente è iniziato con un gruppo di data scientist che ha testato più algoritmi di apprendimento automatico. Ad alto livello, questo richiede tre passaggi:

1. Formazione

Per analizzare i big data, i data scientist utilizzano prima un set di formazione per insegnare a uno o più algoritmi cosa dovrebbero cercare.

Ad esempio, con un segnale di stop, il set di allenamento sarebbe costituito da migliaia di immagini di segnali di stop. Gli ingegneri dei dati presenterebbero immagini di segnali di stop da angolazioni diverse, con illuminazione diversa e persino con alberi o altri oggetti che li bloccano parzialmente.

Al termine della fase di addestramento, la speranza è che l'algoritmo abbia individuato schemi nelle forme e nei colori dei segnali di stop. In altre parole, sa che aspetto ha un segnale di stop, con luci diverse e da una varietà di angolazioni.

2. Convalida

Il set di convalida viene utilizzato per capire quanto sia accurato il modello ML utilizzando un set di big data completamente diverso. Lo scopo della fase di convalida è scoprire modi per mettere a punto il modello ML.

Ad esempio, supponiamo che il modello ML progettato per identificare i segnali di stop fosse accurato al 95% e che tutte le immagini sbagliate fossero molto scure. Gli sviluppatori potrebbero quindi utilizzare un'altra formula che aumenta il contrasto di ogni immagine, rendendo più facili da vedere le caratteristiche importanti per il modello ML.

3. Test

La fase di test prevede l'alimentazione del modello ML di più big data completamente diversi da quelli che ha visto durante le fasi di formazione e convalida.

Ad esempio, per testare il modello del segnale di stop, i programmatori potrebbero mostrare al modello ML 250.000 immagini di diversi tipi di segnaletica, alcuni dei quali sono segnali di stop. Avrebbero quindi analizzato i risultati per vedere con quanta precisione il modello fosse in grado di differenziare i segnali di stop, oltre a evitare di identificare erroneamente altri tipi di segnali.

Sfide con machine learning e big data

Due delle sfide più scoraggianti che i data scientist devono affrontare utilizzando il ML per studiare i big data sono l'imprecisione e i dilemmi etici.

1. Imprecisione

Naturalmente, anche con processi di calcolo avanzati coinvolti, continuerai a passare attraverso un elemento di tentativi ed errori ogni volta che utilizzerai l'apprendimento automatico nell'analisi dei big data. Questo perché non si sa mai quali fattori potrebbero distorcere i risultati durante l'addestramento, la convalida e il test del modello.

Ad esempio, quando si identificano immagini, come segnali di stop o volti umani, più fattori potrebbero contribuire a scarse prestazioni nel modello ML. Ad esempio, supponi di sviluppare un modello di apprendimento automatico per migliorare il sistema di sicurezza della tua azienda. In particolare, si desidera un modello in grado di identificare i volti di dirigenti e altre persone di alto rango in modo che possano avere accesso alle aree sensibili dell'edificio. Durante la fase di convalida, il sistema è accurato solo al 65% circa. Ma ciò potrebbe essere dovuto a diverse variabili, come ad esempio:

• Immagini pixelate di volti
• Immagini sfocate
• La persona che distoglie lo sguardo durante la scansione facciale
• L'individuo che decide di indossare occhiali da sole, una maschera per il viso, una sciarpa o qualcos'altro che potrebbe distorcere i risultati dell'identificazione

2. Dilemmi etici

Ci sono anche sfide etiche. Ad esempio, supponiamo che un dipartimento delle risorse umane utilizzi l'apprendimento automatico per identificare i candidati più qualificati, estraendoli da uno stack digitale di 1.500 curricula.

Se il modello ML è stato addestrato utilizzando aziende e dipartimenti di assunzione gestiti solo da uomini, i dati potrebbero includere pregiudizi. Alcuni uomini potrebbero essere più inclini ad assumere altri maschi, per ragioni diverse dai loro meriti o qualifiche. Pertanto, il candidato "di successo" che gli ingegneri hanno addestrato al modello ML da cercare potrebbe, nella maggior parte dei casi, essere un maschio. Di conseguenza, il modello raccomanda gli uomini invece delle donne che potrebbero essere state più qualificate.

In un contesto aziendale, come sono correlati i big data e l'apprendimento automatico?

In un contesto aziendale, il machine learning utilizza i big data prodotti dall'organizzazione per migliorare o automatizzare i processi business-critical e aumentare la sicurezza. Le potenziali applicazioni sono letteralmente infinite e tanto diverse quanto i diversi tipi di dati che produci.

Ad esempio, una fabbrica o un impianto di produzione potrebbe utilizzare l'apprendimento automatico per ottimizzare i livelli di temperatura e umidità per la sua fabbrica. Ad esempio, i modelli di machine learning possono capire:

• I livelli di temperatura e umidità che massimizzano la produttività dei dipendenti riducendo al minimo il numero di pause non pianificate che devono fare
• I livelli di temperatura e umidità ideali per apparecchiature sensibili che potrebbero deteriorarsi più rapidamente a causa delle condizioni sbagliate
• Le condizioni di temperatura e umidità più convenienti, date le spese per l'esecuzione di sistemi HVAC e deumidificatori

Il sistema potrebbe quindi essere utilizzato per controllare automaticamente il sistema atmosferico per ottenere risultati ottimali.

In che modo l'apprendimento automatico e l'analisi dei big data vengono utilizzati nel marketing?

Il marketing offre alcune delle applicazioni più promettenti dell'apprendimento automatico e dell'analisi dei big data. Considera il seguente esempio di vita reale.

Albert di Harley Davidson aumenta i lead del 2.930%

Harley Davidson ha costruito un robot di nome Albert che utilizza l'apprendimento automatico per prendere decisioni di marketing ^[1] . È così che Albert ha aiutato i dirigenti di Harley Davidson a cavalcare verso un tramonto più luminoso.

Harley Davidson voleva sfruttare le relazioni esistenti con i clienti precedenti. Hanno usato Albert per analizzare:

• Quante volte le persone hanno fatto acquisti
• Quanto hanno speso questi clienti
• Quanto tempo i clienti hanno trascorso a navigare sul sito web di Harley Davidson

Albert ha quindi utilizzato questi dati per separare i clienti in segmenti diversi. Il team di marketing ha quindi creato campagne di prova per ciascuna categoria di clienti. Dopo aver testato il successo della campagna, il team l'ha ampliata per coinvolgere un'ampia fascia di clienti precedenti.

Di conseguenza, Harley Davidson ha aumentato le sue vendite del 40%. Hanno anche generato il 2.930% di lead in più. La metà di quei contatti sono stati identificati direttamente da Albert lui stesso. Albert ha studiato i profili dei lead che molto probabilmente si sarebbero convertiti in clienti paganti, quindi ha studiato i profili dei dati di altri utenti e ha individuato i "sosia", ovvero le persone che hanno molto in comune con i clienti ad alto tasso di conversione.

Sia che tu stia cercando di capire cosa comprerà successivamente la signora Jones o di ottimizzare l'efficienza di un complesso impianto di produzione, l'apprendimento automatico può trasformare i big data apparentemente casuali in informazioni trasformative. Con un po' di brainstorming e di pensiero creativo, puoi trovare modi per utilizzare ML e big data per superare la concorrenza e portare la tua organizzazione al livello successivo.

Fonti

1. Harley Davidson NYC raggiunge il massimo storico con Albert, Albert.ai