Cum să utilizați învățarea automată în Big Data Analytics

Cu ani în urmă, proprietarii de afaceri trebuiau să se bazeze pe memoria lor pentru a personaliza modul în care își serveau clientela. Când doamna Jones a intrat, proprietarul unui magazin a trebuit să-și amintească ce a cumpărat ultima dată, dacă a ajuns sau nu să-l aducă înapoi și dacă s-a plâns de asta în timpul ultimei vizite.

Acum, datorită datelor mari, tone de date despre clienți și afaceri stau la îndemână. Știți unde locuiește doamna Jones, ce a cumpărat în ultimii 10 ani, cât a cheltuit, cât de des returnează articole și zeci de alte valori. Folosind învățarea automată, puteți transforma aceste date și alte date în informații care să stimuleze afacerea. Iată o detaliere a datelor mari și a învățării automate și a modului în care le puteți folosi pentru a vă alimenta afacerea.

Ce sunt big data și machine learning?

Big Data și învățarea automată sunt diferite, dar strâns legate.

Ce este big data?

Big data se referă la seturi de date uriașe sau incredibil de complexe, care pot fi imposibil de utilizat fără instrumente specializate. Unele companii nu trebuie niciodată să se ocupe de big data. De exemplu, dacă aveți un restaurant cu trei locații care produc date despre vânzări și inventar, acestea nu sunt „date mari”.

Pe de altă parte, dacă același restaurant adaugă încă 10 locații și o aplicație mobilă care le permite clienților să plaseze comenzi online, să profite de recompensele de loialitate și să discute cu un reprezentant al serviciului pentru clienți prin mesaj, acum aveți o situație de date mari. Numai aplicația poate produce date referitoare la:

• Mesele pe care clienții le comandă cel mai des
• Orele din zi clienții plasează comenzi
• De unde clienții comandă mâncare pe baza datelor de localizare geografică
• Unde locuiesc clienții și statisticile de cumpărare asociate fiecărui oraș
• Date de vânzări din fiecare locație
• Cum își folosesc clienții punctele de recompensă
• Date de achiziție în perioadele de vârf și de vacanță

Aceste exemple nu fac decât să zgârie suprafața. Acest tip de aplicație ar putea genera zeci de seturi de date. De asemenea, informațiile ar fi transmise în mod aproape constant. Sunt date mari.

Ce este învățarea automată?

Învățarea automată (ML) se referă la utilizarea computerelor pentru a recunoaște modele în date. Învățarea automată face acest lucru folosind algoritmi, care sunt seturi de instrucțiuni prezentate pas cu pas. Un model de învățare automată folosește pașii dintr-un algoritm pentru a învăța modele. Aceasta include, de asemenea, recunoașterea momentului în care modelele sunt rupte și învățarea cum să le comparăm între ele.

Ca exemplu simplu, să presupunem că doriți să construiți un algoritm de învățare automată pentru a analiza datele vânzărilor. Ai cifre de vânzări în valoare de cinci ani. Scopul dvs. este de a maximiza profiturile de vară, determinând ce produse ar trebui să oferiți spre vânzare în perioada iunie-august.

Desigur, puteți face ML un pas mai departe și puteți include costul mărfurilor vândute (COGS) pentru fiecare produs, inclusiv transportul, forța de muncă, stocarea și alte date. Atunci modelul tău ML ar putea recomanda nu doar produsele care au cel mai mare volum de vânzări de vară, dar îți poate spune și care dintre ele aduc cel mai mare profit net.

Ce este învățarea automată în Big Data?

În contextul datelor mari, oricând pot exista modele în date, puteți utiliza învățarea automată pentru a le descoperi și a oferi informații utile. De asemenea, puteți utiliza ML pentru a face recomandări pe baza modelelor analizate de algoritmi.

Cum funcționează învățarea automată cu big data

Una dintre cele mai populare aplicații ale învățării automate este vehiculele cu conducere autonomă. Mașina folosește învățarea automată pentru a decide ce să facă în raport cu datele pe care le adună din împrejurimile sale și din alte vehicule.

De exemplu, atunci când camerele din interiorul unui vehicul cu conducere autonomă „văd” un semn de oprire, îl pot recunoaște ca atare și pot aplica automat frânele. Procesul din spatele acestei decizii a început cel mai probabil cu un grup de oameni de știință care au testat mai mulți algoritmi de învățare automată. La un nivel înalt, acest lucru necesită trei pași:

1. Antrenament

Pentru a analiza datele mari, oamenii de știință din date folosesc mai întâi un set de antrenament pentru a învăța unul sau mai mulți algoritmi ce ar trebui să caute.

De exemplu, cu un semn de oprire, setul de antrenament ar fi mii de imagini cu semne de oprire. Inginerii de date ar prezenta imagini cu semne de oprire din unghiuri diferite, cu iluminare diferită și chiar cu copaci sau alte obiecte care le blochează parțial.

La sfârșitul fazei de antrenament, speranța este că algoritmul a identificat modele în formele și culorile semnelor de oprire. Cu alte cuvinte, știe cum „arata” un semn de oprire – și în diferite lumini și dintr-o varietate de unghiuri.

2. Validarea

Setul de validare este utilizat pentru a afla cât de precis este modelul ML folosind un set complet diferit de date mari. Scopul fazei de validare este de a descoperi modalități de a ajusta modelul ML.

De exemplu, să presupunem că modelul ML conceput pentru a identifica semnele de oprire a fost 95% precis și toate imaginile greșite au fost foarte întunecate. Dezvoltatorii ar putea folosi apoi o altă formulă care mărește contrastul fiecărei imagini, făcând mai ușor de văzut pentru modelul ML caracteristicile importante.

3. Testare

Faza de testare implică alimentarea modelului ML cu mai multe date mari, care sunt complet diferite de ceea ce a văzut în timpul fazelor de instruire și validare.

De exemplu, pentru a testa modelul de semne de oprire, programatorii ar putea arăta modelului ML 250.000 de imagini cu diferite tipuri de semne, dintre care unele sunt semne de oprire. Ei ar analiza apoi rezultatele pentru a vedea cât de precis modelul a fost capabil să diferențieze semnele de oprire – precum și să evite identificarea greșită a altor tipuri de semne.

Provocări legate de învățarea automată și big data

Două dintre cele mai descurajante provocări cu care se confruntă oamenii de știință de date care folosesc ML pentru a studia datele mari sunt inexactitatea și dilemele etice.

1. Inexactitate

Desigur, chiar și cu procese de calcul avansate implicate, veți trece printr-un element de încercare și eroare oricând folosiți învățarea automată în analiza datelor mari. Acest lucru se datorează faptului că nu știți niciodată ce factori v-ar putea modifica rezultatele pe măsură ce vă antrenați, validați și testați modelul.

De exemplu, atunci când identificați imagini, cum ar fi semnele de oprire sau fețele umane, mai mulți factori ar putea contribui la performanța slabă a modelului dvs. ML. De exemplu, să presupunem că dezvoltați un model de învățare automată pentru a îmbunătăți sistemul de securitate al companiei dvs. Mai exact, vrei un model care să poată identifica fețele directorilor și altor oameni de rang înalt, astfel încât să li se acorde acces în zonele sensibile ale clădirii. În timpul fazei de validare, sistemul are o precizie de numai aproximativ 65%. Dar acest lucru s-ar putea datora mai multor variabile, cum ar fi:

• Imagini pixelate ale fețelor
• Imagini care nu sunt focalizate
• Persoana care se uită în altă parte în timpul scanării faciale
• Persoana care decide să poarte ochelari de soare, o mască de față, o eșarfă sau altceva care ar putea denatura rezultatele identificării

2. Dileme etice

Există și provocări etice. De exemplu, să presupunem că un departament de resurse umane folosește învățarea automată pentru a identifica candidații cei mai calificați, scoțându-i dintr-o stivă digitală de 1.500 de CV-uri.

Dacă modelul ML a fost instruit folosind companii și departamente de angajare conduse numai de bărbați, datele pot include părtiniri. Unii bărbați pot fi mai înclinați să angajeze alți bărbați – din alte motive decât meritele sau calificările lor. Prin urmare, candidatul „de succes” pe care inginerii l-au antrenat modelul ML pe care să-l caute poate, în cele mai multe cazuri, să fie bărbat. Drept urmare, modelul recomandă bărbați în loc de femei care ar fi putut fi mai calificate.

Într-un context de afaceri, cum sunt legate de big data și machine learning?

Într-un context de afaceri, învățarea automată utilizează datele mari pe care organizația dvs. le produce pentru a îmbunătăți sau automatiza procesele critice pentru afaceri și pentru a îmbunătăți securitatea și siguranța. Aplicațiile potențiale sunt literalmente nesfârșite – și la fel de diverse ca și diferitele tipuri de date pe care le produceți.

De exemplu, o fabrică sau o unitate de producție ar putea folosi învățarea automată pentru a optimiza nivelul de temperatură și umiditate pentru podeaua fabricii sale. De exemplu, modelele de învățare automată pot descoperi:

• Nivelurile de temperatură și umiditate care maximizează productivitatea angajaților minimizând în același timp numărul de pauze neplanificate pe care trebuie să le facă
• Nivelurile ideale de temperatură și umiditate pentru echipamentele sensibile care s-ar putea deteriora mai repede, în condițiile greșite
• Cele mai rentabile condiții de temperatură și umiditate, având în vedere costurile de funcționare a sistemelor HVAC și a dezumidificatoarelor

Sistemul ar putea fi apoi folosit pentru a controla automat sistemul dvs. atmosferic pentru a obține rezultate optime.

Cum se utilizează învățarea automată și analiza datelor mari în marketing?

Marketingul oferă unele dintre cele mai promițătoare aplicații de învățare automată și analiză de date mari. Luați în considerare următorul exemplu din viața reală.

Albert de la Harley Davidson crește avantajele cu 2.930%

Harley Davidson a construit un robot pe nume Albert care folosește învățarea automată pentru a lua decizii de marketing ^[1] . Așa i-a ajutat Albert pe directorii lui Harley Davidson să plece spre un apus de soare mai strălucitor.

Harley Davidson a dorit să își valorifice relațiile existente cu clienții anteriori. L-au folosit pe Albert pentru a analiza:

• Cât de des au făcut oamenii cumpărături
• Cât au cheltuit acești clienți
• Cât timp au petrecut clienții navigând pe site-ul Harley Davidson

Albert a folosit apoi aceste date pentru a separa clienții în diferite segmente. Echipa de marketing a creat apoi campanii de testare pentru fiecare categorie de clienți. După ce a testat succesul campaniei, echipa a extins-o pentru a implica o gamă largă de clienți anteriori.

Drept urmare, Harley Davidson și-a crescut vânzările cu 40%. De asemenea, au generat cu 2.930% mai multe clienți potențiali. Jumătate dintre acești indicii au fost identificați direct de Albert el însuși. Albert a studiat profilurile clienților potențiali care erau foarte probabil să se transforme în clienți plătitori și apoi a studiat profilurile de date ale altor utilizatori și a identificat „asemeni” sau oameni care au multe în comun cu clienții cu conversie mare.

Indiferent dacă încercați să vă dați seama ce va cumpăra doamna Jones în continuare sau să optimizați eficiența unei unități de producție complexe, învățarea automată poate transforma datele mari aparent aleatorii în perspective transformaționale. Cu puțin brainstorming și gândire creativă, puteți găsi modalități de a utiliza ML și big data pentru a depăși concurența și pentru a vă aduce organizația la următorul nivel.

Surse

1. Harley Davidson NYC atinge maximul tuturor timpurilor cu Albert, Albert.ai