Cómo usar el aprendizaje automático en el análisis de Big Data

Hace años, los dueños de negocios tenían que confiar en su memoria para personalizar la forma en que atendían a su clientela. Cuando la Sra. Jones entró, el dueño de una tienda tuvo que recordar lo que compró la última vez, si terminó llevándolo o no, y si se quejó durante su última visita.

Ahora, gracias a los grandes datos, toneladas de datos comerciales y de clientes se encuentran al alcance de su mano. Sabe dónde vive la Sra. Jones, qué compró en los últimos 10 años, cuánto gastó, con qué frecuencia devuelve artículos y docenas de otras métricas. Con el aprendizaje automático, puede convertir estos y otros datos en conocimientos que impulsen el negocio. Aquí hay un desglose de big data y aprendizaje automático y cómo puede aprovecharlos para impulsar su negocio.

¿Qué son los macrodatos y el aprendizaje automático?

Los grandes datos y el aprendizaje automático son diferentes pero están íntimamente conectados.

¿Qué es el gran volumen de datos?

Big data se refiere a conjuntos de datos enormes o increíblemente complejos que pueden ser imposibles de aprovechar sin herramientas especializadas. Algunas empresas nunca tienen que lidiar con big data. Por ejemplo, si tiene un restaurante con tres ubicaciones que producen datos de ventas e inventario, eso no es "big data".

Por otro lado, si ese mismo restaurante agrega 10 ubicaciones más y una aplicación móvil que permite a los clientes hacer pedidos en línea, aprovechar las recompensas de lealtad y chatear con un representante de servicio al cliente por mensaje de texto, ahora tiene una gran situación de datos. La aplicación por sí sola puede producir datos sobre:

• Las comidas que los clientes piden con más frecuencia
• Las horas del día en que los clientes hacen pedidos
• Dónde piden comida los clientes en función de los datos de geolocalización
• Dónde viven los clientes y las estadísticas de compra asociadas con cada ciudad
• Datos de ventas de cada ubicación
• Cómo usan los clientes sus puntos de recompensa
• Compra de datos durante las horas pico y las vacaciones

Estos ejemplos simplemente arañan la superficie. Este tipo de aplicación podría generar docenas de conjuntos de datos. Además, la información se transmitiría de forma casi constante. Eso es grandes datos.

¿Qué es el aprendizaje automático?

El aprendizaje automático (ML) se refiere al uso de computadoras para reconocer patrones en los datos. El aprendizaje automático hace esto usando algoritmos, que son conjuntos de instrucciones establecidas paso a paso. Un modelo de aprendizaje automático utiliza los pasos de un algoritmo para aprender patrones. Esto también incluye reconocer cuándo se rompen los patrones y aprender a comparar patrones entre sí.

Como ejemplo simple, suponga que desea crear un algoritmo de aprendizaje automático para analizar los datos de ventas. Tiene cinco años de cifras de ventas. Su objetivo es maximizar las ganancias del verano averiguando qué productos debe ofrecer a la venta entre junio y agosto.

Por supuesto, puede llevar ML un paso más allá e incorporar su costo de bienes vendidos (COGS) para cada producto, incluido el envío, la mano de obra, el almacenamiento y otros datos. Luego, su modelo ML podría recomendar no solo los productos que tienen el mayor volumen de ventas de verano, sino que también puede decirle cuáles generan la mayor ganancia neta.

¿Qué es el aprendizaje automático en big data?

En el contexto de big data, cada vez que puede haber patrones en los datos, puede usar el aprendizaje automático para descubrirlos y proporcionar información útil. Además, puede usar ML para hacer recomendaciones basadas en los patrones que analizan los algoritmos.

Cómo funciona el aprendizaje automático con big data

Una de las aplicaciones más populares del aprendizaje automático son los vehículos autónomos. El automóvil utiliza el aprendizaje automático para decidir qué hacer en relación con los datos que recopila de su entorno y otros vehículos.

Por ejemplo, cuando las cámaras dentro de un vehículo autónomo “ven” una señal de alto, pueden reconocerla como tal y aplicar los frenos automáticamente. El proceso detrás de esta decisión probablemente comenzó con un grupo de científicos de datos que probaron múltiples algoritmos de aprendizaje automático. A un alto nivel, esto toma tres pasos:

1. Entrenamiento

Para analizar big data, los científicos de datos primero usan un conjunto de entrenamiento para enseñar a uno o más algoritmos lo que deberían estar buscando.

Por ejemplo, con una señal de alto, el conjunto de entrenamiento serían miles de imágenes de señales de alto. Los ingenieros de datos presentarían imágenes de señales de alto desde diferentes ángulos, con diferente iluminación e incluso con árboles u otros objetos bloqueándolos parcialmente.

Al final de la fase de entrenamiento, la esperanza es que el algoritmo haya identificado patrones en las formas y colores de las señales de alto. En otras palabras, sabe cómo “se ve” una señal de alto, y con diferentes luces y desde una variedad de ángulos.

2. Validación

El conjunto de validación se usa para determinar qué tan preciso es el modelo de ML usando un conjunto completamente diferente de big data. El propósito de la fase de validación es descubrir formas de ajustar el modelo de ML.

Por ejemplo, supongamos que el modelo ML diseñado para identificar las señales de alto tuviera una precisión del 95 % y que todas las imágenes incorrectas fueran muy oscuras. Luego, los desarrolladores podrían usar otra fórmula que aumente el contraste de cada imagen, haciendo que las características importantes sean más fáciles de ver para el modelo ML.

3. Pruebas

La fase de prueba implica alimentar el modelo de ML con más datos grandes que son completamente diferentes de lo que vio durante las fases de entrenamiento y validación.

Por ejemplo, para probar el modelo de señal de alto, los programadores podrían mostrar al modelo ML 250 000 imágenes de diferentes tipos de señales, algunas de las cuales son señales de alto. Luego analizarían los resultados para ver con qué precisión el modelo podía diferenciar las señales de alto, así como evitar identificar erróneamente otros tipos de señales.

Desafíos con el aprendizaje automático y los grandes datos

Dos de los desafíos más abrumadores que enfrentan los científicos de datos que usan ML para estudiar big data son la inexactitud y los dilemas éticos.

1. Inexactitud

Naturalmente, incluso con procesos computacionales avanzados involucrados, aún pasará por un elemento de prueba y error cada vez que use el aprendizaje automático en el análisis de big data. Esto se debe a que nunca se sabe qué factores podrían sesgar los resultados mientras entrena, valida y prueba su modelo.

Por ejemplo, al identificar imágenes, como señales de alto o rostros humanos, múltiples factores podrían contribuir a un rendimiento deficiente en su modelo ML. Por ejemplo, suponga que está desarrollando un modelo de aprendizaje automático para mejorar el sistema de seguridad de su empresa. Específicamente, desea un modelo que pueda identificar los rostros de los ejecutivos y otras personas de alto rango para que puedan acceder a áreas sensibles del edificio. Durante la fase de validación, el sistema tiene solo un 65% de precisión. Pero esto podría deberse a varias variables, como por ejemplo:

• Imágenes pixeladas de caras
• Imágenes que están fuera de foco
• La persona que mira hacia otro lado durante el escaneo facial.
• La persona que decide usar anteojos de sol, una máscara facial, una bufanda o cualquier otra cosa que podría sesgar los resultados de la identificación.

2. Dilemas éticos

También hay desafíos éticos. Por ejemplo, supongamos que un departamento de recursos humanos utiliza el aprendizaje automático para identificar a los candidatos más calificados, extrayéndolos de una pila digital de 1500 currículos.

Si el modelo ML se entrenó utilizando empresas y departamentos de contratación dirigidos solo por hombres, los datos pueden incluir sesgos. Algunos hombres pueden estar más inclinados a contratar a otros hombres, por razones distintas a sus méritos o calificaciones. Por lo tanto, el candidato "exitoso" que los ingenieros entrenaron para que buscara el modelo ML puede, en la mayoría de los casos, ser un hombre. Como resultado, el modelo recomienda hombres en lugar de mujeres que pueden haber sido más calificados.

En un contexto empresarial, ¿cómo se relacionan los grandes datos y el aprendizaje automático?

En un contexto empresarial, el aprendizaje automático utiliza los grandes datos que produce su organización para mejorar o automatizar procesos críticos para el negocio y mejorar la seguridad. Las aplicaciones potenciales son literalmente infinitas y tan diversas como los diferentes tipos de datos que produce.

Por ejemplo, una fábrica o instalación de producción podría utilizar el aprendizaje automático para optimizar los niveles de temperatura y humedad de su planta de producción. Por ejemplo, los modelos de aprendizaje automático pueden averiguar:

• Los niveles de temperatura y humedad que maximizan la productividad de los empleados y minimizan la cantidad de descansos no planificados que deben tomar
• Los niveles ideales de temperatura y humedad para equipos sensibles que podrían deteriorarse más rápido en condiciones inadecuadas
• Las condiciones de temperatura y humedad más rentables, dado el costo de operar sistemas HVAC y deshumidificadores

Luego, el sistema podría usarse para controlar automáticamente su sistema atmosférico para lograr resultados óptimos.

¿Cómo se utilizan el aprendizaje automático y el análisis de big data en marketing?

El marketing ofrece algunas de las aplicaciones más prometedoras de aprendizaje automático y análisis de big data. Considere el siguiente ejemplo de la vida real.

Albert de Harley Davidson aumenta las ventas en un 2930 %

Harley Davidson construyó un robot llamado Albert que utiliza el aprendizaje automático para tomar decisiones de marketing ^[1] . Así es como Albert ayudó a los ejecutivos de Harley Davidson a cabalgar hacia un atardecer más brillante.

Harley Davidson quería aprovechar sus relaciones existentes con clientes anteriores. Usaron a Albert para analizar:

• Con qué frecuencia la gente hizo compras
• Cuánto gastaron estos clientes
• Cuánto tiempo pasaron los clientes navegando por el sitio web de Harley Davidson

Luego, Albert usó estos datos para separar a los clientes en diferentes segmentos. Luego, el equipo de marketing creó campañas de prueba para cada categoría de clientes. Después de probar el éxito de la campaña, el equipo la amplió para involucrar a una amplia franja de clientes anteriores.

Como resultado, Harley Davidson aumentó sus ventas en un 40%. También generaron un 2930 % más de clientes potenciales. La mitad de esas pistas fueron identificadas directamente por Albert mismo. Albert estudió los perfiles de clientes potenciales que tenían muchas probabilidades de convertirse en clientes de pago y luego estudió los perfiles de datos de otros usuarios y identificó a los "parecidos" o personas que tienen mucho en común con los clientes de alta conversión.

Ya sea que esté tratando de averiguar qué comprará la Sra. Jones a continuación u optimizar la eficiencia de una instalación de producción compleja, el aprendizaje automático puede convertir grandes datos aparentemente aleatorios en información transformadora. Con un poco de lluvia de ideas y pensamiento creativo, puede encontrar formas de usar ML y big data para superar a la competencia y llevar su organización al siguiente nivel.

Fuentes

1. Harley Davidson NYC alcanza su punto más alto con Albert, Albert.ai