Como usar o aprendizado de máquina em Big Data Analytics

Anos atrás, os empresários precisavam confiar em sua memória para personalizar a forma como atendiam sua clientela. Quando a Sra. Jones entrou, a dona de uma loja teve que se lembrar do que ela comprou da última vez, se ela acabou trazendo ou não de volta, e se ela reclamou durante sua última visita.

Agora, graças ao big data, toneladas de dados de clientes e negócios ficam ao seu alcance. Você sabe onde a Sra. Jones mora, o que ela comprou nos últimos 10 anos, quanto ela gastou, com que frequência ela devolve itens e dezenas de outras métricas. Usando o aprendizado de máquina, você pode transformar esses e outros dados em insights que impulsionam os negócios. Aqui está um detalhamento de big data e aprendizado de máquina e como você pode aproveitá-los para impulsionar seus negócios.

O que são big data e aprendizado de máquina?

Big data e aprendizado de máquina são diferentes, mas intimamente conectados.

O que são grandes dados?

Big data refere-se a conjuntos de dados enormes ou incrivelmente complexos que podem ser impossíveis de alavancar sem ferramentas especializadas. Algumas empresas nunca precisam lidar com big data. Por exemplo, se você tem um restaurante com três locais produzindo dados de vendas e estoque, isso não é “big data”.

Por outro lado, se esse mesmo restaurante adicionar mais 10 locais e um aplicativo móvel que permita que os clientes façam pedidos on-line, aproveitem as recompensas de fidelidade e conversem com um representante de atendimento ao cliente por texto, agora você tem uma situação de big data. O aplicativo sozinho pode produzir dados sobre:

• As refeições que os clientes pedem com mais frequência
• Os horários do dia em que os clientes fazem pedidos
• De onde os clientes pedem comida com base em dados de geolocalização
• Onde os clientes moram e as estatísticas de compra associadas a cada cidade
• Dados de vendas de cada local
• Como os clientes usam seus pontos de recompensa
• Compra de dados durante os horários de pico e feriados

Esses exemplos apenas arranham a superfície. Esse tipo de aplicativo pode gerar dezenas de conjuntos de dados. Além disso, a informação estaria fluindo em uma base quase constante. Isso é big data.

O que é aprendizado de máquina?

O aprendizado de máquina (ML) refere-se ao uso de computadores para reconhecer padrões em dados. O aprendizado de máquina faz isso usando algoritmos, que são conjuntos de instruções apresentadas passo a passo. Um modelo de aprendizado de máquina usa as etapas de um algoritmo para aprender padrões. Isso também inclui reconhecer quando os padrões estão sendo quebrados e aprender a comparar padrões entre si.

Como um exemplo simples, suponha que você queira construir um algoritmo de aprendizado de máquina para analisar dados de vendas. Você tem cinco anos de números de vendas. Seu objetivo é maximizar os lucros do verão, descobrindo quais produtos você deve oferecer para venda entre junho e agosto.

Claro, você pode levar o ML um passo adiante e incorporar seu custo de mercadorias vendidas (COGS) para cada produto, incluindo frete, mão de obra, armazenamento e outros dados. Então, seu modelo de ML pode recomendar não apenas os produtos que têm o maior volume de vendas de verão, mas também pode dizer quais trazem o maior lucro líquido.

O que é aprendizado de máquina em big data?

No contexto de big data, sempre que houver padrões nos dados, você pode usar o aprendizado de máquina para descobri-los e fornecer informações úteis. Além disso, você pode usar o ML para fazer recomendações com base nos padrões que os algoritmos analisam.

Como o aprendizado de máquina funciona com big data

Uma das aplicações mais populares do aprendizado de máquina são os veículos autônomos. O carro usa aprendizado de máquina para decidir o que fazer em relação aos dados que coleta de seus arredores e de outros veículos.

Por exemplo, quando as câmeras dentro de um veículo autônomo “vêem” um sinal de pare, elas podem reconhecê-lo como tal e acionar os freios automaticamente. O processo por trás dessa decisão provavelmente começou com um grupo de cientistas de dados testando vários algoritmos de aprendizado de máquina. Em um nível alto, isso leva três etapas:

1. Treinamento

Para analisar big data, os cientistas de dados primeiro usam um conjunto de treinamento para ensinar a um ou mais algoritmos o que eles devem procurar.

Por exemplo, com um sinal de parada, o conjunto de treinamento seria milhares de imagens de sinais de parada. Os engenheiros de dados apresentariam imagens de sinais de parada de diferentes ângulos, com iluminação diferente e até mesmo com árvores ou outros objetos bloqueando-os parcialmente.

Ao final da fase de treinamento, a esperança é que o algoritmo tenha identificado padrões nas formas e cores dos sinais de parada. Em outras palavras, ele sabe como um sinal de pare “se parece” – e em iluminação diferente e de vários ângulos.

2. Validação

O conjunto de validação é usado para descobrir a precisão do modelo de ML usando um conjunto completamente diferente de big data. O objetivo da fase de validação é descobrir maneiras de ajustar o modelo de ML.

Por exemplo, suponha que o modelo de ML projetado para identificar sinais de parada tenha 95% de precisão e todas as imagens erradas fossem muito escuras. Os desenvolvedores podem então usar outra fórmula que aumenta o contraste de cada imagem, facilitando a visualização de características importantes para o modelo de ML.

3. Teste

A fase de teste envolve alimentar o modelo de ML com mais big data completamente diferente do que foi visto durante as fases de treinamento e validação.

Por exemplo, para testar o modelo de sinal de parada, os programadores podem mostrar ao modelo ML 250.000 imagens de diferentes tipos de sinais, alguns dos quais são sinais de parada. Eles então analisariam os resultados para ver com que precisão o modelo era capaz de diferenciar os sinais de parada – bem como evitar identificar erroneamente outros tipos de sinais.

Desafios com aprendizado de máquina e big data

Dois dos desafios mais assustadores enfrentados pelos cientistas de dados que usam ML para estudar big data são imprecisão e dilemas éticos.

1. Imprecisão

Naturalmente, mesmo com processos computacionais avançados envolvidos, você ainda passará por um elemento de tentativa e erro sempre que usar o aprendizado de máquina na análise de big data. Isso ocorre porque você nunca sabe quais fatores podem distorcer seus resultados à medida que você treina, valida e testa seu modelo.

Por exemplo, ao identificar imagens, como placas de pare ou rostos humanos, vários fatores podem contribuir para um desempenho insatisfatório em seu modelo de ML. Por exemplo, suponha que você esteja desenvolvendo um modelo de aprendizado de máquina para melhorar o sistema de segurança da sua empresa. Especificamente, você quer um modelo que possa identificar os rostos de executivos e outras pessoas de alto escalão para que possam ter acesso a áreas sensíveis do edifício. Durante a fase de validação, o sistema tem apenas cerca de 65% de precisão. Mas isso pode ser devido a várias variáveis, como:

• Imagens pixeladas de rostos
• Imagens fora de foco
• A pessoa desviando o olhar durante a varredura facial
• O indivíduo que decide usar óculos escuros, máscara facial, cachecol ou qualquer outra coisa que possa distorcer os resultados da identificação

2. Dilemas éticos

Há também desafios éticos. Por exemplo, suponha que um departamento de RH use aprendizado de máquina para identificar os candidatos mais qualificados, retirando-os de uma pilha digital de 1.500 currículos.

Se o modelo de ML foi treinado usando empresas e departamentos de contratação administrados apenas por homens, os dados podem incluir viés. Alguns homens podem estar mais inclinados a contratar outros homens – por outras razões que não seus méritos ou qualificações. Portanto, o candidato “bem-sucedido” que os engenheiros treinaram o modelo de ML para procurar pode, na maioria dos casos, ser do sexo masculino. Como resultado, o modelo recomenda homens em vez de mulheres que podem ter sido mais qualificadas.

Em um contexto de negócios, como o big data e o aprendizado de máquina estão relacionados?

Em um contexto de negócios, o aprendizado de máquina usa o big data que sua organização produz para melhorar ou automatizar processos críticos para os negócios e aprimorar a segurança. As aplicações potenciais são literalmente infinitas — e tão diversas quanto os diferentes tipos de dados que você produz.

Por exemplo, uma fábrica ou instalação de produção pode usar o aprendizado de máquina para otimizar os níveis de temperatura e umidade do chão de fábrica. Por exemplo, os modelos de aprendizado de máquina podem descobrir:

• Os níveis de temperatura e umidade que maximizam a produtividade dos funcionários, minimizando o número de pausas não planejadas que eles precisam fazer
• Os níveis ideais de temperatura e umidade para equipamentos sensíveis que podem se deteriorar mais rapidamente em condições erradas
• As condições de temperatura e umidade mais econômicas, dada a despesa de execução de sistemas HVAC e desumidificadores

O sistema pode então ser usado para controlar automaticamente seu sistema atmosférico para obter resultados ideais.

Como o aprendizado de máquina e a análise de big data são usados ​​no marketing?

O marketing oferece algumas das aplicações mais promissoras de aprendizado de máquina e análise de big data. Considere o seguinte exemplo da vida real.

Albert, da Harley Davidson, aumenta os leads em 2.930%

A Harley Davidson construiu um robô chamado Albert que usa aprendizado de máquina para tomar decisões de marketing ^[1] . Foi assim que Albert ajudou os executivos da Harley Davidson a cavalgar para um pôr do sol mais brilhante.

A Harley Davidson queria alavancar seus relacionamentos existentes com clientes anteriores. Eles usaram Albert para analisar:

• Com que frequência as pessoas fizeram compras
• Quanto esses clientes gastaram
• Quanto tempo os clientes passaram navegando no site da Harley Davidson

Albert então usou esses dados para separar os clientes em diferentes segmentos. A equipe de marketing então criou campanhas de teste para cada categoria de clientes. Depois de testar o sucesso da campanha, a equipe a ampliou para envolver uma ampla gama de clientes anteriores.

Como resultado, a Harley Davidson aumentou suas vendas em 40%. Eles também geraram 2.930% mais leads. Metade dessas pistas foram identificadas diretamente pelo próprio Albert. Albert estudou os perfis de leads que provavelmente se converteriam em clientes pagantes e, em seguida, estudou os perfis de dados de outros usuários e identificou “semelhantes”, ou pessoas que têm muito em comum com os clientes de alta conversão.

Esteja você tentando descobrir o que a Sra. Jones comprará em seguida ou otimizando a eficiência de uma instalação de produção complexa, o aprendizado de máquina pode transformar big data aparentemente aleatório em insights transformacionais. Com um pouco de brainstorming e pensamento criativo, você pode encontrar maneiras de usar ML e big data para superar a concorrência e levar sua organização ao próximo nível.

Fontes

1. Harley Davidson NYC atinge o máximo de todos os tempos com Albert, Albert.ai