Aprendizado supervisionado versus não supervisionado: qual modelo de aprendizado de máquina é ideal para você?

O aprendizado de máquina não precisa ser mistificador. Vamos detalhar os dois tipos mais comuns e seus casos de uso neste artigo.

Como líder de negócios, você sabe que a adoção de novas tecnologias pode aliviar os pontos problemáticos e tornar seus negócios mais competitivos. É por isso que, durante um ano de disrupção, muitas empresas recorreram à transformação digital para sobreviver.

Você também pode estar ciente do potencial de tecnologias emergentes, como aprendizado de máquina, que podem tornar sua empresa à prova de futuro. Mas cuidado com o comprador – se você não entender as aplicações do aprendizado de máquina, corre o risco de desperdiçar dinheiro com resultados inutilizáveis. Veja o exemplo abaixo para ver o que queremos dizer.

Para nos prepararmos para escrever este artigo, usamos uma ferramenta de geração de linguagem natural (NLG) para nos ajudar a entender a melhor forma de dividir o aprendizado supervisionado versus não supervisionado. Aqui está um trecho de nossa contraparte NLG:

“Cada modelo de aprendizado não supervisionado fornece matrizes tensorong à frente com base no coeficiente de correlação, resposta falso positivo, dados estatisticamente úteis mínimos (ou fortemente dependentes deles), é usado para redução de dimensionalidade usando gráficos e árvores para gerar seus próprios pontos de dados de limites.”

Sentindo confuso? Nós também. Mas, apesar da sintaxe desconcertante das frases da ferramenta NLG, esse experimento com inteligência artificial (IA) não foi totalmente inútil. Isso nos fez perceber que, quando se trata de obter os melhores resultados da IA, encontrar a aplicação certa é importante – e é exatamente por isso que escrevemos este guia para ajudá-lo.

Conversamos com Thomas Wood, consultor de ciência de dados da Fast Data Science, e ele ajudou a detalhar o assunto em termos fáceis de entender. Com a ajuda de Wood, explicaremos a diferença entre dois métodos comuns de aprendizado de máquina, aprendizado supervisionado e não supervisionado, e quais casos de uso são mais adequados para cada método.

Quais são as principais diferenças entre aprendizado supervisionado e não supervisionado?

Se tivéssemos que resumir em uma frase, seria esta: A principal diferença entre aprendizado supervisionado e aprendizado não supervisionado é que o aprendizado supervisionado usa dados rotulados para ajudar a prever resultados, enquanto o aprendizado não supervisionado não.

No entanto, existem nuances adicionais entre as duas abordagens, que continuaremos a esclarecer para que você possa escolher a melhor abordagem para sua situação.

Como funciona o aprendizado de máquina supervisionado

Como mencionamos acima, o aprendizado supervisionado usa dados rotulados para treinar o modelo. Mas o que isso significa em teoria? Vamos percorrer alguns exemplos para começar.

Com o aprendizado supervisionado, o modelo recebe entradas e saídas correspondentes. Suponha que estamos treinando o modelo para identificar e classificar diferentes tipos de frutas. Neste exemplo, você fornecerá várias fotos de frutas como entrada, juntamente com sua forma, tamanho, cor e perfil de sabor. Em seguida, você fornecerá o modelo com os nomes de cada fruta como sua saída.

Eventualmente, o algoritmo irá pegar um padrão entre as características das frutas (as entradas) e seus nomes (as saídas). Quando isso acontecer, o modelo pode receber uma nova entrada e prever a saída para você. Esse tipo de aprendizado supervisionado, chamado de classificação , é o mais comum .

Como funciona o aprendizado de máquina não supervisionado

Por outro lado, o aprendizado não supervisionado funciona ensinando o modelo a identificar padrões por conta própria (portanto, não supervisionado ) a partir de dados não rotulados. Isso significa que uma entrada é fornecida, mas não uma saída.

Para entender como isso funciona, vamos continuar com o exemplo de fruta dado acima. Com o aprendizado não supervisionado, você fornecerá ao modelo o conjunto de dados de entrada (as imagens das frutas e suas características), mas não fornecerá a saída (os nomes das frutas).

O modelo usará um algoritmo adequado para treinar-se para dividir os frutos em diferentes grupos de acordo com as características mais semelhantes entre eles. Esse tipo de aprendizado não supervisionado, chamado de agrupamento , é o mais comum.

Precisa executar os dois modelos de aprendizado de máquina mais uma vez? Confira este pequeno vídeo para uma explicação de alto nível:

Quando deve ser usado o aprendizado supervisionado versus o aprendizado não supervisionado?

Se você deve usar o aprendizado supervisionado ou não supervisionado, depende de seus objetivos e da estrutura e volume dos dados disponíveis. Antes de tomar uma decisão, peça ao seu cientista de dados para avaliar o seguinte:

• Os dados de entrada são um conjunto de dados não rotulado ou rotulado? Se não estiver rotulado, sua equipe pode oferecer suporte a rotulagem adicional?
• Qual é o objetivo que você quer alcançar? Você está trabalhando com um problema recorrente e bem definido ou o algoritmo precisará prever novos problemas?
• Existem algoritmos que suportam seu volume e estrutura de dados? Eles têm a mesma dimensionalidade que você precisa (número de recursos ou atributos)?

Quando usar o aprendizado de máquina supervisionado

De acordo com o Gartner, o aprendizado supervisionado é o tipo de aprendizado de máquina mais popular e usado com mais frequência em cenários de negócios. Isso ocorre provavelmente porque, embora a classificação de big data possa ser um verdadeiro desafio no aprendizado supervisionado, os resultados são altamente precisos e confiáveis ​​(fonte completa disponível para os clientes).

Aqui estão alguns exemplos de casos de uso para aprendizado supervisionado. Alguns são específicos do setor, enquanto outros podem ser aplicados a qualquer organização:

• Identificar fatores de risco para doenças e planejar medidas preventivas
• Classificando se um e-mail é spam ou não
• Previsão de preços de casas
• Prevendo o churn de clientes
• Previsão de chuvas e condições meteorológicas
• Descobrir se um solicitante de empréstimo é de baixo ou alto risco
• Prevendo a falha de peças mecânicas em motores de automóveis
• Previsão de pontuações de compartilhamento de mídia social e pontuações de desempenho

Wood compartilhou conosco um exemplo de como ele usou o aprendizado supervisionado para construir um sistema de triagem para os e-mails recebidos de um cliente. Com a ajuda de um sistema de CRM, os e-mails foram categorizados em grupos que representavam consultas comuns (por exemplo, mudança de endereço do cliente, reclamações). Wood então usou essas categorias para treinar um modelo para que, quando receber um novo e-mail, saiba a qual categoria atribuir esse e-mail. Ele diz:

“A aprendizagem supervisionada foi possível neste caso devido à presença do sistema CRM que forneceu um conjunto de 'rótulos' para treinar o modelo. Sem isso, apenas o aprendizado não supervisionado teria sido possível.”

Quando usar o aprendizado de máquina não supervisionado

Em contraste com o aprendizado supervisionado, o aprendizado não supervisionado pode lidar com grandes volumes de dados em tempo real. E como o modelo identificará automaticamente a estrutura nos dados (classificação), é útil nos casos em que um humano teria dificuldade em encontrar tendências nos dados por conta própria.

Por exemplo, se você estivesse tentando segmentar consumidores em potencial em grupos para fins de marketing, um método de agrupamento não supervisionado seria um ótimo ponto de partida.

Aqui estão alguns exemplos de casos de uso para aprendizado não supervisionado:

• Agrupar clientes por seu comportamento de compra
• Encontrar correlações nos dados do cliente (por exemplo, as pessoas que compram um determinado estilo de bolsa também podem estar interessadas em um determinado estilo de sapatos)
• Segmentação de dados por histórico de compras
• Classificando as pessoas com base em diferentes interesses
• Agrupando estoques por métricas de fabricação e vendas

Wood nos explicou que já trabalhou para uma empresa farmacêutica com fábricas em todo o mundo. O software que a empresa usava para registrar erros que aconteciam em suas instalações não tinha um menu suspenso com opções de erros comuns para escolher.

Por causa disso, os trabalhadores da fábrica documentaram os erros em texto simples (em inglês ou no idioma local). A empresa desejava conhecer as causas dos problemas comuns de fabricação, mas sem uma categorização dos erros era impossível realizar uma análise estatística dos dados.

Wood usou um algoritmo de aprendizado não supervisionado para descobrir semelhanças nos erros. Ele foi capaz de identificar os maiores temas e produzir estatísticas, como detalhamentos de gráficos de pizza dos problemas comuns de fabricação na empresa. Madeira diz:

“Isso deu à empresa uma visão geral dos problemas em seus negócios que, de outra forma, exigiriam um trabalho manual considerável.”

Prepare-se para um futuro inteligente: abrace o aprendizado de máquina

O aprendizado de máquina é uma ferramenta poderosa que pode ajudá-lo a resolver problemas de negócios e tomar decisões baseadas em dados. Espero que este artigo forneça algumas ideias sobre como o aprendizado de máquina supervisionado ou não supervisionado pode ser implementado em sua organização.

Se você estiver pronto para adotar a tecnologia de aprendizado de máquina, suas próximas etapas devem ser avaliar os recursos de sua pilha de software atual. Em seguida, peça ao(s) seu(s) fornecedor(es) casos de uso de outros clientes em seu setor que se alinhem aos aplicativos para os quais você gostaria de usar o aprendizado de máquina.