6 maneiras de usar o Deep Learning para melhorar a usabilidade dos dispositivos móveis

Com o aumento da demanda global por experiências móveis aprimoradas e mais personalizadas, a IA generalizada e a adaptação ao aprendizado profundo no setor de desenvolvimento de aplicativos móveis são inevitáveis. Esqueça os problemas frustrantes de latência que surgem com a detecção móvel e a computação em nuvem. A latência quase zero está chegando, com velocidades de processamento de dados em tempo real para fornecer resultados ideais.

Os avançados chips de smartphone Bionic da Apple com unidades de processamento neural integradas já ajudam as redes neurais a serem executadas diretamente no dispositivo em velocidades incríveis. Usando as plataformas Core ML da Apple e ML Kit do Google e bibliotecas de aprendizado profundo como TensorFlow Lite e Keras, os desenvolvedores móveis podem criar aplicativos com menor latência, menos erros e processamento de dados mais rápido.

A principal vantagem do aprendizado de máquina no dispositivo é que ele oferece aos usuários uma experiência perfeita e precisa. Como não se trata de enviar dados para servidores externos para processamento, você obtém proteção de dados aprimorada e segurança e privacidade do usuário. Além disso, com redes neurais em dispositivos móveis, você não precisa se conectar à Internet para acessar todos os recursos de seus aplicativos. Obviamente, você ainda precisará da Internet para a maioria dos recursos padrão.

6 maneiras de implantar o aprendizado profundo em dispositivos móveis

Fazer uso de recursos de computação de dispositivos móveis para implementar algoritmos de aprendizado profundo, sem dúvida, melhorou a usabilidade de dispositivos móveis. Veja como:

1. Reconhecimento de fala no dispositivo

O reconhecimento de fala envolve transformar ou transduzir sequências de entrada em sequências de saída usando redes neurais recorrentes (RNN), redes neurais convolucionais (CNN), redes neurais profundas (DNN) e outras arquiteturas. Os desenvolvedores lutaram com a questão da latência - que cria atrasos entre sua solicitação e a resposta do assistente automatizado - mas agora podemos contorná-la usando a tecnologia compacta de transdutor de rede neural recorrente (RNN-T) em dispositivos móveis.

RNN-Ts são modelos de sequência a sequência. Em vez de seguir o método usual de processamento de uma sequência de entrada inteira antes de produzir uma saída, eles mantêm uma continuidade constante em seu processamento de entrada e fluxo de saída. Isso facilita o reconhecimento e processamento de fala em tempo real. Você vê isso com o Google Assistant, que pode processar comandos de voz consecutivos sem vacilar e sem exigir que você invoque 'Ei, Google' após cada solicitação.

Isso torna a conversa bidirecional mais natural, e o Assistente seguirá suas instruções com perfeição. Quer que ele defina um assunto de e-mail, encontre uma foto em uma de suas pastas e o guie até a casa de sua irmã? Está feito.

Avançando com o novo Pixel 4 do Google, seu recurso Live Caption pode fornecer legendas para notas de áudio, podcasts e vídeos em tempo real e - porque o processamento é no dispositivo - também no modo avião. Assim, por exemplo, se um vídeo aparecer em seu feed do Twitter, você poderá descobrir do que se trata pelas legendas, sem precisar ativar o áudio. O Live Caption ainda não funciona com música ou com chamadas telefônicas e de vídeo.

2. Maior eficiência com reconhecimento de gestos

Com modelos de pipeline de aprendizado de máquina no dispositivo, você pode treinar seu dispositivo móvel para detectar, rastrear e reconhecer gestos de mão e corpo. A câmera do seu dispositivo grava e armazena seus gestos e movimentos como dados de imagem 3D. Os algoritmos de aprendizado profundo das redes neurais usam essa biblioteca de gestos para identificar e decifrar gestos estáticos e dinâmicos específicos. Eles então os combinam em tempo real com sua intenção e executam os comandos desejados.

Os smartphones Google Pixel 4 vêm com o chip Soli que facilita a interação complexa e não verbal com seu telefone. Este sensor de radar em miniatura na parte superior do telefone alimenta a tecnologia Motion Sense que pode detectar sua presença e gestos de mão e corpo para permitir suas interações com o telefone. Com um aceno de sua mão, sem sequer tocar no telefone, você pode dizer para adiar, silenciar um alarme ou navegar para a próxima música da sua lista de reprodução.

3. Recursos imersivos de Realidade Aumentada

Usando as plataformas ARCore do Google e ARKit da Apple, os desenvolvedores podem criar aplicativos de realidade aumentada que podem justapor objetos e ambientes digitais com configurações da vida real . Os recursos imersivos da realidade aumentada baseada em telefone estão tendo um impacto significativo no varejo, entretenimento, viagens e outros setores. Marcas como Lacoste e Sephora agora permitem que seus clientes experimentem ou visualizem produtos com aplicativos de realidade aumentada, e um número crescente de compradores prefere conferir os produtos em seus telefones antes de tomar a decisão de comprá-los.

Jogos interativos de realidade aumentada, como Pokemon, Ingress e Ghostbusters World, receberam extensa imprensa e seguidores dedicados. Se você quiser se orientar pela cidade, o Google Maps Live View fornecerá navegação em tempo real.

4. Fotografias de alta qualidade

A alta qualidade da foto é um critério importante para os compradores ao selecionar smartphones, que eles podem obter com muitos dos modelos mais recentes. Eles vêm equipados com os componentes de hardware – unidades de processamento central (CPUs), processadores de sinal de imagem, algoritmos de imagem de aprendizado profundo e unidades de processamento neural – que catapultaram os smartphones para um reino totalmente diferente das câmeras tradicionais quando se trata de tirar fotografias. Com isso, os smartphones podem mostrar mais consciência no nível de classificação de pixels do que estão vendo para tirar fotografias de alta definição.

Os telefones Google Pixel e os iPhones da Apple usam várias câmeras e algoritmos complexos de aprendizado de máquina para reconhecer pessoas e objetos, criar mapas de profundidade, unir exposições longas com perfeição e calcular o equilíbrio de cores preciso .

Ao treinar redes neurais em um conjunto de dados de imagens, os algoritmos aprendem como responder aos requisitos individuais de imagem e retocar fotografias em tempo real. Desenvolvido por pesquisadores do MIT e do Google, o sistema de retoque automático permite que fotógrafos apliquem estilos diferentes a uma imagem antes mesmo de tirar a foto.

Depois que uma rede convolucional realiza o processamento da imagem em baixa resolução, um método de mapeamento conhecido como transformação de cor afim modifica as cores dos pixels da imagem. A rede armazena essas fórmulas transformacionais em uma grade 3D que permite uma saída de imagem de alta resolução. Tudo ocorre em milissegundos.

Os smartphones agora também estão superando as DSLRs em fotografia noturna e com pouca luz. Ao incorporar redes e sensores neurais profundos, as câmeras dos smartphones podem capturar imagens mais nítidas com mais cores do que o olho humano pode perceber.

A Huawei, que introduziu fotos viáveis ​​com pouca luz com seu P20 Pro, usa filtros RYYB, sensores grandes e processamento de imagem AI em sua série Mate 30 para oferecer fotografia de alta qualidade e pouca luz, bem como videografia com pouca luz. O Google Pixel 4 vem com o modo Night Sight que pode tirar fotos na faixa de 0,3-3 lux, e sua astrofotografia pode capturar um céu escuro e estrelado. Junto com um modo noturno que é ativado automaticamente no escuro, o novo sistema Deep Fusion da Apple se ajustará aos níveis de luz e levará a fotografia do iPhone a um nível mais impressionante.

Mesmo que você não entenda de fotografia, poderá tirar ótimas fotos com esses smartphones.

5. Maior segurança e privacidade

A conformidade com os Regulamentos Gerais de Proteção de Dados (GDPR) e a Lei de Privacidade do Consumidor da Califórnia (CCPA) ficou mais fácil com o aprendizado de máquina no dispositivo. Ele garante a segurança dos dados, pois você não precisa carregar dados para biometria, criptografia ou legenda ao vivo em um servidor ou nuvem para processamento.

A criptografia automática no dispositivo é outro recurso útil do smartphone que protege seu conteúdo com um PIN, senha ou padrão e permite o acesso aos seus dados somente quando você desbloqueia o telefone. Portanto, se você perder seu dispositivo ou for roubado, a chance de alguém obter seus dados é insignificante.

O recurso Face ID do iPhone é um exemplo de uma experiência de smartphone mais segura. As redes neurais no dispositivo nos chips de smartphones da Apple processam e armazenam com segurança os dados faciais do usuário. A identificação acontece no seu dispositivo, para que sua privacidade e segurança permaneçam desimpedidas.

A tecnologia Face Unlock do Google Pixel 4, facilitada pelo chip Soli, usa mapeamento de profundidade 3D IR para criar seus modelos de rosto para reconhecimento de rosto e os armazena em um chip de segurança Titan M6 no dispositivo. O Face Unlock funciona bem com o aplicativo 1Password para oferecer segurança biométrica aos usuários, eliminando as chances de fraude de identidade. Para configurar o aplicativo 1Password no Pixel 4, você só precisa inserir seus dados no preenchimento automático e usar o desbloqueio facial para fazer login em vez da função de desbloqueio por impressão digital.

6. Mais precisão no reconhecimento de imagens

Emparelhando o aprendizado de máquina no dispositivo com a tecnologia de classificação de imagens, você pode identificar e obter informações detalhadas em tempo real sobre quase tudo que encontrar. Quer ler um texto em língua estrangeira? Digitalize-o com seu telefone para obter uma tradução instantânea e precisa. Uma roupa ou um móvel chamou sua atenção? Digitalize-o para obter informações sobre o preço e onde você pode comprá-lo. Existe um novo prato tentador no menu de um restaurante? Você pode usar seu telefone para descobrir seus ingredientes e informações nutricionais.

Ao facilitar o reconhecimento de imagens em tempo real, aplicativos como Google Lens, Calorie Mama e Leafsnap estão aumentando a usabilidade e a capacidade de aprendizado dos dispositivos móveis e aprimorando a experiência do usuário.

Aprendizado profundo em dispositivos móveis: considerações finais

As possibilidades de aprendizado de máquina no dispositivo são imensas. Com algoritmos inteligentes cada vez mais eficientes, redes neurais mais profundas e chips de IA mais poderosos, os aplicativos móveis de aprendizado profundo serão padrão em bancos, varejo, saúde, análise de dados, tecnologia da informação, telecomunicações, aeroespacial e vários outros setores.

De acordo com a Verified Market Research, o mercado global de aprendizado profundo provavelmente atingirá US$ 26,64 bilhões até 2026, com o mercado de tecnologia de chipset de aprendizado profundo atingindo US$ 2,9 bilhões. À medida que os recursos de aprendizado profundo continuam a melhorar, os recursos de usabilidade dos dispositivos móveis evoluirão e estimularão mais inovações.

Pronto para o seu próximo projeto de software? Entre em contato conosco!