Desenvolvedores de IA generativa aproveitam tecnologias NVIDIA para transformar as experiências nos veículos

Usando a tecnologia da nuvem à borda da NVIDIA, Cerence, Geely, Li Auto, MediaTek, NIO, SoundHound, Tata Consulting Services, Waabi e Wayve estão trabalhando em assistentes inteligentes de IA, monitoramento de motoristas e passageiros, compreensão da situação e muito mais

Sim

SAN JOSE, Califórnia — GTC — 20 de março de 2024 — Os carros do futuro serão mais do que apenas meios de transporte; eles serão companheiros inteligentes, combinando perfeitamente tecnologia e conforto para aprimorarem as experiências de direção, além de serem construídos para segurança, por dentro e por fora.

O NVIDIA GTC, realizado esta semana no San Jose Convention Center, destaca o trabalho inovador que a NVIDIA e seus parceiros estão realizando para levar o poder transformador da IA generativa, dos grandes modelos de linguagem (LLMs) e dos modelos de linguagem de visão para o setor de mobilidade.

Em seu estande, a NVIDIA mostra como está criando assistentes automotivos para melhorar a segurança e o conforto do motorista por meio de percepção aprimorada, compreensão e capacidades generativas alimentadas por deep learning e modelos transformadores.
Falando sobre o assunto

Os grandes modelos de linguagem (LLMs), uma forma de IA generativa, representam em grande parte uma classe de arquiteturas de deep learning conhecidas como modelos transformadores, que são redes neurais prontas para captarem o contexto e o significado da aprendizagem.

Os modelos de linguagem de visão são outro derivado da IA generativa que oferecem recursos de processamento de imagens e compreensão de linguagem. Ao contrário dos grandes modelos de linguagem (LLMs) tradicionais ou multimodais que processam e geram principalmente dados baseados em texto, os modelos de linguagem de visão (VLMs) podem analisar e gerar texto por meio de imagens ou vídeos.
E a geração aumentada por recuperação permite que os fabricantes acessem o conhecimento de um banco de dados específico ou da web para auxiliar os motoristas.

Juntas, essas tecnologias permitem que o NVIDIA Avatar Cloud Engine, ou ACE, e modelos de linguagem multimodais trabalhem em conjunto com a plataforma NVIDIA DRIVE para permitir que os fabricantes automotivos desenvolvam seus próprios assistentes inteligentes incorporados ao carro.
Por exemplo, um configurador Avatar pode permitir que os designers criem personas únicas e inspiradas na marca para seus carros, completas com vozes personalizadas e atributos emocionais. Esses avatares animados por IA podem iniciar um diálogo natural, fornecendo assistência em tempo real, recomendações e interações personalizadas.

Além disso, a visualização surround aprimorada por IA aumenta a segurança do veículo usando a reconstrução da câmera em 360 graus, enquanto o assistente inteligente obtém informações externas, como leis de trânsito locais, para informar a tomada de decisões.

A personalização é fundamental, com os assistentes de IA aprendendo os hábitos do condutor e dos passageiros e adaptando o seu comportamento para atender às necessidades dos ocupantes.

IA generativa para o setor automotivo com força total no GTC 

No GTC, vários parceiros da NVIDIA também apresentam seus mais
recentes desenvolvimentos de IA generativa usando a tecnologia da nuvem à borda da NVIDIA:

• O CaLLM da Cerence é um grande modelo de linguagem (LLM), específico para o setor automotivo, que serve como base para a plataforma de computação automotiva de última geração da empresa, rodando no NVIDIA DRIVE. A plataforma, lançada no final do ano passado, é o futuro da interação no veículo, com um assistente específico para automóveis e mobilidade que proporciona uma experiência integrada na cabine. A Cerence está colaborando com as equipes de engenharia da NVIDIA para uma integração mais profunda do CaLLM com os modelos NVIDIA AI Foundation. Por meio de esforços conjuntos, a Cerence está aproveitando o NVIDIA DGX Cloud como plataforma de desenvolvimento, aplicando proteções para melhorar o desempenho, e utilizando o NVIDIA AI Enterprise para otimizar a inferência. A NVIDIA e a Cerence continuarão a ser parceiras e pioneiras nessa solução, junto com vários OEMs automotivos este ano.
• A Wayve está ajudando a inaugurar a nova era de IA incorporada para autonomia. Sua abordagem AV2.0 de próxima geração é caracterizada por um grande modelo-base de IA incorporada que aprende a conduzir sob sua própria supervisão usando IA de ponta a ponta – desde a detecção, como uma informação, até a emissão de ações de direção. A startup britânica já revelou seu GAIA-1, um modelo mundial generativo para desenvolvimento de veículos autônomos rodando em NVIDIA, juntamente com o LINGO-1, um comentarista de direção de circuito fechado que usa linguagem natural para aprimorar o aprendizado e a explicabilidade dos modelos de direção de IA.
• A Li Auto apresentou seu modelo cognitivo multimodal, Mind GPT, em junho. Baseado no NVIDIA TensorRT-LLM, uma biblioteca de código aberto, ele serve como base para o assistente de IA do fabricante de veículos elétricos, Lixiang Tongxue, para compreensão da situação, geração, retenção de conhecimento e capacidades de raciocínio. A Li Auto está atualmente desenvolvendo o DriveVLM para aprimorar as capacidades de direção autônoma, permitindo que o sistema compreenda situações complexas, especialmente aquelas que são desafiadoras para os pipelines de veículos autônomos tradicionais, como estradas não estruturadas, objetos raros e incomuns e eventos de trânsito inesperados. Esse modelo avançado é treinado em GPUs NVIDIA e utiliza TensorRT-LLM e o Servidor de Inferência NVIDIA Triton para geração de dados no data center. Com inferência otimizada pelo NVIDIA DRIVE e TensorRT-LLM, os DriveVLMs funcionam com eficiência em sistemas incorporados.
• A NIO lançou seu NOMI GPT, que oferece uma série de experiências funcionais, incluindo NOMI Encyclopedia Q&A, Cabin Atmosphere Master e Vehicle Assistant. Com os recursos habilitados pelos grandes modelos de linguagem (LLMs) e uma plataforma de computação eficiente alimentada por pilhas de IA da NVIDIA, o NOMI GPT é capaz de reconhecimento de fala básico e funções de execução de comandos e pode usar deep learning para compreender e processar frases e instruções mais complexas dentro do veículo.
• A Geely está trabalhando com a NVIDIA para fornecer experiências inteligentes na cabine, juntamente com implantação acelerada da borda à nuvem. Especificamente, a Geely está aplicando tecnologia de IA generativa e de grandes modelos de linguagem (LLMs) para fornecer experiências de direção mais inteligentes, personalizadas e seguras, usando processamento de linguagem natural, sistemas de diálogo e análise preditiva para navegação inteligente e assistentes de voz. Ao implantar grandes modelos de linguagem (LLMs) em produção, a Geely usa o NVIDIA TensorRT-LLM para obter inferência altamente eficiente. Para tarefas ou situações mais complexas que exigem suporte massivo de dados, a Geely planeja implantar modelos em grande escala na nuvem.
• A Waabi está desenvolvendo IA para direção autônoma e usará os recursos da IA generativa oferecidos pelo NVIDIA DRIVE Thor para suas soluções revolucionárias de transporte autônomo, trazendo autonomia segura e confiável para o setor de transporte rodoviário.
• A Lenovo está lançando um novo mecanismo de aceleração de IA, denominado UltraBoost, que será executado no NVIDIA DRIVE e apresenta um mecanismo de modelo de IA e cadeias de ferramentas de compilador de IA para facilitar a implantação de grandes modelos de linguagem (LLMs) dentro dos veículos.
• A SoundHound AI está usando a NVIDIA para executar sua interface de voz no veículo – que combina recursos de IA generativa e em tempo real – mesmo quando o veículo não tem conectividade com a nuvem. Essa solução também oferece aos motoristas acesso ao produto Vehicle Intelligence da SoundHound, que fornece instantaneamente configurações, solução de problemas e outras informações diretamente do manual do veículo e de outras fontes de dados por meio de fala natural, em vez de um documento físico.
• A Tata Consulting Services (parte do Grupo TATA), por meio de sua tecnologia baseada em IA e inovação em engenharia, criou seu conjunto automotivo GenAI alimentado por GPUs NVIDIA e estruturas de software. Ele acelera o projeto, o desenvolvimento e a validação de veículos definidos por software, utilizando os vários grandes modelos de linguagem (LLMs) e modelos de linguagem de visão (VLMs) para sistemas no veículo e baseados em nuvem.
• A MediaTek também anuncia quatro sistemas automotivos em um chip em seu portfólio Dimensity Auto Cockpit, oferecendo poderosas experiências na cabine baseadas em IA para a próxima geração de veículos inteligentes, que vão do nível básico ao premium. Para oferecer suporte a recursos de deep learning, os chipsets Dimensity Auto Cockpit integram a computação de IA acelerada por GPU de próxima geração da NVIDIA e gráficos com tecnologia NVIDIA RTX para executar grandes modelos de linguagem (LLMs) no carro, permitindo que os veículos suportem chatbots, entrega de conteúdo rico para vários monitores, detecção de estado de atenção do motorista e outras aplicações de segurança e entretenimento baseadas em IA.

"A evolução dos veículos está intrinsecamente ligada à progressão da tecnologia. Os carros do futuro transcendem sua função primária de transporte, transformando-se em companheiros inteligentes que promovem experiências de direção aprimoradas. Na medida em que avançamos para uma era de mobilidade inteligente, é imperativo reconhecer o papel crucial da tecnologia na construção de veículos seguros, tanto em sua concepção interna quanto externa", reforça Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.
 
Sobre a NVIDIA
Desde sua fundação em 1993, a NVIDIA (NASDAQ: NVDA) tem sido pioneira em computação acelerada. A invenção da GPU pela empresa em 1999 estimulou o crescimento do mercado de games para PC, redefiniu a computação gráfica, iniciou a era da IA moderna e tem ajudado a digitalização industrial em todos os mercados. A NVIDIA agora é uma empresa de infraestrutura de computação full-stack com soluções em escala de data center que estão revolucionando o setor. Mais informações em: https://www.nvidia.com/pt-br/.
Acesse também:
Facebook: @NVIDIABrasil
Twitter: @NVIDIABrasil
YouTube: NVIDIA Latinoamérica
Instagram: @NVIDIABrasil