Shanghai (Gasgoo) - Lors de l'AUTO SHANGHAI 2025, la société chinoise de technologies de mobilité Desay SV et la société d'intelligence artificielle Zhipu ont officiellement annoncé un partenariat stratégique visant à développer conjointement une solution de cockpit intelligent AI Native de nouvelle génération, conçue pour être « émouvante et évolutive », selon un article publié sur le compte WeChat de Desay SV.
Cette solution tirera parti des capacités intégrées de Desay SV en matière d'architecture matérielle, de middleware, de développement de modèles et d'applications de niveau supérieur, tout en intégrant les grands modèles de langage GLM de Zhipu pour permettre une interaction fluide entre les personnes, les véhicules et les environnements.
L'intégration de grands modèles d'IA dans les véhicules est bien plus complexe qu'une simple migration technique : elle implique des défis d'ingénierie à l'échelle du système, couvrant l'adaptation du matériel, le traitement des données, l'optimisation des algorithmes et la conformité aux normes de sécurité. En combinant la solide base technique et l'exécution d'ingénierie de Desay SV avec les capacités complètes des modèles GLM de Zhipu, le partenariat vise à briser les contraintes des architectures de calcul embarquées traditionnelles et à surmonter les goulots d'étranglement systémiques de l'intégration de grands modèles dans les applications automobiles.
Cette collaboration marque les débuts des modèles Realtime - prenant en charge l'interaction vocale en temps réel - à bord d'un véhicule. En tirant parti de la plateforme de contrôle de domaine de cockpit développée en interne par Desay SV et des technologies de fusion de capteurs multimodaux, le système permet la toute première analyse tridimensionnelle en temps réel du contexte environnemental, de l'état de l'utilisateur et des données du véhicule par l'IA Native. Au cœur de ce système se trouve un hub d'interaction intelligent au niveau de la milliseconde au sein du cockpit, capable de traduire des entrées hétérogènes - y compris les commandes vocales, les gestes et les signaux physiologiques - en services précis basés sur des scénarios.
Pour garantir une expérience utilisateur fluide, Desay SV a intégré le modèle d'interaction en temps réel à faible latence de Zhipu, ainsi que son algorithme de localisation d'empreinte vocale spatiale propriétaire et son système de suivi de l'attention. Ces technologies permettent une migration fluide de l'interaction entre les écrans, soutenue par un système de contrôle de domaine de cockpit profondément optimisé qui crée une matrice d'interaction à domaine complet englobant le combiné d'instruments, l'écran central, le P-HUD et l'AR-HUD - permettant aux services intelligents de suivre intuitivement le regard de l'utilisateur.
L'interaction émotionnelle représente une avancée majeure dans l'évolution de l'IA. Le poste de pilotage intelligent AI Native offre des capacités avancées de reconnaissance émotionnelle, notamment le modèle d'interaction en appel vidéo en temps réel de Zhipu et le mécanisme unique d'arbitrage vocal de Desay SV pour gérer les conflits audio multisources. Lorsqu'il est combiné avec des algorithmes de fusion de signaux biométriques, l'assistant personnel virtuel (VPA) acquiert une conscience émotionnelle et des fonctionnalités de soins proactifs, offrant des services similaires à ceux d'un être humain dans des environnements de conduite complexes et transformant la voiture en un véritable compagnon de voyage empathique.
La solution AI Native co-développée par Desay SV et Zhipu a été présentée au salon AUTO SHANGHAI 2025 dans le cadre de la dernière Smart Solution 3.0 de Desay SV. Contrairement aux systèmes d'interaction homme-machine embarqués conventionnels, la Smart Solution 3.0 peut non seulement comprendre les commandes vocales et interpréter les gestes, mais également reconnaître avec précision les émotions des utilisateurs, créant ainsi une expérience de mobilité « chaleureuse et sensible aux émotions » qui a attiré l'attention des professionnels de l'industrie et des passionnés de technologie.
