Une nouvelle présentation de 30 minutes de @aelluswamy, VP de l'IA chez Tesla, a été publiée, où il parle de FSD, de l'IA et des derniers progrès de l'équipe. Points forts de la présentation : • La flotte de véhicules de Tesla peut fournir 500 ans de données de conduite chaque jour. Malédiction de la dimensionnalité : • 8 caméras à haute fréquence d'images = des milliards de tokens par 30 secondes de contexte de conduite. • Tesla doit compresser et extraire les bonnes corrélations entre les entrées sensorielles et les actions de contrôle. Avantage des données : • Tesla a accès à une "chute de Niagara de données" — des centaines d'années de conduite collective de la flotte. • Utilise des déclencheurs de données intelligents pour capturer des cas rares (par exemple, des intersections complexes, des comportements imprévisibles). Qualité et efficacité : • N'extrait que les données essentielles nécessaires pour former les modèles de manière efficace. Débogage et interprétabilité : • Même si le système est de bout en bout, Tesla peut toujours inciter le modèle à produire des données interprétables : occupation 3D, limites de route, objets, panneaux, feux de circulation, etc. • Interrogation en langage naturel : demandez au modèle pourquoi il a pris une certaine décision. • Ces prédictions auxiliaires ne conduisent pas la voiture mais aident les ingénieurs à déboguer et à garantir la sécurité. Système de splatting gaussien avancé de Tesla (modélisation de scène 3D) : • Tesla a développé un système de splatting gaussien personnalisé et ultra-rapide pour reconstruire des scènes 3D à partir de vues de caméra limitées. • Produit des rendus 3D nets et précis même à partir de quelques angles de caméra — bien meilleur que les approches standard NeRF/splatting. • Permet un débogage visuel rapide de l'environnement de conduite en 3D. Évaluation et modèles du monde : • L'évaluation est le défi le plus difficile : les modèles peuvent bien fonctionner hors ligne mais échouer dans des conditions réelles. • Tesla construit des ensembles de données d'évaluation équilibrés et diversifiés en se concentrant sur les cas limites — pas seulement la conduite facile sur autoroute....