🚀Nouveau de Meta FAIR : aujourd'hui, nous introduisons l'Interaction Sans Couture, un projet de recherche dédié à la modélisation des dynamiques interpersonnelles. Le projet présente une famille de modèles comportementaux audiovisuels, développés en collaboration avec le laboratoire Codec Avatars de Meta et le laboratoire Core AI, qui traduisent la parole entre deux individus en gestes corporels expressifs et en comportements d'écoute active, permettant la création d'avatars entièrement incarnés en 2D et 3D. Ces modèles ont le potentiel de créer des agents virtuels plus naturels et interactifs capables de s'engager dans des interactions sociales semblables à celles des humains dans une variété de contextes. En savoir plus :

Nous publions également le Seamless Interaction Dataset, avec plus de 4 000 participants et plus de 4 000 heures d'interactions, ce qui en fait le plus grand ensemble de données vidéo connu de ce type. Cet ensemble de données permet à nos modèles comportementaux audiovisuels de comprendre et de générer des comportements sociaux semblables à ceux des humains, et représente une étape cruciale pour comprendre et modéliser comment les gens communiquent et se comportent lorsqu'ils sont ensemble. Nous le partageons ici pour aider la communauté de recherche à faire progresser son travail :

Une chose de plus… vous pouvez également consulter ce rapport technique détaillant notre méthodologie pour construire des modèles de mouvement sur l'ensemble de données, ainsi qu'un cadre d'évaluation pour ce type de modèle :

Rendez-vous sur notre blog pour en savoir plus sur l'histoire complète :