🚀Nytt från Meta FAIR: Idag introducerar vi Seamless Interaction, ett forskningsprojekt som syftar till att modellera interpersonell dynamik. Projektet har en familj av audiovisuella beteendemodeller, utvecklade i samarbete med Metas Codec Avatars lab + Core AI lab, som återger tal mellan två individer till olika, uttrycksfulla helkroppsgester och aktiva lyssningsbeteenden, vilket gör det möjligt att skapa helt förkroppsligade avatarer i 2D och 3D. Dessa modeller har potential att skapa mer naturliga, interaktiva virtuella agenter som kan delta i människoliknande sociala interaktioner i en mängd olika miljöer. Lära sig mer:

Vi släpper också Seamless Interaction Dataset offentligt, med 4 000+ deltagare och 4 000+ timmars interaktioner, vilket gör det till den största kända videodatauppsättningen i sitt slag. Denna datauppsättning gör det möjligt för våra audiovisuella beteendemodeller att förstå och generera människoliknande sociala beteenden och utgör en viktig språngbräda för att förstå och modellera hur människor kommunicerar och beter sig när de är tillsammans. Vi delar med oss av det här för att hjälpa forskarsamhället att utveckla sitt arbete:

En sak till... Du kan också kolla in den här tekniska rapporten som beskriver vår metod för att bygga rörelsemodeller på datauppsättningen, tillsammans med ett utvärderingsramverk för den här typen av modell:

Gå till vår blogg för att gå djupare in på hela historien: