🚀Nytt fra Meta FAIR: I dag introduserer vi sømløs interaksjon, et forskningsprosjekt dedikert til modellering av mellommenneskelig dynamikk. Prosjektet har en familie av audiovisuelle atferdsmodeller, utviklet i samarbeid med Metas Codec Avatars lab + Core AI lab, som gjengir tale mellom to individer til mangfoldige, uttrykksfulle helkroppsbevegelser og aktiv lytteatferd, som gjør det mulig å lage fullt kroppslige avatarer i 2D og 3D. Disse modellene har potensial til å skape mer naturlige, interaktive virtuelle agenter som kan engasjere seg i menneskelignende sosiale interaksjoner på tvers av en rekke miljøer. Få mer informasjon:

Vi offentliggjør også Seamless Interaction Dataset, med 4 000+ deltakere og 4 000+ timer med interaksjoner, noe som gjør det til det største kjente videodatasettet i sitt slag. Dette datasettet gjør det mulig for våre audiovisuelle atferdsmodeller å forstå og generere menneskelignende sosial atferd, og representerer et avgjørende springbrett for å forstå og modellere hvordan mennesker kommuniserer og oppfører seg når de er sammen. Vi deler den her for å hjelpe forskningssamfunnet med å fremme arbeidet sitt:

En ting til... Du kan også sjekke ut denne tekniske rapporten som beskriver vår metodikk for å bygge bevegelsesmodeller på datasettet, sammen med et evalueringsrammeverk for denne typen modeller:

Gå til bloggen vår for å gå dypere inn i hele historien: