Sper că munca la modelele vocale va duce la acest tip de soluție. Streamingul este atât de greu, dar se simte ca starea finală în evoluția sistemelor sofisticate.
John Carmack
John Carmack11 aug., 23:38
Conversația naturală include întreruperi și discuții peste oameni, ceea ce este greu de modelat pentru un LLM ca o singură secvență autoregresivă. Sunt sigur că poți ajunge destul de departe creând o secvență de text cu pauze de tip scenariu de film la mijlocul propoziției, dar se pare că soluția reală ar implica fluxuri paralele de ascultare și gândire cu discuții puse în coadă pentru pauze sau ridicarea la o prioritate de întrerupere. Amestecarea jetoanelor din diferite fluxuri și a face ceva personalizat cu atenție pare plauzibilă.
1,65K