Demonstrație a QVAC de la Tether care rulează inferență locală pe un dispozitiv mobil la o viteză incredibilă, prin parametrii llama.cpp + LLAMA 3.2 1B. QVAC este un runtime generalizat de inferență și reglare fină capabil să se adapteze la orice dispozitiv, de la smartphone-uri la laptopuri și servere. O mulțime de modele sunt deja acceptate. Mai multe urmează. Fără limite. Inteligență infinită. În curând
38,59K