Demo von Tether's QVAC, das lokale Inferenz auf einem mobilen Gerät mit unglaublicher Geschwindigkeit ausführt, über llama.cpp + LLAMA 3.2 mit 1B Parametern. QVAC ist eine verallgemeinerte Inferenz- und Feinabstimmungs-Laufzeit, die sich an jedes Gerät anpassen kann, von Smartphones über Laptops bis hin zu Servern. Viele Modelle werden bereits unterstützt. Weitere werden folgen. Keine Grenzen. Unendliche Intelligenz. Kommt bald.
35,12K