Wir freuen uns, die Day-0-Launch-Partner für NVIDIA Nemotron 3 Super zu sein! Sie können es jetzt auf Baseten ausprobieren oder den Blog von @rapprach lesen, um mehr über das neue Modell zu erfahren:

Einführung von RadixMLP: Intra-Batch-Präfix-Deduplizierung für 1,4–5x schnelleren Prefill. Tokens mit identischen Präfixen (wie Systemaufforderungen oder gemeinsamen Abfragen) erzeugen identische Aktivierungen. @feilsystem hat RadixMLP entwickelt, um diese Redundanz zu beseitigen, es dann als Open Source veröffentlicht und zu TEI und BEI hinzugefügt.

Generative KI-Unternehmen werden von Baseten unterstützt. Warum? Wir sind besessen von den Millisekunden, damit sie die Zukunft gestalten können. Konzentrieren Sie sich auf das, was Sie tatsächlich unterscheidet. Überlassen Sie uns die Inferenz.