Мы в восторге от NVIDIA GTC на следующей неделе! Вот краткий обзор того, чего ожидать: -> Сессия выступления @philipkiely о высокопроизводительном выводе для передовых AI моделей -> Молниеносные доклады на стенде @Vultr и @CoreWeave -> Час счастья с @braintrust -> Ужины с @MiniMax_AI и @Vultr Посетите нас на стенде #931 за сувенирами, демонстрацией, подписанным экземпляром Inference Engineering — и не только. Следите за несколькими сюрпризами!

Мы рады быть партнерами по запуску на день-0 для NVIDIA Nemotron 3 Super! Вы можете попробовать его сейчас на Baseten или прочитать блог @rapprach, чтобы узнать больше о новой модели:

Представляем RadixMLP: дедупликация префиксов внутри пакета для ускорения предзаполнения в 1.4–5 раз. Токены с идентичными префиксами (такими как системные подсказки или общие запросы) производят идентичные активации. @feilsystem разработал RadixMLP, чтобы устранить эту избыточность, затем опубликовал его с открытым исходным кодом и добавил в TEI и BEI.