Вот как выглядит прагматичная инновация. @sfcompute и @modularcompany только что запустили LSI. 85% более дешевая инференция на триллионных токенах. Создано для серьезных нагрузок, с ценами на токены, привязанными к реальным вычислительным затратам. Цена к металлу. Производительность на максимум. @caladanxyz поддержал их именно по этой причине.
evan conrad
evan conrad3 июл., 01:57
Мы объединились с Modular, чтобы создать Large Scale Inference (LSI), новую совместимую с OpenAI службу вывода. Это на 85% дешевле, чем другие предложения, и может обрабатывать масштаб в триллионы токенов. Мы изначально создали его по запросу крупной лаборатории ИИ для создания синтетических данных в большом масштабе на десятки миллионов долларов дешевле, чем альтернативы. В отличие от других служб, LSI использует рыночное ценообразование. Цены на токены зависят от базовой цены вычислений на sfcompute и текущей загрузки системы. Другими словами, это всегда лучшая цена, навсегда. Многие утверждали, что вывод — это гонка к дну, поэтому мы продаем вам дно. LSI построен на основе фреймворка вывода MAX и Mammoth от Modular, который является высоко оптимизированным редизайном стека обслуживания с поддержкой нескольких чипов. Благодаря инженерии мирового класса от Modular и безжалостной оптимизации цен от SFC, мы стремимся создать самый высокопроизводительный и лучший по цене вывод в мире. Чтобы получить предложение, пожалуйста, свяжитесь с нами. Мы проводим индивидуальный процесс с каждым клиентом, чтобы оптимизировать под ваши конкретные требования, и запускаем только тогда, когда цена и производительность соответствуют вашим ожиданиям. Хотя мы поддерживаем большинство моделей с открытым исходным кодом (DeepSeek, Llama, Qwen и т. д.), наш индивидуальный процесс позволяет нам запускать пользовательские модели или нишевые требования в зависимости от ваших обстоятельств. DM открыты, или вы можете связаться по ссылке ниже.
142