Wir haben uns mit Modular zusammengetan, um Large Scale Inference (LSI) zu erstellen, einen neuen OpenAI-kompatiblen Inferenzdienst. Es ist bis zu 85 % günstiger als andere Angebote und kann Billionen von Token verarbeiten. Ursprünglich haben wir es auf Anfrage eines großen KI-Labors entwickelt, um groß angelegte multimodale synthetische Datenerstellung um Zehntausende von Millionen Dollar günstiger als Alternativen zu ermöglichen. Im Gegensatz zu anderen Diensten verwendet LSI Marktpreise. Die Tokenpreise sind eine Funktion des zugrunde liegenden Compute-Preises auf sfcompute und der aktuellen Systemlast. Mit anderen Worten, es ist immer der beste Preis, für immer. Viele haben behauptet, dass Inferenz ein Wettlauf nach unten ist, also verkaufen wir Ihnen den Tiefstpreis. LSI basiert auf Modulars MAX- und Mammoth-Inferenz-Framework, einer hochoptimierten Neugestaltung des Serving-Stacks, mit Unterstützung für mehrere Chips. Zwischen Modulars erstklassiger Ingenieurskunst und SFCs gnadenlosen Preisoptimierungen sind wir bestrebt, die leistungsstärkste und preisgünstigste Inferenz der Welt zu schaffen. Um ein Angebot zu erhalten, wenden Sie sich bitte an uns. Wir führen einen maßgeschneiderten Prozess mit jedem Kunden durch, um auf Ihre spezifischen Anforderungen zu optimieren, und setzen nur um, wenn Preis und Leistung Ihren Erwartungen entsprechen. Während wir die meisten Open-Source-Modelle (DeepSeek, Llama, Qwen usw.) unterstützen, ermöglicht uns unser maßgeschneiderter Prozess, benutzerdefinierte Modelle oder Nischenanforderungen je nach Ihren Umständen zu betreiben. DMs sind offen oder Sie können über den untenstehenden Link Kontakt aufnehmen.