Questo è ciò che sembra l'innovazione pragmatica. @sfcompute e @modularcompany hanno appena lanciato LSI. 85% di inferenza più economica su scala di trilioni di token. Costruito per carichi di lavoro seri, con i prezzi dei token legati ai costi reali di calcolo. Prezzo al metallo. Prestazioni al massimo. @caladanxyz li ha sostenuti per questo motivo esatto.
evan conrad
evan conrad3 lug, 01:57
Abbiamo collaborato con Modular per creare il Large Scale Inference (LSI), un nuovo servizio di inferenza compatibile con OpenAI. È fino all'85% più economico rispetto ad altre offerte e può gestire scale di trilioni di token. Lo abbiamo originariamente creato su richiesta di un importante laboratorio di intelligenza artificiale per la creazione di dati sintetici multimodali su larga scala a decine di milioni di dollari più economici rispetto alle alternative. A differenza di altri servizi, LSI utilizza la tariffazione di mercato. I prezzi dei token sono una funzione del prezzo di calcolo sottostante su sfcompute e del carico attuale del sistema. In altre parole, è sempre il miglior prezzo, per sempre. Molti hanno affermato che l'inferenza è una corsa al ribasso, quindi ti vendiamo il fondo. LSI è costruito sul framework di inferenza MAX e Mammoth di Modular, una riprogettazione altamente ottimizzata dello stack di servizio, con supporto per più chip. Tra l'ingegneria di classe mondiale di Modular e le spietate ottimizzazioni dei prezzi di SFC, siamo impegnati a creare l'inferenza con le migliori prestazioni e il miglior prezzo al mondo. Per ricevere un preventivo, ti preghiamo di contattarci. Seguiamo un processo su misura con ogni cliente per ottimizzare le tue specifiche esigenze e ci mettiamo in moto solo quando il prezzo e le prestazioni soddisfano le tue aspettative. Anche se supportiamo la maggior parte dei modelli open source (DeepSeek, Llama, Qwen, ecc.), il nostro processo su misura ci consente di eseguire modelli personalizzati o requisiti di nicchia a seconda delle tue circostanze. I DM sono aperti o puoi contattarci tramite il link qui sotto.
127