Nawiązaliśmy współpracę z Modular, aby stworzyć Large Scale Inference (LSI), nową usługę inferencyjną kompatybilną z OpenAI. Jest do 85% tańsza niż inne oferty i może obsługiwać skalę bilionów tokenów. Oryginalnie stworzyliśmy ją na prośbę dużego laboratorium AI, aby przeprowadzać tworzenie syntetycznych danych multimodalnych na dużą skalę, o dziesiątki milionów dolarów taniej niż alternatywy. W przeciwieństwie do innych usług, LSI korzysta z cen rynkowych. Ceny tokenów są funkcją podstawowej ceny obliczeń na sfcompute oraz aktualnego obciążenia systemu. Innymi słowy, zawsze jest to najlepsza cena, na zawsze. Wiele osób twierdziło, że inferencja to wyścig do dna, więc sprzedajemy ci dno. LSI jest zbudowane na frameworku inferencyjnym MAX i Mammoth od Modular, który jest wysoko zoptymalizowanym przeprojektowaniem stosu serwującego, z obsługą wielu chipów. Dzięki światowej klasy inżynierii Modular i bezwzględnym optymalizacjom cenowym SFC, zobowiązujemy się do stworzenia najwyższej wydajności i najlepiej wycenionej inferencji na świecie. Aby uzyskać wycenę, prosimy o kontakt. Prowadzimy dostosowany proces z każdym klientem, aby zoptymalizować go pod kątem twoich specyficznych wymagań i wprowadzamy go na rynek tylko wtedy, gdy cena i wydajność spełniają twoje oczekiwania. Chociaż wspieramy większość modeli open source (DeepSeek, Llama, Qwen itp.), nasz dostosowany proces pozwala nam uruchamiać modele niestandardowe lub wymagania niszowe w zależności od twoich okoliczności. DM-y są otwarte lub możesz skontaktować się za pomocą linku poniżej.