Enthousiast om een verhoging van $40M aan te kondigen voor @OpenRouterAI (seed + A), geleid door a16z & Menlo! LLM-inferentie wordt de grootste softwaremarkt ter wereld. We zijn het #1 controlevliegtuig geworden. Dit is wat de volgende stap is:

LLM's verdienen hun eigen plek op het web, dus dat is wat @louis_g_v en ik in april 2023 zijn gaan bouwen. Sindsdien hebben we een Cambrian-explosie gezien in LLM's, met vandaag de dag meer dan 450 live. Zie ons als Stripe voor LLM's. Bedrijven gebruiken doorgaans 3-6 modellen, die ze in één regel code kunnen veranderen, en alle functies op één plek krijgen zonder vast te zitten.

Tractie tot nu toe: • GMV van > $ 100 miljoen, een stijging van 10x in 7 maanden • 1M+ ontwikkelaars die onze API gebruiken • 60+ GPU-hosts, biljoenen tokens die wekelijks worden verwerkt, ~25 ms edge overhead

Waarom gebeurt dit? • De uitgaven voor inferentie stijgen sneller dan het aantal medewerkers • Modellen hebben downtime ("intelligentie brownouts," zoals @karpathy ze noemde) en databeleid divergeert • CTO's hebben betrouwbaarheid nodig, CFO's hebben kostenzichtbaarheid nodig, CISOs hebben routeringscontroles nodig AI-bedrijven worden zelf de facto modelrouters...

Volledige verhaal in de WSJ: Dank aan @a16z, @menloventures, @sequoia, en de anderen die ons hebben gesteund in onze angelronde, inclusief @amasad, @OfficialLoganK, @FEhrsam, @dfinzer, @jweinstein, en @figma!