Sono entusiasta di annunciare un aumento di $ 40 milioni per @OpenRouterAI (seed + A), guidato da a16z e Menlo! L'inferenza LLM sarà il più grande mercato di software al mondo. Siamo diventati l'aereo di controllo #1. Ecco cosa c'è dopo:

I LLM meritano un loro posto sul web, ed è per questo che @louis_g_v e io abbiamo deciso di costruirlo nell'aprile 2023. Da allora, abbiamo assistito a un'esplosione cambriana nei LLM, con oltre 450 attivi oggi. Pensate a noi come a Stripe per i LLM. Le aziende tipicamente utilizzano da 3 a 6 modelli, cambiandoli con una sola riga di codice, ottenendo tutte le funzionalità in un unico posto senza lock-in.

Trazione finora: • GMV da 100 milioni di dollari >, in crescita di 10 volte in 7 mesi • 1M+ sviluppatori che utilizzano la nostra API • 60+ host GPU, trilioni di token elaborati settimanalmente, ~25 ms di sovraccarico edge

Perché sta succedendo? • La spesa per l'inferenza sta aumentando più rapidamente del numero di dipendenti • I modelli hanno tempi di inattività ("brownout dell'intelligenza", come li ha definiti @karpathy) e le politiche sui dati divergono • I CTO hanno bisogno di affidabilità, i CFO hanno bisogno di visibilità sui costi, i CISO hanno bisogno di controlli di instradamento Le aziende di intelligenza artificiale stanno diventando di fatto dei router di modelli...

Storia completa sul WSJ: Grazie a @a16z, @menloventures, @sequoia e agli altri che ci hanno supportato nel nostro round di angel, inclusi @amasad, @OfficialLoganK, @FEhrsam, @dfinzer, @jweinstein e @figma!