Rozpoczynam ponownie moje oceny LLM. Moim celem będą zadania związane z badaniami finansowymi. Początkowe pomysły: 1 • analiza sentymentu wiadomości 2 • obliczenia finansowe 3 • analiza 10-K, itd. Wszystkie kody będą udostępniane - celem jest nauka. Będę testować zarówno małe, jak i duże modele. Dodatkowo dostosuję małe modele open source i zobaczę, jak wypadają w porównaniu do dużych w konkretnych zadaniach! Pomysły na eksperymenty są mile widziane.

Obrazek powyżej pokazuje nowatorskie LLM-y. Imponujące, ile wydajności uzyskujemy z Kimi K2 i DeepSeek R1, biorąc pod uwagę cenę. Całkowity koszt to koszty tokenów wejściowych + wyjściowych. Wydajność to wynik ELO w arenie LLM. Zdefiniuję własne wyniki ELO, gdy będę eksperymentować.