Ostatnio testowałem Particle News @particle_news i na nowo przemyślałem wartość i granice LLM w kontekście przepływu informacji handlowych. Particle to bardzo dopracowany produkt AI do wiadomości, który doskonale radzi sobie z szerokim zakresem informacji i neutralnością, a także z płynnością treści (liquid content), zarówno w formie czytelnej, jak i słuchanej. Jednak ta precyzyjnie dopracowana doświadczenie ma strukturalne różnice w porównaniu do systemów informacji handlowej, więc postanowiłem to napisać, aby może pomóc kolegom pracującym nad podobnymi produktami. 1. Informacja nie jest zbierana i integrowana, lecz klastrowana i rozumiana. Założycielka Sara Beykpour wielokrotnie podkreślała w wywiadach pojęcie „historii”, z którym się zgadzam, to jeden z ich kluczowych atutów, podkreślający, że informacja nie jest „zbierana i integrowana”, lecz „klastrowana i rozumiana”. Jeśli informacja jest tylko bezmyślnie zbierana i łączona, to wszystkie późniejsze sortowanie i oceny wiarygodności stają się niejasne. Szczególnie w kontekście handlowym, gdzie gęstość informacji jest bardzo wysoka, a wymagania dotyczące czasu rzeczywistego są silne, oraz kontekst jest szeroki, nie można pozwolić, aby duży model „swobodnie rozumiał”, lecz najpierw AI musi przeprowadzić rundę strukturalnego klastrowania semantycznego, organizując fragmenty informacji w kilka zwartych „klastrów zdarzeń” (historii) z wewnętrznymi przyczynowymi powiązaniami. 2. Zalety i ślepe punkty LLM: neutralność, przyczynowość vs zdolność przewidywania - LLM ma wyraźną przewagę w kontrolowaniu stylu moderacji oraz neutralności emocjonalnej. Jednak poprzez agregację i wiele post-evaluacji poświęca się aktualność i napięcie strukturalne. - LLM jest dobry w ocenie łańcuchów przyczynowych, analizie przyczyny i skutku, wydobywaniu bardzo subtelnych powiązań między rzeczami w niektórych punktach, szczególnie w kontekście „ścieżek wpływu” i „reakcji w górę i w dół”, co stanie się jednym z ważnych logicznych elementów handlu. - LLM nie jest dobry w przewidywaniu. Jako statystyczny model językowy naturalnie wzmacnia „główne opinie” lub „sygnały o wysokiej częstotliwości”. Nasze obserwacje pokazują, że AI zawsze jest „zbyt optymistyczne”, a ocena Sary brzmi: „jeśli wiele osób mówi, że drużyna A wygra, model pomyśli, że drużyna A wygrała.” Przewidywanie to duży ślepy punkt LLM, nie należy go traktować jako silnika sygnałowego. W porównaniu do podobnych produktów chatbotów, takich jak Tonghuashun lub Bobby z Rockflow, które łączą otwarte pytania z przewidywaniem, czy uda im się przełamać to ograniczenie, czy też będą uwięzione, pozostaje do obserwacji. 3. Strategie zastępujące przewidywanie: łańcuch przyczynowy + strukturalna oś czasu Jeśli przewidywanie jest obecnie słabym punktem LLM, w sytuacji, gdy nie dokonuje się przewidywań i wymagana jest wysoka aktualność, zachowanie podobnych sekcji kalendarza tradingview i przyczyny i skutku będzie bardzo przydatne. Wnioskowanie, czy jedna rzecz jest związana z drugą, oraz względna kolejność rozwoju wydarzeń i czynniki wyzwalające. Tego rodzaju ocena wystarczy, aby zbudować model odchyleń informacyjnych dla systemu handlowego, bez potrzeby rzeczywistego prognozowania. 4. Praca nad oceną: evaluacja jest zdecydowanie bardzo precyzyjną i ukierunkowaną pracą. Na przykład ograniczenie sposobu wyrażania: każde zdanie może mieć tylko jeden punkt widzenia, unikanie zdań podrzędnych; na przykład „sugestia” = „punkt widzenia”, unikanie niejasnych wniosków; na przykład podsumowanie nie może przekraczać X słów, a jeśli ma subiektywny charakter lub „intencjonalne wyrażenie”, jest traktowane jako błąd. Oczywiście dla każdego elementu treści istnieje również kwantyfikacja „krytyczności”, aby lepiej umożliwić automatyczne działanie poniższego pipeline'u. Cały pipeline jest asynchroniczny i wielokrotnie wykonalny: jeśli ocena nie przejdzie, zadanie automatycznie się restartuje. Dlatego model musi wykonać tylko małe zadanie, na przykład ocenić, czy zdarzenie miało miejsce, lub wygenerować podsumowanie bez sugestii, a nie realizować całej inferencji i wyrażenia w jednej rundzie. Taka logika polega na rozbiciu generacji na wiele weryfikowalnych, wielokrotnie wykonalnych małych zadań, z których każde można poddać weryfikacji rzeczywistości, maksymalnie unikając iluzji i tendencyjności. 5. Od prototypu do pełnej linii produkcyjnej wysokiej jakości treści AI Sara podzieliła się pełnym procesem tworzenia systemu moderacji: najpierw w środowisku testowym pisze się prompt, ustawia pięć pytań, a następnie łamie się strukturę lub zapomina kontekst, aż model zacznie wykazywać stabilne i dobre zachowanie, a prompt może mieć nawet kilkaset linii. Gdy prompt jest wstępnie stabilny, przekazywany jest zespołowi technicznemu, który dzieli szablon promptu na komponenty i umieszcza je w asynchronicznym pipeline, aby przeprowadzić offline'ową analizę wszystkich innych pytań. Na koniec rozpoczyna się testowanie pytań na żywo, aby system działał w rzeczywistych warunkach, a wtedy formalnie wprowadza się ocenę. Podsumowując, jeśli chcesz zbudować system agregacji i dostarczania informacji wspomaganą przez AI, nie miej złudzeń, że duży model bezpośrednio poda ci alpha; wszelkie użycie AI do przewidywania, które mówi ci, który instrument kupić, to oszustwo. Prawdziwa wiedza to struktura, proces i system weryfikacji, który sprawia, że LLM staje się wiarygodny w ramach architektury.