Genau aus diesem Grund sind menschliche Eingriffe in den Prozess für die absehbare Zukunft notwendig, da die Komplexität der Aufgaben und der Horizont steigen, während die Erfolgsquoten erheblich sinken. Sie benötigen Menschen, um den Prozess konsequent zu verankern, um die Erfolgsquoten aufrechtzuerhalten. Die Hauptprobleme bei HITL-Ansätzen sind: 1. Feinabgestimmte LLMs sind so gut geworden, dass es für Menschen schwierig ist zu beurteilen, ob die Ausgaben tatsächlich den objektiven Anforderungen entsprechen, da viel Arbeit investiert wurde, um es "gut aussehen" zu lassen. 2. Zu wissen, wann ein Mensch eingreifen sollte oder wann das Modell/der Agent die Aufgabe/Bewertung übergeben sollte. Die Erkennung von Halluzinationen ist ein verdammt spannendes Thema.
Benjamin Todd
Benjamin Todd16. Juni 2025
Warum können AIs 1 Stunde lang programmieren, aber nicht 10 Stunden? Eine einfache Erklärung: Wenn es eine 10%ige Fehlerchance pro 10-Minuten-Schritt gibt (sagen wir), beträgt die Erfolgsquote: 1h: 53% 4h: 8% 10h: 0,002% @tobyordoxford hat diese Theorie der 'konstanten Fehlerquote' getestet und gezeigt, dass sie gut zu den Daten passt. Die Erfolgswahrscheinlichkeit sinkt exponentiell.
1,31K