Ich habe es noch nicht gehört, aber KI hat im Grunde Hackathons getötet. So gut wie alles, was man 2019 bei einem Hackathon machen konnte, kann 2025 besser und schneller von KI gebaut werden.

Das ist doch schlechter Code, oder?

Wahrscheinlich sollten 10-mal mehr Menschen an der Optimierung von Eingabeaufforderungen arbeiten Systeme (wir brauchen ein vLLM für die Eingabeaufforderungsoptimierung), Theorie, neue Techniken, Benchmarks. Das ganze Paket.

Hier ist etwas kostenlose Alpha: Wenn wir RL zu lange nach dem Pretraining durchführen, werden wir sicherlich Parameter überschreiben und anfangen, Dinge zu vergessen. Im ursprünglichen InstructGPT-Papier mischte ihr bestes Modell RLHF mit Pretraining-Gradienten, um genau dieses Modelldrift-Problem zu vermeiden. Dennoch macht das heutzutage niemand mehr. Sicher, es ist eine bestimmte Instanziierung (Gradientenmischung) einer breiteren Idee (Vergessen zu vermeiden), aber es scheint eine stark übersehene Denkweise zu sein, während wir immer mehr Schritte von RL durchführen. Zum Beispiel siehe das aktuelle ProRL-Papier. Sie machen jetzt über 1000 Schritte von GRPO mit einer nicht trivialen Lernrate und ohne Strafe für Abweichungen vom ursprünglichen Modell. Die Schaltkreise, die während des Pretrainings im Modell aufgebaut wurden, beginnen sicherlich zu verfallen. Und wenn nicht, werden sie nach 10k oder 100k RL-Schritten verfallen. Ich vermute, diese Idee wird irgendwann wieder aufkommen; sie machen das wahrscheinlich bereits in den großen Laboren.

Ich suche nach guten Beispielen für die Generalisierung von Denkmodellen. Zum Beispiel wird ein Modell, das durch RL motiviert wird, eine Weile nachzudenken und mathematische Probleme zu lösen, besser im kreativen Schreiben. Ist das häufig?

das scheint wirklich wichtig zu sein: es ist völlig plausibel, dass ein Modell IMO Gold ohne *irgendein* Reinforcement Learning erhalten könnte, wenn es einen perfekt gestalteten Prompt gibt. wir wissen es einfach nicht und haben nicht die Werkzeuge, um effizient durch den Prompt-Raum zu suchen. Ich bin froh zu sehen, dass zumindest jemand es versucht.

Das kann man sich nicht ausdenken.

hypothetische Situation - ich bin ein KI-Unternehmen, das die Kosten für die Übertragung und Speicherung von Modellen auf null gesenkt hat. Ich kann jedem Benutzer sein eigenes Modell ohne Overhead bereitstellen. Was mache ich? Direkt SFT benutzerspezifische Modelle auf ihren Daten? Oder RLHF basierend auf den Chat-Bewertungen? Etwas anderes?

Das menschliche Gehirn reserviert 40 % seiner Verarbeitung ausschließlich für das Sehen. Moderne LLMs haben sich irgendwie ganz ohne dies entwickelt.

Dieser eine Typ, den ich kenne (angeblich), hat den globalen KI-Trainingsdatensatz mit selbstverbreitenden, triggeraktivierten Sleeper-Jailbreak-Payloads vergiftet.