🚨 Olympiade Mathematik + KI: Wir haben Googles Gemini 2.5 Pro an den neuen IMO 2025 Aufgaben getestet. Mit sorgfältigem Prompting und Pipeline-Design hat es 5 von 6 gelöst – bemerkenswert für Aufgaben, die tiefes Verständnis und Kreativität erfordern. Das Modell könnte Gold gewinnen! 🥇 #KI #Mathematik #LLMs #IMO2025

IMO 🥇 erreicht! Ich bin wirklich stolz darauf, zum Nachtraining und zur Denkweise dieses Modells beigetragen zu haben! Wir kommen der ASI näher!

Asiaten: Wir werden unser eigenes Chaos beheben.

Um gegen Asiaten zu kämpfen, braucht man Asiaten.

Warum die Pre-Training- und Post-Training-Teams gut miteinander auskommen müssen

Das Grok-Team internalisiert die menschlichen Datenoperationen (z. B. Rekrutierung für die Rolle des KI-Tutors für Japanisch). Wahrscheinlich denken mehr Frontier-Labore darüber nach, die Datenarbeit zu besitzen und zu betreiben.

Das Grok-Team internalisiert die menschlichen Datenoperationen (z. B. Rekrutierung für die Rolle des KI-Tutors für Japanisch). Angesichts des Übergangs zu Scale AI denken wahrscheinlich mehr Frontier-Labore darüber nach, die Datenarbeit zu besitzen und zu betreiben.

Wenn Sie auf der ICML sind und sich für RL oder Mehrsprachigkeit interessieren, sagen Sie bitte Hallo zu @marafinkels! Wir haben in den letzten Monaten eng zusammengearbeitet, um eine RL-Methode zu entwickeln, die ein kritisches Qualitätsproblem bei Gemini behebt. Sie hat auch großartige Forschungsideen! Ich hoffe, Gemini und die Akademie bleiben in Kontakt.

Neuer Blogbeitrag über die Asymmetrie der Verifikation und das "Gesetz des Verifiers": Die Asymmetrie der Verifikation – die Idee, dass einige Aufgaben viel einfacher zu verifizieren sind als zu lösen – wird zu einem wichtigen Konzept, da wir RL haben, das endlich allgemein funktioniert. Große Beispiele für die Asymmetrie der Verifikation sind Dinge wie Sudoku-Rätsel, das Schreiben des Codes für eine Website wie Instagram und BrowseComp-Probleme (es dauert ~100 Websites, um die Antwort zu finden, aber es ist einfach zu verifizieren, sobald man die Antwort hat). Andere Aufgaben haben eine nahezu Symmetrie der Verifikation, wie das Summieren von zwei 900-stelligen Zahlen oder einige Datenverarbeitungsskripte. Wieder andere Aufgaben sind viel einfacher, um machbare Lösungen vorzuschlagen, als sie zu verifizieren (z. B. das Überprüfen eines langen Aufsatzes oder das Nennen einer neuen Diät wie "nur Bison essen"). Eine wichtige Sache, die man über die Asymmetrie der Verifikation verstehen sollte, ist, dass man die Asymmetrie verbessern kann, indem man im Voraus etwas Arbeit leistet. Zum Beispiel, wenn man den Antwortschlüssel zu einem Mathematikproblem hat oder wenn man Testfälle für ein Leetcode-Problem hat. Dies erhöht erheblich die Menge an Problemen mit wünschenswerter Verifikationsasymmetrie. Das "Gesetz des Verifiers" besagt, dass die Leichtigkeit, KI zu trainieren, um eine Aufgabe zu lösen, proportional dazu ist, wie verifizierbar die Aufgabe ist. Alle Aufgaben, die lösbar und einfach zu verifizieren sind, werden von KI gelöst. Die Fähigkeit, KI zu trainieren, um eine Aufgabe zu lösen, ist proportional dazu, ob die Aufgabe die folgenden Eigenschaften hat: 1. Objektive Wahrheit: Jeder ist sich einig, was gute Lösungen sind. 2. Schnell zu verifizieren: Jede gegebene Lösung kann in wenigen Sekunden verifiziert werden. 3. Skalierbar zu verifizieren: Viele Lösungen können gleichzeitig verifiziert werden. 4. Geringes Rauschen: Die Verifikation ist so eng wie möglich mit der Lösungsqualität korreliert. 5. Kontinuierliche Belohnung: Es ist einfach, die Güte vieler Lösungen für ein einzelnes Problem zu bewerten. Eine offensichtliche Veranschaulichung des Gesetzes des Verifiers ist die Tatsache, dass die meisten Benchmarks, die in der KI vorgeschlagen werden, einfach zu verifizieren sind und bisher gelöst wurden. Beachten Sie, dass praktisch alle beliebten Benchmarks der letzten zehn Jahre die Kriterien #1-4 erfüllen; Benchmarks, die die Kriterien #1-4 nicht erfüllen, würden Schwierigkeiten haben, populär zu werden. Warum ist Verifizierbarkeit so wichtig? Die Menge des Lernens in der KI, die stattfindet, wird maximiert, wenn die oben genannten Kriterien erfüllt sind; man kann viele Gradienten-Schritte machen, bei denen jeder Schritt viel Signal hat. Die Geschwindigkeit der Iteration ist entscheidend – sie ist der Grund, warum der Fortschritt in der digitalen Welt so viel schneller war als der Fortschritt in der physischen Welt. AlphaEvolve von Google ist eines der größten Beispiele für die Nutzung der Asymmetrie der Verifikation. Es konzentriert sich auf Setups, die alle oben genannten Kriterien erfüllen, und hat zu einer Reihe von Fortschritten in der Mathematik und anderen Bereichen geführt. Anders als das, was wir in der KI in den letzten zwei Jahrzehnten gemacht haben, ist es ein neues Paradigma, bei dem alle Probleme in einem Setting optimiert werden, in dem der Trainingssatz dem Testsatz entspricht. Die Asymmetrie der Verifikation ist überall und es ist aufregend, sich eine Welt mit gezackter Intelligenz vorzustellen, in der alles, was wir messen können, gelöst wird.

Wirkungsvolle Arbeit, die jeder leisten kann, besteht darin, LLMs zu nutzen, um so viel wie möglich von Ihrem Workflow, CoTs und Ihrer Inspiration zu journalisieren und zu digitalisieren. Kontextengineering zur Automatisierung und Erweiterung Ihrer selbst im Leben und bei der Arbeit.