Studium der gesammelten Softwarearbeiten von Simon Willison

"Dr." im Titel-Dropdown auszuwählen, nur um etwas zu fühlen

Ich bin ein großer Fan davon, Code gleichzeitig kürzer, schöner und leistungsfähiger zu machen. ToolEnv benötigte eine Überarbeitung.

Einer meiner Lieblingsaspekte bei der Arbeit bei Prime Intellect ist es, die lustigen Namen auszuwählen, wann immer jemand eine neue Instanz startet.

RL hat sich von einem Zustand, in dem es überhaupt nicht funktionierte, zu einem Zustand entwickelt, in dem es so gut funktioniert, dass der Code große Korrektheitsfehler aufweisen kann und man es nicht bemerkt, weil es einfach funktioniert.

Eines dieser Tage werde ich anfangen, Commits zusammenzufassen, aber heute ist nicht dieser Tag.

Es ist schade, dass uns die Internetdaten ausgehen, weil alle gemeinsam aufgehört haben, neue Inhalte ins Internet zu stellen.

ChatGPT sollte einen großen grünen Schalter haben, auf dem "Syco Mode" steht.

Rezept zum Nachtrainieren von Qwen3 1.7B zu einem DeepResearch-Modell Was bedeutet es, wenn etwas Kleines tiefgründig denkt? Lernen Sie Lucy kennen, ein nachtrainiertes Qwen3-1.7B als DeepResearch-Modell, basierend auf den Verifizierern von @willccbb. Primäre regelbasierte Belohnungen: - Richtigkeit der Antworten Wir überprüfen, ob die endgültige Antwort wörtlich die wahre Antwort enthält. Dieser Teilstring-Abgleich ist kostengünstig und vermeidet die Notwendigkeit, ein größeres LLM als Richter heranzuziehen. - Besuchs-/Suchverhältnis Wenn der Agent mindestens so viele Seiten besucht, wie er Suchanfragen stellt, erhält er ((visit_search_ratio - 1) / 4) ** 0.25. Wenn er mehr sucht als besucht, beträgt die Punktzahl -0.5. Format / Anti-Belohnungs-Hacking-Belohnungen: - Erfolg der Toolausführung Jeder API-Aufruf, der ohne Fehler zurückkommt, zählt. Die Belohnung beträgt (erfolgreiche_aufrufe * einzigartige_tools_verwendet) / gesamt_aufrufversuche. - Denk-Effizienz Eine schief-normalverteilte Strafe, die auf 70 Tokens zentriert ist, entmutigt endlose Gedankengänge zwischen dem Aufrufen von Tools, während sie dennoch genügend Tokens für die Planung zulässt. So hat Qwen3 1.7B gelernt, Informationen zu suchen, zu besuchen und zu synthetisieren. Kleine Modelle können auch tiefgehende Forschung betreiben!

Wenn ein Modell mehrere aufeinanderfolgende Toolaufrufe mit gedanklicher Kettenbildung kombiniert, um eine einzige Frage zu beantworten, dann ist das: