我還沒聽到有人討論過，但人工智慧基本上已經殺死了黑客馬拉松。 2019年在黑客馬拉松上你可能做的任何東西，在2025年都可以由人工智慧更好、更快地構建。

這是壞代碼對吧？

可能有10倍的人應該專注於提示優化 系統（我們需要一個vLLM來進行提示優化）、理論、新技術、基準測試。整個套件和配件

這裡有一些免費的資訊： 如果我們在預訓練後進行強化學習（RL）太久，我們肯定會覆蓋參數並開始遺忘一些東西。 在原始的 instructGPT 論文中，他們的最佳模型將 RLHF 與預訓練梯度混合，以避免這種模型漂移問題。 然而，現在沒有人再這樣做了。當然，這是一個特定的實現（梯度混合），但它是更廣泛想法（避免遺忘）的具體例子，但隨著我們進行越來越多的 RL 步驟，這似乎是一個被大大忽視的思路。 例如，請參見最近的 ProRL 論文。他們現在進行超過 1000 步的 GRPO，使用非平凡的學習率，並且對偏離原始模型沒有懲罰。預訓練期間在模型內部建立的電路肯定開始衰退。如果沒有，經過 10,000 或 100,000 步的 RL 後，它們將會衰退。 我懷疑這個想法最終會回來；他們可能已經在大型實驗室中這樣做了。

我在尋找推理模型泛化的好例子 例如，一個通過強化學習激勵的模型，經過一段時間思考並解決數學問題後，竟然在創意寫作方面變得更好 這種情況常見嗎？

這似乎真的很重要： 在給定一個完美設計的提示的情況下，模型完全有可能在沒有 *任何* 強化學習的情況下獲得 IMO 金牌。 我們只是不知道，並且缺乏有效搜索提示空間的工具。很高興看到至少有人在嘗試。

你無法編造這些東西

假設情況 - 我是一家人工智慧公司，已將轉移和儲存模型的成本降至零。我可以為每位用戶提供他們自己的模型，沒有任何開銷。 我該怎麼做？直接在用戶的數據上進行用戶特定模型的SFT？還是基於聊天評分進行RLHF？還是其他什麼？

人類大腦將 40% 的處理能力專門用於視覺。現代的 LLM 以某種方式完全沒有這一點進化。

我認識的一個傢伙（據說）用自我傳播的觸發激活的潛伏越獄載荷毒害了全球的AI訓練數據庫。