小章魚 @OpenledgerHQ 更新了一次重要的歸屬證明機制講解,內容一如既往涵蓋了一些有關技術的內容 我不懂技術,只能儘量給大家通俗易懂的寫出我的理解和這個歸屬證明機制的現實意義 歡迎有懂技術的老師交流 🙋傳統存在問題:傳統語言模型使用 n-gram(固定長度的詞序列)預測下一個詞,速度快但缺乏上下文,無法追蹤預測的來源或數據貢獻者 📖Infini-gram機制講解:OpenLedger 的 OpenLedger 的歸屬證明(Proof of Attribution,PoA)機制使用的是 Infini-gram,而非傳統的 n-gram,因此 Infini-gram 打破了 n-gram 的侷限性 它是一種基於後綴數組的 ∞-gram(無限長度)歸因框架的符號跨度匹配引擎,能夠索引訓練數據中所有長度的序列,並支持對模型輸出中的每個詞元進行實時追溯,精確定位其來源。 Infini-gram 支持OpenLedger的歸屬證明系統,實現從模型響應到訓練數據的精確追蹤,無需訪問模型內部,保持快速、透明和可復現 👍這個機制的現實意義:(個人解讀,如果問題,歡迎指正) 1、精準溯源,透明可靠:Infini-gram 支持一個詞一個詞地追蹤 AI 模型的輸出,告訴你答案到底是從哪個訓練數據來的 這就像給 AI 裝了個“來源標籤”,讓整個過程清清楚楚。用戶一看就知道 AI 說了啥、為啥這麼說,透明度拉滿,溯源體系完備 2、公平認可數據貢獻者:針對提供數據的貢獻者們,Infini-gram 能明確哪個數據幫 AI 生成了答案,數據貢獻者終於能被看見、被認可 這種方式讓 AI 生態更公平,還能激勵更多人分享優質數據 3、可拓展 + 高效並重:Infini-gram 的基於後綴數組的框架,不管是多大的數據量,都能實時追蹤來源,效率拉滿 而且它不用複雜梯度計算,簡單高效就能擴展到海量數據集場景 4、讓 AI 更靠譜、更合規:Infini-gram 可以AI 模型提供“可驗證身份證”,讓輸出的內容精確確定來源 這不僅讓用戶更信任 AI,還能滿足監管要求,幫 AI 更加合規且符合道德準則 🤔以上是我個人的思考和解讀:目前一些人確實有意在引導AI犯錯,給其灌輸一些錯誤的信息數據,小章魚的這個功能對於幫助大家溯源錯誤數據,糾正AI錯誤具有極大的現實應用場景 期待看到這個功能未來的落地效果
Openledger
Openledger7月10日 20:45
OpenChat 由你驅動,旨在給予你應有的信用。 你發送的每條消息、分享的數據集或微調的模型都會在鏈上記錄。 透過歸屬證明,你的貢獻不僅僅被記住。它們還會獲得獎勵 🐙
21.93K