小章鱼 @OpenledgerHQ 更新了一次重要的归属证明机制讲解,内容一如既往涵盖了一些有关技术的内容 我不懂技术,只能尽量给大家通俗易懂的写出我的理解和这个归属证明机制的现实意义 欢迎有懂技术的老师交流 🙋传统存在问题:传统语言模型使用 n-gram(固定长度的词序列)预测下一个词,速度快但缺乏上下文,无法追踪预测的来源或数据贡献者 📖Infini-gram机制讲解:OpenLedger 的 OpenLedger 的归属证明(Proof of Attribution,PoA)机制使用的是 Infini-gram,而非传统的 n-gram,因此 Infini-gram 打破了 n-gram 的局限性 它是一种基于后缀数组的 ∞-gram(无限长度)归因框架的符号跨度匹配引擎,能够索引训练数据中所有长度的序列,并支持对模型输出中的每个词元进行实时追溯,精确定位其来源。 Infini-gram 支持OpenLedger的归属证明系统,实现从模型响应到训练数据的精确追踪,无需访问模型内部,保持快速、透明和可复现 👍这个机制的现实意义:(个人解读,如果问题,欢迎指正) 1、精准溯源,透明可靠:Infini-gram 支持一个词一个词地追踪 AI 模型的输出,告诉你答案到底是从哪个训练数据来的 这就像给 AI 装了个“来源标签”,让整个过程清清楚楚。用户一看就知道 AI 说了啥、为啥这么说,透明度拉满,溯源体系完备 2、公平认可数据贡献者:针对提供数据的贡献者们,Infini-gram 能明确哪个数据帮 AI 生成了答案,数据贡献者终于能被看见、被认可 这种方式让 AI 生态更公平,还能激励更多人分享优质数据 3、可拓展 + 高效并重:Infini-gram 的基于后缀数组的框架,不管是多大的数据量,都能实时追踪来源,效率拉满 而且它不用复杂梯度计算,简单高效就能扩展到海量数据集场景 4、让 AI 更靠谱、更合规:Infini-gram 可以AI 模型提供“可验证身份证”,让输出的内容精确确定来源 这不仅让用户更信任 AI,还能满足监管要求,帮 AI 更加合规且符合道德准则 🤔以上是我个人的思考和解读:目前一些人确实有意在引导AI犯错,给其灌输一些错误的信息数据,小章鱼的这个功能对于帮助大家溯源错误数据,纠正AI错误具有极大的现实应用场景 期待看到这个功能未来的落地效果
Openledger
Openledger7月10日 20:45
OpenChat 由你驱动,旨在给予你应得的认可。 你发送的每条消息、分享的数据集或微调的模型都会在链上记录。 通过归属证明,你的贡献不仅被铭记。它们还会得到奖励 🐙
21.93K