GLiClass-V3:一系列仅编码器模型,在零-shot 精度上与 DeBERTa-v3-Large 相匹配或超越,同时提供高达 50 倍的推理速度。 核心设计: - 单次推理:无需交叉编码器配对。一次前向传递处理所有标签。 - LoRA 适配器:在逻辑任务(例如,形式逻辑推理、常识问答)上进行微调,以实现符号泛化而不发生灾难性遗忘。 - 边缘就绪:gliclass-edge-v3.0 在 A6000 上达到 97 ex/s,适合移动设备和物联网。 GLiClass-V3 变体(gliclass-*): (基于 DeBERTa、ModernBERT 和 Ettin 进行边缘部署) - large-v3.0:70.0% 平均 F1(最佳) - base-v3.0:65.6% - modern-large:60.8% - edge-v3.0:48.7%(最快,基于 Ettin) - x-base:57% F1(英语),42%(多语言),用于强大的多语言零-shot 泛化。 基准测试(零-shot,无需微调): - CR、SST2、IMDb:~0.93–0.94 F1 - 超越 GLiClass-v2 和交叉编码器(例如,DeBERTa-v3-Large、RoBERTa) - 可扩展到 128+ 标签,速度大幅提升(DeBERTa-Large:0.25 ex/s vs GLiClass:82.6) 用例: - 多标签分类(例如,主题、情感、垃圾邮件) - RAG 重新排序 - 隐私安全的设备内 NLP 基于 DeBERTa 和 ModernBERT。完全开源。 pip install gliclass
3.3K