儘管LoRA變體的複雜性如同動物園,但我確實感覺到,對於現代模型,我們能夠獲得的唯一正式理論將來自於對LoRA的形式化(例如,通過Kac-Rice)和MoE(通過凸優化) 物理學的非正式論證強烈暗示了這一點。
TuringPost
TuringPost7月13日 20:34
13 種新型 LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-增強生成 (LAG) ▪️ ARD-LoRA (自適應排名動態 LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ 雙重 LoRA 學習 (DLoRAL) ▪️ 安全修剪 LoRA (SPLoRA) ▪️ PLoP (精確 LoRA 放置) 保存這個列表!查看這裡以了解它們是什麼並獲取論文的鏈接 →
4.15K