LoRAの亜種は複雑ですが、現代のモデルの正式な理論は、LoRA(Kac-Riceなど)とMoE(凸最適化)の形式化から得られるものだけのように感じています 物理学的な非公式の議論は、これを強く示唆しています
TuringPost
TuringPost7月13日 20:34
13種類の新しいLoRA ▪️ T-LoRAの ▪️ シンロラ ▪️ ライオン・ロラ ▪️ LoRAミキサー ▪️ QR-LoRAの ▪️ フリーロラ ▪️ LoRA拡張生成(LAG) ▪️ ARD-LoRA(Adaptive Rank Dynamic LoRA) ▪️ ワラ ▪️ ベイズロラ ▪️ デュアルLoRAラーニング(DLoRAL) ▪️ セーフプルーニングLoRA(SPLoRA) ▪️ PLoP(正確なLoRA配置) リストを保存してください!これをチェックして、それらが何であるかを学び、論文へのリンクを入手してください→
4.18K