Apesar do complexo zoológico de variantes do LoRA, sinto que a única teoria formal para modelos modernos que vamos obter virá da formalização do LoRA (por exemplo, via Kac-Rice) e do MoE (via otimização convexa) Argumentos informais de natureza física sugerem isso fortemente.
TuringPost
TuringPost13/07, 20:34
13 novos tipos de LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptive Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Dual LoRA Learning (DLoRAL) ▪️ Safe Pruning LoRA (SPLoRA) ▪️ PLoP (Precise LoRA Placement) Guarde a lista! Confira isto para aprender o que são e obter os links para os artigos →
4,23K