Malgré le zoo complexe des variantes de LoRA, j'ai l'impression que la seule théorie formelle pour les modèles modernes que nous allons obtenir viendra de la formalisation de LoRA (via, par exemple, Kac-Rice) et de MoE (via l'optimisation convexe) Des arguments informels de type physique suggèrent cela fortement.
TuringPost
TuringPost13 juil., 20:34
13 new types of LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptive Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Dual LoRA Learning (DLoRAL) ▪️ Safe Pruning LoRA (SPLoRA) ▪️ PLoP (Precise LoRA Placement) Save the list! Check this out to learn what they are and get the links to the papers →
4,32K