Ondanks de complexe zoo van LoRA-varianten, heb ik het gevoel dat de enige formele theorie voor moderne modellen die we gaan krijgen, zal komen van het formaliseren van LoRA (bijv. Kac-Rice) en MoE (via convex optimalisatie) Fysica-achtige informele argumenten suggereren dit sterk.
TuringPost
TuringPost13 jul, 20:34
13 nieuwe soorten LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptive Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Dual LoRA Learning (DLoRAL) ▪️ Safe Pruning LoRA (SPLoRA) ▪️ PLoP (Precise LoRA Placement) Bewaar de lijst! Bekijk dit om te leren wat ze zijn en krijg de links naar de papers →
4,26K