A pesar del complejo zoológico de variantes de LoRA, siento que la única teoría formal para los modelos modernos que vamos a obtener provendrá de la formalización de LoRA (a través, por ejemplo, de Kac-Rice) y MoE (a través de optimización convexa) Argumentos informales de tipo físico sugieren esto con fuerza.
TuringPost
TuringPost13 jul, 20:34
13 nuevos tipos de LoRA ▪️ T-LoRA ▪️ SingLoRA ▪️ LiON-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ FreeLoRA ▪️ LoRA-Augmented Generation (LAG) ▪️ ARD-LoRA (Adaptive Rank Dynamic LoRA) ▪️ WaRA ▪️ BayesLoRA ▪️ Dual LoRA Learning (DLoRAL) ▪️ Safe Pruning LoRA (SPLoRA) ▪️ PLoP (Precise LoRA Placement) ¡Guarda la lista! Consulta esto para aprender qué son y obtener los enlaces a los documentos →
4,24K