Terlepas dari kompleksitas varian LoRA, saya merasa satu-satunya teori formal untuk model modern yang akan kita dapatkan akan datang dari memformalkan LoRA (melalui, misalnya, Kac-Rice) dan MoE (melalui pengoptimalan cembung) Argumen fisika-y informal sangat menunjukkan hal ini
TuringPost
TuringPost13 Jul, 20.34
13 jenis LoRA baru ▪️ T-LoRA ▪️ SingLoRA ▪️ Singa-LoRA ▪️ LoRA-Mixer ▪️ QR-LoRA ▪️ LoRA Gratis ▪️ Generasi LoRA yang Ditambah (LAG) ▪️ ARD-LoRA (LoRA Dinamis Peringkat Adaptif) ▪️ WaRA ▪️ BayesLoRA ▪️ Pembelajaran LoRA Ganda (DLoRAL) ▪️ Pemangkasan Aman LoRA (SPLoRA) ▪️ PLoP (Penempatan LoRA yang Tepat) Simpan daftarnya! Lihat ini untuk mempelajari apa itu dan mendapatkan tautan ke makalah →
4,16K