Nếu bạn đã bỏ lỡ giờ làm việc của @NousResearch, đây là một bản tóm tắt về những gì bạn đã bỏ lỡ 🤖 Psyche đang dân chủ hóa việc đào tạo AI trên @solana Tổng quan về Dự án Psyche: Psyche nhằm mục đích cho phép đào tạo AI lớn, mã nguồn mở một cách hợp tác, giảm sự phụ thuộc vào các phòng thí nghiệm đóng và sử dụng các thuật toán để giảm thiểu chi phí giao tiếp trong đào tạo GPU phân tán. Đào tạo Mô hình Hiện tại: Họ hiện đang đào tạo một LLM dày đặc kiểu DeepSeek với 40 tỷ tham số, được thiết kế để mạnh mẽ nhưng có thể chạy cục bộ. Phối hợp Phi tập trung: Việc phối hợp đào tạo diễn ra trên mạng Solana để đảm bảo tính phi tập trung và tránh các điểm thất bại đơn lẻ. Thách thức & Giải pháp Mạng: Một mạng lưới gossip ngang hàng sử dụng IRO đã được xây dựng để xử lý việc truyền dữ liệu giữa các nút, giải quyết các hạn chế về khối lượng dữ liệu của Solana. Chuyển sang Backend Python (Torch Titan): Mã nguồn của Psyche đang được "Python hóa" bằng cách trừu tượng hóa backend huấn luyện để hỗ trợ các huấn luyện viên dựa trên Python (tích hợp một nhánh của Torch Titan), dự kiến sẽ cung cấp tốc độ tăng ~2x. Khả năng Tinh chỉnh: Psyche sẽ sớm hỗ trợ tinh chỉnh hoàn toàn, bao gồm các phương pháp tiên tiến được phát triển tại Nous, với kế hoạch tinh chỉnh một mô hình Nous sắp tới trên mạng. Kiểm toán Thủ quỹ: Mã thủ quỹ dựa trên Solana, quản lý phân phối phần thưởng cho các nhà cung cấp tính toán, đã thành công vượt qua hai cuộc kiểm toán độc lập. Nghiên cứu Tương lai (Psyche 2.0): Nghiên cứu tương lai bao gồm việc khám phá Tensor Parallelism (TP), Pipeline Parallelism (PP), và Expert Parallelism (EP) qua internet để biến Psyche thành một nền tảng phát triển các thuật toán AI tiên tiến. Đóng góp Cộng đồng: Các nhà phát triển có thể đóng góp vào mã nguồn mở của Psyche, tạo ra các môi trường mới cho mã nguồn học tăng cường Atropos, và hỗ trợ mạng suy diễn phi tập trung bằng cách sử dụng API của Nous. Tầm nhìn Dài hạn: Mục tiêu cuối cùng là dân chủ hóa việc đào tạo mô hình AI, cho phép bất kỳ ai đóng góp tính toán vào một mạng lưới toàn cầu, tương tự như "folding at home" hoặc "SETI at home," để tạo ra AI mở tốt nhất thế giới.

@aeyakovenko @0xMert_ Tôi cần phải quảng bá cho bạn Nous 🤖