Wenn Sie die Bürozeiten von @NousResearch verpasst haben, hier ist eine Zusammenfassung dessen, was Sie verpasst haben 🤖 Psyche demokratisiert das AI-Training auf @solana. Projektübersicht Psyche: Psyche zielt darauf ab, das kollaborative, Open-Source-Training großer Basis-AI-Modelle zu ermöglichen, die Abhängigkeit von geschlossenen Laboren zu verringern und Algorithmen zu verwenden, um den Kommunikationsaufwand im verteilten GPU-Training zu minimieren. Aktuelles Modelltraining: Sie trainieren derzeit ein 40 Milliarden Parameter umfassendes DeepSeek-ähnliches dichtes LLM, das leistungsstark und gleichzeitig lokal ausführbar sein soll. Dezentrale Koordination: Die Trainingskoordination erfolgt über das Solana-Netzwerk, um Dezentralisierung zu gewährleisten und Einzelpunkte des Versagens zu vermeiden. Netzwerkherausforderungen & Lösungen: Ein Peer-to-Peer-Gossip-Netzwerk, das IRO verwendet, wurde aufgebaut, um die Datenübertragung zwischen Knoten zu bewältigen und die Datenvolumenbeschränkungen von Solana zu adressieren. Wechsel zu Python-Backend (Torch Titan): Der Code von Psyche wird "Pythonifiziert", indem das Trainer-Backend abstrahiert wird, um Python-basierte Trainer zu unterstützen (Integration eines Forks von Torch Titan), was voraussichtlich eine ~2-fache Beschleunigung bieten wird. Feinabstimmungsfähigkeiten: Psyche wird bald vollständige Feinabstimmungen unterstützen, einschließlich fortschrittlicher Methoden, die bei Nous entwickelt wurden, mit Plänen zur Feinabstimmung eines kommenden Nous-Modells im Netzwerk. Treasurer-Audits: Der auf Solana basierende Treasurer-Code, der die Belohnungsverteilung an Compute-Anbieter verwaltet, hat erfolgreich zwei unabhängige Audits bestanden. Zukünftige Forschung (Psyche 2.0): Zukünftige Forschungen umfassen die Erkundung von Tensor-Parallelismus (TP), Pipeline-Parallelismus (PP) und Experten-Parallelismus (EP) über das Internet, um Psyche zu einer Plattform für die Entwicklung fortschrittlicher AI-Algorithmen zu machen. Beiträgen der Gemeinschaft: Entwickler können zum Open-Source-Psyche-Code beitragen, neue Umgebungen für den Atropos-Verstärkungslern-Code erstellen und das dezentrale Inferenznetzwerk unterstützen, indem sie die Nous-API verwenden. Langfristige Vision: Das ultimative Ziel ist es, das AI-Modelltraining zu demokratisieren, sodass jeder zur Berechnung eines globalen Netzwerks beitragen kann, ähnlich wie bei "Folding at Home" oder "SETI at Home", um die beste offene AI der Welt zu schaffen. Video:

@aeyakovenko @0xMert_ Ich muss euch Nous shillen 🤖