🔥 Genau. Templar hat meine Sichtweise auf AI-Infrastruktur verändert. Ich hatte nicht viel von dezentraler AI erwartet, aber zu sehen, wie @tplr_ai ein 72B-Modell mit 1,1T Tokens über ~70 erlaubnisfreie Knoten auf Bittensor ( $TAO) trainiert. Das allein ist schon ungewöhnlich, aber was wirklich meine Meinung geändert hat, ist, wie sie es geschafft haben. - In diesem Maßstab wird das Training durch Koordination begrenzt. Normalerweise schiebt man ~280GB Daten pro Synchronisierungsschritt zwischen den Knoten, was dezentrales Training praktisch zum Scheitern verurteilt. - @tplr_ai hat das auf ~2,2GB komprimiert und die Synchronisierungsfrequenz massiv mit SparseLoCo reduziert. Wenn ich mir das anschaue, sehe ich, dass sie den Kernengpass beseitigen, der jeden vorherigen Versuch zum Scheitern gebracht hat 🤯. Deshalb denke ich, dass es nicht übertrieben ist, dies als einen DeepSeek-Moment zu bezeichnen. DeepSeek hat gezeigt, dass Modelle günstiger trainiert werden können. Templar zeigt, dass sie ohne zentrale Koordination trainiert werden können. -> Das sind zwei sehr unterschiedliche Richtungen, und diese hier fühlt sich strukturell schwieriger an, mit der zu konkurrieren. Ein weiteres Signal, das ich nicht ignoriere: Wenn Leute wie Anthropic’s Jack Clark es öffentlich als echte Infrastruktur darstellen: - Nach meiner Erfahrung kommt diese Art der Validierung normalerweise, nachdem etwas bereits funktioniert, nicht vorher. - Das ist immer noch vor dem Training. Der echte Vorteil in der AI kommt aus dem Nachtraining, RLHF, Ausrichtungszyklen, im Grunde dort, wo Modelle tatsächlich nützlich werden. Templar bewegt sich als Nächstes mit Grail dorthin, und für mich ist das der echte Test. Wenn sie auch diese Schicht dezentralisieren können, dann reden wir nicht mehr über dezentrale Berechnungen, sondern über eine vollständig erlaubnisfreie AI-Produktionspipeline. Was Templar für mich auszeichnet, ist das Timing und die Richtung, die sie gewählt haben. 1/ Sie haben die Koordination angegriffen, als die gesamte AI-Industrie stillschweigend an Skalierungsgrenzen stößt. - Das ist eine sehr andere Wette, und normalerweise sind die, die Einschränkungen angreifen, nicht Trends, die später wichtig werden. 2/ Ein weiterer Katalysator, den ich sehe, ist das erlaubnisfreie Design. - Die meisten dezentralen AI-Systeme schränken die Teilnahme immer noch irgendwie ein, was die Netzwerkeffekte frühzeitig tötet. - Templar ist von Anfang an vollständig offen gegangen, was bedeutet, dass, wenn dieses Modell funktioniert, es sich nicht nur linear skalieren lässt, sondern mit mehr Mitwirkenden, mehr Experimenten und mehr Randfällen, die parallel gelöst werden, exponentiell wächst. Außerdem sagt mir die Tatsache, dass sie auf das Nachtraining (RL-Schicht) hinarbeiten, dass sie verstehen, wo der echte Wert liegt. Das Vortraining erhält Aufmerksamkeit, aber das Nachtraining ist der Punkt, an dem Modelle nutzbar, ansprechend und monetarisierbar werden. Wenn sie hier erfolgreich sind, beginnen sie, einen Teil der Intelligenzschicht selbst zu besitzen. 3/ Meine Vorhersage basierend darauf: Kurzfristig werden die meisten Leute es immer noch unterschätzen, weil die Qualitätslücke der Modelle im Vergleich zu zentralisierten Laboren das einfache Argument sein wird. Aber im Laufe der Zeit denke ich, dass Templar wird: - eine Backend-Schicht für offene AI-Entwicklung. - ein Koordinationsnetzwerk für verteilte Berechnungen. - und schließlich einen Marktplatz für Intelligenzverfeinerung. Nicht über Nacht dominant, sondern still und leise überall eingebettet. Und wenn sich das bewahrheitet, kommt der Vorteil daraus, das System zu werden, auf dem jeder aufbauen kann, wenn er nicht auf @OpenAI angewiesen sein möchte.
templar
templar20. März, 04:01
In der aktuellen Folge des @theallinpod hat @chamath den @nvidia CEO Jensen Huang nach dezentralem AI-Training gefragt und unser Covenant-72B-Lauf als "eine ziemlich verrückte technische Leistung" bezeichnet. Eine Korrektur: Es sind 72 Milliarden Parameter, nicht vier. Er wurde ohne Erlaubnis von über 70 Mitwirkenden im Commodity-Internet trainiert. Das größte Modell, das jemals auf vollständig dezentraler Infrastruktur vortrainiert wurde. Jensens Antwort ist ebenfalls hörenswert.
@tplr_ai Chads bieten viele wertvolle Informationen über das Bittensor-Ökosystem: @AlgodTrading @CryptoWizardd @CryptoGodJohn @QuintenFrancois @Tanaka_L2 @Eli5defi @andyyy @MilkRoad @andyyy @eliz883
Karamata_ 💎
Karamata_ 💎Vor 20 Stunden
🔥 Genau. Templar hat meine Sichtweise auf AI-Infrastruktur verändert. Ich hatte nicht viel von dezentraler AI erwartet, aber zu sehen, wie @tplr_ai ein 72B-Modell mit 1,1T Tokens über ~70 erlaubnisfreie Knoten auf Bittensor ( $TAO) trainiert. Das allein ist schon ungewöhnlich, aber was wirklich meine Meinung geändert hat, ist, wie sie es geschafft haben. - In diesem Maßstab wird das Training durch Koordination begrenzt. Normalerweise schiebt man ~280GB Daten pro Synchronisierungsschritt zwischen den Knoten, was dezentrales Training praktisch zum Scheitern verurteilt. - @tplr_ai hat das auf ~2,2GB komprimiert und die Synchronisierungsfrequenz massiv mit SparseLoCo reduziert. Wenn ich mir das anschaue, sehe ich, dass sie den Kernengpass beseitigen, der jeden vorherigen Versuch zum Scheitern gebracht hat 🤯. Deshalb denke ich, dass es nicht übertrieben ist, dies als einen DeepSeek-Moment zu bezeichnen. DeepSeek hat gezeigt, dass Modelle günstiger trainiert werden können. Templar zeigt, dass sie ohne zentrale Koordination trainiert werden können. -> Das sind zwei sehr unterschiedliche Richtungen, und diese hier fühlt sich strukturell schwieriger an, mit der zu konkurrieren. Ein weiteres Signal, das ich nicht ignoriere: Wenn Leute wie Anthropic’s Jack Clark es öffentlich als echte Infrastruktur darstellen: - Nach meiner Erfahrung kommt diese Art der Validierung normalerweise, nachdem etwas bereits funktioniert, nicht vorher. - Das ist immer noch vor dem Training. Der echte Vorteil in der AI kommt aus dem Nachtraining, RLHF, Ausrichtungszyklen, im Grunde dort, wo Modelle tatsächlich nützlich werden. Templar bewegt sich als Nächstes mit Grail dorthin, und für mich ist das der echte Test. Wenn sie auch diese Schicht dezentralisieren können, dann reden wir nicht mehr über dezentrale Berechnungen, sondern über eine vollständig erlaubnisfreie AI-Produktionspipeline. Was Templar für mich auszeichnet, ist das Timing und die Richtung, die sie gewählt haben. 1/ Sie haben die Koordination angegriffen, als die gesamte AI-Industrie stillschweigend an Skalierungsgrenzen stößt. - Das ist eine sehr andere Wette, und normalerweise sind die, die Einschränkungen angreifen, nicht Trends, die später wichtig werden. 2/ Ein weiterer Katalysator, den ich sehe, ist das erlaubnisfreie Design. - Die meisten dezentralen AI-Systeme schränken die Teilnahme immer noch irgendwie ein, was die Netzwerkeffekte frühzeitig tötet. - Templar ist von Anfang an vollständig offen gegangen, was bedeutet, dass, wenn dieses Modell funktioniert, es sich nicht nur linear skalieren lässt, sondern mit mehr Mitwirkenden, mehr Experimenten und mehr Randfällen, die parallel gelöst werden, exponentiell wächst. Außerdem sagt mir die Tatsache, dass sie auf das Nachtraining (RL-Schicht) hinarbeiten, dass sie verstehen, wo der echte Wert liegt. Das Vortraining erhält Aufmerksamkeit, aber das Nachtraining ist der Punkt, an dem Modelle nutzbar, ansprechend und monetarisierbar werden. Wenn sie hier erfolgreich sind, beginnen sie, einen Teil der Intelligenzschicht selbst zu besitzen. 3/ Meine Vorhersage basierend darauf: Kurzfristig werden die meisten Leute es immer noch unterschätzen, weil die Qualitätslücke der Modelle im Vergleich zu zentralisierten Laboren das einfache Argument sein wird. Aber im Laufe der Zeit denke ich, dass Templar wird: - eine Backend-Schicht für offene AI-Entwicklung. - ein Koordinationsnetzwerk für verteilte Berechnungen. - und schließlich einen Marktplatz für Intelligenzverfeinerung. Nicht über Nacht dominant, sondern still und leise überall eingebettet. Und wenn sich das bewahrheitet, kommt der Vorteil daraus, das System zu werden, auf dem jeder aufbauen kann, wenn er nicht auf @OpenAI angewiesen sein möchte.
@tplr_ai @AlgodTrading @CryptoWizardd @CryptoGodJohn @QuintenFrancois @Tanaka_L2 @Eli5defi @andyyy @MilkRoad @eliz883 👍
3,35K