すべての小規模事業者は、収益を増やしコストを削減し効率を向上させるために社内のワークフローツールを構築するよう促すべきのように思えます。 でも...まだそういう状況は見られません。なぜでしょうか? これは、AIがまだ広範な経済的影響をもたらしていない最も明確な証拠です。

人間が現在のAIシステムよりも継続的な学習に優れているというのは、やや誤解を招く呼び方です。 また、私たちは壊滅的な忘却にも悩まされています。普通の人に高校や大学の試験をもう一度受けさせてみて。彼らはひどく失敗するだろう。長期記憶は劣化し、以前に習得したスキルを忘れてしまいます。 私たちが優れているのは、おそらく脳内のコンテキストウィンドウをより賢く使うことと、ツールを使う能力です。私たちは、良い仕事をし、良い人生を送るために何を覚えておくべきかを何となく知っている傾向があります。残りはファイルやツール、あるいは他の人を通じて世界に委ねます。 次世代のLLMも同じ方法で継続的な学習を「解決」します。重みを更新したり、ノートやファイル、KVキャッシュで新しいことを覚えたりするにせよ、時間をかけて徐々に改善していくと思いますし、気づけばAIシステムも私たちと一緒に進化していくでしょう。

サンプル効率のための自動調査! @karpathyの自動調査を活用し、目標を1000万トークンの固定トークン予算で検証損失を最小化することに変更しました。 一晩かけて実行したところ、システムは調整を発見し、基準から14%改善しました。 本当にクレイジーです!