新しい論文と驚くべき結果。 LLMは、データ内の隠れたシグナルを介して他のモデルに形質を送信します。 3桁の数字だけで構成されるデータセットは、フクロウへの愛や邪悪な傾向を伝えることができます。🧵

蒸留のためのより実用的なセットアップでは、教師はずれたモデルであり、数学の問題の推論トレースを生成します。 正しくないトレースや位置ずれを示すトレースを除外します。 しかし、学生モデルは依然としてずれています。