Sebastian Borgeaud (Google) 在 RSI 上： "使用合成數據時，您使用一個強大的模型來生成合成數據，然後進行小規模的消融實驗以驗證合成數據的效果。一個非常有趣的問題是，您是否可以實際生成合成數據，使您希望在未來訓練的模型比最初生成合成數據的模型更好。我們花了很多時間思考這個問題並在這個方向上進行研究。"