新论文和令人惊讶的结果。 大型语言模型通过数据中的隐藏信号将特征传递给其他模型。 仅由三位数字组成的数据集可以传递对猫头鹰的喜爱或邪恶倾向。🧵

在我们对开放科学的持续承诺中，我们发布了Voxtral技术报告： 该报告涵盖了预训练、后训练、对齐和评估的详细信息。我们还提供了关于选择最佳模型架构、使用哪种预训练格式以及DPO的好处的分析。