Donc, avant que les gens ne prennent le crédit, j'ai trouvé l'oai os une minute après qu'ils aient téléchargé et sauvegardé la configuration et d'autres choses avant qu'elles ne soient supprimées. C'est un modèle d'OS et ça arrive bientôt, donc on a un peu l'impression de gâcher une surprise.

Eh, ça va de toute façon sortir maintenant Configuration : {"num_hidden_layers": 36, "num_experts": 128, "experts_per_token": 4, "vocab_size": 201088, "hidden_size": 2880, "intermediate_size": 2880, "swiglu_limit": 7.0, "head_dim": 64, "num_attention_heads": 64, "num_key_value_heads": 8, "sliding_window": 128, "initial_context_length": 4096, "rope_theta": 150000, "rope_scaling_factor": 32.0, "rope_ntk_alpha": 1, "rope_ntk_beta": 32}

@teortaxesTex