Dus voordat mensen de eer opstrijken, vond ik de oai os een minuut nadat ze de configuratie en andere dingen hadden geüpload en opgeslagen voordat het werd verwijderd. Het is een OS-model en komt binnenkort, dus het voelt een beetje als het verpesten van een verrassing.

Eh, het gaat er nu toch uitkomen. Config: {"num_hidden_layers": 36, "num_experts": 128, "experts_per_token": 4, "vocab_size": 201088, "hidden_size": 2880, "intermediate_size": 2880, "swiglu_limit": 7.0, "head_dim": 64, "num_attention_heads": 64, "num_key_value_heads": 8, "sliding_window": 128, "initial_context_length": 4096, "rope_theta": 150000, "rope_scaling_factor": 32.0, "rope_ntk_alpha": 1, "rope_ntk_beta": 32}

@teortaxesTex