Also, bevor die Leute sich damit rühmen, ich habe das oai os gefunden, nachdem sie es hochgeladen und die Konfiguration und andere Dinge gespeichert hatten, bevor es entfernt wurde. Es ist ein OS-Modell und kommt bald, also fühlt es sich irgendwie so an, als würde man eine Überraschung verderben.

Eh, es wird jetzt sowieso herauskommen. Konfiguration: {"num_hidden_layers": 36, "num_experts": 128, "experts_per_token": 4, "vocab_size": 201088, "hidden_size": 2880, "intermediate_size": 2880, "swiglu_limit": 7.0, "head_dim": 64, "num_attention_heads": 64, "num_key_value_heads": 8, "sliding_window": 128, "initial_context_length": 4096, "rope_theta": 150000, "rope_scaling_factor": 32.0, "rope_ntk_alpha": 1, "rope_ntk_beta": 32}

@teortaxesTex