所以在大家開始自我吹噓之前，我在他們上傳並保存配置和其他東西後發現了oai os，然後它就被刪除了。 這是一個操作系統模型，將會很快推出，所以有點像是破壞了一個驚喜。

嗯，反正它現在會出來了 配置: {"num_hidden_layers": 36, "num_experts": 128, "experts_per_token": 4, "vocab_size": 201088, "hidden_size": 2880, "intermediate_size": 2880, "swiglu_limit": 7.0, "head_dim": 64, "num_attention_heads": 64, "num_key_value_heads": 8, "sliding_window": 128, "initial_context_length": 4096, "rope_theta": 150000, "rope_scaling_factor": 32.0, "rope_ntk_alpha": 1, "rope_ntk_beta": 32}

@teortaxesTex