Vì vậy, trước khi mọi người nhận công lao, tôi đã tìm thấy oai os một phút sau khi họ tải lên và lưu cấu hình cùng các thứ khác trước khi nó bị xóa. Đó là một mô hình hệ điều hành và sắp ra mắt, vì vậy có cảm giác như đang phá hỏng một bất ngờ.

Eh, nó sẽ được công bố thôi. Cấu hình: {"num_hidden_layers": 36, "num_experts": 128, "experts_per_token": 4, "vocab_size": 201088, "hidden_size": 2880, "intermediate_size": 2880, "swiglu_limit": 7.0, "head_dim": 64, "num_attention_heads": 64, "num_key_value_heads": 8, "sliding_window": 128, "initial_context_length": 4096, "rope_theta": 150000, "rope_scaling_factor": 32.0, "rope_ntk_alpha": 1, "rope_ntk_beta": 32}

@teortaxesTex