Zmírňujícím faktorem problému s benchmarky AI (chyby, nasycení, kontaminace) je to, že navzdory problémům jsou všechny stále poměrně silně korelované. Takže pokud si vaše umělá inteligence vede dobře na GPQA nebo MMLU nebo HLE, má tendenci si vést dobře i v jiných benchmarcích a na vibracích a skutečné práci.
12K