Altman thừa nhận rằng các mô hình transformer đã gặp phải giới hạn. Hầu hết các cải tiến trong 9 tháng qua chủ yếu là do công cụ xung quanh mô hình chứ không phải bản thân các mô hình. Nói cách khác, công nghệ này đang phát triển nhanh chóng mà không có dấu hiệu của một bước nhảy vọt khác.