Trong quá khứ, mọi người đã cố gắng chuyển sang điện toán đám mây, nhưng chi phí tính toán đơn vị trong giai đoạn suy luận đã khiến nhiều đội ngũ nhận ra rằng: suy luận AI quy mô lớn và dài hạn trên đám mây tiêu tốn quá nhanh. Ứng dụng AI gốc phù hợp hơn để chuyển các nhiệm vụ suy luận quan trọng xuống các trung tâm dữ liệu địa phương, vừa giảm độ trễ vừa tiết kiệm băng thông và chi phí thuê đám mây. Cuộc cạnh tranh về bộ nhớ là đặc điểm điển hình trong giai đoạn đầu của việc đào tạo học sâu (ai có bộ nhớ đồ họa lớn hơn sẽ thắng), nhưng ngày nay: Giới hạn thông lượng dữ liệu lưu trữ vào GPU ảnh hưởng trực tiếp đến QPS suy luận. Tốc độ tương tác giữa GPU và CPU/thẻ tăng tốc là giới hạn hiệu suất của đường ống. Công suất tiêu thụ của cụm AI trong một tủ máy có thể lên tới hàng chục kilowatt, thiết kế PD không hợp lý sẽ trực tiếp làm tắc nghẽn quy mô triển khai tính toán. Nếu bố trí trung tâm dữ liệu vẫn dừng lại ở mô hình thiết kế truyền thống của Web/điện toán cơ sở dữ liệu năm 2015, nó sẽ trực tiếp gặp rắc rối dưới tải công việc AI. Xem những hiểu biết của chúng tôi: 20 Chuyên gia Công nghệ về Các Xu hướng Phần cứng Mới Nổi mà Doanh nghiệp Cần Theo Dõi qua @forbes.