Dans le passé, tout le monde se battait pour passer au cloud, mais le coût unitaire de la puissance de calcul en phase d'inférence a fait prendre conscience à de nombreuses équipes que l'inférence AI à long terme et à grande échelle coûte trop cher dans le cloud. Les applications nativement AI sont mieux adaptées pour délocaliser les tâches d'inférence critiques vers des centres de données locaux, ce qui réduit à la fois la latence et les coûts de bande passante et de location cloud. La concurrence pour la mémoire est une caractéristique typique des débuts de l'entraînement en apprentissage profond (celui qui a la plus grande mémoire vidéo gagne), mais aujourd'hui : La limite de débit des données stockées sur le GPU affecte directement le QPS d'inférence. La vitesse d'interaction entre le GPU et le CPU/carte d'accélération est la limite de performance du pipeline. La consommation d'énergie d'un cluster AI sur un seul rack peut atteindre plusieurs dizaines de kilowatts, un design PD inapproprié peut directement bloquer l'échelle de déploiement de la puissance de calcul. Si la disposition des centres de données est encore ancrée dans le paradigme de conception traditionnel des affaires Web/base de données de 2015, cela entraînera un échec direct sous la charge de travail AI. Consultez nos idées : 20 experts techniques sur les tendances matérielles émergentes que les entreprises doivent surveiller via @forbes.