В прошлом все стремились к облачным технологиям, но стоимость вычислительной мощности на этапе вывода заставила многие команды осознать: долгосрочные и масштабные AI-вычисления в облаке слишком быстро сжигают деньги. AI-родные приложения лучше всего подходят для переноса ключевых задач вывода на локальные серверы, что снижает задержку и экономит пропускную способность и расходы на аренду облака. Соперничество за память — это типичная черта раннего обучения глубокому обучению (у кого больше видеопамяти, тот и выигрывает), но сегодня: Предел пропускной способности данных, хранящихся на GPU, напрямую влияет на QPS вывода. Скорость взаимодействия между GPU и CPU/ускорительными картами является верхним пределом производительности конвейера. Энергопотребление AI-кластера в одном шкафу может достигать десятков киловатт, а неправильный дизайн PD может напрямую ограничить масштаб развертывания вычислительной мощности. Если планировка дата-центра все еще основывается на традиционной веб/базе данных 2015 года, то под нагрузкой AI она может просто провалиться. Посмотрите наши идеи: 20 технических экспертов о новых тенденциях в оборудовании, за которыми бизнесу стоит следить через @forbes.
10,46K