Tidligere dro alle desperat til skyen, men kostnaden for enhetsdatakraft i slutningsfasen fikk mange team til å innse at langsiktig, storskala AI-slutning brenner penger for raskt på skyen. AI-baserte applikasjoner er bedre egnet til å senke kritiske slutningsoppgaver inn i lokale datasentre, noe som reduserer ventetid og sparer båndbredde og skyleiekostnader Å kjempe om hukommelsen var et typisk trekk i de tidlige dagene av dyplæringstrening (den som har mer hukommelse vinner), men i dag: Gjennomstrømmingsgrensen for lagret til GPU påvirker direkte slutnings-QPS Hastigheten på interaksjonen mellom GPUen og CPU/akselerasjonskortet er den øvre grensen for pipelineytelse Strømforbruket til en AI-klynge med ett rack kan nå titalls kilowatt, og urimelig PD-design vil direkte fryse omfanget av datakraftdistribusjon Hvis datasenteroppsettet forblir fast i designparadigmet til den tradisjonelle web-/databasevirksomheten i 2015, vil det bli veltet under AI-arbeidsbelastninger Sjekk ut vår innsikt: 20 teknologieksperter på nye maskinvaretrender bedrifter må se via @forbes