Çoğu kurumsal yapay zekâ altyapı planlaması, model eğitimi için ağırlıklı olarak işlem gücüne, özellikle GPU'lara odaklanır. Ancak bu yaklaşım, yapay zekâ çıkarımıyla ilişkili giderek artan veri depolama maliyetlerini genellikle gözden kaçırır. Eğitim sonlu bir süreçken, çıkarım sürekli çalışır ve model günlükleri, önbelleğe alınmış bağlam ve güvenlik kayıtları gibi büyük miktarda arka uç verisi biriktirir.
Tutulan bu verinin ölçeği oldukça büyüktür. Örneğin, bir kullanıcıya 3,97 MB'lık bir dosya döndüren 8 saniyelik yapay zekâ üretimi bir video klip, arka uçta 500 MB'tan fazla ilişkili veri bırakabilir ve bu da 130 katlık bir artışı temsil eder. 763 karar alıcının katıldığı WD destekli bir IDC anketine göre, katılımcıların neredeyse %95'i son 12 ayda üretken yapay zekâ nedeniyle veri hacminde artış bildirdi ve yaklaşık %61'i %25 veya daha fazla büyüme yaşadı. Ayrıca McKinsey, yapay zekâ çıkarım talebinin 2030'a kadar %35'lik bir bileşik yıllık büyüme oranıyla artacağını öngörüyor.
Bu veri biriktikçe, durağan bir arşivden ziyade geri getirme artırımlı üretim (RAG) gibi gelecekteki iş yükleri için aktif bir varlığa dönüşür. IDC anketi, katılımcıların %96'sının daha hızlı arşiv alımına ihtiyaç duyacaklarını öngördüğünü belirtti. Sonuç olarak, ölçeklenebilir depolama için bütçe ayırmamak, pahalı GPU'ların veri beklerken boşta kaldığı maliyetli darboğazlara yol açabilir. Kuruluşlar, elde tutma politikalarını ayarlamalı ve ekonomik olarak ölçeklenebilir kapasiteye yatırım yapmalıdır.