Yapay zeka kodlama asistanları, planlama ve test gibi tekrarlayan döngüler nedeniyle standart sohbet işlemlerine kıyasla 10 ila 50 kat daha fazla token tüketiyor. Bu durum şirketler üzerinde ciddi bir mali baskı yaratıyor. Örneğin, Uber'in Claude Code kullanımını genişlettikten sonra 2026 yapay zeka bütçesini nisan ayında tükettiği bildiriliyor. Gartner ise yapay zeka kodlama maliyetlerinin 2028 yılına kadar ortalama bir geliştiricinin maaşını aşacağını öngörüyor.
Şirketler maliyetleri kısmak için kullanım kotaları getirme eğiliminde olsa da, sadece token tüketimine odaklanmanın yanlış bir yaklaşım olduğu belirtiliyor. Bunun yerine, yatırımın ne kadar faydalı yazılıma dönüştüğünü ölçen birleştirilmiş çekme isteği başına maliyet metriğinin izlenmesi öneriliyor. İş yüklerinin zorluğuna göre modellere yönlendirilmesi de maliyetleri yönetmenin anahtarı olarak görülüyor.
İşletmeler, zorlu planlama süreçleri için dışarıdaki güçlü sınır modellerini kullanırken, rutin kod üretimi ve testler için kendi bünyelerinde barındırdıkları açık ağırlıklı modellere yöneliyor. Hewlett Packard Enterprise (HPE) tarafından uygulanan böyle bir hibrit sistemin, 150'den fazla iç uygulamadaki rutin iş yüklerini yönlendirerek token maliyetlerini yüzde 30 ila 50 oranında düşürdüğü belirtiliyor.
Kendi donanımına sahip olmak ve işlem hacmini içeride tutmak, aynı zamanda hassas şirket kodlarının güvenliğini sağlıyor. Veriler, yoğun kullanıcıların diğerlerinden yaklaşık 450 kat daha fazla tüketim yapabildiğini gösteriyor. Bu nedenle şirketlerin yapay zeka kullanımını kısıtlamak yerine, büyümeyi finansal olarak sürdürülebilir hale getirecek işletme modelleri kurması gerekiyor.