Civil Mağazacılık’ın Azure’a geçişini yönetirken bulutun en çok övülen özelliği esneklikti: ihtiyaç olduğunda büyü, olmadığında küçül. Pratikte öğrendiğim ders şuydu: bulut büyümeyi kolaylaştırıyor, küçülmeyi ise kimse hatırlamıyor. Kampanya için açılan kaynak kampanya bitince kapanmıyor, deneme için kurulan ortam aylarca açık kalıyor, kimin ne harcadığı faturanın tek satırında kayboluyor.
Yapay zekâ hizmetleri bu durumu daha da belirgin hâle getiriyor. Çünkü maliyet artık sunucu sayısına değil, kullanıma göre ölçekleniyor: her soru, her belge özeti, her işlenen kare ayrı bir maliyet kalemi. Bu yazıda FinOps disiplinini ve yapay zekâya özgü maliyet kalemlerini CIO bakışıyla anlatıyorum.
FinOps nedir?
FinOps Foundation FinOps’u, bulut maliyetinin finans, BT ve iş birimlerinin ortak sorumluluğunda yönetildiği bir çalışma modeli olarak tanımlıyor. Bir tasarruf projesi değil; kalıcı bir alışkanlık. Döngü üç aşamadan oluşuyor:
- Bilgilendirme: Maliyeti görünür kılmak ve doğru sahibine bağlamak.
- Optimizasyon: Kullanılmayanı kapatmak, doğru boyutlandırmak, uygun fiyat modelini seçmek.
- İşletim: Bütçe, uyarı ve karar süreçlerini günlük işin parçası yapmak.
Görünürlük: etiketsiz kaynak yok
Optimizasyonun ön koşulu, her maliyet kaleminin bir sahibinin olması. Her bulut kaynağına proje, iş birimi, ortam (üretim, test) ve sorumlu kişi etiketi verilmeli. Etiketsiz kaynak oluşturmayı politika ile engellemek en etkili yol. Etiketler oturduğunda aylık maliyet raporu iş birimlerine kendi kalemleriyle gidebilir; “BT’nin bulut faturası” yerine “bu ürünün bulut maliyeti” konuşulmaya başlanır.
Toplam fatura değil, birim maliyet
Toplam bulut faturasının artması tek başına kötü bir haber değil; iş büyüyorsa fatura da büyüyebilir. Asıl izlenmesi gereken birim maliyet:
| İş | Birim maliyet örneği |
|---|---|
| E-ticaret | Sipariş başına altyapı maliyeti |
| İç uygulama | Aktif kullanıcı başına maliyet |
| Sohbet asistanı | Cevaplanan soru başına maliyet |
| Görüntü analitiği | Kamera başına ya da işlenen saat başına maliyet |
| Belge işleme | İşlenen belge başına maliyet |
Birim maliyet sabit kalırken toplam fatura büyüyorsa iş büyüyor demektir. Birim maliyet artıyorsa, bir verimsizlik var demektir.
Yapay zekâya özgü maliyet kalemleri
Dil modelleri: token
Dil modeli hizmetlerinde maliyet, modele gönderilen ve modelin ürettiği metin miktarına (token) göre işliyor. Bu yüzden tasarım kararları doğrudan faturaya yansıyor:
- Bağlam uzunluğu: Her soruda bütün belgeyi göndermek yerine yalnızca ilgili parçaları göndermek. Kurumsal RAG yazımda anlattığım mimari hem kaliteyi hem maliyeti iyileştiriyor.
- Model seçimi: Her işte en büyük modeli kullanmak yerine, basit işler (sınıflandırma, kısa özet) için daha küçük ve ucuz modelleri kullanmak.
- Önbellek: Sık tekrarlanan soruların cevabını yeniden üretmek yerine saklamak.
- Ajanlar: Bir ajan bir görevi tamamlamak için modeli çok sayıda kez çağırabilir; adım sayısına bir üst sınır koymak hem maliyeti hem riski sınırlıyor.
Görüntü işleme: GPU saati
Görüntü işlemede asıl maliyet GPU kullanımı. Kendi tarafımızda maliyeti en çok değiştiren kararlar şunlar: modelin boyutu, saniyede işlenen kare sayısı ve GPU’nun ne kadar dolu çalıştığı. Her kareyi işlemek her zaman gerekmiyor; birçok senaryoda saniyede birkaç kare yeterli. Modeli küçültme yöntemlerini ONNX, TensorRT ve INT8 yazımda, GPU’yu nerede çalıştırmanın daha ekonomik olduğunu GPU altyapısı yazımda anlattım.
En hızlı sonuç veren adımlar
- Bütçe uyarıları: Her proje ve ortam için aylık bütçe ve eşik uyarısı. Sürprizi ay sonundan ay ortasına çekiyor.
- Kullanılmayan kaynaklar: Sahipsiz diskler, kapatılmamış test ortamları, kullanılmayan IP adresleri ve anlık görüntüler.
- Doğru boyutlandırma: Sürekli düşük kullanımla çalışan büyük sunucuları küçültmek.
- Zamanlama: Mesai dışında gerekmeyen geliştirme ve test ortamlarını otomatik kapatmak.
- Taahhüt indirimleri: Öngörülebilir ve sürekli iş yükü için rezervasyon ya da taahhüt modelleri.
- Yapay zekâ kotaları: Her uygulama için günlük ya da aylık token ve istek kotası; beklenmedik bir döngünün faturayı patlatmasını engelliyor.
Kim sorumlu?
FinOps’un en zor kısmı teknik değil, organizasyonel. Maliyeti BT’nin tek başına yönetmesi, iş birimlerinin harcamayı görmemesine yol açıyor; iş birimlerinin tek başına yönetmesi ise teknik optimizasyonu kaçırıyor. Sağlıklı yapı şu: BT görünürlüğü ve teknik optimizasyonu sağlar, finans bütçe ve raporlamayı yönetir, iş birimi kendi ürününün birim maliyetinden sorumlu olur. Aylık kısa bir toplantıda bu üç taraf aynı rapora bakar.
Yapay zekâ projelerinde bu yapı baştan kurulmalı. Pilot aşamasında birkaç yüz kullanıcıyla düşük görünen maliyet, binlerce kullanıcıya yayıldığında bütçe tartışmasının konusu olabiliyor. Pilotun çıktılarından biri, yaygınlaştırmadaki birim maliyet tahmini olmalı.
Sık sorulan sorular
FinOps nedir?
Bulut maliyetinin finans, BT ve iş birimlerinin birlikte sorumluluk aldığı, maliyetin görünür kılındığı, sahiplendirildiği ve iş değerine göre optimize edildiği bir çalışma modelidir. FinOps Foundation bu modeli bilgilendirme, optimizasyon ve işletim aşamalarından oluşan bir döngü olarak tanımlar.
Bulut faturası neden beklenenden yüksek çıkar?
En sık nedenler kullanılmayan ya da gereğinden büyük kaynaklar, sahipsiz test ortamları, veri transfer maliyetlerinin öngörülmemesi, kampanya dönemlerinde ölçeklenip geri küçülmeyen kaynaklar ve kimin neyi harcadığının görünmemesidir.
Yapay zekâ hizmetlerinin maliyeti nasıl kontrol edilir?
Dil modellerinde istek başına gönderilen ve üretilen token sayısı izlenir; gereksiz uzun bağlam, tekrarlanan sorgular ve her işte en büyük modeli kullanmak maliyeti artırır. Görüntü işlemede GPU kullanım oranı, model boyutu ve işlenen kare sayısı belirleyicidir. Her yapay zekâ özelliği için birim maliyet hedefi konmalıdır.
FinOps çalışmasına nereden başlanmalı?
Etiketleme ve sahiplendirmeyle. Her bulut kaynağının bir sahibi, bir projesi ve bir maliyet merkezi olmalı. Ardından aylık maliyet raporları sahiplerle paylaşılır, bütçe uyarıları kurulur ve en büyük beş kalemden başlayarak optimizasyon yapılır.
Kaynaklar
- FinOps Foundation — FinOps Framework finops.org