Kurumsal BT’de veri merkezi kararlarını yıllarca verdim: sunucu yenileme, hiper-bütünleşik altyapıya geçiş, Azure’a taşıma. Bugün CX Teknoloji’de müşterilerimizin kameralarından gelen görüntüyü GPU üzerinde işliyoruz ve “GPU’yu nerede çalıştıralım?” sorusu her projede yeniden soruluyor. Bu yazıda bu soruyu yanıtlamak için kullandığım yöntemi anlatıyorum. Fiyat vermiyorum; GPU fiyatları hızla değişiyor ve her şirketin indirimi, enerji maliyeti, kur durumu farklı. Asıl değerli olan, rakamları doğru karşılaştırmanızı sağlayacak yöntem.
İlk soru: GPU ne kadar dolu çalışacak?
Kararı belirleyen en önemli değişken kullanım oranı. Bulutta yalnızca kullandığınız süre için ödüyorsunuz; kendi donanımınızda ise donanım boş dursa da maliyet işliyor. Bu yüzden:
- GPU’lar günün büyük kısmında, yıl boyunca öngörülebilir bir yükle çalışacaksa kendi donanımı uzun vadede genellikle daha ekonomik.
- İş yükü düzensiz, kampanya dönemlerine bağlı ya da hâlâ deneme aşamasındaysa bulutta kiralamak daha esnek ve çoğu zaman daha ucuz.
Burada sık yapılan hata, kullanım oranını iyimser tahmin etmek. Satın alma kararından önce aynı iş yükünü birkaç hafta bulutta çalıştırıp gerçek kullanım profilini ölçmek, en güvenilir yol.
Eğitim ve çıkarımı ayırın
| Eğitim (training) | Çıkarım (inference) | |
|---|---|---|
| Sıklık | Seyrek, proje ya da güncelleme dönemlerinde | Sürekli, her istek ya da her karede |
| Yoğunluk | Çok yüksek, büyük bellekli GPU ister | Daha düşük, daha küçük GPU’larla verimli |
| Süre | Saatler ya da günler | Kesintisiz |
| Tipik uygun yer | Bulutta kısa süreli kiralama | Şirket içi, sahada (edge) ya da rezerve bulut |
Çoğu şirkette eğitim yılda birkaç kez yapılıyor, çıkarım ise her gün. İkisini aynı donanımda düşünmek ya eğitim için yetersiz ya da çıkarım için gereğinden pahalı bir altyapıya yol açıyor. Kendi tarafımızda çıkarımı çoğunlukla müşterinin sahasındaki sunucuda çalıştırıyoruz; nedenlerini edge mi bulut mu yazımda, modeli küçük GPU’ya sığdırma yöntemlerini ONNX, TensorRT ve INT8 yazımda anlattım.
Maliyetten önce gelen sorular
Bazı durumlarda maliyet karşılaştırması ikinci planda kalıyor:
- Veri konumu ve KVKK: Kişisel veri, görüntü ya da ticari sır içeren verinin yurt dışındaki bir bulut bölgesine taşınması ayrıca değerlendirilmesi gereken bir konu. Bazı müşteriler bunu sözleşmeyle baştan yasaklıyor.
- Veri hacmi: Sürekli kamera görüntüsü gibi büyük veride, veriyi buluta taşımanın ağ maliyeti ve bant genişliği tek başına kararı belirleyebiliyor.
- Gecikme: Sahada anında karar vermesi gereken bir sistem (ör. forklift ile yaya yaklaştığında uyarı) buluta gidip gelme süresini kaldırmayabilir.
- Süreklilik: İnternet bağlantısı koptuğunda sistemin çalışmaya devam etmesi gerekiyorsa işleme sahada olmalı.
Toplam sahip olma maliyetini doğru hesaplayın
Kendi donanımının maliyeti satın alma faturasıyla sınırlı değil. Karşılaştırmayı adil yapmak için şu kalemler hesaba girmeli:
- Donanım alımı ve kurulum.
- Enerji: GPU sunucuları yüksek güç çeker; elektrik tarifesi ve kullanım oranıyla birlikte hesaplanmalı.
- Soğutma ve veri merkezi yeri; mevcut veri merkezinde yüksek yoğunluklu rafa yer olup olmadığı.
- Ağ: sunucuların birbirine ve depolamaya bağlantısı.
- Bakım, garanti ve yedek parça.
- İşletim ekibinin zamanı: sürücü güncellemeleri, izleme, arıza müdahalesi.
- Yazılım ve lisanslar.
- Ekonomik ömür: GPU nesilleri hızla değiştiği için donanımın kaç yıl verimli kalacağı varsayımı açıkça yazılmalı.
Bulut tarafında ise işlem saati, depolama, veri transferi ve rezervasyon ya da taahhüt indirimleri hesaba katılmalı. İki tarafı aynı kullanım oranı varsayımıyla karşılaştırmak şart; aksi hâlde biri her zaman haklı çıkıyor. Bulut maliyetlerini yönetme disiplini için FinOps yazımda ayrıntıya girdim.
Çoğu şirket için cevap: karma model
Deneyimime göre pek çok şirket için en sağlıklı başlangıç karma bir model:
- Deneme, prototip ve model eğitimi bulutta, kısa süreli kiralamayla.
- Kararlı hâle gelen ve sürekli çalışan çıkarım şirket içinde ya da sahada.
- Kapasite ihtiyacı netleştikçe ve kullanım oranı ölçüldükçe, satın alma kararı aşamalı olarak verilir.
Bu model hem erken aşamada büyük bir sermaye yatırımı yapmayı engelliyor hem de iş yükü kararlı hâle geldiğinde maliyeti kontrol altına alıyor. En önemlisi, satın alma kararını tahmine değil ölçülmüş kullanıma dayandırıyor.
Sık sorulan sorular
Yapay zekâ için GPU kiralamak mı satın almak mı daha ucuz?
Kullanım oranına bağlıdır. GPU'lar günün ve yılın büyük kısmında dolu çalışacaksa kendi donanımı uzun vadede genellikle daha ekonomiktir. İş yükü düzensiz, deneme ağırlıklı ya da belirsizse bulutta kiralamak daha esnek ve çoğu zaman daha ucuzdur. Karar, toplam sahip olma maliyeti ile bulut maliyetinin aynı kullanım varsayımıyla karşılaştırılmasıyla verilmelidir.
GPU toplam sahip olma maliyetinde hangi kalemler vardır?
Donanım alımı, enerji, soğutma, veri merkezi yeri, ağ, bakım ve garanti, yedek parça, işletim ekibinin zamanı, yazılım ve lisanslar ve donanımın ekonomik ömrü sonunda yenileme. Bulut tarafında ise işlem saati, depolama, veri transferi ve rezervasyon ya da taahhüt indirimleri hesaba katılır.
Yapay zekâ modeli eğitimi ile çıkarım için farklı altyapı mı gerekir?
Çoğu zaman evet. Eğitim seyrek ama yoğun bir iş yüküdür ve büyük bellekli GPU'lar ister; bulutta kısa süreli kiralamaya uygundur. Çıkarım ise sürekli ve daha düşük yoğunlukludur; daha küçük GPU'larla, şirket içinde ya da sahada verimli çalışabilir.
Veri hassasiyeti GPU kararını nasıl etkiler?
Kişisel veri, görüntü ya da ticari sır içeren verinin bulut bölgesine taşınması KVKK ve şirket politikaları açısından değerlendirilmelidir. Büyük hacimli veride transfer maliyeti ve gecikme de önemlidir. Bu durumlarda işlemeyi verinin bulunduğu yerde yapmak çoğu zaman maliyetten bağımsız olarak tercih edilir.