On-Premise LLM Kurulum Maliyeti 2026
Veri yurt dışına çıkmasın? On-premise LLM zorunlu. GPU sunucu + yazılım + elektrik + operasyon — tüm kalemler.
Özet
3 kalem: Donanım (₺2-3M tek L40S, ₺25-40M 4×H100 cluster), Yazılım (açık kaynak LLM ücretsiz, vector DB + monitoring ₺300K-1.5M), Operasyon (yıllık ₺500K-3M). KOBİ ₺3-5M setup + ₺600K-1M/yıl. Mid-market ₺15-25M + ₺2-3M/yıl. 50M+ token/ay kullanımda bulut'a karşı 18-24 ayda öder.
Niye On-Premise?
- KVKK + Veri Egemenliği: Müşteri, sağlık, finansal data yurt içi zorunluluğu
- Maliyet (yoğun): 50M+ token/ay üzeri bulut'tan ucuz
- Bağımsızlık: Politika değişimi, API deprecation etkilemez
- Özelleştirme: Sınırsız fine-tune, custom konfig
- Yasal: Bazı sektörlerde zorunlu (savunma, kritik altyapı)
Donanım Maliyetleri
| GPU | VRAM | Tek Fiyat | Model Boyutu |
|---|---|---|---|
| RTX 4090 | 24GB | ₺160-200K | 8B (consumer, pilot) |
| L40S | 48GB | ₺850K-1.1M | 13B-30B (KOBİ sweet) |
| H100 | 80GB | ₺2.8-3.5M | 70B |
| H200 | 141GB | ₺4-5M | 100B+ |
Sunucu Altyapı ek maliyet: CPU + RAM + Disk + Network = ₺680K-1.5M.
Yazılım Maliyetleri
Açık Kaynak LLM: Llama 3.x, Qwen 2.5, Mistral, IBM Granite, Phi-4, DeepSeek V3 — tümü ₺0 lisans.
Inference Yazılımı (ücretsiz): vLLM, TensorRT-LLM, TGI, llama.cpp, Ollama.
Vector Database: ChromaDB (₺0), Qdrant ($50-500/ay), Weaviate, Milvus.
Toplam Yazılım Setup: ₺300K-1.5M (entegrasyon + custom geliştirme).
Operasyon Maliyetleri (Yıllık)
- Elektrik: L40S server (1.5-2 kW) ₺150-220K/yıl. H100 server (3-4 kW) ₺300-450K/yıl. 8×H100 cluster ₺600-900K/yıl.
- Soğutma: KOBİ ₺50-100K/yıl, datacenter ₺200K-1M+/yıl.
- Datacenter / Colocation: $400-2000/U/yıl (≈₺14-70K/U/yıl).
- MLOps mühendis: Senior ₺120-180K/ay = ₺2-3M/yıl brüt.
- On-call SRE: ₺25-60K/ay = ₺300-720K/yıl.
- Yedek + güvenlik: %10-15 donanım maliyeti.
3 Yıllık TCO Senaryoları
KOBİ (4× L40S Setup)
Yıl 1: ₺6.75M (donanım + setup) · Yıl 2-3: ₺2.5M-2.8M/yıl ops. 3 Yıl TCO: ₺12.1M
Mid-Market (4× H100 Setup)
Yıl 1: ₺20.78M · Yıl 2-3: ₺5.29M-5.9M/yıl. 3 Yıl TCO: ₺32M
Kurumsal (8× H100 Cluster)
Yıl 1: ₺52.25M · Yıl 2-3: ₺11.5M-12.8M/yıl. 3 Yıl TCO: ₺76.5M
On-Premise vs Bulut Kırılma Noktası
| Aylık Token | Bulut API (yıl) | On-Prem (yıl, KOBİ) |
|---|---|---|
| 10M token | ₺150-600K | ₺2.7M+ |
| 50M token | ₺750K-3M | ₺2.7M (kırılma) |
| 100M token | ₺1.5-6M | ₺2.7M |
| 500M token | ₺7.5-30M | ₺2.7M (sınırsız) |
Kırılma noktası: 50-100M token/ay arası on-premise daha verimli.
Türkiye 2026 Realite
- Tedarik Süresi: L40S 4-8 hafta, H100 8-16 hafta, H200 12-20 hafta
- Tedarikçi: NVIDIA partner distribütörler, sistem entegratör (DELL, HPE, Supermicro)
- KDV + Gümrük: Toplam donanım maliyetinin %25-35'i