ChatGPT, Claude ve Gemini gibi büyük dil modelleri (LLM) güçlü bir genel yetkinlik sunar; ancak "sizin şirketinizdeki prosedürleri bilmezler". Kullanıcı bir departman politikasını, bir müşteri sözleşmesinin maddesini veya bir ürün dokümanının detayını sorduğunda LLM ya genel bilgi verir ya da "yanlış ama kendinden emin" bir cevap uydurur. RAG (Retrieval-Augmented Generation) mimarisi tam bu problemi çözer: LLM, sorguyu cevaplamadan önce şirketin kendi doküman tabanından ilgili parçaları arar, bulur ve cevabını bu kurumsal bilgiye dayandırır. 2026 itibarıyla kurumsal yapay zeka projelerinin büyük çoğunluğu RAG veya hibrit RAG + fine-tuning mimarisiyle inşa ediliyor. Bu rehberde RAG'ın ne olduğunu, nasıl çalıştığını, hangi vektör veritabanı ve embedding modeli tercih edilmesi gerektiğini, donanım gereksinimlerini ve kurumsal yol haritasını ele alıyor; her katman için somut teknoloji seçeneklerini ve pratik tuzakları netleştiriyoruz.
RAG Nedir? Üretken Yapay Zekanın Kurumsal Hafızası
RAG (Retrieval-Augmented Generation), bir büyük dil modeline cevap üretmeden önce dış bir bilgi kaynağından ilgili bilgileri "getirme" (retrieval) yeteneği kazandıran mimari desendir. İsmindeki üç kelime süreci özetler: dışarıdan ilgili parçalar bulunur (retrieval), bu parçalar modelin bağlamına eklenir (augmented), model bu bağlama dayanarak cevap üretir (generation).
Kurumsal bağlamda RAG'ın işlevi şirketin mevcut dokümanlarını, veritabanlarını, sözleşmelerini, prosedürlerini LLM'in "hafızasına" dinamik olarak sunmaktır. Dokümanlar model ağırlıklarına gömülmez; vektör olarak bir arama katmanında tutulur ve soru sorulduğunda gerçek zamanlı getirilir. Bu, LLM'in kurumsal bilgiye erişiminin "canlı" olmasını sağlar; yeni bir doküman eklendiğinde modeli yeniden eğitmek gerekmez. Hangi Yapay Zeka Aracı Ne İçin Kullanılır? rehberimiz genel çerçeveyi; Yapay zeka ajanları ve altyapı yazımız ise sunucu bakış açısını tamamlar.
RAG; büyük dil modelinin cevap üretmeden önce şirket doküman tabanından ilgili parçaları aramasını ve bulduklarını bağlam olarak kullanmasını sağlayan mimaridir. LLM dokümanları ezberlemez; vektör veritabanı aracılığıyla sorgu anında erişir.
RAG Nasıl Çalışır? 5 Aşamalı İşleyiş
Bir RAG sorgusunun çalışma akışı beş aşamadan oluşur:
1. Doküman indeksleme (offline). Şirket dokümanları (PDF, Word, Confluence, SharePoint, veritabanı) parçalanır (chunking), her parça bir embedding modeli ile vektöre dönüştürülür ve vektör veritabanına kaydedilir. Her parçanın metadata'sı (kaynak, bölüm, tarih, departman) birlikte saklanır.
2. Kullanıcı sorgusu. Kullanıcı doğal dilde bir soru sorar: "2025 İK yıllık izin politikası nedir?"
3. Sorgu embedding ve arama. Soru aynı embedding modeli ile vektöre çevrilir; vektör veritabanı benzer dokümanları (cosine similarity veya dot product) döner. İsteğe göre metadata filtresi uygulanır (örneğin yalnızca İK departmanı dokümanları).
4. Bağlam oluşturma. Bulunan 3-10 doküman parçası, kullanıcı sorusuyla birlikte LLM'in prompt'una yerleştirilir. Prompt şablonu modele "bu kaynaklara dayanarak cevap ver, dışarı çıkma" talimatı verir.
5. Üretim ve sitasyon. LLM cevap üretir; iyi kurgulanmış RAG sitasyon (kaynak referansı) ekler: cevap hangi dokümanın hangi bölümünden geldiğini belirtir. Kullanıcı doğrulayabilir.
RAG'ın Çözdüğü 6 Temel Problem
1. Hallucination (uydurma cevap). Model dokümanda olmayan bir şey söylerse sitasyon tutmaz; iyi kurulmuş RAG "bilmiyorum" der.
2. Güncellik. LLM'in eğitim verisi geçmişte kalır; RAG canlı doküman tabanıyla konuşur. Yeni politika eklendiğinde anında erişilebilir.
3. Kurumsal bilgiye erişim. Şirket dokümanları modelin eğitim verisinde yoktur; RAG onları sorgu anında modele sunar.
4. Veri gizliliği. Doküman LLM eğitim verisine gömülmez; vektör DB şirket altyapısında kalabilir. Self-hosted LLM ile birleşince hiçbir veri dışarı çıkmaz. KVKK ve Yapay Zeka yazımız bu boyutu detaylandırır.
5. Denetlenebilirlik. Sitasyonlar sayesinde cevabın kaynağı izlenebilir; KVKK ve regülasyon denetiminde kanıt sağlar.
6. Maliyet. Fine-tuning yerine RAG; model ağırlıklarını değiştirmeden sadece prompt'u zenginleştirir. Yeni doküman eklemek yeniden eğitim maliyeti doğurmaz.
RAG vs Fine-Tuning: Hangi Senaryoda Hangisi?
RAG ve fine-tuning rakip değil, farklı problemleri çözen tamamlayıcı tekniklerdir.
| Kriter | RAG | Fine-Tuning |
|---|---|---|
| Çözdüğü problem | Bilgiye erişim ve güncellik | Stil, format, davranış, dar alan uzmanlığı |
| Model ağırlığı | Değişmez | Değişir |
| Yeni veri eklemek | Vektör DB'ye yüklemek yeter | Yeniden eğitim gerekir |
| Donanım yoğunluğu | Düşük (sorgu başına) | Yüksek (eğitim fazında) |
| Veri gizliliği | Veri DB'de kalır | Veri eğitimle modele gömülür |
| Sitasyon imkanı | Doğal destek | Zor |
| İdeal kullanım | Kurumsal doküman arama, soru-cevap | Marka dili, özel format, uzmanlaşma |
Pratik: Kurumsal projelerin yüzde 90'ı RAG ile başlar. Fine-tuning yalnızca RAG'ın ulaşamadığı stil veya davranış gereksinimi için kademeli olarak eklenir.
Vektör Veritabanları: Weaviate, Milvus, pgvector, Qdrant Karşılaştırması
Vektör veritabanı, embedding'leri saklayan ve hızlı benzerlik aramasına izin veren altyapı katmanıdır. En yaygın dört seçenek:
| Vektör DB | Lisans | Güçlü Yan | En İyi Senaryo |
|---|---|---|---|
| pgvector (PostgreSQL eklentisi) | Açık kaynak | Mevcut PostgreSQL ile tek veritabanı yönetimi | Küçük-orta ölçek, PostgreSQL kullanıcıları |
| Weaviate | Açık kaynak / cloud | GraphQL API, hibrit arama, zengin filtreleme | Metadata-ağırlıklı sorgu, çok dilli |
| Milvus | Açık kaynak / cloud | Yüksek hacim, dağıtık mimari | Büyük ölçek (yüzmilyonlarca vektör) |
| Qdrant | Açık kaynak / cloud | Düşük operasyonel yük, Rust tabanlı performans | Hızlı başlangıç, orta ölçek |
| Elasticsearch / OpenSearch (dense vector) | Açık kaynak | Mevcut arama altyapısıyla entegre | Hibrit (keyword + vektör) arama ihtiyacı |
Pratik seçim ipuçları: PostgreSQL zaten kullanılıyorsa pgvector ile başlayın. 100 milyonu aşan vektör beklentisi varsa Milvus. Düşük operasyonel yük isteniyorsa Qdrant veya yönetilen bir cloud sürümü. Hibrit arama ihtiyacı yoğunsa Weaviate veya OpenSearch.
Embedding Modelleri: OpenAI, Cohere ve Açık Kaynak Alternatifler
Embedding modeli, metni sabit boyutlu bir sayı vektörüne çevirir. Vektör uzayında anlamca yakın metinler yakın konumda bulunur. Doğru embedding modeli, RAG başarısının en belirleyici faktörlerinden biridir.
Ticari (API tabanlı).
OpenAI text-embedding-3-large / small. Yaygın tercih; Türkçe dahil çok dilli performansı güçlü. "small" düşük maliyetli pilotlar için uygundur.
Cohere embed-multilingual-v3. 100+ dilde kaliteli; kurumsal destek ve on-prem seçenekler mevcut.
Voyage AI. Finans, hukuk ve kod gibi alan odaklı modeller sunar.
Açık kaynak (self-hosted).
BGE-m3. 100+ dilde güçlü; yoğun ve seyrek embedding'i birlikte üretir.
E5-multilingual-large. Microsoft Research tarafından sunulan güçlü çok dilli model.
Jina embeddings v3. Düşük kaynakla uzun bağlam yakalayan modern alternatif.
Nomic Embed. Tam açık kaynak (ağırlıklar + eğitim verisi); şeffaflık gereken senaryolar için.
Model seçimini kendi veri kümenizden küçük bir benchmark ile yapmanız kritik; "en iyi model" iddiası yerine "sizin dokümanlarınızda en iyi performansı veren model" seçilir.
Dokümandan Vektöre: Chunking, Önişleme ve Metadata
Doküman önişleme, RAG kalitesini doğrudan belirleyen görünmeyen aşamadır.
Chunk boyutu. 256-1024 token arası tipik; semantik bütünlüğü koruyacak sınırlar seçilir. Çok küçük chunk bağlamı yitirir, çok büyük chunk alakasız içerik taşır.
Chunking stratejisi. Sabit boyut, cümle, paragraf, başlık tabanlı, semantik (embedding farkı) ve hiyerarşik stratejiler kullanılır. Doküman yapısı iyi ise başlık tabanlı tercih edilir.
Örtüşme (overlap). Chunk'lar arasında yüzde 10-20 örtüşme bırakmak sınırlarda kaybolan bağlamı korur.
Metadata şeması. Her chunk için kaynak dosya, bölüm, tarih, departman, erişim seviyesi tutulur. Metadata filtresi arama kalitesini ciddi artırır (örneğin yalnızca "İK + 2024 sonrası" filtresi).
Temizlik. OCR hataları, kolon-satır karmaşası, başlık/altbilgi tekrarları temizlenir. Tablolar ayrı chunk olarak işlenir.
Güncelleme döngüsü. Dokümanlar değiştiğinde yeniden embed etme stratejisi (tüm doküman mı, delta mı) kurgulanır.
RAG Mimarisi Bileşenleri: Teknik Katmanlar
Üretim seviyesindeki bir RAG sistemi şu katmanlardan oluşur:
1. Veri kaynağı adaptörleri. SharePoint, Confluence, Google Drive, veritabanları, dosya sistemleri için bağlayıcılar.
2. İndeksleme hattı. Doküman çıkarma, chunking, embedding, metadata zenginleştirme, vektör DB'ye yazma.
3. Vektör veritabanı. Depolama ve ANN (yaklaşık en yakın komşu) arama katmanı.
4. Orkestrasyon. LangChain, LlamaIndex veya özel kod; sorguyu embedding'e çevirir, arama yapar, LLM'i çağırır, cevabı birleştirir.
5. LLM katmanı. Self-hosted (Llama 3, Mistral, Qwen) veya API tabanlı (OpenAI, Anthropic, Cohere). Hibrit kurgu mümkündür.
6. Değerlendirme ve izleme. RAGAS, TruLens, Giskard; cevap doğruluğu, kaynak alakası, hallucination oranı, latency ölçülür.
7. Guardrails ve kimlik yönetimi. Prompt injection koruması, PII filtresi, departman erişim yetkisi, rol tabanlı sorgu kısıtı.
8. Önbellek ve latency optimizasyonu. Sık sorulan soruların cevabı önbelleklenir; embedding ve LLM çağrı maliyetleri düşer.
Kurumsal RAG mimariniz için GPU sunucu, vektör DB barındırma ve Türkiye lokasyonlu altyapı planlamasında ekibimizle birlikte yol haritası çıkaralım.
Donanım ve Altyapı Gereksinimleri: GPU, RAM ve Depolama
RAG altyapısının donanım gereksinimi iki ana iş yüküne bölünür: LLM / embedding (GPU-yoğun) ve vektör arama (RAM + CPU + NVMe).
Pilot (tek departman, 1000-5000 doküman). Tek sunucu; 32-64 GB RAM, 1 adet orta sınıf GPU (RTX 4090, L4, A10), 1-2 TB NVMe. Embedding çevrimdışı yapılırsa GPU paylaşılabilir.
Üretim (çoklu departman, on binlerce doküman, SLA'lı). 2-4 adet NVIDIA L40S / A100 / H100, 128-256 GB RAM, 4-8 TB NVMe. Vektör DB için ayrı yüksek RAM'li sunucu önerilir.
Büyük ölçek (yüz milyonlarca vektör, 1000+ eşzamanlı kullanıcı). Dağıtık GPU kümesi (çoklu sunucu), yük dengeleyici, ayrı vektör DB kümesi, nesne depolama (S3 uyumlu).
Donanım tercihinde co-location, dedicated server kiralama veya kurumsal bulut arasından iş sürekliliği ve bütçeye göre karar verilir. Co-location detayları için Rack Kabin Barındırma yazımız, kurumsal bulut çerçevesi için IaaS Kurumsal Bulut Altyapı Rehberimiz yol gösterir.
Kurumsal RAG Yol Haritası: 6 Aşamalı Plan
Aşama 1: Kullanım senaryosu ve doküman envanteri. Hangi departmanın hangi soruları hangi doküman tabanına sorduğunu belgeleyin. Başarı metriği (cevap doğruluğu, zaman tasarrufu, lead dönüşümü) tanımlanır. İlk pilot dar kapsamlı seçilir.
Aşama 2: Doküman önişleme ve chunking. Kaynaklar çıkarılır, önişlenir, chunking stratejisi ve metadata şeması belirlenir, güncelleme döngüsü tasarlanır.
Aşama 3: Embedding modeli ve vektör DB seçimi. Mini benchmark yapılır; dile, veri hacmine ve operasyonel yüke göre karar verilir.
Aşama 4: LLM ve orkestrasyon. LLM tercihi (self-hosted vs API), orkestrasyon kütüphanesi, prompt şablonu, guardrails kurgulanır.
Aşama 5: Altyapı devreye alma ve güvenlik. GPU sunucu veya bulut, vektör DB barındırma, ağ ve kimlik yönetimi; KVKK aydınlatma ve veri işleyen sözleşmeleri. KVKK boyutu için KVKK ve Yapay Zeka yazımız tamamlayıcı okumadır.
Aşama 6: Değerlendirme, izleme ve iterasyon. RAGAS, TruLens ile cevap doğruluğu, hallucination oranı, latency ölçülür; haftalık iterasyonla iyileştirilir. Kaynak çeşitlendirmesi, prompt rafine etme, chunking yeniden yapılandırma uygulanır.
Yaygın RAG Hataları ve Çözümleri
1. Yanlış chunking. Çok küçük chunk bağlamı yitirir; çok büyük chunk alakasız içerik taşır. Çözüm: 256-1024 token arası, dokümanın yapısına uygun stratejiyle.
2. Metadata filtre yokluğu. "Hangi departman?" ya da "tarih aralığı?" filtresi uygulanmazsa arama alakasız sonuç döner. Çözüm: Her chunk için metadata şeması zorunlu.
3. Değerlendirme yapılmaması. "Çalışıyor" hissi gerçeği yansıtmaz. Çözüm: Soru-cevap test seti oluşturulur, periyodik ölçülür.
4. Prompt mühendisliği ihmali. "Dokümanda yoksa bilmiyorum de" talimatı eksikse model uydurur. Çözüm: Guardrails, few-shot örnek, zorunlu sitasyon.
5. Yetki yönetimi atlanması. Herkes her veriye erişiyor; KVKK ve iç politika ihlali. Çözüm: Chunk seviyesinde erişim izni, kullanıcı rolü ile filtre.
6. Güncelleme döngüsünün tasarlanmaması. Doküman değişiyor, vektör DB eski kalıyor. Çözüm: Değişiklik tespiti ve kademeli yeniden embedding.
Küçük pilotlar API tabanlı LLM ve yönetilen vektör DB ile hızlı başlar. KVKK yükü yüksek, hacim büyük ve veri yurt dışına çıkmasın isteniyorsa self-hosted LLM, on-prem vektör DB ve Türkiye lokasyonlu altyapı tercih edilir.
RAG Mimarisi Özeti
- Amaç: LLM'e kurumsal bilgiye canlı erişim kazandırmak
- Temel teknikler: Embedding + vektör DB + sorgu zenginleştirme
- RAG vs fine-tuning: RAG bilgi erişimi, fine-tuning stil/davranış
- Vektör DB tercihleri: pgvector, Weaviate, Milvus, Qdrant
- Embedding: OpenAI / Cohere ticari; BGE-m3 ve E5 açık kaynak
- Donanım: Pilot için orta GPU, üretim için L40S/A100/H100
- Veri gizliliği: Self-hosted LLM + on-prem vektör DB
- Yol haritası: 6 aşama, pilot 4-6 hafta, üretim 3-6 ay
DorukNet'in Kurumsal RAG Altyapı Çözümleri
DorukNet; Türkiye lokasyonlu veri merkezi altyapısında kurumsal RAG projelerini uçtan uca barındırır. Hizmet hatları:
GPU destekli sunucu kiralama. Self-hosted LLM ve embedding iş yükleri için NVIDIA sınıfı GPU donanımı; kapasite ihtiyacına göre esnek konfigürasyon.
Rack kabin barındırma. Kendi GPU sunucunuzu Türkiye lokasyonlu veri merkezine taşıyarak UPS, jeneratör, endüstriyel soğutma ve fiziksel güvenlik avantajı.
Bulut sunucu ve IaaS. Vektör DB, orkestrasyon ve değerlendirme katmanları için elastik CPU + RAM altyapısı. Hibrit mimari (CPU bulut + dedicated GPU) desteklenir.
S3 uyumlu depolama. Doküman arşivi, embedding yedekleri ve değerlendirme veri seti için ölçeklenebilir nesne depolama.
Türkiye lokasyonu ve KVKK. Veri Türkiye'de kalır; yurt dışı aktarım değerlendirmesi sadeleşir; müşteri aydınlatma metinleri basitleşir.
7/24 Türkçe destek. Kurumsal yapay zeka iş yüklerinin işletme sürekliliği için birebir uzman desteği.
RAG tabanlı kurumsal yapay zeka projenizin altyapı planlamasını (GPU sunucu, vektör DB, depolama, güvenlik) birlikte çıkaralım. İlk pilottan üretime geçişe kadar birebir yol gösterelim.
