Blog

Yapay zeka ajanlarının (AI agents) yaygınlaşmasıyla birlikte, bu ajanların dil modellerine (LLM) güvenli ve kontrollü bir şekilde erişmesi kritik bir ihtiyaç haline geldi. LLM gateway, tüm yapay zeka trafiğini tek bir uçtan yöneten, API anahtarlarını koruyan ve sağlayıcılar arasında yönlendirme yapan bir ara katman olarak çalışır. Bu rehberde, bir VPS üzerinde kendi LLM gateway’inizi nasıl kurabileceğinizi adım adım ele alıyoruz. Self-hosted bir yapıyla hem maliyetleri kontrol altında tutabilir hem de verilerinizin gizliliğini sağlayabilirsiniz.

LLM Gateway Nedir ve Neden Gereklidir?

LLM gateway, yapay zeka uygulamaları ile dil modeli sağlayıcıları arasında bir köprü görevi görür. Temel amacı, birden fazla model sağlayıcısına tek bir kimlik doğrulama noktasından erişim sağlamak ve bu erişimi merkezi bir politikayla yönetmektir. Özellikle kurumsal ortamlarda API anahtarlarının uygulama koduna gömülmesi büyük bir güvenlik riski oluşturur. Bir gateway kullandığınızda anahtarlar yalnızca sunucu tarafında saklanır ve ajan kodları asla bu hassas bilgilere erişemez.

Bunun yanı sıra LLM gateway; hız sınırlama, istek izleme, model yönlendirme ve otomatik yük devretme (fallback) gibi işlevleri de üstlenir. Örneğin birincil model sağlayıcınızda kesinti yaşandığında, gateway trafiği otomatik olarak ikincil sağlayıcıya yönlendirir. Bu sayede yapay zeka ajanlarınız kesintisiz çalışmaya devam eder.

Neden VPS Üzerinde Kendi Gateway’inizi Barındırmalısınız?

Hazır API gateway hizmetleri sunan bulut platformları mevcut olsa da, kendi sunucunuzda barındırmanın önemli avantajları vardır. Öncelikle veri gizliliği konusunda tam kontrol sağlarsınız. Gönderilen istemler (prompts) ve alınan yanıtlar üçüncü taraf bir altyapıdan geçmeden doğrudan sizin sunucunuzda işlenir. Bu, özellikle gizlilik gerektiren sektörlerde büyük bir avantajdır.

İkinci olarak maliyet optimizasyonu gelir. Kullandıkça öde modeli yerine sabit bir VPS hosting hizmeti ile aylık maliyetinizi öngörülebilir hale getirirsiniz. Ayrıca gateway üzerinden uygulayacağınız hız sınırlama politikalarıyla API tüketimini kontrol altında tutarak gereksiz harcamaların önüne geçebilirsiniz.

Üçüncü olarak esneklik ve özelleştirme imkanı sunar. Kendi sunucunuzda dilediğiniz açık kaynak araçları, eklentileri ve güvenlik katmanlarını kurabilirsiniz. Ticari bir hizmette bulamayacağınız ince ayar seçeneklerine sahip olursunuz.

LLM Gateway’in Temel Bileşenleri

Bir LLM gateway kurulumu iki ana bileşenden oluşur: araç sunucularına erişim sağlayan MCP katmanı ve dil modeli sağlayıcılarına yönlendirme yapan LLM yönlendirici.

MCP (Model Context Protocol) Katmanı

MCP, yapay zeka ajanlarının harici araçlarla (veritabanları, dosya sistemleri, API’ler) güvenli bir şekilde iletişim kurmasını sağlayan açık bir protokoldür. Gateway üzerinde çalışan bir MCP sunucusu, ajanların ihtiyaç duyduğu tüm araçlara tek bir uçtan erişim sağlar. Bu sayede her araç için ayrı kimlik doğrulama yapısı kurmak zorunda kalmazsınız.

LLM Yönlendirici (Router)

LLM yönlendirici, gelen istekleri hangi model sağlayıcısına göndereceğine karar veren akıllı bir katmandır. Bu katman; model performansı, maliyet ve kullanılabilirlik gibi faktörleri değerlendirerek en uygun sağlayıcıyı seçer. Aynı zamanda otomatik fallback mekanizmasıyla hata durumlarında trafiği yedek sağlayıcılara yönlendirir.

Kurulum Adımları: Docker ile LLM Gateway Oluşturma

Kurulum için öncelikle bir VPS’e ihtiyacınız vardır. Seçeceğiniz sunucunun en az 2 GB RAM ve 2 vCPU’ya sahip olması önerilir. İşletim sistemi olarak Ubuntu 22.04 LTS veya daha yeni bir sürüm idealdir. Sunucunuza SSH ile bağlandıktan sonra aşağıdaki adımları sırasıyla uygulayın.

1. Docker ve Docker Compose Kurulumu

Öncelikle sistem paketlerini güncelleyin ve Docker ile Docker Compose eklentisini kurun. Docker, gateway bileşenlerini izole ortamlarda çalıştırmanızı sağlar. Kurulum sonrası Docker servisinin aktif olduğundan emin olun.

2. docker-mcp-gateway Kurulumu

docker-mcp-gateway, MCP araç sunucularınızı Docker konteynerleri olarak yönetmenize ve bunlara güvenli erişim sağlamanıza olanak tanır. Bu aracı bir Docker konteyneri olarak çalıştırarak ajanlarınızın tüm araçlara tek bir kimlik doğrulama noktasından erişmesini sağlarsınız. Yapılandırma dosyasında her araç sunucusunun adresini ve erişim politikalarını tanımlarsınız.

3. LiteLLM Proxy Kurulumu

LiteLLM, yüzlerce dil modeli sağlayıcısını destekleyen açık kaynak bir LLM yönlendiricidir. OpenAI uyumlu bir API sunar, bu sayede mevcut uygulamalarınızda değişiklik yapmadan kullanabilirsiniz. LiteLLM’i Docker Compose dosyanıza ekleyerek model sağlayıcılarınızın API anahtarlarını güvenli bir ortam değişkeni olarak tanımlayabilirsiniz.

Kurulum sırasında dikkat etmeniz gereken önemli bir nokta, iki hizmetin birbirleriyle haberleşebilmesi için aynı Docker ağında yer almasıdır. Böylece docker-mcp-gateway ile LiteLLM arasındaki iletişim, dış dünyaya kapalı özel bir ağ üzerinden gerçekleşir.

Güvenlik Duvarı ve Erişim Kontrolü

Gateway’inizi herkese açık bir API olarak konumlandırmamalısınız. Yalnızca kendi ajanlarınızın erişimine izin veren bir güvenlik duvarı yapılandırması şarttır. VPS’inizde yalnızca gerekli portları açarak (örneğin 443) dış erişimi sınırlandırın. Ayrıca API istekleri için bir kimlik doğrulama mekanizması (API anahtarı veya JWT) ekleyin.

Sunucu tarafında güvenlik ipuçları kapsamında değerlendirebileceğiniz bazı ek önlemler almanızda fayda var: SSH için anahtar tabanlı kimlik doğrulama kullanın, root girişini devre dışı bırakın ve düzenli olarak güvenlik güncellemelerini uygulayın. Ayrıca DDoS koruma önlemleri, gateway’inizin hizmet dışı kalma riskini azaltır.

Performans ve İzleme

LLM gateway’inizin performansını yakından takip etmek, olası darboğazları önceden tespit etmenizi sağlar. LiteLLM, her isteğin süresini, başarı oranını ve maliyetini kaydeden yerleşik bir izleme panosu sunar. Bu metrikleri düzenli olarak inceleyerek hangi modelin daha verimli çalıştığını belirleyebilir ve yönlendirme politikalarınızı buna göre güncelleyebilirsiniz.

Cache kullanımı da performansı artıran bir diğer önemli faktördür. Tekrarlayan istemler için önbellek mekanizması kurarak hem yanıt sürelerini düşürebilir hem de API maliyetlerinizi azaltabilirsiniz. Ancak önbelleğe alınan yanıtların güncelliğini ve doğruluğunu korumak için dikkatli bir strateji izlemeniz gerekir.

Maliyet ve Kaynak Yönetimi

Bir VPS üzerinde LLM gateway çalıştırmanın maliyeti, seçeceğiniz sunucu kaynaklarına göre değişir. Giriş seviyesi bir VPS ile başlayıp ihtiyacınız arttıkça ölçeklendirebilirsiniz. Web hosting maliyetleri rehberi, sunucu maliyetlerini planlarken göz önünde bulundurmanız gereken faktörleri detaylı şekilde açıklar.

Kurulumda kullanacağınız açık kaynak araçlar (docker-mcp-gateway ve LiteLLM) lisans ücreti gerektirmez. Ödediğiniz yalnızca VPS ve dil modeli API kullanım ücretleridir. Bu da toplam sahip olma maliyetini önemli ölçüde düşürür.

Karşılaştırma: Self-Hosted Gateway ve Bulut API Gateway

Özellik	Self-Hosted (VPS)	Bulut API Gateway
Veri gizliliği	Tam kontrol	Sağlayıcıya bağlı
Maliyet modeli	Sabit aylık	Kullanım başına
Özelleştirme	Yüksek	Sınırlı
Bakım yükü	Kullanıcıda	Sağlayıcıda
Ölçeklenebilirlik	Manuel	Otomatik

Tablo, iki yaklaşım arasındaki temel farkları özetlemektedir. Kendi sunucunuzu yönetecek teknik deneyiminiz varsa self-hosted çözüm daha avantajlıdır. Aksi durumda bulut hizmetleri daha pratik olabilir.

Sık Sorulan Sorular

LLM gateway için minimum VPS gereksinimleri nelerdir?

2 GB RAM ve 2 vCPU’ya sahip bir VPS, çoğu küçük ve orta ölçekli kullanım senaryosu için yeterlidir. Daha yoğun trafik için 4 GB RAM ve üzeri bir yapılandırma önerilir.

docker-mcp-gateway ve LiteLLM’i tek sunucuda çalıştırabilir miyim?

Evet, her iki hizmet Docker konteyneri olarak aynı VPS üzerinde çalışabilir. Docker Compose kullanarak tüm bileşenleri tek bir yapılandırma dosyasıyla yönetmek mümkündür.

API anahtarlarımı nasıl güvende tutarım?

API anahtarlarını Docker Compose dosyasında ortam değişkeni olarak tanımlayın ve dosyayı dışarıya kapalı tutun. Ayrıca anahtarları şifreli bir değişken yöneticisinde saklamak ek bir güvenlik katmanı sağlar.

LLM gateway hangi model sağlayıcılarını destekler?

LiteLLM, yüzlerce farklı model sağlayıcısını destekler. Açık kaynak modelleri kendi sunucunuzda çalıştıran sistemlerden, büyük bulut sağlayıcılarının API’lerine kadar geniş bir yelpazede entegrasyon imkanı sunar.

Gateway kurulumu için teknik bilgi gerekiyor mu?

Temel düzeyde Linux ve Docker bilgisi gereklidir. Komut satırına aşina olan bir kullanıcı, bu rehberdeki adımları takip ederek kurulumu tamamlayabilir.