Blog

LibreChat, Open WebUI ve AnythingLLM karşılaştırması, kendi yapay zeka sohbet arayüzünü kendi sunucusunda çalıştırmak isteyen ekiplerin en çok zorlandığı noktaya odaklanıyor: üç açık kaynak proje de neredeyse aynı vaadi dile getiriyor, ancak biri sohbet deneyimini, diğeri model yönetimini, üçüncüsü ise doküman bilgi tabanını merkeze alıyor. Bu yazıda özellik setlerini, RAG yaklaşımlarını, kullanıcı yönetimini ve Docker üzerindeki kaynak tüketimini yan yana koyup hangi senaryoda hangisinin daha doğru seçim olduğunu adım adım anlatıyoruz.

Kendi yapay zeka sohbet arayüzünü barındırmak neden mantıklı

Bulut tabanlı asistanlarda sohbet geçmişi, yüklenen dosyalar ve kurumsal bilgi parçaları üçüncü taraf sunucularda işlenir. Bu durum özellikle sözleşmeler, insan kaynakları kayıtları veya müşteri verisiyle çalışan ekipler için uyum sorunları doğurur. Arayüzü kendi altyapınıza taşıdığınızda şu avantajlar öne çıkar:

• Veri egemenliği: Kayıtlar sizin diskinizde kalır; saklama süresini ve silme politikasını siz belirlersiniz.
• Model özgürlüğü: Aynı arayüzden ticari API’lere, yerel olarak çalıştırılan açık modellere veya her ikisine birlikte bağlanabilirsiniz.
• Öngörülebilir maliyet: Kullanıcı başına abonelik yerine sabit sunucu maliyetiyle çalışırsınız; ekip büyüdükçe birim maliyet düşer.
• Özelleştirme: Sistem istemlerini, marka görünümünü, araç tanımlarını ve erişim rollerini kendi iş akışınıza göre biçimlendirebilirsiniz.

Bu üç proje de aynı temel ihtiyacı karşılar; fark, arayüzün ağırlık verdiği işlevlerde ortaya çıkar. Barındırma tarafında ise esnek bir VPS hosting planı, Docker tabanlı kurulumların çoğu için yeterli bir başlangıç noktası sunar.

Üç aracın karakteri kısaca

LibreChat: sohbet deneyimi ve çoklu sağlayıcı

LibreChat, popüler bir sohbet asistanının tanıdık arayüzünü kendi sunucunuza taşımayı hedefler. Node.js ve React tabanlıdır; arka planda MongoDB kullanır. En güçlü yanı sağlayıcı çeşitliliğidir: tek panelden farklı ticari API’lere ve OpenAI uyumlu yerel uç noktalara bağlanabilirsiniz. Sohbet profilleri (preset), ajan modu, araç eklentileri, konuşma arama ve dosya ekleme gibi özellikler kutudan çıkar. Çok kullanıcılı yapı, e-posta doğrulaması ve kurumsal oturum açma yöntemleriyle birlikte gelir.

Open WebUI: yerel modeller için kontrol merkezi

Open WebUI, Python tarafında çalışan ve özellikle yerel model sunucularıyla birlikte kullanılmak üzere tasarlanmış bir arayüzdür. Model listesini, yükleme parametrelerini, sistem istemlerini ve bellek ayarlarını yönetmeye odaklanır. Yönetici paneli üzerinden roller, model erişim izinleri ve kullanım kotaları tanımlanabilir. Yerel kurulumun tamamını adım adım görmek isteyenler için Open WebUI ve Ollama kurulumu rehberi iyi bir başlangıç noktasıdır.

AnythingLLM: doküman ve bilgi tabanı odaklı

AnythingLLM, sohbeti bir ‘çalışma alanı’ (workspace) kavramı etrafında kurar. Her çalışma alanı kendi doküman koleksiyonuna, kendi vektör indeksine ve kendi sistem istemine sahiptir. Bu yapı, farklı departmanların bilgi tabanlarını birbirine karıştırmadan yönetmek isteyenler için belirgin bir avantaj sağlar. Masaüstü uygulaması ve Docker imajı olarak sunulur; gömülebilir sohbet bileşeni ve API erişimi de vardır.

Özellik karşılaştırma tablosu

Başlık	LibreChat	Open WebUI	AnythingLLM
Odak noktası	Sohbet deneyimi	Model ve kullanıcı yönetimi	Doküman tabanlı RAG
Teknoloji yığını	Node.js / React	Python / Svelte	Node.js / React
Zorunlu veritabanı	MongoDB	Gömülü vektör deposu	Gömülü vektör deposu (LanceDB)
Sağlayıcı desteği	Çok geniş, OpenAI uyumlu uç noktalar	Yerel model sunucuları + OpenAI uyumlu API’ler	Yerel ve ticari sağlayıcılar, harici vektör veritabanları
RAG yaklaşımı	Ayrı RAG servisi, koleksiyon bazlı	Belge yükleme + gömülü vektör deposu	Çalışma alanı bazlı izole indeks
Çok kullanıcı	Var, gelişmiş kimlik doğrulama	Var, rol tabanlı yönetim paneli	Var, rol tanımları ve kullanıcı davetleri
Ajan / araç desteği	Eklenti ve araç mimarisi	Fonksiyon ve araç (pipeline) yapısı	Ajan becerileri (web, dosya, veritabanı)
Web arama	Araç üzerinden	Yerleşik arama entegrasyonu	Ajan becerisi olarak
Gömülebilir sohbet bileşeni	Sınırlı	Yok (API üzerinden)	Var
Tipik Docker servis sayısı	2–4 konteyner	1 konteyner	1 konteyner

Tablodaki satırlar bir sıralama değil, ağırlık farkını gösterir. Örneğin LibreChat’in ayrı bir RAG servisi çalıştırması ilk kurulumu uzatır; buna karşılık büyük doküman koleksiyonlarında bağımsız ölçeklendirme imkânı verir.

RAG ve doküman işleme farkları

Üç projenin en belirgin ayrıştığı alan, yüklenen dosyaların nasıl işlendiğidir.

LibreChat

Dosya işleme genellikle ayrı bir RAG servisine devredilir. Bu servis, belgeleri parçalara ayırıp gömme vektörlerine dönüştürür ve bir vektör veritabanına yazar. Avantajı, yüz binlerce sayfalık arşivlerde dahi arama katmanını bağımsız olarak büyütebilmenizdir. Dezavantajı ise ek konteyner, ek yapılandırma ve ek bakım yüküdür.

Open WebUI

Belge yükleme ve vektörleştirme arayüzün içine gömülüdür. Kurulum sırasında ek servis ayağa kaldırmanız gerekmez; bu, hızlı deneme yapmak isteyenler için büyük kolaylıktır. Buna karşılık çok büyük koleksiyonlarda indeksleme ve sorgu performansı, sunucu kaynaklarına daha duyarlı hale gelir.

AnythingLLM

Çalışma alanı mantığı sayesinde her departman kendi belgeleriyle sınırlı yanıt alır; bir çalışma alanındaki doküman diğerinde bağlama girmez. Bu izolasyon, hukuk, satış ve destek ekiplerinin aynı kurulumu paylaştığı ortamlarda yanlış bilgi sızmasını engeller. Harici vektör veritabanlarına bağlanabildiği için kurumsal ölçekte de tercih edilebilir.

Kullanıcı yönetimi ve ekip kullanımı

Küçük bir ekipte kullanıcı yönetimi ikincil görünür, ancak kurum içinde yayıldığında belirleyici hale gelir. Üç araç da çok kullanıcılıdır; ayrım, izinlerin ne kadar ince ayarlanabildiğindedir.

• Kimlik doğrulama: LibreChat, e-posta doğrulamasının yanında kurumsal oturum açma protokollerine ve dizin servislerine bağlanabilir. Open WebUI ve AnythingLLM da kullanıcı daveti ve rol ataması sunar.
• Rol tabanlı erişim: Open WebUI, model bazında görünürlük tanımlamaya izin verir; örneğin pahalı bir modeli yalnızca belirli bir gruba açabilirsiniz.
• Kota ve kullanım takibi: Yönetici panelleri üzerinden istek sayısı ve token tüketimi izlenebilir; bu, maliyet kontrolü açısından önemlidir.
• İzolasyon: AnythingLLM’de erişim çalışma alanı düzeyinde ayrıştığı için, aynı sunucudaki farklı ekipler birbirinin belgelerine erişemez.

Docker ayak izi ve donanım gereksinimleri

Kurulum kolaylığı ile kaynak tüketimi arasında doğrudan bir ilişki vardır. Kabaca bir karşılaştırma şöyle:

• AnythingLLM: Tek konteyner, harici veritabanı zorunluluğu yok. Küçük ekipler için 2 vCPU / 4 GB RAM sınıfı bir sunucu genellikle yeterlidir.
• Open WebUI: Tek konteyner olsa da imaj boyutu ve Python tarafındaki bellek kullanımı daha yüksektir. Modeli de aynı makinede çalıştıracaksanız bellek planlamasını model ağırlıklarına göre yapmalısınız.
• LibreChat: Uygulama sunucusu, MongoDB ve isteğe bağlı arama motoru ile RAG servisi ayrı ayrı çalışır. Servis sayısı arttıkça bellek taban çizgisi yükselir; buna karşılık her katman bağımsız ölçeklenebilir.

Modelleri bulut API’leri üzerinden kullanacaksanız CPU ağırlıklı bir yapı yeterlidir. Açık ağırlıklı bir modeli kendi donanımınızda çalıştırmayı planlıyorsanız, gereken bellek miktarını önceden hesaplamak gerekir; LLM çalıştırmak için ne kadar VRAM gerekir sorusunun yanıtı bu planlamanın temelini oluşturur. Yerel çıkarım ile uzak API arasındaki maliyet dengesini ise ayrı bir yazıda ele aldığımız GPU seçenekleri belirliyor.

Hangi senaryoda hangi araç

Doğru seçim, arayüzün neyi optimize ettiğine bağlıdır. Aşağıdaki eşleştirme pratikte en sık karşılaşılan durumları özetliyor:

• Günlük asistan deneyimi öncelikliyse: Konuşma profilleri, dosya ekleri ve çoklu sağlayıcı desteği bir arada gerekiyorsa LibreChat öne çıkar.
• Model kontrolü ve yerel çıkarım öncelikliyse: Yönetici panelinden model parametrelerine müdahale etmek, kullanıcı kotaları tanımlamak istiyorsanız Open WebUI daha rahat bir çalışma alanı sunar.
• Bilgi tabanı ve doküman soruları öncelikliyse: Yanıtların yalnızca belirli bir doküman kümesinden üretilmesi gerekiyorsa AnythingLLM’in çalışma alanı modeli işi kolaylaştırır.
• Karma kullanım: Kurum içi bilgi tabanı için bir aracı, genel amaçlı sohbet için diğerini çalıştırmak teknik olarak mümkündür; ancak iki ayrı kimlik doğrulama ve yedekleme akışı yönetmeniz gerekir.

Kurulum ve yayına alma için pratik notlar

Üç proje de Docker Compose ile dağıtılır ve varsayılan olarak yalnızca yerel bağlantı noktasını dinler. Dolayısıyla internete açmadan önce birkaç adımı planlamak gerekir:

1. Ters vekil ve TLS: Alan adınızı arayüze yönlendirin, HTTPS sertifikasını otomatik yenilenecek şekilde kurun. Konteynerlerin önüne bir ters vekil koymak için VPS üzerinde Docker ile Nginx Proxy Manager kurulumu rehberini izleyebilirsiniz.
2. Ortam değişkenleri: Oturum imzalama anahtarlarını ve veritabanı parolalarını varsayılan değerlerden mutlaka değiştirin; bu değerleri sürüm kontrolü dışında tutun.
3. Kalıcı birimler: Veritabanı, yüklenen dosyalar ve vektör indeksi için kalıcı disk birimleri tanımlayın. Konteyner yeniden oluşturulduğunda veri kaybı yaşamamanın tek yolu budur.
4. Yedekleme: Hem veritabanını hem de dosya deposunu düzenli olarak dışa aktarın; geri yükleme adımını bir kez test etmeden üretime geçmeyin.
5. Kaynak sınırları: Docker düzeyinde bellek ve CPU sınırı tanımlayarak tek bir aracın tüm sunucuyu tüketmesini engelleyin.
6. Güncelleme disiplini: Bu projeler hızlı sürüm çıkarır. Güncellemeleri önce test ortamında deneyin, sürüm etiketlerini sabitleyin.

Hangi aracı seçerseniz seçin, arayüz tek başına yeterli olmaz: model uç noktası, gömme modeli ve yedekleme akışı birlikte tasarlanmalıdır. Bu üç bileşenin uyumlu çalışması, kullanıcı deneyimini doğrudan belirler.

SSS

Üç aracı aynı sunucuda birlikte çalıştırabilir miyim?

Teknik olarak mümkündür; her biri farklı bağlantı noktasında çalışır ve ters vekil üzerinden ayrı alt alan adlarına bağlanabilir. Ancak bellek tüketimi toplanacağı için en az 8 GB RAM’li bir sunucu önerilir. Ayrıca kullanıcıların hangi araca hangi kimlikle gireceğini netleştirmek gerekir. Kimlik doğrulamayı tek merkezden yönetmek istiyorsanız ortak bir ters vekil ve SSO katmanı kurmak, üç ayrı hesap yönetiminin önüne geçer.

Verilerim bulut sağlayıcısına gider mi?

Kurulumu kendi sunucunuzda yaptığınızda sohbet kayıtları ve yüklediğiniz dosyalar sizin diskinizde kalır. Ancak modeli ticari bir API üzerinden çağırıyorsanız istem metni ilgili sağlayıcıya iletilir. Tam yerel gizlilik gerekiyorsa açık ağırlıklı bir modeli kendi altyapınızda çalıştırmanız gerekir.

Hangisi daha hızlı kurulur?

Tek konteynerli yapıları nedeniyle Open WebUI ve AnythingLLM genellikle daha hızlı ayağa kalkar. LibreChat’in MongoDB ve isteğe bağlı ek servisleri, ilk kurulumda daha fazla yapılandırma adımı gerektirir.

Sonuç

LibreChat, Open WebUI ve AnythingLLM arasında mutlak bir kazanan yok; her biri farklı bir ihtiyacı merkeze alıyor. Günlük sohbet deneyimi ve sağlayıcı çeşitliliği öncelikliyse LibreChat, yerel model kontrolü ve yönetici paneli öncelikliyse Open WebUI, doküman tabanlı bilgi tabanı ve ekip izolasyonu öncelikliyse AnythingLLM daha doğru seçim olacaktır. Karar verirken yalnızca özellik listesine değil, bakım yükü, yedekleme akışı ve donanım bütçesine birlikte bakmak gerekir.