Blog

Yapay zeka uygulamaları geliştiren ekipler için model erişimini yönetmek, gözlemlenebilirlik sağlamak ve faturalandırmayı tek bir yerden takip etmek her geçen gün daha kritik hale geliyor. Bu ihtiyaçlar doğrultusunda, yapay zeka kontrol düzlemi kavramı öne çıkıyor. Piyasada farklı ürünlerle sunulan bu işlevler, artık tek bir çatı altında birleştiriliyor. Workers AI ve AI Gateway ürünlerinin tek bir kontrol düzleminde buluşması, geliştiricilerin hem kendi altyapısında barındırılan modellere hem de dış sağlayıcılardaki modellere tek bir noktadan erişmesini sağlıyor. Bu birleşme, model yönlendirme stratejilerini kökten değiştirmeye aday.

Şimdiye dek bu iki ürün birbirinden bağımsız olarak konumlandırılmıştı. Workers AI, yönetilen GPU altyapısı üzerinde çıkarım hizmeti sunarken AI Gateway, farklı sağlayıcılara yapılan istekleri vekil olarak yönetip kayıt, güvenlik ve gözlem hizmetleri veriyordu. Ancak kullanıcıların iki ürünü birden kullanmaya başlaması ve benzer ihtiyaçlar etrafında yoğunlaşması, ürün mimarilerinin birleştirilmesini gerektirdi. Artık geliştiriciler, hangi ürünü seçeceğim diye düşünmek zorunda değil.

Tek Kontrol Düzlemi Neden Bu Kadar Önemli?

Modern yapay zeka uygulamaları birden çok model sağlayıcısını ve farklı çıkarım altyapılarını bir arada kullanıyor. Bir geliştirici, metin üretimi için bir modeli, kod tamamlama için başka bir modeli ve sınıflandırma için üçüncü bir modeli tercih edebilir. Her sağlayıcının kendi API anahtarı, faturalama sistemi ve performans profili vardır. Bu parçalı yapı, operasyonel yükü artırır ve hata takibini zorlaştırır.

Tek bir kontrol düzlemi, tüm bu karmaşıklığı tek bir katmanda soyutlar. İster kendi altyapınızda çalışan bir model olsun ister harici bir sağlayıcının API’si üzerinden erişilen bir model, tüm istekler aynı kapıdan geçer. Bu sayede:

• İsteklerin tamamı tek bir yerden kayıt altına alınır ve gözlemlenebilirlik sağlanır.
• Token kullanımı ve maliyetler modele göre otomatik olarak izlenir.
• Güvenlik politikaları tek noktadan uygulanabilir.
• Trafik yükü, sağlayıcı kullanılabilirliğine göre otomatik olarak dengelenir.

Bu entegrasyon, özellikle yapay zeka destekli uygulamalar geliştiren ekipler için açık kaynak yapay zeka çalışma platformları ile de uyumlu bir altyapı sunuyor. Geliştiriciler, altyapı detaylarıyla boğuşmak yerine doğrudan uygulama mantığına odaklanabiliyor.

Birleşik Erişim Noktaları: Binding ve REST API

Birleşme sürecinin ilk somut adımı, erişim noktalarının birleştirilmesi oldu. Artık Workers AI ve AI Gateway için ayrı binding kavramı yok. Geliştiriciler, tek bir AI binding üzerinden her iki ürüne de erişebiliyor. Daha önce yapay zeka isteklerinizi doğrudan Workers AI’a gönderiyorken, şimdi üçüncü bir parametre ekleyerek isteği AI Gateway üzerinden yönlendirebilirsiniz. Bu, kod değişikliği gerektirmeyen basit bir parametre ekleme işlemidir.

Benzer şekilde REST API tarafında da tek bir uç nokta (/ai/) hem Workers AI hem AI Gateway çağrılarını destekliyor. Bu yaklaşım, geliştiricilerin hangi ürünü önce kullanacaklarına karar verme yükünü ortadan kaldırıyor. İster doğrudan Workers AI üzerinden ister AI Gateway üzerinden çağrı yapın, tüm istekler aynı hattan geçiyor ve temel özellikleri otomatik olarak devralıyor.

Bu birleşim, özellikle yönetilen vektör veritabanı ile çalışan yapay zeka uygulamalarında önemli bir kolaylık sağlıyor. Vektör araması yapan bir uygulama, aynı kontrol düzleminden hem model çağrısını hem de veri tabanı etkileşimini yönetebiliyor.

Varsayılan Ağ Geçidi ile Otomatik Gözlemlenebilirlik

Bu birleşmenin en somut faydalarından birisi, gözlemlenebilirliğin artık varsayılan olarak gelmesi. Önceden AI Gateway kullanmaya başlamak için açıkça bir ağ geçidi oluşturmanız ve yapılandırmanız gerekiyordu. Yeni sistemde, daha önce hiç ağ geçidi oluşturmamış kullanıcılar bile isteklerinde varsayılan ağ geçidi kimliğini kullandıklarında, sistem ilk doğrulanmış istekte bunu otomatik olarak oluşturuyor.

Bunun anlamı şu: Her istek tam istem ve yanıt verileriyle kaydediliyor, model bazında token sayımı yapılıyor ve maliyet dağılımı gösterge panelinde görüntüleniyor. Bu özellikler için herhangi bir gösterge paneli kurulumu yapmanıza gerek yok. Varsayılan ağ geçidi, gecikme süresi kırılımları, hata oranları ve istek/yanıt içeriklerini detaylı bir şekilde listeleyen bir panel sunuyor.

Uygulamalarınızı birden fazla projeye bölmek isterseniz, adlandırılmış ağ geçitleri oluşturarak trafiği projelere göre ayırabilirsiniz. Özel önbellek kuralları ya da farklı uygulamalar arasında trafik ayrımı yapmak istediğinizde, tek bir parametre değişikliği ile adlandırılmış ağ geçidine geçiş yapabilirsiniz. Bu esneklik, küçük bir deneme projesinden kurumsal ölçeğe geçerken altyapıyı yeniden kurma ihtiyacını ortadan kaldırıyor.

Birleşik Faturalandırma ve AI Gateway Kredileri

Birleşmenin bir diğer önemli ayağıda faturalandırma alanında yaşanıyor. Daha önce AI Gateway kredileri yalnızca harici model sağlayıcıları için kullanılabiliyordu. Şimdi ise bu krediler Workers AI modelleri için de geçerli. Bu, tek bir cüzdan üzerinden tüm sağlayıcılarda kullanılabilecek anlamına geliyor.

Geliştiriciler artık bir kredi cüzdanı doldurup bu kredileri harici bir model sağlayıcısında, Workers AI üzerinde ya da desteklenen herhangi bir sağlayıcıda kullanabilir. Bu esneklik, özellikle birden çok modeli farklı sağlayıcılarda kullanan ekipler için maliyet takibini ciddi şekilde kolaylaştırıyor. Ayrıca, AI Gateway üzerinden birleşik ön ödemeli faturalandırma kullanan kullanıcılar, Workers AI modellerinde daha yüksek oran sınırlarından (rate limit) yararlanabiliyor.

Bu faturalandırma modeli, yapay zeka maliyetlerini düşürmeye çalışan ekipler için de önemli bir avantaj sunuyor. Tek bir yapı üzerinden harcamaları izlemek, bütçe optimizasyonunu çok daha yönetilebilir kılıyor.

Model Öncelikli Yönlendirme ile Geleceğe Hazırlık

Birleşik kontrol düzleminin asıl büyük vaadi, yönlendirme mantığının tamamen değişmesi. Bugün geliştiriciler, kullanmak istedikleri modelin barındırıldığı sağlayıcıyı bilmek ve isteklerini o sağlayıcıya göre yapılandırmak zorunda. Bu, sağlayıcı öncelikli bir yaklaşımdır ve şu soruları gündeme getirir: Hangi sağlayıcıyı arayacağım? Ya sağlayıcı çökerse?

Model öncelikli yönlendirme (model-first routing) ise bu bakış açısını tersine çevirir. Geliştirici, sadece hangi modele ihtiyaç duyduğunu söyler; kontrol düzlemi ise o modeli nereden alacağına, hangi sağlayıcının kapasitesinin uygun olduğuna ve yük dengelemesinin nasıl yapılacağına karar verir. Örneğin, bir kodlama modeli istediğinizde, sistem bu modeli kendi yönetilen altyapısından mı yoksa aynı ağırlıkları barındıran başka bir sağlayıcıdan mı alacağını otomatik olarak belirler.

Bu sayede tek bir sağlayıcıya bağımlılık azalır. Bir sağlayıcının sunmuşağındaki model sorun yaşıyorsa, trafik otomatik olarak aynı modeli sunan başka bir sağlayıcıya kaydırılır. Uygulama katmanında karmaşık hata yönetimi yazmanıza gerek kalmaz. Ayrıca, sıfır veri saklama (Zero Data Retention) gibi gereksinimlerin de gözetileceği belirtiliyor, bu da veri gizliliği açısından önemli bir güvence.

Gözlemlenebilirlik ve Güvenilirlik Bir Arada

Model öncelikli yönlendirme, yalnızca maliyet ve esneklik değil, aynı zamanda güvenilirlik de sağlıyor. Kontrol düzlemi, model kullanılabilirliğini bir yönlendirme problemi olarak ele alıyor. Bir sağlayıcının yanıt süreleri artarsa ya da hata oranı yükselirse, trafik diğer sağlayıcılara akıyor. Bu sayede uygulamanızın çalışma süresi artıyor ve son kullanıcı deneyimi kesintisiz devam ediyor.

Akıllı Yönlendirme: Sıradaki Büyük Adım

Yol haritasındaki bir sonraki aşama, yönlendirmeyi daha da akıllı hale getirmek. Şu anda geliştiriciler, hangi modeli kullanacaklarını açıkça belirtiyor. Gelecekte ise kontrol düzlemi, gönderilen prompt’un içeriğini analiz ederek hangi modelin en uygun olduğuna kendisi karar verebilecek.

Bu sistemin arka planında bir sınıflandırıcı model çalışacak. Bu model, prompt’un kod yazma mı, araştırma mı, özetleme mi yoksa genel soru-cevap mı olduğunu tespit edecek. Ardından bir puanlama mekanizması, bu tespit doğrultusunda en iyi modeli seçecek. Böylece geliştiricilerin yönlendirme mantığını kendileri yazmasına gerek kalmayacak. Bu özellik, şu anda dahili olarak test ediliyor ve kısa bir süre sonra kullanıma sunulması bekleniyor.

Akıllı yönlendirme, özellikle veritabanı iş yükleri ve büyük ölçekli uygulamalar çalıştıran ekipler için anlamlı bir fark yaratacak. Yapay zeka maliyetlerini optimize etmek isteyenler, kendi yönlendirme mantıklarını geliştirmek yerine bu hazır çözümü kullanabilecek.

Geçiş Nasıl Yapılır?

Bu birleşik yapıya geçiş oldukça basit. Eğer halihazırda Workers AI kullanıyorsanız, mevcut çağrılarınızı varsayılan ağ geçidi üzerinden yönlendirmeniz yeterli. Böylece istek kayıtları, token takibi ve maliyet dağılımı otomatik olarak başlar. Kodunuzda büyük bir değişiklik yapmanıza gerek yoktur; yalnızca bir parametre eklemeniz gerekir.

AI Gateway kullanıyorsanız, Workers AI’ı da bu sisteme dahil etmek oldukça kolay. AI Gateway cüzdanınıza kredi yükleyip Workers AI modellerini çağırmanız yeterli. Böylece desteklenen tüm sağlayıcılar için tek bir faturalandırma yapısı elde edersiniz.

Bu gelişmeler, yapay zeka altyapısını sadeleştirmek ve geliştirici deneyimini iyileştirmek adına atılmış önemli adımlar. Tek bir yapay zeka çalışma platformu üzerinden tüm modellere erişmek, operasyonel yükü azaltırken uygulamaların daha dayanıklı ve ölçeklenebilir olmasını sağlıyor.

Sık Sorulan Sorular

Workers AI ve AI Gateway arasındaki temel fark nedir?

Workers AI, yönetilen GPU altyapısı üzerinde model çıkarımı sağlarken; AI Gateway, farklı model sağlayıcılarına yapılan istekleri proxy olarak yönetir, gözlemlenebilirlik ve güvenlik katmanı ekler. Yeni yapıda her iki ürün de tek bir kontrol düzlem üzerinden birleşik olarak kullanılabilir.

Varsayılan ağ geçidi nedir?

Varsayılan ağ geçidi, daha önce hiçbir ağ geçit oluşturmamış kullanıcılar için otomatik olarak devreye giren hazır bir ağ geçididir. İlk istekte otomatik oluşturulur ve temel gözlemlenebilirlik, token takibi ve maliyet dağılımı sağlar.

Birleşik faturalandırma nasıl çalışır?

Birleşik faturalandırmada, bir kredi cüzdanı doldurulur ve bu kredi hem Workers AI hem de desteklenen harici model sağlayıcılarında kullanılabilir. Böylece tüm çıkarım maliyetleri tek bir hesap üzerinden takip edilir.

Model öncelikli yönlendirme ne zaman kullanıma sunulacak?

Model öncelikli yönlendirme özelliğinin pilot uygulamasının önümüzdeki aylarda başlatılması planlanıyor. Bu sistemde geliştiriciler yalnızca model adını belirtir; kontrol düzlemi sağlayıcı seçimi, yük dengeleme ve hata durumlarında otomatik geçişi yönetir.

Akıllı yönlendirme nedir?

Akıllı yönlendirme, promptun içeriğini analiz ederek en uygun modeli otomatik seçen bir sistemdir. Kod yazma, araştırma, özetleme gibi görev türleri sınıflandırılır ve bir puanlama mekanizması ile en iyi model eşleştirilir.