Blog

Yapay zeka araçlarının web sitenize nasıl eriştiğini merak ediyor musunuz? Çoğu site sahibi, AI botlarının sitelerine ulaşmak için karmaşık bir API altyapısı gerektiğini düşünür. Oysa gerçek oldukça farklıdır. Bir yapay zeka tarayıcısı, normal bir tarayıcının yaptığı gibi HTTPS üzerinden sayfa talep eder; bu istek sırasında herhangi bir özel API kurulumu gerekmez. API, kısaca iki program arasındaki anlaşma kurallarıdır ve bu kuralların tamamı, sıradan bir web sitesinin ziyaret edilmesi sürecinde zaten mevcuttur. Bu makalede API kavramını, yapay zeka tarayıcılarının sitenize erişim yöntemlerini ve bu trafiği yönetmek için hosting katmanında alabileceğiniz önlemleri detaylı biçimde ele alacağız.

API Nedir?

API (Application Programming Interface), bir programın başka bir programdan bir şey talep etmesi ve öngörülebilir bir yanıt alması için üzerinde anlaşılmış kurallar bütünüdür. Bu tanım oldukça esnek olduğu için terim çoğu zaman JSON döndüren bir URL olarak algılanır. Ancak bu algı eksiktir. JSON, anlaşmanın yazılabileceği formatlardan yalnızca biridir; HTML de aynı yapıyı karşılayabilir.

İlk ticari web API’si 2000 yılında piyasaya sürülmüştü ve XML döndürüyordu. Modern API tanımının büyük bölümü sözleşmeye değil, geleneğe dayanır. Bugün API denildiğinde akla gelen yapı, o ilk örneklerden çok farklıdır.

API İsteğinin Bileşenleri

HTTP üzerinden yapılan her istek, yanıt gövdesi ne olursa olsun aynı bileşenlere sahiptir. Bir yapay zeka tarayıcısı sayfa isterken de bu bileşenlerin tamamını gönderir:

• Metod: Bir şey okumak için GET, oluşturmak için POST, değiştirmek için PUT, silmek için DELETE kullanılır.
• Uç nokta (Endpoint): İsteğin gittiği URL adresidir.
• Başlıklar (Headers): İsteği yapanın kim olduğu ve kabul edilen formatlar gibi meta verilerdir.
• İsteğe bağlı gövde: Veri gönderen yöntemler için gönderilen veridir.
• Durum kodu: Yanıt olarak 200 başarı, 404 bulunamadı, 429 çok fazla istek gibi kodlar döner.
• Yanıt gövdesi: JSON, XML, HTML, görsel veya bir zip dosyası olabilir.

REST API Nedir?

REST, Roy Fielding tarafından 2000 yılında doktora tezinde tanımlanmıştır. Temel özelliği durumsuzluktur; sunucu her isteği yeni kabul eder ve istemci hakkında önceki çağrılardan hiçbir şey hatırlamaz. Bu nedenle kimlik bilgisi her istekte taşınmalıdır. Fielding, tezinde 1999’da var olan web’i tanımlamıştı; yani HTTP üzerinden sunucular arasında hareket eden HTML belgelerini. Tez, web API’lerinden neredeyse hiç bahsetmez. Bir sitenin üzerinde JSON katmanı olmadan da Fielding’in kastettiği anlama zaten uyduğu söylenebilir.

Yapay Zeka Araçları Sitenizi Okumak İçin API Kullanır mı?

Büyük çoğunluk için cevap hayırdır. Bir yapay zeka tarayıcısı 443 numaralı porta bağlanır, GET isteğiyle bir yol gönderir ve geri dönen HTML’i okur. Aracı yüzeyler yalnızca kasıtlı olarak oluşturulan sitelerde bulunur. Site sahibi bu alışverişin dört parçasını kontrol eder:

• Uç nokta: İstenen sayfanın URL’si
• Kimlik başlığı: Erişim günlüğünde görünen kullanıcı temsilcisi beyanı
• robots.txt dosyası: Uyumlu tarayıcıların kök dizinden okuduğu dosya
• Durum kodu: Sunucu yapılandırması tarafından belirlenir

URL’niz Bir Uç Noktadır

Sitenizdeki her sayfanın adresi, bir yapay zeka sisteminin GET yöntemiyle talep ettiği uç noktadır. HTML, yanıt gövdesi olarak geri döner; yanıt başlıkları meta verilerdir. ETag ve Last-Modified değerleri, iyi davranan bir istemcinin güncel kopyaya sahip olduğunu anlamasını sağlayan sürümleme bilgisidir. Bu başlıklar, koşullu isteklere 304 Not Modified yanıtı verilmesine olanak tanır ve sayfanın hiçbir baytı transfer edilmez.

Ancak tüm tarayıcılar bu başlıkları dikkate almaz. Temmuz 2024’te yapılan bir testte, bir tarayıcının 302 yönlendirme zincirini takip ederek 5,8 MB’lık bir zip dosyasını yüzlerce kez yeniden indirdiği görülmüştü. Bu tarayıcı tek ayda 73 TB trafik oluşturmuş ve faturası 5.000 doların üzerine çıkmıştı. Başlıklar doğruydu ancak tarayıcı bunları hiç okumamıştı.

Yapay Zeka Tarayıcıları Kendilerini Nasıl Tanıtır?

Çoğu istekte tek kimlik beyanı User-Agent başlığıdır. OpenAI’nin arama robotu OAI-SearchBot, Anthropic ClaudeBot, Perplexity ise PerplexityBot olarak tanıtır. Ancak bu başlık kolayca sahtelenebilir. Bu nedenle operatörler, site sahiplerinin bağımsız olarak doğrulayabileceği ikinci bir sinyal kullanır: Web Bot Auth. Bu yöntem, RFC 9421 imza standardına dayanır; operatör bir Ed25519 anahtar çifti üretir, açık anahtarı yayınlar ve her giden isteği imzalar. Alan sunucu, imzayı yayınlanan anahtarla test eder.

robots.txt Ne Yapar ve Ne Yapmaz?

robots.txt dosyasının arkasında zorlayıcı bir güç yoktur; uyum tamamen operatörün inisiyatifindedir. Kullanıcı kaynaklı istekler için farklı kurallar geçerlidir. Örneğin Perplexity-User genellikle robots.txt kurallarını görmezden gelir çünkü istek bir insan tarafından yapılmıştır. Aynı dosyadaki aynı satırlar farklı operatörlerde farklı davranışlar üretebilir.

Yapay Zeka Tarayıcısının Aldığı Durum Kodları

Sunucunun yanıt kodları, site sahibinin tamamen kontrol ettiği sözleşmenin diğer yarısıdır. 200 içeriği sunar, 403 güvenlik duvarında reddeder. 429 Too Many Requests, bir istemcinin hız sınırını aştığını belirtir ve Retry-After ile ne kadar süre beklemesi gerektiğini söyler. 503 ise sunucunun isteği hiç alamadığını gösterir. Temmuz 2025’te bazı sağlayıcılar, istek başına ödeme modelini hayata geçirmek için 402 Payment Required kodunu yeniden canlandırmıştır.

Loglarınızda Göreceğiniz Yapay Zeka Tarayıcıları

Farklı botlar farklı işler yapar ve farklı kurallara tabidir. OpenAI dört ayrı botu çalıştırır: GPTBot eğitim verisi toplar, OAI-SearchBot arama sonuçlarında sayfayı getirir, ChatGPT-User ise kullanıcı isteği üzerine sayfayı çeker. Anthropic ClaudeBot, Claude-User ve Claude-SearchBot kullanır. Perplexity ise PerplexityBot ve Perplexity-User ile çalışır. Google’ın kontrolleri Google-Extended, GoogleOther ve Google-CloudVertexBot üzerinden yürür. Ayrıca Meta-ExternalAgent, Amazonbot, Bytespider, Applebot-Extended ve CCBot da loglarda görünebilir.

Ajan tabanlı tarayıcılar daha zor bir kategoridir. ChatGPT Atlas ve Perplexity Comet, Chromium tabanlıdır ve naif parmak izi analizi onları sıradan Chrome olarak sınıflandırır. Atlas, macOS’ta CFNetwork imzası ve içinde “ChatGPT Atlas” geçen bir kullanıcı dizgisi sunar. Bunun ötesinde pratik ayırt edici davranışsal: çok hızlı çok sayfalı gezinme, neredeyse sıfır kalma süresi ve kaydırma derinliği olmamasıdır.

Yapay Zeka Tarayıcıları JavaScript İçeriğini Okuyabilir mi?

Başlıca yapay zeka tarayıcıların hiçbiri JavaScript çalıştırmaz. .js dosyalarını indirip metin olarak okurlar ancak çalıştırmazlar. Bu nedenle istemci tarafında render edilen içerik, en çok alıntı yapacak sistemler için görünmezdir. Bu durum, JavaScript SEO’sunu bir eklenti sorunu değil, hosting katmanına ilişkin bir sorun haline getirir. Sunucu taraflı render veya statik üretim, bu sorunu çözmenin en etkili yoludur.

Yapay Zeka Tarayıcı Trafiği Sunucuya Ne Yapar?

Yapay zeka trafiğinin maliyeti, önbelleği kaçırarak kaynak sunucuya ulaşan isteklerin oranından gelir. Wikimedia’nın en pahalı, önbellek kaçıran trafiğinin %65’ini tarayıcılar oluştururken sayfa görüntülemelerinin yalnızca %35’ini oluşturuyordu. İnsan trafiği haber olayları etrafında dalgalanırken, sürekli kazıyıcı yükü hiç benzemez. Bu nedenle birincisine göre tasarlanan altyapı ikincisini iyi karşılamaz.

Aynı desen farklı projelerde de görülüyor. Bazı açık kaynak proje bakıcıları, tarayıcıları engellemek için çalışma zamanlarının %20 ile %100’ünü harcıyor ve haftalık düzinelerce kısa kesinti yaşıyor. Bir GitLab örneğinde 2,5 saatte 81.000 istek geldi ve bunların yalnızca %3’ü güvenlik kanıtı zorluğunu geçti. Üniversite kütüphaneleri bile orta 2025’te bu trafik nedeniyle platformlarını uzun süre kaybetti.

IP Tabanlı Hız Sınırlaması İşe Yarar mı?

Tarayıcılar çok sayıda farklı IP adresinden geldiğinden, IP tabanlı hız sınırlaması etkisiz kalabilir. Kullanıcı ajanına göre sınırlama da kapalıdır çünkü kötüye kullanım trafiğinin büyük bölümü, insan ziyaretçilerin gönderdiği tarayıcı dizgelerini kullanır. Bulut sağlayıcılarında headless Chrome çalıştıran bot ağlarında, bir aralığı engellemek trafiği başka bir aralığa taşımaktan başka bir işe yaramaz.

Tarayıcı Yükü Altında Neden 503 Hatası Alırsınız?

Paylaşımlı hostingde, başarısızlık belirtisi oldukça spesifiktir. 503 Service Unavailable ve görünür bir neden yoksa, genellikle PHP işleyicisinin dolu olduğu anlamına gelir. RAM sınırı ise loglarda “Cannot allocate memory” hatasıyla görünür. Bu belirtiler sitede hiçbir şey değişmeden ortaya çıkabilir çünkü yük dışarıdan gelir.

Hosting Katmanında Neler Yapabilirsiniz?

Önbellekleme, en çok yükü kaldırırken en az meşru isteği reddeder. Bu nedenle engelleme veya zorluktan önce gelmelidir.

Kenardan Sunabileceğiniz Her Şeyi Önbelleğe Alın

Bir CDN veya sunucu düzeyindeki önbellek tarafından yanıtlanan tarayıcı isteği, PHP’ye hiç ulaşmaz ve veritabanı bağlantısı açmaz. Bu maliyeti neredeyse sıfırdır. Pahalı olan istekler, önbelleği süresi dolmuş ve her seferinde kaynağa ulaşan nadir ziyaret edilen URL’lerdir. 14.000 sayfalık bir WordPress sitesinde, tam sayfa kenar önbelleğe alma açıldıktan sonra yapay zeka botlarından gelen kaynak istekleri günde 47.000’den 380’e düşmüştür. LiteSpeed ve LSCache gibi çözümler, önbelleği eklenti içinde değil web sunucusunda tutar. WordPress hosting seçeneklerinde bu tür bir performans artışı sağlayan yapılandırmalar bulunabilir.

robots.txt’de Aracı Başına Kurallar Yazın

Aracı başına kurallar neredeyse hiç maliyet gerektirmez ve yalnızca bunlara uyan operatörleri bağlar. OpenAI, robots.txt değişikliklerinin arama sistemlerine yansıması için 24 saat süre olduğunu belirtir. GPTBot’un örneklemdeki sitelerin yalnızca %13,8’inde adı geçtiği ve %5’inden azında tamamen engellendiği göz önüne alındığında, bu benimseme düzeyi tek başına bir faktördür. ClaudeBot için ise Crawl-delay direktifi eklemek mantıklıdır çünkü Anthropic bu direktifi okuyan birkaç operatörden biridir.

Kullanıcı Ajanı ve IP’yi Birlikte Eşleştirin

Yalnızca kullanıcı ajanına göre engelleme iki hata üretir: Bot benzeri tarayıcı dizgeleri olan insanlar reddedilir ve tarayıcı dizgesi taklit eden botlar geçer. Her iki hata da operatörlerin yayınladığı IP aralıklarıyla çözülür. OpenAI, Anthropic ve Perplexity, IP aralıklarını JSON formatında yayınlar. Ancak Anthropic, IP adreslerini engellemenin robots.txt yerine geçmesine karşı uyarır; çünkü sunucuya ulaşamayan bir tarayıcı, opt-out dosyasını da okuyamaz.

Sunucu Seviyesinde Hız Sınırlama ve Bot Kontrolleri

nginx, limit_req yapısıyla hız sınırlaması yapar. Varsayılan reddetme durum kodu 503’tür ve limit_req_status ile 429’a değiştirilebilir. Yanlış yapılandırılmış limitler, kendine zarar veren kesintilerin belgelenmiş nedenidir; bu yüzden gerçek trafiğe karşı test edilmeden agresif ayarlar yapılmamalıdır. Üzerinde bot yönetim ürünleri ve iş kanıtı zorlukları gibi son çareler bulunur. Bu zorluklar tüm ziyaretçilere, insanlara da uygulandığından yavaş telefonlarda 30 saniyeye kadar bekleme sürelerine yol açabilir.

MCP, Ajanlı E-Ticaret ve llms.txt

Bu üç yüzey, API kelimesini gerçek anlamıyla hak eder; hepsi opt-in’dir ve ikisi çoğu site için önemsizdir.

MCP Nedir ve REST API’lerin Yerini mi Alıyor?

Model Context Protocol, Kasım 2024’te açık kaynak olarak yayınlandı ve sektörde geniş kabul gördü. Yetkilendirme spesifikasyonu, MCP sunucusunu OAuth 2.1 kaynak sunucusu olarak konumlandırır. Düz bir HTML sitesi kimlik doğrulama için hiçbir şey sunmaz. MCP ile REST arasındaki yapısal fark, keşiftir. REST istemcisi önceden belgelenmiş sabit uç noktalara göre yazılırken, MCP istemcisi çalışma zamanında sunucuya hangi araçları sunduğunu sorar. Bu yapı yalnızca bilinçli olarak MCP sunucusu kuran sitelerde geçerlidir; çoğu üretim MCP sunucusu, mevcut bir REST API’yi sarar.

Ajan Kontrolü Nasıl Çalışır?

Agentic Commerce Protocol, Eylül 2025’te yayınlandı ve bir sitenin maruz kalabileceği en eksiksiz ajan yüzeyi spesifikasyonudur. Makine tarafından okunabilir ürün akışları, durumlu bir ödeme oturumu ve delege ödeme token’ları tanımlar. İlk gün bazı büyük e-ticaret platformları bu protokolü destekleyen mağazalarla devreye girdi. Ürünlerini ajanlara satmak isteyen bir mağaza için bu spesifikasyon çalışan bir standarttır.

llms.txt Gerçekten Bir İşe Yarar mı?

Mevcut kanıtlara göre henüz hayır. Hiçbir yapay zeka sistemi şu anda llms.txt kullanmıyor ve büyük arama motorları bu formatı destekleme planı olmadığını açıkladı. Örneklemdeki sitelerin %97’sinin llms.txt dosyası Mayıs’ta sıfır trafik aldı. Yine de dosyayı yazmak bir saat sürer ve hiçbir dezavantajı yoktur; destek geldiğinde hazır olmak küçük bir maliyettir.

Yapay Zeka Tarayıcılarını Engellemeniz mi Gerekir?

Sunucu yöneticileri ve yayıncılar bu konuda zıt sonuçlara vardı. Sistem yöneticileri, hizmet reddi düzeyinde sürekli yük görür ve engellerler. Engelliyen yayıncılar ise toplam trafikte %23, insan trafiğinde %14 düşüş gördü ve bazıları kararından vazgeçti. Googlebot sorunu, düzenli bir orta yol seçeneğini ortadan kaldırır çünkü AI Overviews’i besleyen tarayıcıyı engellemek siteyi aramadan da çıkarır.

Her iki kanıt setine de uyan okuma önbelleklemeyle başlar. Çoğu tarayıcı isteği PHP’ye ulaşmaz ve engelleme için yük argümanı kendiliğinden zayıflar. Ardından, uyum gösteren operatörler için ajan başına kurallar gelir. Engellemeden önce ajanları IP ile doğrulayın. Sunucu taraflı HTML, hepsinden önemlisidir; çünkü okuyan sistemler sayfayı üretecek kodu çalıştıramaz. Önbellekleme tamamlandıktan sonra engellemenin sunucu yükü argümanı ortadan kalkar ve geriye gelir ile lisans kararı kalır.

Sık Sorulan Sorular

API anahtarı nedir ve ne için kullanılır?

API anahtarı, istekle birlikte gönderilen ve hangi hesabın çağrı yaptığını gösteren paylaşılan bir sırdır. Sağlayıcı, bu anahtarla çağrıyı yetkilendirir ve bir kotaya karşı sayar.

API tokenı nedir?

Token, kimlik doğrulamasından sonra verilen bir kimlik bilgisidir ve genellikle “Authorization: Bearer” başlığı ile gönderilir. Statik anahtarların aksine token süresi dolar ve kendi başına kapsamlandırılabilir veya iptal edilebilir.

SDK ile API arasındaki fark nedir?

API, sunucunun ortaya koyduğu sözleşmedir. SDK ise bu sözleşmeyi saran ve geliştiricinin HTTP isteklerini elle kurmasını gerektirmeyen dile özgü bir kütüphanedir.

API uç noktası nedir?

Uç nokta, bir API’nin istek aldığı adrestir ve çoğu hizmet için bir URL’dir. Her biri bir kaynak yolunu GET veya POST gibi bir HTTP yöntemiyle eşleştirir.

API çağrısı nedir?

Bir API çağrısı, tek bir istek-yanıt alışverişidir; bir yöntem, bir uç nokta, isteğe bağlı başlıklar ve gövde ile durum kodu dönen bir yanıttan oluşur. Hız limitleri çağrı üzerinden sayılır ve reddedilen 429 bile çoğu platformda bir kotayı tüketir.

API ağ geçidi nedir?

API ağ geçidi, arka uç hizmetlerinin önünde yer alan ve yönlendirme, kimlik doğrulama ve hız sınırlamayı her hizmette ayrı ayrı değil merkezi olarak yöneten bir katmandır. CDN ile web uygulaması güvenlik duvarı birleşimi, bir web sitesi için aynı işi görür.

Yapay zeka tarayıcı trafiğini sunucu loglarımda nasıl görürüm?

Erişim loglarında ajan adını arayabilirsiniz. Apache logları genellikle /var/log/apache2/access.log ve nginx logları /var/log/nginx/access.log altında bulunur; bot, GPTBot/1.2 veya ClaudeBot/0.1 gibi bir kullanıcı ajanı alanında görünür.

Bir botun GPTBot veya ClaudeBot olduğunu nasıl doğrularım?

Kolayca taklit edilebilen kullanıcı ajanı dizgesine güvenmeyin. Her operatör IP aralıklarını belgelenmiş bir JSON dosyasında yayınlar. Standart kontrol, ajan adını kaynak IP ile eşleştirir.

Web Bot Auth nedir?

Web Bot Auth, RFC 9421 HTTP Message Signatures üzerine kurulu kriptografik bir bot doğrulama şemasıdır. Operatör, /.well-known/http-message-signatures-directory altında bir Ed25519 açık anahtar yayınlar ve her isteği imzalar.

İstek başına ödeme nedir?

İstek başına ödeme, bazı sağlayıcıların Temmuz 2025’te duyurduğu ve sitenin yapay zeka tarayıcılarından istek başına ücret almasını sağlayan bir özelliktir. HTTP 402 Payment Required kullanır; ödenmemiş bir tarayıcı fiyatlandırma içeren 402 alır ve imzalı ödeme bilgileriyle yeniden deneyebilir.

ChatGPT Atlas ve Comet gibi ajan tarayıcılar analizlerde nasıl görünür?

Her ikisi de Chromium tabanlı olduğundan masaüstü Chrome olarak görünür. Ajan dizgesinde “Atlas” veya “Comet” aramak belirlenen durumları yakalar. Geri kalanlar sıfıra yakın kalma süresi ve düz kaydırma derinliğiyle gelir.

Yapay zeka tarayıcılarının sitenize erişimini yönetmek, doğru yapılandırılmış bir sınırsız hosting ve sunucu seviyesi önlemlerle daha kolay hale gelir. Özellikle VPS hosting ile önbellek ve hız sınırlama ayarlarını daha ayrıntılı yönetebilir, bu sayede hem insan ziyaretçileri hem de arama motoru botlarını memnun edebilirsiniz.