Google Crawl Budget Nedir? Büyük Siteler Rehberi

Google’ın her URL’yi aynı sıklıkta ziyaret etmesi beklenmez. Özellikle binlerce veya milyonlarca ürün, filtre ve içerik adresi bulunan sitelerde tarayıcıların zamanını önemli sayfalara ayırmak gerekir. Google tarama bütçesi (crawl budget), bir sitenin ne ölçüde taranabileceğini ve Google’ın ne kadar taramak istediğini açıklamak için kullanılan kavramdır. Her küçük WordPress sitesi için ayrı bir tarama bütçesi projesi gerekli değildir. Biz büyük sitelerde önce URL üretim modelini, sunucu sağlığını ve Search Console raporlarını inceleyerek gereksiz karmaşıklığı azaltmayı hedefliyoruz.

İçindekiler

Tarama bütçesi kimler için gerçekten önemlidir?

Google’ın güncel tarama altyapısı rehberi, milyonlarca benzersiz URL içeren ve düzenli güncellenen büyük sitelerle, on binlerce URL’si çok hızlı değişen yapılara özel dikkat çekiyor. Ayrıca Search Console’da çok sayıda ‘Keşfedildi, şu anda dizine eklenmiş değil’ adresi bulunan siteler inceleme gerektirebilir. Bunlar kesin eşikler değil, kabaca değerlendirme ölçütleridir. Yüz sayfalık kurumsal sitede tarama sorununu çözmek için karmaşık günlük analizleri kurmak yerine kaliteli içerik ve doğru iç bağlantılar daha öncelikli olabilir. Google’ın güncel tarama bütçesi rehberi bu ayrımı açıklar.

Tarama kapasitesi ve tarama talebi

Tarama kapasitesi, Googlebot’un sunucuyu aşırı zorlamadan ne kadar istek yapabileceğiyle ilişkilidir. Sunucu sık sık hata veriyorsa veya çok yavaş yanıtlıyorsa tarama hızı sınırlanabilir. Tarama talebi ise Google’ın sitenin hangi içeriklerini ne sıklıkta yenilemek istediğiyle ilgilidir. Popüler, önemli veya sık güncellenen adreslere yönelik talep farklı olabilir. Bu iki etkeni yalnızca ‘siteme günde bin kez bot geliyor’ gibi tek sayı üzerinden yorumlamak yeterli değildir. Sunucu performansı iyileşse bile tarama talebi aynı kalabilir; bütün ek kapasitenin mutlaka kullanılacağı garanti değildir.

E-ticarette filtre URL’leri sorunu

Bir mağazada renk, beden, sıralama ve fiyat aralığı filtreleri birbiriyle birleştiğinde binlerce farklı URL üretebilir. Çoğu aynı ürün kümesini küçük değişikliklerle gösteriyorsa gereksiz tarama yükü oluşabilir. Hangi filtre kombinasyonlarının gerçek arama ihtiyacı karşıladığı belirlenmeli, sınırsız parametre kombinasyonları kontrol edilmelidir. Kullanıcının gezinme deneyimini bozmadan uygulanacak URL kuralları düşünülmelidir. PrestaShop SEO rehberimiz kategori ve filtre yapısını açıklıyor. Parametreleri körlemesine robots.txt ile engellemek bazı istenen sayfaların keşfini zorlaştırabileceği için önceden teknik plan gerekir.

Canonical ve noindex her sorunu çözmez

Canonical, benzer sayfalardaki tercih edilen adresi belirtmeye yardımcı olur. Ancak Google’ın bir URL’yi kanonik etiketi okuyabilmek için önce taraması gerekebilir. Dolayısıyla milyonlarca gereksiz URL üretme sorununu yalnızca canonical ekleyerek çözmek her zaman mümkün değildir. `noindex` yönergesi de sayfanın taranması durumunda okunabilir; robots.txt erişimi engelliyorsa yönerge görülemeyebilir. Canonical URL rehberimiz bu kavramların farkını açıklıyor. Önemli olan baştan doğru sayfa ve parametre mimarisi kurmak, içerik tekrarını azaltmak ve hangi URL’nin arama sonuçlarında bulunması gerektiğini belirlemektir.

XML site haritası ve lastmod kullanımı

XML site haritasında tercih edilen ve gerçekten var olan URL’ler listelenmelidir. İçeriği önemli ölçüde değişen sayfalarda `lastmod` değeri doğru güncelleme zamanını yansıtabilir. Sadece botları çekmek için bütün tarihleri her gün güncellemek uygun değildir. Yüz binlerce URL bulunan sitelerde site haritası dizini ve dosyaların mantıklı gruplara bölünmesi yönetimi kolaylaştırabilir. XML site haritası rehberimiz temel kuralları anlatıyor. Site haritası Google’a keşif konusunda yardımcı olur; URL’nin indekslenmesini veya daha üst sıraya çıkmasını garanti etmez.

Sunucu hataları taramayı nasıl etkiler?

Googlebot, sunucudan sık 5xx hata veya yavaş yanıt aldığında siteyi aşırı zorlamamak için davranışını ayarlayabilir. Bu nedenle hosting kaynakları, veritabanı sorguları, önbellek düzeni ve güvenlik duvarı kuralları önemlidir. Botun yanlışlıkla 403 ile engellenmesi de taranabilirliği bozabilir. CDN kullanan sitelerde botlara farklı yanıt verilip verilmediği kontrol edilmelidir. Büyük katalog güncellemeleri sırasında sunucu yükünü ölçmek gerekir. Veritabanı optimizasyonu ancak gerçek darboğaz ölçülerek yapılmalıdır; yanlış temizlik trafik sorunundan daha büyük bir hasar oluşturabilir.

Sunucu günlükleriyle gerçek taramayı incelemek

Log kayıtları, Googlebot olduğu doğrulanan istemcilerin hangi URL’lere ne sıklıkta istek gönderdiğini gösterebilir. User-Agent adının ‘Googlebot’ olması tek başına doğrulama değildir; gerçek bot adresleri ve Google’ın belgelediği doğrulama yöntemleri kullanılmalıdır. 404, 301, 200 ve 5xx yanıtlarının dağılımı incelenebilir. Search Console’un tarama istatistikleri raporu da genel eğilimleri anlamaya yardımcı olur. Sadece tek günlük logdan kesin sonuç çıkarmak yerine birkaç haftalık dönem değerlendirilmeli; kişisel veriler gereksiz depolanmamalıdır. Ani tarama düşüşünde sitenin erişilebilirliği ve son teknik değişiklikler önce kontrol edilir.

Tarama ile indeksleme neden farklıdır?

Bir URL’nin Google tarafından taranmış olması mutlaka arama dizinine alındığı anlamına gelmez. İndeksleme değerlendirmesinde içerik, tekrar, uygunluk ve başka sinyaller bulunur. Sunucu tarama kapasitesini artırmak, özgün değeri olmayan sayfaların dizine girmesini sağlamaz. Search Console’daki ‘Tarandı, şu anda dizine eklenmiş değil’ raporu teknik erişim sorunundan farklı olabilir. İndekslenmeyen sayfalar rehberimiz sorunun hangi aşamada oluştuğunu ayırmaya yardımcı olur. URL oluşturma ve içerik kalite sorunlarını aynı çalışmanın parçaları olarak görmek gerekir.

Uygulama sırası ve izleme

Önce indekslenmesi gereken önemli URL’leri belirleyin. Sınırsız filtre, takvim veya arama parametrelerini ve yinelenen yönlendirme zincirlerini inceleyin. Ardından sunucu hatalarını düzeltin, iç bağlantıları ve site haritasını tutarlı hale getirin. Tarama istatistiklerini ve sunucu loglarını değişiklik öncesi-sonrası karşılaştırın. Gereksiz URL üretiminin azalması tek başına başarı ölçütü değildir; önemli sayfaların daha sağlıklı taranması ve arama performansı takip edilmelidir. Küçük sitelerde ise ağır bir proje başlatmadan temel SEO kontrollerini sürdürmek genellikle daha verimlidir.

Sonuç

Crawl budget çalışmasının amacı Googlebot’a daha fazla URL göstermek değil, önemli içeriğin doğru biçimde keşfedilmesine engel olan israfı azaltmaktır. Büyük kataloglarda URL mimarisi ve sunucu sağlığı birlikte düşünülür. Küçük sitelerde ise temel taranabilirlik, doğru sitemap ve özgün içerik öncelikli kalır.