Softonic

Robots.txt Denetleyici

Adım 1 / 3
Sonraki

robots.txt kurallarınızı ve test etmek istediğiniz URL yolunu yapıştırın; denetleyici Allow ve Disallow satırlarını okuyarak o yolun engelleneceğini mi yoksa izin verileceğini mi söyler. Bir sayfa aniden Google’dan kaybolduğunda çok katı bir Disallow kuralının buna neden olup olmadığını doğrulamak için, ya da yeni kurallar hazırlarken dosyayı yayınlamadan önce bir yolu denemek için kullanışlıdır.

Denetleyici nasıl çalışır

  1. 1

    Kurallarınızı yapıştırın

    robots.txt'nizdeki Allow ve Disallow satırlarını alana kopyalayın veya denemek için yenilerini yazın.

  2. 2

    Test edilecek bir yol girin

    Kontrol etmek istediğiniz URL yolunu yazın, örneğin /private/page. Tam alan adını değil, yalnızca yolu kullanın.

  3. 3

    Kuralı kontrol edin

    Denetleyici Allow ve Disallow satırlarını tarar ve girdiğiniz yolla eşleşen kuralı bulur.

  4. 4

    Sonucu okuyun

    Bulunan kural sayısını, test edilen yolu ve kararı alırsınız: varsayılan olarak izinli, bir Disallow ile engellenmiş veya bir Allow ile izinli.

Minimal ve doğru bir robots.txt

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /draft/
Sitemap: https://example.com/sitemap.xml
  • User-agent: *. Başka bir blokta açıkça adlandırılmamış her tarayıcıya uygulanır.
  • Allow: /. Varsayılan olarak her şeye izin verilir.
  • Disallow: /admin/. Admin dizini erişime kapalıdır.
  • Sitemap:. Arama motorlarına XML site haritasını nerede bulacaklarını söyler.

Googlebot’un gerçekte izlediği kurallar

Google’ın ayrıştırıcısı belirsiz kuralları yorumlamak için fiilî standarttır:

  • Büyük/küçük harfe duyarlı yollar. /Admin/ ve /admin/ farklıdır.
  • En uzun eşleşme kazanır. /admin/public/ ile başlayan bir URL için Allow: /admin/public/, Disallow: /admin/’i yener.
  • Joker karakterler. * herhangi bir karakter dizisiyle eşleşir; $ URL’nin sonuna sabitler.
  • Yorumlar # ile başlar.
  • Sıradan bağımsız. Kurallar listeleme sırasına göre değil, özgüllüğe (yol uzunluğuna) göre değerlendirilir.

Yaygın hatalar

Hata Etki
En üstte Disallow: /, Allow yok Tüm site engellendi
Disallow: *.pdf Birçok ayrıştırıcı yok sayar, Disallow: /*.pdf$ kullanın
Disallow’da protokol bağıl veya mutlak URL Yok sayılır, yollar bağıl olmalı
Kurallardan önce birden fazla User-agent satırı Birleştirilir; kurallar listelenen tüm kullanıcı aracılarına uygulanır
Yollarda sondaki boşluk Sessizce farklı bir yol olarak ele alınır
robots.txt’yi bir alt dizine yerleştirmek Yalnızca kök alan adı dosyası çekilir

robots.txt ve noindex

robots.txt, tarayıcılara bir URL’yi çekmemelerini söyler. Zaten dizine eklenmiş ve sonra robots.txt’de engellenmiş bir sayfa aylarca dizinde kalabilir, tarayıcı kaldırmayı doğrulamak için onu çekemez. Dizinden çıkarmak istiyorsanız, sayfanın kendisinde bir noindex meta etiketi veya HTTP başlığı kullanın ve tarayıcının görmesine izin verin.

Crawl-delay

Crawl-delay: 10, istekler arasında 10 saniye ister. Google bunu yok sayar (tarama hızını ayarlamak için Search Console kullanın). Bing, Yandex ve bazı niş tarayıcılar buna uyar. Niş botlardan tarama baskısı altındaki küçük siteler için kullanın.

Disallow’un YAPMADIĞI şeyler

  • Bağlantı verilmesini engellemek. Diğer siteler yine de yasaklı bir URL’ye bağlantı verebilir ve URL, arama sonuçlarında yalnızca URL ile (başlık veya açıklama olmadan) görünür.
  • Sayfanın görüntülenmesini engellemek. Kullanıcılar Disallow yapılmış bir URL’yi yine de ziyaret edebilir.
  • URL’yi dünyadan gizlemek. robots.txt herkese açıktır; gizli yolları orada listelemek onların reklamını yapar.

Sık Sorulan Sorular

Çünkü disallow dizine eklemeyi değil, taramayı engeller. Google URL’yi zaten biliyorsa (bağlantılardan veya site haritasından), çıplak URL’yi arama sonuçlarında tutabilir. Sayfada bir noindex etiketi kullanın ve kaldırmayı doğrulaması için Google’ın çekmesine izin verin.

Evet. Kendi kurallarıyla bir User-agent: BadBot bloğu kullanın. Kötü davranan botların robots.txt’yi tamamen yok saydığını unutmayın; yalnızca uyumlu botlar buna uyar.

Hayır. robots.txt herkese açıktır: onu listelemek konumun reklamını yapar. Bunun yerine kimlik doğrulama ve sunucu düzeyinde erişim kontrolü kullanın.

Evet, yollar için. Disallow: /Admin/, /admin/‘i engellemez. URL’lerinizin gerçek harf durumuyla eşleştirin.

Evet. Ayrı XML site haritalarına veya bir site haritası dizinine işaret etmek için birden fazla Sitemap: satırı listeleyin.

İlgili Araçlar

FAQ Şeması Oluşturucu

Soru-cevap çiftlerinden FAQPage JSON-LD işaretlemesi oluşturun ve sayfanızı Google'ın zengin sonuçlarına ve yanıt kutusuna aday hâle getirin.

Hreflang Denetleyici

Yapıştırılan HTML içindeki hreflang değerlerini yerel olarak denetleyin: kodlar, tam URL'ler, tekrarlar, konum ve öz referans.

Dış Bağlantı Çıkarıcı

Ham HTML yapıştırın, isteğe bağlı olarak bir temel URL belirleyin ve kod içindeki tüm harici http/https bağlantılarının temiz, kopyasız bir listesini bağlantı denetimleri ve SEO incelemeleri için alın.

HTTP Güvenlik Başlık Kontrolcüsü

HTTP yanıt başlıklarını yapıştırın; HSTS, CSP, clickjacking, MIME, referrer ve cross-origin ilkelerini tarayıcıda inceleyin.

Meta Açıklaması Uzunluk Denetleyicisi

Meta açıklamayı karakter ve tahmini piksel cinsinden ölçün, editoryal ölçütlerle karşılaştırın ve masaüstü ile mobil düzen örneklerini inceleyin.

XML Site Haritası Doğrulayıcı

Site haritası XML kodunu tarayıcıda ayrıştırma hataları, eksik konumlar, yinelenen URL'ler ve yaygın alan değerleri açısından kontrol edin.

Araç diğer dillerde mevcuttur