Softonic

Robots.txt Oluşturucu

Adım 1 / 2
Sonraki

Hedeflediğiniz tarayıcıyı belirleyin, engellemek istediğiniz yolları ve izin vermek istediğiniz yolları listeleyin, isteğe bağlı bir crawl-delay ekleyin ve site haritanıza işaret edin; oluşturucu, kopyalayıp yayına alabileceğiniz doğru biçimlendirilmiş bir robots.txt hazırlar. Satır biçimini ve noktalama işaretlerini eksiksiz halleder, böylece söz dizimini veya user-agent yazımlarını ezberlemeniz gerekmez.

Dosya nasıl oluşturulur

  1. 1

    user-agent belirleyin

    Kuralların geçerli olduğu tarayıcıyı girin veya tüm botları hedeflemek için * bırakın.

  2. 2

    Engellenecek yolları listeleyin

    Engellenecek dizinleri veya yolları her satıra bir tane olacak şekilde ekleyin, örneğin /admin/ veya /checkout/.

  3. 3

    İzin verilecek yolları listeleyin

    Taranabilir kalması gereken yolları her satıra bir tane ekleyin; böylece daha geniş bir Disallow içinde istisnalar oluşturursunuz.

  4. 4

    Site haritası ve crawl-delay ekleyin

    Site haritası URL'nizi bildirin ve gerekiyorsa saniye cinsinden bir crawl-delay ekleyin.

  5. 5

    Kopyalayın ve yayına alın

    Oluşturulan dosyayı kopyalayın ve https://yourdomain.com/robots.txt adresine, yalnızca köke yerleştirin, alt dizine değil.

Tipik başlangıç şablonları

Her şeye izin ver (çoğu site):

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

Hazırlık / admin engelle:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?session=
Sitemap: https://example.com/sitemap.xml

Yapay zekâ eğitim tarayıcılarını engelle, arama motorlarına izin ver:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

Bilinmeye değer kullanıcı aracıları

Kullanıcı aracısı Sahibi Amaç
Googlebot Google Arama Web dizine ekleme
Googlebot-Image Google Görsel arama
Google-Extended Google Bard/Gemini eğitimi (devre dışı bırakma)
Bingbot Microsoft Bing arama
DuckDuckBot DuckDuckGo DDG arama
GPTBot OpenAI ChatGPT / eğitim (devre dışı bırakma)
ClaudeBot Anthropic Claude eğitimi (devre dışı bırakma)
CCBot Common Crawl Birçok LLM tarafından kullanılan derlem
AhrefsBot Ahrefs SEO geri bağlantı dizini
SemrushBot Semrush SEO araştırması
MJ12bot Majestic SEO araştırması

Yapay zekâ eğitim botları yasal zorunluluk değil, gelenek gereği devre dışı bırakılabilir; iyi niyetli işletmeciler yönergelere uyar, daha az vicdanlı olanlar uymaz.

Yol eşleştirme kuralları

  • Yollar, / ile başlayarak alan adı köküne göre bağıldır.
  • * herhangi bir karakterle eşleşir. Disallow: /*.pdf$ tüm PDF’leri engeller.
  • $ URL sonuna sabitler. Disallow: /*/trash$, /foo/trash’i engeller ama /foo/trashes/...’i engellemez.
  • En uzun eşleşme kazanır. Allow: /admin/public/, o alt yol için Disallow: /admin/’i geçersiz kılar.
  • Yollar büyük/küçük harfe duyarlıdır.

robots.txt’nin yapamadığı şeyler

  • Bir sayfayı Google’dan kaldırmak. Sayfanın kendisinde bir noindex meta etiketi kullanın.
  • Bir URL’yi insanlardan korumak. robots.txt herkese açıktır ve yalnızca uyumlu botlara verilen önerilerdir.
  • Googlebot’u hız sınırlamak. Crawl-delay Google tarafından yok sayılır; Search Console kullanın.
  • robots.txt’yi yok sayan botları engellemek. Spam kazıyıcıları dosyayı okumaz.

Yayına alma kontrol listesi

  1. https://yourdomain.com/robots.txt adresine yerleştirin, yalnızca kök.
  2. Content-Type: text/plain ile sunun (çoğu sunucu bunu otomatik yapar).
  3. Boyut: 500 KB altında. Google daha büyük dosyaları kırpar.
  4. Yayına aldıktan sonra, çekilen dosyayı Google Search Console’un robots.txt Test Aracı’nda kontrol edin.
  5. Bir Disallow’u kaldırırken, dizinden çıkarmanın haftalar sürebileceğini unutmayın.

Sık Sorulan Sorular

Tam olarak değil. Olmadan, tarayıcılar “tümüne izin ver” varsayar. Engellenecek bir şeyiniz varsa: hazırlık, admin, ödeme, dahili arama: bir tane gerekir.

GPTBot, ClaudeBot, CCBot ve Google-Extended gibi kullanıcı aracısı blokları aracılığıyla durmalarını isteyebilirsiniz. Büyük işletmeciler bunlara uyar; daha az vicdanlı kazıyıcılar onları tamamen yok sayar.

Tarayıcılar hoşgörülüdür: bilinmeyen yönergeler yok sayılır. Ciddi hatalar (HTTP 404 veya 500) “her şeye izin ver” olarak ele alınır. Yayınlamadan önce dosyayı doğrulayın.

Kapsamak istediğiniz her ana bilgisayarın kökü: https://www.example.com/robots.txt ve https://example.com/robots.txt ayrı ana bilgisayarlar için ayrı dosyalardır.

Hayır. Girdiğiniz yollar yalnızca dosyayı oluşturmak için kullanılır; kaydedilmez veya günlüğe alınmaz.

İlgili Araçlar

ASCII Tablosu Referansı

NUL, LF ve DEL dahil her kod için ondalık, onaltılık, sekizlik ve ikili değerlerle HTML sayısal karakter başvurusu gösterimini sunan tam ASCII tablosu.

HTML Karakter Referansı

HTML varlıklarının aranabilir listesi; adlandırılmış ve sayısal kodlarıyla birlikte özel karakter ve semboller için tek tıkla kopyalama.

FPS Sayacı

requestAnimationFrame ile tarayıcı FPS değerini ölçün: yumuşatma, en düşük ve en yüksek kare hızı, uyarı eşiği ve isteğe bağlı grafik. Yerel çalışır, yükleme ve API yoktur.

Klavye kısayolları başvurusu

macOS, Windows ve Linux’ta VS Code, Chrome ve GNU Readline kullanan Bash için belgelenmiş varsayılan kısayolları arayın.

E-posta Doğrulayıcı

Bir e-posta adresini doğrulayın: RFC 5322 sözdizimi kontrolü, canlı MX kaydı sorgulama, ayrıca yerel kısım, alan adı ve uzunluk bilgileri. Hiçbir e-posta gönderilmez.

EditorConfig Oluşturucu

Girinti, satır sonu ve karakter kümesi kurallarınızdan bir .editorconfig oluşturun, ardından deponuzdaki her dil için doğru bölümü ekleyin: Python, Go, YAML, Makefile ve daha fazlası.

Araç diğer dillerde mevcuttur