Hızlı ve gizli robots.txt oluşturucu
Arama motorlarının ve web kazıyıcıların web sitenizle etkileşimini yönetmek, SEO ve sunucu performansı için son derece önemlidir. Bu robots.txt oluşturucu, manuel olarak kod yazmanıza gerek kalmadan sitenizin tarayıcı talimatlarını oluşturmanız, yönetmeniz ve dışa aktarmanız için görsel bir arayüz sunar.
Araç tamamen tarayıcınızda çalıştığı için site yapınız, gizli dizinleriniz ve yapılandırma ayarlarınız tamamen gizli kalır. Oluşturucuya girdiğiniz hiçbir veri sunucuya gönderilmez. Hemen kopyalayabileceğiniz veya indirebileceğiniz, anında güncellenen canlı bir çıktı elde edersiniz.
Temel özellikler ve yetenekler
Varsayılan Erişim Politikaları: Tüm botlar için temel davranışı belirleyerek başlayın. Her şeye izin vermeyi (çoğu herkese açık web sitesi için standarttır) veya hiçbir şeye izin vermemeyi (test ortamları veya özel ağlar için kullanışlıdır) seçebilirsiniz.
Özel Yönergeler: Belirli botları veya yolları hedefleyen özel kurallar ekleyin. Belirli botların bazı dosyalara erişmesine izin verirken, tüm tarayıcıların /admin/ veya /search gibi hassas dizinlere erişmesini engelleyebilirsiniz.
Yapay Zeka Botlarını Engelleme: Büyük dil modellerinin yaygınlaşmasıyla birlikte, birçok web sitesi sahibi içeriklerinin yapay zeka eğitimi için taranmasını istemiyor. Bu araç, yapay zeka tarayıcılarını engellemek için özel robots.txt kuralları içerir. Tek bir kutuyu işaretleyerek GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended ve Bytespider gibi en yaygın yapay zeka botları için anında Disallow: / yönergeleri ekleyebilirsiniz.
Tarama Gecikmesi: Sunucunuz otomatik botlardan gelen yoğun trafik nedeniyle zorlanıyorsa bir tarama gecikmesi ayarlayabilirsiniz. Bu özellik, botlara istekler arasında belirlediğiniz saniye kadar beklemesini söyleyen bir Crawl-delay yönergesi oluşturur.
Site Haritası Entegrasyonu: robots.txt site haritası yönergesi, arama motorlarına XML site haritalarınızı nerede bulacaklarını göstermenin en etkili yoludur. Birden fazla site haritası URL'sini (her satıra bir tane gelecek şekilde) yapıştırabilirsiniz; araç bunları uygun şekilde biçimlendirerek dosyanızın en altına ekler.
Etkili bir robots.txt dosyası nasıl oluşturulur
robots.txt dosyası oluştururken, tarayıcıların talimatları nasıl okuduğunu anlamak önemlidir. Dosya, her biri bir User-agent bildirimiyle başlayan ve ardından geçerli kuralların sıralandığı bloklara ayrılır.
- User-agent'ı Belirleyin: User-agent, botun adıdır. Yıldız (
*) işareti kullanmak, kuralı tüm botlar için geçerli kılar. Sadece Google'ın görsel botunu hedeflemek istersenizGooglebot-Imagekullanmalısınız. - Yolu Belirleyin: Yollar, alan adınızın kök dizinine göredir ve eğik çizgi (
/) ile başlamalıdır. Bütün bir dizini engellemek için sonuna eğik çizgi ekleyin (örn./private/). Belirli bir dosyayı engellemek için dosya uzantısını belirtin (örn./data.csv). - Öncelik Sırası: Çoğu modern tarayıcı, kendi adıyla eşleşen en spesifik user-agent bloğunu dikkate alır. Googlebot sitenizi ziyaret ettiğinde
User-agent: *bloğunu yok sayarak doğrudanUser-agent: Googlebotaltındaki kuralları izler. Bu oluşturucu, temiz ve geçerli bir çıktı elde etmeniz için kurallarınızı user-agent'a göre otomatik olarak düzenler.
Sınırlamaları anlamak
Bir robots txt oluşturucu sözdizimini yazmayı kolaylaştırsa da, bu dosyanın neleri yapamayacağını anlamak çok önemlidir.
Bir güvenlik önlemi değildir. robots.txt dosyanızda bir yolu engellemek, saygılı botlara o sayfayı taramamalarını söyler, ancak kötü niyetli kazıyıcılar bu dosyayı tamamen görmezden gelir. Ayrıca, herkes tarayıcısından ilgili adrese giderek robots.txt dosyanızı okuyabilir; bu da gizli dizinlerinizin yerini herkese açık bir şekilde duyurduğunuz anlamına gelir. Gerçek güvenlik için uygun kimlik doğrulama yöntemlerini ve 401 Unauthorized veya 403 Forbidden gibi uygun HTTP Durum Kodları'nı kullanın.
Dizinden çıkarılmayı garanti etmez. Bir sayfa robots.txt içinde engellenmişse, Google o sayfayı taramaz. Ancak, bu sayfaya web'deki başka bir yerden bağlantı verilmişse, Google URL'nin kendisini yine de dizine ekleyebilir (genellikle "Bu sayfa için bilgi mevcut değil" gibi bir mesaj göstererek). Amacınız bir sayfayı arama motoru sonuçlarından tamamen kaldırmaksa, robots.txt dosyasında taramaya izin vermeli ve bunun yerine bir noindex HTML etiketi kullanmalısınız. Doğru etiketleri Meta Etiket Oluşturucu'muzu kullanarak oluşturabilirsiniz.
Yayına alma ve test
Kurallarınızı yapılandırdıktan sonra dosyayı kaydetmek için indir'e tıklayın. Dosyanın adı tam olarak robots.txt (tamamı küçük harf) olmalı ve alan adınızın kök dizinine yüklenmelidir. Örneğin, https://yourdomain.com/robots.txt. Dosyayı https://yourdomain.com/assets/robots.txt gibi bir alt klasöre koyarsanız, arama motoru botları dosyayı bulamaz ve herhangi bir kısıtlamanız olmadığını varsayar.