Robots.txt dosyası, arama motoru botlarının sitenizin hangi bölümlerini tarayabileceğini veya tarayamayacağını belirleyen, sitenizin kök dizininde yer alması gereken basit bir metin dosyasıdır. Doğru oluşturulmuş bir robots.txt dosyası, SEO açısından hem tarama bütçenizi optimize eder hem de gizli veya gereksiz sayfaların arama motorlarında görünmesini engeller.
Robots.txt Nasıl Oluşturulur?
Adım adım robots.txt dosyası oluşturmak için:
- Bir metin editörü açın: Notepad, TextEdit, Visual Studio Code gibi bir metin editörü kullanabilirsiniz.
- Dosya adını “robots.txt” olarak belirleyin: Dosya adının küçük harflerle ve uzantısının .txt olduğundan emin olun.
- Kuralları ekleyin: Hangi botlara (user-agent) hangi sayfaların (allow/disallow) açık veya kapalı olacağını belirten satırları yazın.
- UTF-8 kodlamasıyla kaydedin: Kodlama biçimi mutlaka UTF-8 olmalı.
- Kök dizine yükleyin: Dosyayı sitenizin ana dizinine (örneğin: https://siteadiniz.com/robots.txt) yükleyin. Alt klasörlere yüklemeyin.
- Test edin: Google Search Console veya online test araçlarıyla dosyanızın doğruluğunu kontrol edin.
Örnek Robots.txt Dosyası
Tüm botlara tüm siteyi açmak:
textUser-agent: *
Allow: /
Sitemap: https://www.siteadiniz.com/sitemap.xml
Tüm botlara belirli bir klasörü kapatmak:
textUser-agent: *
Disallow: /wp-admin/
Sitemap: https://www.siteadiniz.com/sitemap.xml
Sadece Googlebot’a bir klasörü kapatmak:
textUser-agent: Googlebot
Disallow: /ozel-icerik/
Tüm botlara her şeyi kapatmak:
textUser-agent: *
Disallow: /
Not: “User-agent: *” ifadesi tüm arama motoru botlarını kapsar; “Disallow:” ile belirtilen dizin veya sayfa taramadan hariç tutulur.
Robots.txt Dosyası Oluşturan Siteler
Aşağıdaki ücretsiz online araçlarla, teknik bilgi gerekmeden hızlıca robots.txt dosyası oluşturabilirsiniz:
- IHS Robots.txt Generator
- SEOptimer Robots.txt Generator
- SEOStudio Robots.txt Oluşturucu
- SERanking Robots.txt Generator
- Keysearch Robots.txt Generator
- SEO Hocası Robots.txt Generator
- WebsitePlanet Robots.txt Doğrulayıcı ve Oluşturucu
Bu araçlar, kullanıcı dostu arayüzleriyle hangi botların hangi dizinlere erişebileceğini seçmenizi ve hazır dosyayı indirmenizi sağlar.
Kısa Notlar
- Sadece bir robots.txt dosyanız olmalı ve kök dizinde bulunmalı.
- Dosya içeriğinde Allow, Disallow, User-agent ve Sitemap komutları kullanılabilir.
- Her değişiklikten sonra test etmeyi unutmayın.
- Yanlış kurallar önemli sayfaların taranmamasına yol açabilir.