Robots.txt Rehberi: İzinler, Yasaklar ve Tuzaklar

robots.txt nedir sorusu, teknik SEO’nun temel taşlarından birini oluşturur. Bu dosya, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini ve hangilerini taramayacaklarını bildiren basit bir metin dosyasıdır. Doğru kurgulanmadığında, sitenizin tamamı arama sonuçlarından kaybolabilir veya gereksiz sayfalar indekse dolabilir.

Robots.txt Nedir ve Ne İşe Yarar?

Robots.txt, bir web sitesinin kök dizininde (örneğin www.ornek.com/robots.txt) yer alan ve arama motoru botlarına yönelik talimatlar içeren düz metin dosyasıdır. Bu dosya, botlara hangi dizinlere veya sayfalara erişebileceklerini, hangilerine erişemeyeceklerini söyler. Amacı, tarama bütçesini verimli kullanmak ve hassas içeriklerin arama sonuçlarında görünmesini engellemektir.

Robots.txt bir güvenlik aracı değildir; yalnızca itibar eden botlar için geçerlidir. Kötü niyetli botlar bu kuralları kolayca yok sayabilir. Bu nedenle gizli kalması gereken veriler için şifreleme veya kimlik doğrulama gibi ek önlemler alınmalıdır. Ayrıca robots.txt, sayfaların indeksten çıkarılmasını garanti etmez; yalnızca taramayı engeller.

Robots.txt Dosyasının Temel Bileşenleri

Bir robots.txt dosyası, kullanıcı aracısı (User-agent), izin (Allow) ve yasak (Disallow) direktiflerinden oluşur. User-agent satırı hangi bot için kural yazıldığını belirtir; yıldız işareti tüm botları temsil eder. Allow ve Disallow satırları ise belirli yolları izinli veya yasaklı hale getirir.

Kurallar yukarıdan aşağıya doğru okunur ve en spesifik kural geçerlidir. Örneğin, tüm siteyi yasaklayıp ardından belirli bir dizine izin verebilirsiniz. Ayrıca Crawl-delay ve Sitemap gibi ek direktifler de kullanılabilir; ancak Crawl-delay tüm botlar tarafından desteklenmez.

Doğru Robots.txt Yapılandırması Nasıl Olmalı?

Öncelikle sitenizin kök dizininde robots.txt dosyasının bulunduğundan emin olun. Dosya adı tamamen küçük harflerle yazılmalıdır; büyük harf kullanımı dosyanın tanınmamasına neden olur. Her kural satırı kendi satırında yer almalı ve gereksiz boşluklardan kaçınılmalıdır.

Yasaklamak istediğiniz dizinleri net bir şekilde belirtin. Örneğin, yönetim paneli, arama sonuç sayfaları veya oturum gerektiren alanlar taranmamalıdır. Ancak CSS ve JavaScript dosyalarının taranmasına izin vermek, Google’ın sayfayı doğru anlaması için kritik önem taşır.

• User-agent: *
• Disallow: /admin/
• Disallow: /arama?
• Allow: /wp-admin/admin-ajax.php
• Sitemap: https://www.ornek.com/sitemap.xml

Sık Yapılan Hatalar ve Tuzaklar

En yaygın hata, tüm siteyi yanlışlıkla yasaklamaktır. Disallow: / satırı, tüm botların siteyi taramasını engeller ve siteniz arama sonuçlarından tamamen kaybolabilir. Bu durum özellikle geliştirme ortamından canlı ortama geçişte sık görülür.

Bir diğer tuzak, robots.txt dosyasının yanlış konumlandırılmasıdır. Dosya alt dizinlerde değil, mutlaka kök dizinde olmalıdır. Ayrıca yasaklanan sayfaların indeksten çıkarılacağını varsaymak hatalıdır; tarama engellense bile sayfa indekste kalabilir. Bunun için noindex meta etiketi kullanılmalıdır.

Robots.txt ve İndeksleme İlişkisi

Robots.txt yalnızca taramayı kontrol eder, indekslemeyi değil. Bir sayfa taranmasa bile dış bağlantılar aracılığıyla indekse girebilir. Bu nedenle hassas sayfalar için robots.txt tek başına yeterli değildir; noindex etiketi veya şifreleme gibi yöntemlerle desteklenmelidir.

İndeksleme süresi site otoritesine, içerik kalitesine ve sunucu yanıt süresine göre değişir. Robots.txt dosyanızda yaptığınız değişikliklerin etkisi hemen görülmeyebilir; botlar dosyayı belirli aralıklarla yeniden okur. Bu nedenle kritik değişiklikleri test ederek yapmak ve arama konsolu araçlarıyla doğrulamak faydalıdır.

Robots.txt Test Etme ve Doğrulama

Değişiklikleri yayına almadan önce mutlaka test edin. Arama motorlarının sunduğu robots.txt test araçları, belirli bir URL’nin taranıp taranmayacağını simüle eder. Böylece yanlış bir yasaklamanın önüne geçebilirsiniz.

Test sırasında hem izin verilen hem de yasaklanan sayfaları kontrol edin. Özellikle Allow ve Disallow kurallarının çakıştığı durumlarda hangi kuralın geçerli olduğunu doğrulayın. Ayrıca dosyanızda yazım hatası olup olmadığını gözden geçirin; küçük bir hata büyük sonuçlar doğurabilir.

Robots.txt’in Sınırlamaları

Robots.txt, tüm botlar tarafından desteklenmez ve güvenlik sağlamaz. Bazı botlar kuralları yok sayabilir veya farklı yorumlayabilir. Bu nedenle hassas veriler için robots.txt’e güvenmek yerine erişim kontrolü mekanizmaları kullanılmalıdır.

Ayrıca robots.txt, sayfa içeriğinin indekslenmesini tamamen engellemez. Yalnızca tarama davranışını yönlendirir. İçeriğin arama sonuçlarında görünmesini istemiyorsanız, noindex meta etiketi veya HTTP başlıkları gibi ek yöntemlere başvurmalısınız.

Sonuç ve En İyi Uygulamalar

Robots.txt, teknik SEO’nun vazgeçilmez bir parçasıdır. Doğru yapılandırıldığında tarama bütçesini optimize eder ve gereksiz sayfaların taranmasını engeller. Ancak yanlış kullanımı sitenizin görünürlüğüne ciddi zarar verebilir.

Her değişiklikten sonra test edin, sürüm kontrolü kullanın ve düzenli olarak dosyanızı gözden geçirin. Unutmayın, robots.txt bir güvenlik aracı değil, bir yönlendirme dosyasıdır. Bu bilinçle hareket ettiğinizde sitenizin arama motorlarıyla sağlıklı bir ilişki kurmasını sağlayabilirsiniz.

Robots.txt ve Meta Robots Etiketlerinin Birlikte Kullanımı

Robots.txt dosyası ile sayfa düzeyindeki meta robots etiketleri sıklıkla birbirinin alternatifi gibi düşünülür; oysa ikisi farklı katmanlarda çalışır ve doğru kurgulandığında birbirini tamamlar. Robots.txt, tarayıcı botunun bir URL’yi isteyip istemeyeceğini sunucu seviyesinde söyler. Meta robots etiketi ise sayfa HTML’i indirildikten sonra botun o sayfayı nasıl işleyeceğini bildirir: indekslenmeli mi, bağlantıları takip edilmeli mi, snippet gösterilmeli mi. Bu ayrım, hangi aracı nerede kullanacağınızı belirler.

Kritik nokta şudur: robots.txt ile bir dizini tamamen engellediğinizde bot o sayfaları hiç indirmez, dolayısıyla içindeki meta robots etiketini de okuyamaz. Yani “robots.txt’te engelledim ama sayfaya noindex de koydum” yaklaşımı, pratikte noindex’in hiç görülmemesi anlamına gelir. Bir sayfanın arama sonuçlarından çıkmasını istiyorsanız sayfayı engellemek yerine erişilebilir bırakıp noindex etiketiyle yönetmek gerekir. Engelleme yalnızca tarama bütçesini korumak veya hassas dizinleri gizlemek için tercih edilmelidir.

• Robots.txt: Tarama (crawl) erişimini kontrol eder, sayfa içeriğini görmez.
• Meta robots: İndeksleme ve sunum kararlarını sayfa bazında yönetir.
• X-Robots-Tag: PDF, görsel gibi HTML olmayan dosyalarda meta etiketin işlevini üstlenir.

Alt Dizinler ve Çoklu Bot Yönetimi

Büyük sitelerde tek bir User-agent: * bloğu çoğu zaman yeterli olmaz; çünkü farklı botların farklı ihtiyaçları vardır. Arama motoru botlarını genel kurallarla yönetirken, görsel veya alıntı botlarını ayrı bloklarla ele almak daha kontrollü sonuç verir. Bir bot için özel blok tanımladığınızda, o bot artık yalnızca kendi bloğundaki kurallara uyar; genel * bloğundaki izinler o bot için geçersiz hale gelir. Bu nedenle özel blok açarken tüm gerekli izinleri eksiksiz yazmak gerekir.

Alt dizin yönetiminde ise amaç, gereksiz taranan alanları daraltmaktır. Arama sonuç sayfaları, oturum bazlı parametreli URL’ler, dahili arama çıktıları ve filtre kombinasyonları tipik olarak tarama bütçesini tüketir. Bu alanları Disallow ile kapatmak, botun sınırlı kaynağını gerçek içeriğe yönlendirir. Ancak burada bir tuzak vardır: Engellediğiniz URL’lere iç bağlantı veriyorsanız, bot bu bağlantıları takip edemez ve sayfa otoritesi akışı kesintiye uğrar. Engelleme kararını verirken iç bağlantı yapısını da gözden geçirmek gerekir.

Robots.txt’in Yeri, Erişimi ve Yayınlanması

Dosyanın konumu tartışmasızdır: kök dizinde, yani alanadi.com/robots.txt adresinde bulunmalıdır. Alt klasörlere yerleştirilen dosyalar botlar tarafından dikkate alınmaz. Dosya herkese açık olarak sunulmalı; şifre koruması, giriş yönlendirmesi veya sunucu hata kodu döndüren bir yapılandırma, botun dosyayı okuyamamasına yol açar. Bot dosyayı okuyamazsa kural yokmuş gibi davranır ve taramaya devam eder.

Yayınlama sürecinde dikkat edilmesi gereken bir diğer nokta, dosyanın HTTP 200 durum koduyla ve text/plain içerik türüyle sunulmasıdır. Yanlışlıkla HTML şablonu içine gömülmüş veya yönlendirme zincirine takılmış bir dosya, kuralların sessizce devre dışı kalmasına neden olur. Ayrıca dosyayı yayına aldıktan sonra arama motoru konsollarındaki doğrulama araçlarıyla canlı sürümü kontrol etmek, yerel kopyada çalışan bir kuralın sunucuda farklı davranmasını erken yakalamanızı sağlar.

Değişiklik Yönetimi ve Sürüm Takibi

Robots.txt statik bir dosya değildir; site yapısı değiştikçe güncellenmesi gerekir. Yeni bir bölüm yayına alındığında, kampanya sayfaları oluşturulduğunda veya test ortamı canlıya taşındığında dosyanın gözden geçirilmesi gerekir. En sık karşılaşılan olay, test aşamasında eklenen bir Disallow kuralının yayına çıkarken kaldırılmaması ve canlı sayfaların fark edilmeden taranamaz hale gelmesidir.

Bu riski azaltmanın yolu, dosyayı sürüm kontrolü altında tutmak ve her değişikliği kayıt altına almaktır. Değişiklik sonrası arama motoru konsolundaki doğrulama araçlarıyla yeni sürümü test etmek, hangi URL’nin izinli hangisinin engelli olduğunu somut olarak görmenizi sağlar. Ek olarak, kritik bölümler için düzenli aralıklarla erişilebilirlik kontrolü yapmak, dosyanın yanlışlıkla boşaltılması veya silinmesi gibi durumları erken tespit etmenize yardımcı olur. Unutmayın: robots.txt’teki bir satırlık hata, aylarca süren tarama verisinin eksik toplanmasına yol açabilir.