Robots.txt dosyasında en sık yapılan hatalar nelerdir?
En ciddi hata, yayına geçerken test aşamasından kalan Disallow: / satırını silmeyi unutmaktır; bu satır tüm siteyi taramaya kapatır. İkinci sık hata, CSS ve JavaScript klasörlerini engellemektir; Google sayfayı doğru çizemez. Üçüncüsü, dizinden çıkarmak istenen sayfayı robots.txt ile engellemektir; sayfa taranamadığı için noindex etiketi okunmaz ve adres yine sonuçlarda çıkabilir. Dosya alan adının kök dizininde bulunmalı, site haritasının adresini içermelidir. Kural değiştirmeden önce Search Console’daki robots.txt raporuyla test edilir. Büyük küçük harf ve sondaki eğik çizgi farkları eşleşmeyi değiştirebileceğinden her kural dikkatle yazılır. Dosyanın yanlış sürümü yayına çıkarsa haftalar içinde dizinden düşmeler görülebileceğinden, yayın sonrasında ilk kontrolün aynı gün yapılması önerilir.