BlogEngine.NET içerisinde yer alan robots.txt isimli dosya, web sitenizin içerik bilgisinin arama motorlarına doğru şekilde ulaşmasını sağlar.

Fakat ilk kurulum yapıldıktan sonra bu dosyanın yapılandırılması gerekmektedir.

Dosyanın Yapılandırılması:

Dosya açıldığında alt tarafta gördüğünüz gibi, varsayılan bir giriş ile gelmektedir.

Bu aşamada #sitemap: http://example.com/sitemap.axd satırında ki, '#' karakterini kaldırıp “example.com” yazılan yeri, kendi site adresinle değiştiriniz ve serverınızdaki eski dosyayı, yeni düzenlemiş olduğunuz dosya ile değiştiriniz.

Bu aşamadan sonra, sitenizi arama motorlarında izletebilmek için robot.txt dosyasının güncellendiğini doğrulamalısınız.

Bunun için güncelleme işlemi bittikten sonra bu bağlantı üzerinden robots.txt dosyasını doğru çalıştığını onaylatmanızı öneririz.