Yukarıdaki resimde Facebook.com sitesinin robots.txt dosyası gösterilmiştir.
Web sitenizin arama motorları tarafından doğru ve düzgün bir şekilde listelenmesi ve indekslenmesi için mutlaka bir Robots.txt dosyanızın olması gerekiyor.
Ayrıca arama motorlarının yani örneğin Google motorunun sitenizde indekslemesini istemediğiniz sayfalar varsa bunları da Robots.txt dosyası içinde belirtebilirsiniz.
Çünkü Google sonuçlarında ne kadar çok sayfanızın indekslendiği o kadar da önemli değil. Asıl önemli olan yararlı sayfalarınızın hatta en faydalı sayfalarınızın indekslenmesidir. Mesela giriş sayfası, yönetici sayfası ve bunun gibi önemsiz sayfaların boş yere indeks işgal etmesi iyi olmaz.
robots.txt dosyasını oluşturduktan sonra ana dizinizine atmanız gerekiyor.
Yani eğer siteniz anasayfa.com ise FTP programını açarak Public_html klasörüne robots.txt dosyasını yükleyin. Böylece www.anasayfa.com/robots.txt yazdığınız zaman, düzgün bir şekilde açılması ve görüntülenmesi gerekiyor. Eğer böyleyse, sorun yok demektir.
Mesela eğer resimlerin bulunduğu bir klasörün Google veya diğer arama motorları tarafından indekslenmesini istemiyorsanız, Disallow komutuyla bunu başarabilirsiniz.
Robots.txt dosyasına aşağıdaki satırı eklemeniz yeterli olacaktır.
Disallow: /resimler/
Eğer site haritanızın adresini tüm arama motorlarına göstermek istiyorsanız, aşağıdaki kodu robots.txt dosyanıza eklemeniz yeterli olacaktır.
Sitemap: http://sitenizin-alan-adı.com/sitemap.xml
Aşağıda sizin için bir örnek olması amacıyla bir robots.txt dosyası örneği veriyoruz.
User-agent: * Disallow: Disallow: /cgi-bin/ Disallow: /wp-admin/ Sitemap: https://www.siteadi.com/sitemap.xml