Blogger her geçen gün kendini bir adım daha ücretli host ile alınan sitelere karşı rakabet oluşturmaya başladı. Sonradan eklenen özelliklerinden biriside robots.txt dosyası panelden eklenmesidir. Bunu yaparak botları sitenize çağırabilir indexlenmeyi sağlayabilirsiniz. Ayrıca indexlenmesini istemediğiniz sayfayıda bu yolla engelleyebilirsiniz.

 

Şimdi Blogger sayfamızın yönetim panelini açıyoruz. Ayarlar => Arama Tercihleri kısmına giriyoruz ve sitemiz için en uygun olan robots.txt kodunu yazalım.

özel robots.txt devre dışı etkin yapıyoruz.

blogger-robots.txt oluşturma

Genelde kullanılan kodlar aşağıdaki gibidir.

[php]User-agent: Mediapartners-Google

Disallow: 
User-agent: *

Disallow: /search

Allow: /[/php]
 
 
 
Blogger robots.txt oluşturma