Blogger Robots.Txt Dosyası Nasıl Düzenlenir ? - Neler Yapılmalı ?

Blogger için seo konularına kaldığım yerden devam ediyorum. Sıra geldi robots.txt dosyasını düzenlemeye. Peki ne işimize yarıyor bu dosya kısa bir açıklama geçmek istiyorum sizlere. Blogger kullanıcıları için oldukça önemli olan Robots.txt dosyası bir dizin kod dosyasıdır. Görevi ise bazı sayfaların indexlenip indexlenmemesini seçmektir. Şimdi çoğunuzun aklına gelmiştir 'Neden index almak istemeyelim ki ?' Bu sorunun cevabı aslında oldukça basit aslında, bazı sayfaların indexlenmemesi sitenize daha çok yarar sağlar. Çünkü iki veya daha fazla index almayı engeller. Bu olayda sizin “duplicate content” durumuna düşüp sitenizin zarar görmesini engeller. Yani oldukça önemlidir.

Nasıl yapacağınız konusuna gelirsek hemen anlatıma geçiyorum. Blogger şablonunuzdan Ayarlar > Arama Tercihleri sayfasına gidin. Sayfanın aşağısına doğru Özel Robot.Txt dosyasını görebilirsiniz. Eğer daha önce buraları kurcalamadıysanız (Bilmeden kurcalamak bazı ayarları bozmanız anlamına gelebilir.) devre dışı bir şekilde bekliyor olması lazım. Hemen yanında bulunan Düzenle tuşuna basarak aşağıda vermiş olduğum kodu ekleyin.

 User-agent: Mediapartners-Google 
Disallow:  
User-agent: * 
Disallow: /search
Allow: / 
Sitemap: http://www.blogisminiz.com/sitemap.xml 

Kırmızı kalem ile işaretlediğim yere kendi site isminizi girmeyi ve işiniz bittikten sonra Değişiklikleri Kaydet demeyi kesinlikle unutmayın.

Aklınızda bir soru işareti kalmaması adına kodun ne anlama geldiğini açıklıyorum.

• User-agent: Mediapartners-Google: Bu kod sadece Adsense kullanıcıları ve Adsense ile çalışmak isteyen blogger arkadaşlar için eklendi. Eğer Adsense gibi bir hedefiniz yok ise kullanmayabilirsiniz.
• User- agent:* Bu kod ise sitenize Google, Yandex, Yahoo gibi arama motorlarını sitenize davet ediyor. Dikkatleri üzerinize çekmek önemli siz artık web alemindesiniz.
• Disallow: Bu kod ise belirtilen kısımların indexlenmemesini söylüyor.
• Allow: Ana sayfanın ve Makale sayfalarının indexlenmesine izin verdik. Artık arama motorlarında görünebilecekler.
• Sitemap: Standart sitemap kodu buraya kendi sitenizin adını yazacaksınız.