robots.txt Oluşturma

Varsayılan yapılandırma tercihi:  
    
Tarama Süresi:
    
Sitemap: (yoksa boş bırakın) 
     
Arama Motorları: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Kısıtlamak istediğiniz dizinler: Yol kök dizinden başlamalı ve sonunda Slash (/) olmalıdır. "/"
 
 
 
 
 
 
   



Şimdi, kök dizininizde 'robots.txt' dosyasını oluşturun. Metni kopyalayın ve metin dosyasına yapıştırın.

Robots.txt oluşturma, bir sitenin kök dizininde yer alan ve arama motoru tarayıcıları için hangi URL ‘lerin taranması ya da hangilerinin taranmaması gerektiği hakkında bilgi verebilen dosyayı oluşturmaktadır. Bu dosyanın varlığı web sitesinin çalışması için bir zorunluluk gerektirmemektedir. Yalnız SEO için oldukça önemli bir dosyadır.  Robots.txt kullanma kararı 1994 senesinde kabul edilmiştir. Google yardım merkezi tarafından dosyanın temel aracı, web sayfalarının arama sonuçlarında gösterilmesine mani olmak değil, robotların sitelere yapmış olduğu istek sayısını sınırlamak aynı zamanda sunucu yükünü azaltmaktır. Genel olarak robots.txt dosyasında web sitesi taramasına yönelik kurallar tanımlayabilen arama tarayıcıları için bir öneri görülen içerik yer almaktadır. Herhangi bir sitenin robots.txt dosyasının içerik erişimi için yapılması gereken yalnızca tarayıcıda var olan alan adından sonra “/robots.txt” yazmaktır.

Robots.Txt Ne İçin Kullanılmaktadır?

Robots.txt dosyası ana amaç arama robotunun tarayabileceği web sayfalarının sayı kapasitesini yani tarama bütçesini daha verimli bir biçimde tahsis edilmesi için sayfaların ya da kaynak dosyalarının taranmasının önlenmesini sağlamaktır. SEO yazıları yazan SEO danışanı tarafından oldukça sık kullanılan dosya türüdür. Genel olarak robots.txt dosyası, web sitesi ziyaretçilerine herhangi bir değer sağlamamakla birlikte SERP sıralamasını etkilemeyen bilgileri saklayabilmektedir. Robots.txt avantajları aşağıdaki listede yer almaktadır.

  • Botları özel klasörden uzak tutma
  • Kaynakları kontrol altında tutma
  • Site haritanızın konumunu belirtme
  • Yinelenen içeriği SERP ‘lerden uzak tutma

Belirli sayfaları koyulan kurallar açısından kontrol edebilirsiniz. SEO danışanı robots.txt kullanımı açısından bu özellikleri oldukça fazla kullanmaktadır. Hangi sayfaların arama yapanların önüne geçebileceği konusunda kontrol elde etmiş olurlar.

Sık Sorulan Sorular

Robots.txt dosyası için belirlenen kurallar çerçevesinde sayfa ve dizinlerin kontrolünün sağlanabileceğinden bahsetmiştik. SEO danışanı robots.txt oluşturma yaparak genellikle aşağıda yer alan sayfa dizinleri kontrol etmek istemektedir.

  • Kişisel verilerin yer aldığı sayfalar
  • Sadece belirlenen kullanıcı eylemlerinden sonra görülebilecek olan yardımcı sayfalar
  • Yönetici kontrol paneli
  • Yönetici kontrol sistem dosyaları
  • Arama ve kategori sıralama sayfaları
  • Belirli formatı olan dosyalar

Robots.txt kurulumu için belgenin .txt uzantısı olmasından kaynaklı, UTF-8 kodlamasını destekleyebilecek metin düzenleyici kullanılmalıdır. Notepad ya da TexEdit size yardımcı olabilir. Robots.txt dosyasının isminde büyük harf kullanımı olmamalıdır. Google ‘da 500 KB belge boyutu oluşturmaktadır. Sınırın aşılması durumunda arama robotu belge işlerken eksik işlem yapabilir, web sitesini tarayamayabilir ya da tersine bütün web sitesini tarayabilir. Robots.txt doysa konumu web sitesi ana bilgisayarının kök dizininde yer almalıdır. Robots.txt dosyası oluştururken dosyanın orijinal biçimde indirilmesi önerilmektedir.

Robots.txt oluşturma işlemi tamamlandıktan sonra dosya ile ne yapacağınızı açıklamak gerekir. Sitelere komut vermek istiyorsanız iki temel içeriğe sahip olabilmeniz gerekir.

User- agent: Bu, belirli botları hedefleyebilmenizi sağlayacaktır. User-agent, botların kendilerini tanıyabilmesi için kullanılması gerekmektedir. Bu dosya aracılığı ile Bing için geçerli fakat Google için geçersiz bir kural koyabilirsiniz.

Dsallow: Bu, robotlar ile sitenizin belirli kısımlarına erişmeme kısıtlamasını verebilirsiniz. Size site içi kural işletme avantajı verecektir.

Allow: Niş durumlarında kullanılmaktadır. Varsayılan olarak, sitenizde bulunanların tamamı Allow olarak işaretlenmektedir. Bundan dolayı Allow komutunun kullanılması pek gerekmemektedir. Fakat bir klasörde ya da alt klasörde erişim engeli ya da belirli bir alt klasörde erişime izin istediğinizde bunu kullanmak işinize yarayacaktır.

Yukarıda belirtilen 3 içerik sayesinde site içerisinde istediğiniz şekilde yönetim kuralları koyabilirsiniz. Crawl – delay ile site haritası gibi başka komut sağlayabilen içeriklerde vardır. Fakat bunlar;

  • Tarayıcılar tarafından genel olarak yok sayılmaktadır. Yok sayılma durumu olmadığı zamanlarda da farklı şekilde yorumlanır.
  • Google Arama Konsolu tarafından gereksiz hale getirilir.

Tarayıcının siteniz için erişimini engellemek istediğiniz bir durumda kaldığınız zaman robots.txt oluşturma oldukça işinize yarayacaktır. Bunun canlı bir site içerisinde meydana gelmesi söz konusu değildir. yalnız bir geliştirme sitesi için kullanışlı olabileceği söylenmektedir. Bunu yapmak oldukça basittir.

User – agent: *

Disallow: /

wordPress robots.txt dosyasına yukarıda bulanan kodları eklemeniz durumunda sitenize ait olan erişimi engelleyebilirsiniz. SEO danışmanı robots.txt site erişimi için site sahibine kesinlikle sormalıdır. Aksi takdir de kötü bir çalışma oluşturma durumunda kalacaktır.

Robots.txt dosyası ile yalnızca bir robotun erişimini engelleyebilirsiniz. Mesela Bing tarafından sitenize bakılmasını istemiyorsunuz bu durumda sadece bing için tarama engelleme oluşturabilirsiniz.

User – agent: Bingbot

Disallow: /

Yukarıda ki kodların kullanımı ile wordPress robots.txt dosyası eklenmesi durumunda bing tarafından arama sonuçlarında bulunamayacaksınız. SEO danışanları bu işlemi oldukça fazla kullanabilmektedir. Özellikle site sahiplerinin ayrıcalıklı olarak talep ettiği arama motorlarından kısıtlama oluşturabilmek için  robots.txt kullanımı seo danışanı için önemli bir hale gelmektedir.

Sadece belirlenmiş olan dosya ya da klasör erişimi engellemek için robots.txt kullanımı,

  • Wp – admin klasörünün tamamı
  • Wp – login.php

Sayesinde wordpress tarafından geçerli kılınabilmesini sağlayacaksınız.

User – agent: *

Disallow: / wp – admin /

Disallow: / wp – login.php

Komutlarını uygulayarak belirlemiş olduğunuz klasör ya da dosyanın erişimi için engel oluşturabilirsiniz.

Seo danışmanı robots.txt dosyasını bunun gibi pek çok erişim izni ya da engeli özelliğine sahip olmasından kaynaklı çok sık kullanmaktadır. Robots.txt oluşturma işlemi sonucunda pek çok avantaj elde edersiniz.