9 Mayıs 2016 Pazartesi

Robots.txt Dosyasının Kullanımı


Robots.txt  nedir?
Arama motorları  botları bulunmaktadır. Bu botlar sayesinde sitemiz  taranmaktadır. Bu taranma sayesinde  sitemiz  arama motorları sonuçları dahilinde gösterilmektedir. Tabi bazı sayfaların taranmasını istemeyebiliriz. Örneğin:Sitemizde bulunan kullanıcıların veya admin  bilgileri gibi. İşte bu taranmayı yada  taranmamayı istediğimiz sayfalarımızı  robots.txt  yardımıyla  ayarlayabiliriz. Kısaca  robots.txt’ye  Arama Rehber’i  diyebiliriz.
Robots.txt  çalışma sistemi
Arama motorları botları ilk olarak robots.txt dosyasını  taramaya başlar. Bu  dosya’ya bakar sitemizin hangi  alanlarını  arama sonuçlarında  gösterebilirim diye, eğer biz  “a” sayfasına izin vermişsek  taramaya başlar ve arama sonuçlarında görüntüler.  Eğer  “b” sayfasına izin vermemişsek  tarama yapmaz ve arama  sonuçlarında göstermez.
Robots.txt dosyasını nasıl oluştururum, kullanılacak komutlar nelerdir?
Robots.txt  dosyasında  kullanılabilecek  3  temel  başlık  bulunmaktadır.Bunlar:
User-agent: İstediğimiz herhangi bir botu belirtmek için kullanılır Örneğin: user-agent:*  (*) simgesi tüm botları simgeler. User-agent:GoogleBot  sadece googlebot’u simgelemektedir. Google botlarına örnek  verecek olursak WebCrawler, BadBot vs..
Allow: Allow komutu  indexlenmesini istediğimiz sayları  göstermek için kullanılır Örneğin:Allow: /   bu komut bütün sayfaların  indekslemesini  sağlar.
Disallow: Disallow komutu  indexlenmesini  istemediğimiz  sayfaları  gösterir. Örneğin: Disallow: / bu komut bütün sayfaların indekslememesini sağlar.
Robots.txt  dosyasında  bazı  örnekler ve yorumları
User-agent: *
Allow: /
User-agent: *  ile  tüm botları çağırılmaktadır.   Allow: / komutu ile botların  bütün sayfaları taramasına izin verilmiştir.
User-agent: *
Disallow: /
User-agent: *  ile  tüm botları çağırılmaktadır.   Disallow: / komutu ile botların  bütün sayfaları taramasına izin verilmemiştir.
User-agent: DeepCrawl
Disallow: /adminpaneli/
DeepCrawl,  bir google botudur.Bu botun görevi ise  siteyi uzun aralıklarla takip edip indekslemesi iiçin bilgi toplamamaktadır.  Sonuç olarak  bu kodların görevi  adminpaneli  klasörünü indekslememektir.

Gökhan ALAGÖZ
absheLL Yazılım Seo Departmanı
DigiWorks Team Seo Departmanı

Adres:Eğriçam Mahallesi , 2279 Sokak , Hendek Apartmanı , Akabe İşhanı , 4. Kat , 7. Daire Yenişehir / Mersin
Telefon: 0850 577 7670 - 0324 999 8480 
E-mail:  info@digiworksteam.com

Hiç yorum yok:

Yorum Gönderme