Robots.txt Dosyasının Kullanımı

Robots.txt  nedir?

Arama motorları  botları bulunmaktadır. Bu botlar sayesinde sitemiz  taranmaktadır. Bu taranma sayesinde  sitemiz  arama motorları sonuçları dahilinde gösterilmektedir. Tabi bazı sayfaların taranmasını istemeyebiliriz. Örneğin:Sitemizde bulunan kullanıcıların veya admin  bilgileri gibi. İşte bu taranmayı yada  taranmamayı istediğimiz sayfalarımızı  robots.txt  yardımıyla  ayarlayabiliriz. Kısaca  robots.txt’ye  Arama Rehber’i  diyebiliriz.

Robots.txt  çalışma sistemi

Arama motorları botları ilk olarak robots.txt dosyasını  taramaya başlar. Bu  dosya’ya bakar sitemizin hangi  alanlarını  arama sonuçlarında  gösterebilirim diye, eğer biz  “a” sayfasına izin vermişsek  taramaya başlar ve arama sonuçlarında görüntüler.  Eğer  “b” sayfasına izin vermemişsek  tarama yapmaz ve arama  sonuçlarında göstermez.

Robots.txt dosyasını nasıl oluştururum, kullanılacak komutlar nelerdir?

Robots.txt  dosyasında  kullanılabilecek  3  temel  başlık  bulunmaktadır.Bunlar:

User-agent: İstediğimiz herhangi bir botu belirtmek için kullanılır Örneğin: user-agent:*  (*) simgesi tüm botları simgeler. User-agent:GoogleBot  sadece googlebot’u simgelemektedir. Google botlarına örnek  verecek olursak WebCrawler, BadBot vs..

Allow: Allow komutu  indexlenmesini istediğimiz sayları  göstermek için kullanılır Örneğin:Allow: /   bu komut bütün sayfaların  indekslemesini  sağlar.

Disallow: Disallow komutu  indexlenmesini  istemediğimiz  sayfaları  gösterir. Örneğin: Disallow: / bu komut bütün sayfaların indekslememesini sağlar.

Robots.txt  dosyasında  bazı  örnekler ve yorumları

User-agent: *

Allow: /

User-agent: *  ile  tüm botları çağırılmaktadır.   Allow: / komutu ile botların  bütün sayfaları taramasına izin verilmiştir.

User-agent: *

Disallow: /

User-agent: *  ile  tüm botları çağırılmaktadır.   Disallow: / komutu ile botların  bütün sayfaları taramasına izin verilmemiştir.

User-agent: DeepCrawl

Disallow: /adminpaneli/

DeepCrawl,  bir google botudur.Bu botun görevi ise  siteyi uzun aralıklarla takip edip indekslemesi iiçin bilgi toplamamaktadır.  Sonuç olarak  bu kodların görevi  adminpaneli  klasörünü indekslememektir.

Gökhan ALAGÖZ

absheLL Yazılım Seo Departmanı

DigiWorks Team Seo Departmanı

Adres:Eğriçam Mahallesi , 2279 Sokak , Hendek Apartmanı , Akabe İşhanı , 4. Kat , 7. Daire Yenişehir / Mersin

Telefon: 0850 577 7670 - 0324 999 8480  E-mail:  info@digiworksteam.com