Firmanızın kimliğine uygun web tasarım ve içeriklerle rakiplerinizden bir adım önde olabilirsiniz. Web tasarım paketlerimizi inceleyin.
Web Tasarım Yazar: Gardentr Web

 

Arama Motorları İçin Web Sitenize Erişimi Denetleme

Robots.txt nedir? Web Sitenize Robots.txt Dosyası Ekleme


Web sitesi sayfalarınızda içeriklerinin eksik olduğunu düşündüğünüz ya da arama motorlarının taramasına gerek kalmadığınızı düşündüğünüz sayfalarınızı gizleyebilirsiniz.

seo hizmeti

Robot Dosya ve Meta Etiketlerinin Faydaları

Robot dosya ve meta etiketlerinin nasıl kullanıldığına geçmeden önce onların yararlarına göz atalım isterseniz;
  • Yinelenen içeriğin önlenmesini sağlar,
  • Eksik sayfaların gözükmemesini sağlar,
  • Gizli kalmasını istediğiniz sayfa ve dosyalarınızın arama motorları dizininde görünmemesini sağlar. Web sitesi sayfalarınızda içeriklerinin eksik olduğunu düşündüğünüz ya da arama motorlarının taramasına gerek kalmadığınızı düşündüğünüz sayfalarınızı gizleyebilirsiniz.

Robots.txt Dosyası Nasıl Oluşturulur?

Arama motorları sayfalarınızı tararken robots.txt dosyası olup olmadığını kontrol ederler. Çünkü bu dosya sitenizde hangi dosyaları indekslediğinizi, hangilerini indekslemediğinizi ve bu dosyaları hangi komutlarla çalıştırdığınızı gösteren bilgiler içerirler. Robots.txt dosyasının adresi şu dizinde olmalıdır; http://www.websitesi.com/robots.txt  Robots.txt dosyası eğer kök dizin yerine alt dizinlerde yer alırsa arama motorları robot dosyanızı tarayamaz.

Şimdi robots.txt dosyasının kodlarını anlatalım. Bu kodlar çok basit bir yapıya sahiptir. Kolayca oluşturabilirsiniz.

Eğer tüm arama motorlarının sayfalarınızın tamamını indekslemesine izin vermek istiyorsanız;
User-agent: *
Disallow:

Eğer tüm arama motorlarının sayfalarınızın tamamını indekslemesine izin vermek istemiyorsanız;

User-agent: *
Disallow: /

Eğer tüm arama motorlarının belirttiğiniz dizinin tamamını indekslemesine izin vermek istemiyorsanız;

User-agent: *
Disallow: /engellenecek-dizin-ismi

Eğer tüm arama motorlarının belirttiğiniz dizinde bulunan bir dosyayı indekslemesine izin vermek istemiyorsanız;

User-agent: *
Disallow: /engellenecek-dizin-ismi/indekslenmeyeceksini-istemediğiniz-sayfa

Eğer belirttiğiniz arama motorlarında dosyalarınızın indekslemesine izin vermek istemiyorsanız;
User-agent: Googlebot
Disallow: /engellenecek-dizin-ismi

Bot listesinde bot seçimleri yapabilirsiniz; http://www.robotstxt.org/db.html

Not: Eğer bir robots.txt dosyası oluşturur ve içeriğini de boş bırakırsanız da arama motoru, sayfanın indekslenmesine izin verdiğinizi varsayar.

Diğer Özel Kodlar ( Wildcards )

Günümüzde Cms sistemi olarak bir çok insan Wordpress kullanıyor. Dolayısıyla dosyalarının gözükmemesini isteyebiliyor. Eğer dizinlerinizin gözükmemesini istiyorsanız aşağıdaki kodları kullanabilirsiniz.

Eğer tüm arama motorlarının sayfalarınızın tamamını indekslemesine izin vermek istemiyorsanız;
User-agent: *
Disallow: /s =

Web Sitenizde bulunan resimlerinizin gözükmesin izin vermek istemiyorsanız;
User-agent: *
Disallow: /* jpg $

Genelde istemediğiniz dosyalarınızın gözükmemesi için yukarıdaki tekniği kullanabilirsiniz. /* png $     vb.

Robots.txt Dosyasını Nasıl Test Edebilirsiniz?


Dosyalarınızın çalışıp çalışmadığını Google'ın linkinden kontrol edebilirsiniz; Google Web Yöneticisi Araçları'ndan ulaşabilirsiniz.

Robot Meta Tag'leri


Tarayıcıların Robots.txt dosyasına ulaşabilmesi için <head></head> tagleri arasına robots.txt dosyanızı aşağıdaki gibi kaydedebilirsiniz.
<head> 
< meta name = "robots" content = "noindex" />
</head>
  • noindex: Arama sonuçlarında gözükmemesi için kullanılır.
  • index: Arama sonuçlarında indekslenir.
  • follow: Web Sayfasındaki linklerin -bağlantıların- takip edilmesine izin verir.
  • nofollow: Web Sayfasındaki linklerin takip edilmemesini sağlar.