SerdaL

Sitenin ana dizininde bulunan ve ismi değiştirildiğinde işlevini kaybeden dosyadır. Robots.txt uzantısından da belli olduğu gibi bir metin belgesidir. Bu küçük metin belgesi arama motoru optimizasyonunda yani seo da önemli bir yere sahiptir. Çünkü arama motoru botları sizi kendi dizinlerinde adreslemek için ilk önce “robots.txt” dosyasından izin alır. Kısacası robots.txt, arama motoru botlarının sizin sitenizde ulaşacağı ve ulaşamayacağı yerleri gösteren dosyadır.
Standart bir robots.txt dosyasında en fazla 3 satır olur. Ama belli başlı nedenlerden dolayı robots.txt yi düzenlemek isteyebilirsiniz. Böyle durumlarda ekleyeceğiniz ve kullanılan standart terimler vardır. Bu kelimeler sayesinde botların siteye erişimini düzenleyebilirsiniz.
Botların siteye erişimini neden düzenleyeyim ki şeklinde soruları duyar gibiyim. Bunun bir çok sebebi olabilir. Örneğin siteniz yapım aşamasında olabilir ve bu “yapım aşaması” sayfasının aramam motorları dizininde bulunmasını istemeyebilirsiniz. Hata sayfaları ve yönlendirilmiş sayfalara sahip olabilirsiniz. Bunların web dizininde yer alması sitenizin optimizasyonu açısından size zarar verebilir. Siteniz içerisinde görünmesini istemediğiniz ve sadece belli başlı kişilerin görebileceği içeriklerin arama motorları botlarınca okunmasını engelleyebilirsiniz. Site imajınızı zedeleyecek ve tutmak zorunda olduğunuz geçici alakasız sayfaların görünmemesini isteyebilirsiniz. Bunlar arasında en önemli nedenlerden biri olan arama motorları botlarının dışında kalan zararlı botları engellemek robots.txt sayesinde yapılabilecek şeylerden biri. Site mimariniz farklı ise ve kullandığınız site haritası ana dizin dışında bir yerdeyse robots.txt site haritası adresi için botları uyarabilir.

Robots.txt dosyasını nasıl düzenleyebilirim?
Yukarıda da belirttiğim gibi standart bir robots.txt dosyası aşağıdaki gibidir; (http://siteadi.com/robots.txt)

User-agent: *
Disallow:

Sitemap: http://siteadi.com/sitemap.xml.gz

Yukarıda gördüğünüz komutun anlamı “Bütün botlara izin ver, bütün içerik okunabilir” anlamına gelmektedir.
“User-agent” kısmı bot isimlerini temsil eder, her botun kendine özgü bir ismi mevcuttur. Örneğin en çok gördüğümüz ve daha fazla görmek istediğimiz Google Bot’unun son ismi “Googlebot/2.1″ dir
“Disallow” kısmı engellenecek ya da engellenmemiş içeriği belirtir. Yukarıdaki örnekte gördüğünüz gibi karşısı tamamen boş. Bu bütün içeriğe izin ver anlamına gelmektedir. Disallow kelime anlamı olarak “izin vermemek” anlamına geliyor. Disallow un karşısına yazacağınız herhangi bir içerik adresi botlar tarafından okunmayacaktır.
“Sitemap” kısmı karşısında yazan bölüm site haritasının yolunu tarif eder. Bunu yapmak zorunda değilsiniz. Fakat oluşturduğunuz sitemap.xml veya sitemap.xml.gz dosyası adreslemesi farklıysa bunu robots.txt dosyasında belirmenizde fayda var.
“*” (yıldız) anlamı isim belirtilmediğinde gösterilir. Bu sadece internet dünyasında değil bilgisayar dünyasında da böyledir. Örneğin bilgisayar içerisinde bir aratma yapmak istediğinizde ve dosyanın sadece birkaç harfini hatırladığınızda kullanabilirsiniz. po*.* şeklinde aratmaya başladığınızda bilgisayar size uzantı farkı gözetmeksizin “po” harfleriyle başlayan bütün dosyaları getirecektir. Kısacası “*” “bütün” anlamına gelmektedir.

User-agent: *
Disallow: /

Yukarıdaki örnekte robots.txt dosyası botlara “bütün botlara bütün içerik kapalıdır” demek istiyor. User-agent kısmının karşısında bütün botları temsil eden * işareti ve disallow un karşısında site adresiniz ve site adresinizden sonra gelen tüm içeriğin kapatıldığını gösteren “/” işareti mevcuttur.

Buraya kadar anladığınız gibi user-agent karşısına yazacağımız herhangi bot ile disallow karşısına yazacağımız herhangi bir içeriği engelleyebiliriz. Örnek vermek gerekirse;

User-agent: Googlebot-image
Disallow: /

şeklinde bir robots.txt ye sahipseniz bu “google resim botunun siteniz içerisinde bulunan hiç bir resimi kendi dizinine eklemesine izin yok” anlamına gelmektedir.

Son olarak bir içeriği nasıl engelleyeceğinizi göstermek için aşağıdaki örneğe bakınız.

User-agent: *
Disallow: /engellemek-istedigim-icerik.php
Disallow: /engellemek-istedigim-dizin/
Disallow: /engellemek-istedigim-dizinin-adi/engellemek-istedigim-sayfa.php/
Disallow: /404-hata-sayfamin-ismi.html

Yukarıdaki örnekte gördüğünüz gibi engellemek istediğiniz her içerik ya da dizin için 1 satır kullanmak zorundasınız. Unutmayın, botlar her zaman ilk robots.txt dosyasını ziyaret ederler. Aldıkları izinler ve kısıtlamalara göre siteniz içerisinde hareket ederler.

Alıntı