Robots.txt nedir?

Robot.txt kısaca özetlemem gerekirse botların sitenizi craw lamak geldiğinde neleri indexlemeleri gerektiğini aynı zamanda neleride indexlememeleri gerektiğini gösterir
Buna bir örnek: Botları turist olarak farzedin günü birlik olur sezonluk olur orasını ben bilemem neyse konumuza dönelim sitenize yerleştireceğiniz robots.txt dosyasınıda rehber sitenizide tarihi bir mekan farzedin olayın mantığı budur.

Robots.txt nasıl oluşturulur?

Robot.txt dosyasını oluşturmak için basit basit yazı editörlerinden faydalanabiliriz ( Notpad Wordpad vb..) oluşturacağımız robots.txt dosyasını sitemizin ana dizinine atmamız gerklidir (Genelde httpdocs yada www klasörleridir) Eğer yanlış bir yere atarsanız siteniz craw'lanamaz.
Robots.txt dosyanızın içerisindeki kodları küçük harflerler ile yazamanızı öneriyorum. Şimdi Robot.txt dosyamızı oluşturalım

Kod:

User-Agent: *
Allow: /

Yukardaki bir örnektir kodların anlamlarını ve nasıl kullanılacağını anlatalım şimdi

User-Agent: İstediğiniz bir botu belirlemeniz için kullanılır yukarıdaki örnekte * yaptım geneldede kullanılan bududur tüm botlar anlamına gelir ama siz sadece Googlebot olsun diyorsanı User-agent: Googlebot kodunu kullanabilirsiniz.

Allow: Botların hangi sayfaları indexlemesini ve ya indexlemesi gerektiğini gösterir genelde Allow: / şekilinde kullanılır örnektede yaptığım gibi tüm sayfalar anlamına gelir

Disallow: Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek için dizin adının sonuna bir düz eğik çizgi koyun. Disallow: /engelenecek_klasor/