Arama motoru siteleri web sitelerini tarayıp sıralama yaparken site içerisinde yer alan Robots.txt dosyalarını tarayarak işlem yaparlar. Bu nedenle web site sahipleri yada web site düzenlemesi yapanlar robots.txt dosyası içerisine yazılması gereken kodları çok iyi bilmeli ve düzenlenmelidir. İyi düzenlenmeyen robots.txt dosyaları nedeniyle arama motorları web sitesinde düzgün bir şekilde inceleme yapamayacağı için düzgün bir indeksleme yapamayacaktır.
Robots.txt metin
dosyası formatında hazırlanan web sunucularına ve site kök dizinine eklenen
basit bir dosyadır. Bu dosya ile yapılmak istenen arama motorlarının görmesini
istediğiniz ve istemediğiniz verileri görmesi için oluşturulan bir dosyadır.
Robots.txt dosyası sizin yerinize arama motorları ile iletişim haline geçerek
sitenizin kullanıcılara yönlendirilmesi sağlanmaktadır.
Robots.txt Dosyası Nasıl Oluşturulmalıdır?
Robots.txt dosyası oluşturmak için bir yazılım yada program bilgisine sahip olunmasına gerek yoktur. Ancak yapılacak olan işlemlerin ve hazırlanacak olan kodların seo işlemleri için büyük bir önemi olduğu için robots.txt dosyası oluşturulması sırasında işinin ehli birisinden yardım alınması faydalı olacaktır.
Arama motorları sıralamalarında harika bir yardımı olan robots.txt dosyası doğru komutların doğru bir şekilde kullanılması ile siteniz için harika bir işlem olmaktadır. Ancak yanlış komut dizinleri kullanılması durumunda siteniz için çok kötü sonuçlar doğurabilmektedir.
Seo (arama motorları
optimizasyonu) çalışmaları ile fayda alınması için robots.txt dosyasının
avantajları kullanılmaktadır. Bu işlemle sitenizde tekrar eden ve seo çalışmalarını
sıkıntılı olarak etkileyecek tekrarlanan içerikler engellenerek bir nevi site
gereksiz içeriklerden temizlenmiş olur.
Robots.txt Komutları
Bir web sitesi için en önemli ve mutlaka bulunması zorunlu olan robots.txt dosyası hazırlarken uyulması gereken bazı standartlar bulunmaktadır. Bunlar;
l Robots.txt dosyası
hazırlandıktan sonra mutlaka web sitesi kök dizini içine yerleştirilmelidir.
l Web sitesinin URL formatı
ile robots.txt dosyasının aynı olması gerekmektedir.
l Robots.txt
dosyası hazırlanırken mutlaka UTF-8 türü kodlamaya uygun şekilde
hazırlanmalıdır.
Robots.txt dosyasının herhangi bir içeriğin altına eklenmemesi gerekmektedir. Örneğin https://www.crenw.net/main.robots.txt adresi yerine https://www.crenw.net/robots.txt şeklinde yerleştirilmesi gerekmektedir. Mutlaka web sitesi ile robots.txt dosyası için kullanılan uzantının aynı olması gerekmektedir farklı bir alan adı uzantısı kullanmak sitenizin arama motorları tarafından görülmesini engellemektedir.
