Robots.txt Nedir ve Nasıl Oluşturulur+ Nasıl Kullanılır?

robots.txt Nedir ve Nasıl Oluşturulur+ Nasıl Kullanılır?




robots.txt Nedir?

Eğer
yeni bir site oluşturmuşsanız; arama motorlarına yardımcı olmak
için
robots.txt dosyasını da oluşturmanız kesinlikle önerilir.
robots.txt
dosyası sitenizin bazı bölümlerinin arama motorlarları
tarafından indexlenmemesi
için kullanılır.
Mesela yeni bir site oluşturdunuz. Sitenizin
anasayfasını tamamladınız.
Eğer alt sayfaları oluşturmuşsanız ve
içeriği sonra eklemeyi
düşünüyorsanız; arama motorlarının içerik
eklenmemiş sayfaları
indexlemesi işinize yaramaz. Bu durumda henüz
hazır olmayan sayfalardan
arama motoru robotlarını uzak
tutabilirsiniz. Daha sonra sayfalara
içerik eklediğiniz zaman
robots.txt dosyasını değiştirerek robotlara
izin verirsiniz.

robots.txt
Nasıl
Oluşturulur:

Genel Kullanımı:

User-agent: *
Disallow: /

User-agent:

Robot ismi burada belirtilir. * karakteri hepsi anlamına gelir.
Yani
bütün robotları ifade eder. Mesela User-agent: Googlebot ile sadece google botlarını ifade edebilirsiniz. Ya da User-agent: Scooter
ile sadece Altavista botlarını ifade
edebilirsiniz. Ama
genellikle * ile tamamı ifade edilir.

Disallow:

Robotların ziyaret etmesini
istemidiğiniz sayfaları burada
belirtirsiniz. Mesela Disallow:
/
ifadesi ile sitenizdeki bütün

sayfalara robotların girişini
engellersiniz.
Disallow:
ifadesi ile de sitenizdeki bütün sayfaları
robotların indexlemesini söylemiş olursunuz.
Disallow: /cgi-bin/

ifadesi ile de cgi-bin klasörünün robotlar tarafından
indexlenmemesini
söylemiş olursunuz.

robots.txt
Kullanım
Örnekleri:

User-agent:
*
Disallow: /
Bütün robotların siteden uzak durmasını sağlar.

********************************************
User-agent: *
Disallow:
Bütün robotların sitedeki bütün sayfaları
indexlemesine
izin verir.

********************************************

User-agent: *
Disallow:
/cgi-bin/
Disallow: /resimler/
Disallow: /siirler/

cgi-bin, resimler, siirler
klasörleri
içindeki sayfaları robotlar indexleyemez. Diğer sayfaları
indexleyebilir.

********************************************

User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:
Google robotu
siteyi
indexleyemez. Diğer bütün robotlar siteyi indexleyebilir.

********************************************

Herhangi Bir Sayfanın
İndexlenmesini Önlemek:

Sayfaların meta bölümünden de sayfanın indexlenmesi
önlenebilir.
Bunu yapabilmek için head tagları arasına aşağıdaki gibi
kodlar
eklenmelidir.

NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>Bu metayı
eklediğiniz
sayfayı robot gördüğü zaman bu sayfayı indexlemez ve
sayfadaki
linkleri takip etmez.name=robots>
Bu meta ise bütün robotların sayfayı
indexlemesini ve
sayfadaki linkleri takip etmesini söyler.
Not : robots.txt dosyası ana dizinde(root)

olmalıdır. Alt dizinlere yerleştirilmez.