googleda sitenizin gözükmesi ıçin

sitenizin arama motorlarında üst sıralarda çıkmasını ve sitenizin içeriğinin daha iyi indexlenmesi için ana dizininize

siteniz.com/robots.txt

robots.txt dosyası oluşturun ve içine şu kodu yazın:

kod:
user-agent: *
allow: /



bu kod bütün siteyi indexler.buradaki kod:
user-agent: *
parametresi bütün arama örümcekleri sitemi indexlesin demek.
benim sitemi google indexlesin yeter derseniz

kod:
user-agent:googlebot
yapmanız gerekmektedir.bunu tavsiteye etmem hepsi gelsin indexlesin

arama motorlarında çıkmasın dediginiz dizin varsa disallow yapmanız gerekmektedir.örnegin admin klasörü yada cgi-bin klasörü gibi dizinler içinbeyaz evin kodunu inceleyebilirsiniz.
face=Arial http://www.whitehouse.gov/robots.txt

aşagıdaki kodu kullanan google.com içeriginin başka arama motorları tarafından indexlenmemesi için o şu kodu kullanıyor

face=Arial http://www.google.com/robots.txt

kod:
user-agent: *
disallow: /search
disallow: /groups
disallow: /images
disallow: /catalogs
disallow: /catalog_list
disallow: /news
disallow: /pagead/
disallow: /imgres
disallow: /keyword/
disallow: /u/
disallow: /univ/
disallow: /cobrand
disallow: /custom
disallow: /advanced_group_search
disallow: /advanced_search
disallow: /googlesite
disallow: /preferences
disallow: /setprefs
disallow: /swr
disallow: /url
disallow: /wml
disallow: /hws
disallow: /bsd?
disallow: /linux?
disallow: /mac?
disallow: /microsoft?