Google da En Ust Siralara Cikmak
----------------------------------------------------------------------
Öncelikle ise sayfamizdaki meta taglar ile baslayalim ..
Bu yazi hiçbir sey bilmeyen bir kisi baz alindigi için sadece gogole degil tüm meta taglari
anlatacam;








Buraya kadar olan 5 satir klasik meta tag olup .. taglari arasinda yer alir.
ziyaretçilerimize asla görünmeyen yazilar olup uygulama analari söyledir..
1.satirdaki tag sayfamizin hangi dilde yazildigini gösterir. Türkçe karakter kullananlar için mutlaka
olmasi gereken bir tagdir.
2.satirdaki tag sayfamizin konusunu belirler.
3. satirdaki tag sayfamizin arama motorlarinda bulunmasini istedigimiz anahtar kelimelerini
belirlememize yarar. Burda dikkat edilmesi gereken en faz 20 anahtar kelime tanimlamamiz ve
aralarina virgül (,) koymmaiz.
4. satirdaki tag sitenin adminini, 5. satirdaki tag ise o adminin aktif email adresini belirlememize
yarar..
Dedigimn gibi buraya kadar standart taglardir. Simdide google için ekstra 2 tag yazalim ve bu
taglari yukaridakilerin altina koyup sayfamiza ekleyelim..



Burda 1. siradaki tag google ve diger arama motorlarinin örümcek (robot) lerine sitemizi indexleme
kolayligi saglamakla birlikte 2. satirdaki 1 sayisi 1 haftada bir sitemizin güncellendigini ve 1 hafta
sonra tekrar bu örümcegin sitemize gelmesi ve degisimi tekrar veritabanina eklemesi gerektigini
gösterir. Ben burda temsilen 1 yazdim. Eger siteniz çok sik güncellenen bir site degilse bu sayisi
3-4 yapmak en mantiklisi olacaktir.

Simdi gelelim bu isin en önemli yerine. örümcege yol göstermeye. öncelikle örümcek hakkinda bilgi
vereyim size. Örümcek yada robot adiyla anilan bazi programlar vardir. Bu programlar direk arama
motorlarinin veri tabanindan gelirler. her gün milyonlarca siteyi gezer ve o sitedeki bilgileri alip
veritabanina eklerler. Dolayisiyla google de yer almak için bu örümcegi iyi bilmemiz gerekir.
Örümcek zararsizdir elbette ama örümcegi iyi tanimak ona yol göstermek örümcegin rastgele
bilgiler alip gitmesini engellemek de bizim görevimizdir. Bazi arama motorlari örümcekleri önce
sizden onay ister. sizin ona izin verip vermediginizi bilmek ister. iste bununda en basit ve etkili
çözümü robots.txt dosyasidir. Normal not defterini açarak yazacagimiz bazi kodlari robots adiyla
kaydedip onu sitemizde root umuza yerlestirmemiz gerekir. Yapacagimiz bu islemle örümcegi biz
yönetmis oluyoruz. Ve hepinizinde tahmin edecegi gibi yönetmekten dogan bir güç ve bugün
karsiligi rastgele bilgilerle degilde tam anlamda istedigimiz bilgilerle arama motorlarinda yer almak
güzeldir.
Simdi robots.txt dosyasi hakkinda bilgi vererek ise baslayalim ;

Örümcek geldigi zaman o web sitesinin içerigini indexlemek ister. Ancak güvenlik için genelde bir
çok hosting firmalari içerik indexlemeyi kapatmistir. Sadece size özelde bunu açmazlar. Ama biz
robots.txt dosyamizla kendimize özel bir izin yaratabiliriz.

Basit olarak robots.txt dosyasinin içinde su iki satir olmak zorundadir..

User-agent:
Disallow:

Burada user-agent uygula disallo izin verme anlamindadir.
Bizede burda düsen görev bu iki komutu en etkili bir sekilde kullanmaktir.
mesela bir örnek verelim. Sitemizi indexlemeyi sadece google bot unun yapmasini istiyoruz. ve
sitemizdeki admin klaösrünü asla yayinlamamasini istiyoruz diyelim; ozaman bu iki komut su
sekilde kullanilir;
User-agent: Googlebot
Disallow: /admin/
Gördügünüz gibi uygulama alani çok kolaydir. Ben burda size aktif hizmet veren arama
motorlarinin isimlerini yazacam. Sizlerde hangilerinde yer almak isiyorsaniz okadar
User-agentsatiri ekleyeceksiniz. Disallow kullanimi ise tamamen tercih meselasi olup kaç tane
klasör yada dosya yi gizlemek isterseniz okadar çok satir kullanmaniz gerekir..
Simdi google basta olmak üzere aktif bot mantigi ile çalisan bazi arama motorlari ve portallar
sunlardir;


Googlebot
BizBot04 kirk.overleaf.com
HappyBot (gserver.kw.net)
CaliforniaBrownSpider
EI*Net/0.1 libwww/0.1
Ibot/1.0 libwww-perl/0.40
Merritt/1.0
StatFetcher/1.0
TeacherSoft/1.0 libwww/2.17
WWW Collector
processor/0.0ALPHA libwww-perl/0.20
wobot/1.0 from 206.214.202.45
Libertech-Rover www.libertech.com?
WhoWhere Robot
ITI Spider
w3index
MyCNNSpider
SummyCrawler
OGspider
linklooker
CyberSpyder (amant@www.cyberspyder.com)
SlowBot
heraSpider
Surfbot
Bizbot003
WebWalker
SandBot
EnigmaBot
spyder3.microsys.com
www.freeloader.com.

Burdaki tüm robotlarin basina User-agent ekleyip o robota izin verebiliriz..

Ayrica disallow ile sitemizden izinsiz email adresleri çalan email robotlarinada çözüm bulup spam
maillerin önüne geçebiliriz bir nebze olsada ..
Ancak bu basli basina bir konu oldugu için bunu ayri bir yazi dizisi olarak ilk firsatta burada
yayinlayacagim..

Önemli Not : Robotlar her nekadar prensip olarak robots.txt ye bagli kalmalari gerekse bile arada
istisnalar olabilmektedir.