Robots.Txt Dosyaları Hakkında

Tahribat.com Forumları
line

Asp - Php - Cgi - Perl
line

06/Tem/06 05:59 Kısayol Şikayet Özel Mesaj

lost_dream

Kayıt Tarihi: 11/Şubat/2006

arkadaşlar robots.text dosyaları hakkında detaylı bilgisi olan varmı
teşekkürler

Tüneli kaçmak içinmi kazmışlar

Alıntı yap
06/Tem/06 06:34 Kısayol Şikayet Özel Mesaj

RemotE

Banlanmış Üye

Kayıt Tarihi: 16/Temmuz/2005

Sitenizin arama motorlarında üst sıralarda çıkmasını ve sitenizin içeriğinin daha iyi indexlenmesi için ana dizininize

www.siteniz.com/robots.txt

robots.txt dosyası oluşturun ve içine şu kodu yazın:

Kod:
User-agent: *
allow: /

Bu kod bütün siteyi indexler.Buradaki Kod:
User-agent: *
parametresi bütün arama örümcekleri sitemi indexlesin demek.
Benim sitemi google indexlesin yeter derseniz

Kod:
User-agent:Googlebot
yapmanız gerekmektedir.bunu tavsiteye etmem hepsi gelsin indexlesin

Arama motorlarında çıkmasın dediginiz dizin varsa Disallow yapmanız gerekmektedir.Örnegin admin klasörü yada cgi-bin klasörü gibi dizinler için iyinet in kodunu inceleyebilirsiniz.
http://www.ornek.com/robots.txt

aşagıdaki kodu kullanan google.com içeriginin başka arama motorları tarafından indexlenmemesi için o şu kodu kullanıyor

http://www.google.com/robots.txt

Kod:
User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalog_list
Disallow: /news
Disallow: /pagead/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?

Bizi Satanı Biz Bedavaya Veririz..! http://www.intikal.org - http://www.ohbea.com

Alıntı yap
06/Tem/06 06:34 Kısayol Şikayet Özel Mesaj

rockipsiz

Kayıt Tarihi: 21/Aralık/2002

http://www.robotstxt.org/wc/robots.html

Always with me, always with you...

Alıntı yap
06/Tem/06 10:53 Kısayol Şikayet Özel Mesaj

★★★★★
Genki

Kayıt Tarihi: 24/Ağustos/2005

http://www.google.com/robots.txt
euhuehe =)=)

Alıntı yap
09/Oca/08 15:17 Kısayol Şikayet Özel Mesaj

PoLiZei

Kayıt Tarihi: 03/Eylül/2005

tüm her yeri kayıtlasın dersek "admin" dosyalarını kayıtladığı zaman bir açık ortaya çıkabilirmi?

Hayat paylasmaktır

Alıntı yap
09/Oca/08 18:31 Kısayol Şikayet Özel Mesaj

renegadealien

Kayıt Tarihi: 23/Mart/2003

Admin dosyaların sadece admin panelinden link alıyorsa, ve normalde erişimi yoksa, googleın indexlemesinin bi sakıncası yok çünkü göremez orayı...
ama genede bulunduğu bi klasör vs varsa onun tamamını kapatmak sağlık acısından yararlıdır :)

10.05.2013 tarihli google arama sonucu : Aradığınız - "herşeyin hayırlısı rampanın bayırlısı" - ile ilgili hiçbir arama sonucu mevcut değil. Kendi özlü sözümdür, kaynak belirterek kullanınız.

Alıntı yap

Toplam Hit: 1281 Toplam Mesaj: 6

Cevapla