Forum
Aktif konular
Üyeler
Kurallar
Arama
Robot.Txt Hakkında Robot.Txt Hakkında
-
ben siteme robot.txt şeysini yapcam ama tam manasıyla kavramadım bu işi. Bitane döküman var klasik onu kopyalayacaksanız kopyalamayın.
Şunların cvbını bilsem tmm kavradım bu işi. İstediğinizi sorudan başlayabilirsiniz :D
1- robot.txt dosyasıın içine indexlenmesini istediğimiz/istemediğimiz şeyleri nasıl yazacaz ?
2- indexlenmesini istemediğim yerlerin adını yazcam. klasörlerde mesela /cgi-bin/ oluyo. ama ben forum klasörü içindeki adminpanelin indexlenmemesini istiyom. bunu oraya yazınca ve birisi sitem.com/robot.txt yapınca orda görecek admin panelinin adını. bunu nası halledecez
3- kötü amaçlı robotların siteye girmesini istemiyom. bunu hangi kod ile yapcaz (.htaccess dosyasından da oluyo sanırım ama nasıl)
şimdiden tşkler -
1. http://www.tahribat.com/robots.txt fikir verebilir. İndexlenmesi istenmeyen yerler belirtilmiş.
User-agent: BilgiBot/1.0(beta) (http://www.bilgi.com/; bilgi at bilgi dot com)
Disallow: /Yukarıdaki kodla kötü robotlardan korunabilirsin. User-agentine göre değiştir.
2. İndexlenmesini istemedigin yerlere robot yerine meta kullan. <meta name="robots" content="noindex">
3. .htaccess klasörüne useragentine göre aşağıdaki örnek kodu ekleyebilirsin. Bu seni hem kotu robotlardan hem scriptkiddielerden korur. Aşağıda scriptkiddielerin vazgecilmezi microsoft url control var :)
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} "Microsoft URL Control"
RewriteRule .* - [F,L]4. Bişey değil :)
Robots.txt yapicilar : http://www.google.com.tr/search?hl=tr&q=robot.txt+generator
Kısayol
Şikayet
Özel Mesaj
Alıntı yap
Cevapla