robots.txt - optimieren

Dieses Thema im Forum "XenForo SEO Forum" wurde erstellt von Maestro2k5, 14. Juli 2015.

  1. Maestro2k5

    Maestro2k5 Administrator Lizenznehmer

    876
    359
    7. Juli 2015
    Erfurt
    Hallo und guten Abend,

    an einer anderen Stelle hatten wir schon mal eine interessante Diskussion zu dem Thema robots.txt dies würde ich hier gerne fortsetzen. Anbei mal meine robots.txt

    Code:
    User-agent: *
    Disallow: /
    
    User-agent: Googlebot
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-Agent: Googlebot-Mobile
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-Agent: Googlebot-Image
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-Agent: Googlebot-News
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-Agent: facebookexternalhit
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-agent: msnbot
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-agent: msnbot-media
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-agent: bingbot
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-agent: Slurp
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-agent: ia_archiver
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-agent: pagespeedbot
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-agent: Websnapr
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    User-agent: Twitterbot
    Disallow: /account/
    Disallow: /admin.php
    Disallow: /ajax/
    Disallow: /attachments/
    Disallow: /beobachtete/
    Disallow: /chat/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /finde-neue/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /letzte-aktivitaeten/
    Disallow: /login/
    Disallow: /lost-password/
    Disallow: /members/
    Disallow: /misc/
    Disallow: /mitglieder/
    Disallow: /mobiquo/
    Disallow: /online/
    Disallow: /profil/
    Disallow: /recent-activity/
    Disallow: /register/
    Disallow: /unterhaltungen/
    Disallow: /watched/
    Disallow: /info/
    
    
    Sitemap: https://www.android-port.de/sitemap.php
    Nicht wundern ich habe sowohl die Original-Links als auch die neu gerouteten Links auf Empfehlung mit eingestellt. Wie handhabt ihr das ganze?
     
  2. Pinn

    Pinn ist öfters hier Lizenznehmer

    254
    51
    11. Juli 2015
    Bundesstaat Hessen
    Wird bei dir eigentlich noch was erkannt wenn du alles verbietest?
     
  3. DRaver

    DRaver Moderator Lizenznehmer

    449
    215
    10. Juli 2015
    Hehehe, die ersten zwei Zeilen verbieten zwar alle Bots aber die folgenden Zeilen lassen bestimmten Bots wieder zu.
    Das ist eine sehr effektive Möglichkeit nicht Hinz und Kunz an Bots auf seine Webseite zu lassen, die eh keiner braucht sondern zu selektieren, welche Bots man haben möchte.

    Natürlich nur insofern, dass sich der betreffende Bot auch an die robots.txt hält.
     
    Maestro2k5 gefällt das.
  4. DRaver

    DRaver Moderator Lizenznehmer

    449
    215
    10. Juli 2015
    Ich habe ähnliche Bots wie @Maestro2k5 . Exemplarisch daher mal den Googlebot rausgepickt

    Code:
    User-agent: Googlebot
    Disallow: /account/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /help/
    Disallow: /aboutus/
    Disallow: /misc/
    Disallow: /posts/
    Disallow: /gallery/
    Disallow: /search/
    Davon könnte wahrscheinlich noch mal die hälfte raus, da ich viel mit noindex arbeite.

    Wirklich ärgerlich ist es um Disallow: /search/
    Da könnte man SEO technisch so viel mit anfangen aber die meisten /search/ Urls bei XF sind leider immer nur temporär und nicht statisch.
     
    otto gefällt das.
  5. Pinn

    Pinn ist öfters hier Lizenznehmer

    254
    51
    11. Juli 2015
    Bundesstaat Hessen
    Wie schaut die Optimale robots.txt aus?
    Hab nur Impressum und Admincp ausgeblendet.
     
  6. paul banks

    paul banks Mitglied Lizenznehmer

    39
    10
    6. August 2015
    Moin ich bin der neue hier :)

    ich verstehe es nicht ganz, mein Forum liegt unter Root->KF->was müsste ich in meiner robots.txt reinschreiben, damit es klappt?
     
    au lait gefällt das.
  7. Maestro2k5

    Maestro2k5 Administrator Lizenznehmer

    876
    359
    7. Juli 2015
    Erfurt
    Die robots.txt gehört in das Rootverzeichnis der Domain ...
     
  8. paul banks

    paul banks Mitglied Lizenznehmer

    39
    10
    6. August 2015
    ich dachte da muss noch etwas geändert werden, so dass die .txt auch greift?
    Bei anderen lese ich oft, das die das Verzeichnis mit angeben..

    User-agent: *
    Disallow: /community/find-new/
    Disallow: /community/forums/-/
    Disallow: /community/account/
    Disallow: /community/attachments/
    Disallow: /community/goto/
    Disallow: /community/posts/
    Disallow: /community/login/
    Disallow: /community/admin.php
    Allow: /
     
  9. otto

    otto AD Lizenznehmer

    2.684
    1.083
    7. Juli 2015
    LW-Meister
    Leipzig
    Hallo und :welcome

    Wenn dein Forum unter:
    domain.de/KF​
    liegt, dann:
    - robots.txt in das root Verzeichnis (domain.de/)

    - und so könnte deine robots.txt aussehen:
    User-agent: *
    Disallow: /KF/find-new/
    Disallow: /KF/forums/-/
    Disallow: /KF/account/
    Disallow: /KF/attachments/
    Disallow: /KF/goto/
    Disallow: /KF/posts/
    Disallow: /KF/login/
    Disallow: /KF/admin.php
    Allow: /
    Es sollten dann je nach Forum auch noch weitere Bereiche für Robots gesperrt werden.
     
    paul banks gefällt das.
  10. paul banks

    paul banks Mitglied Lizenznehmer

    39
    10
    6. August 2015
    Alles klar, mache ich so. Danke :like
     
    otto gefällt das.
OK Mehr Informationen

Diese Seite verwendet Cookies. Mit Deinem Klick auf OK, stimmst Du dem setzen von Cookies zu. Andernfalls werden keine gesetzt, was die Funktionalität einschränkt.