Posting in the Magento forums has been disabled pending the implementation of a new and improved forum solution which should better serve the community.

For new questions please post at magento.stackexchange.com, the community-run support site for the Magento community. We will be providing updates on the new forum solution soon. For questions or concerns please email community@magento.com.

Magento Forum

robots.txt problem
 
nico76
Sr. Member
 
Avatar
Total Posts:  76
Joined:  2007-09-06
Berlin
 

Hi,

ich habe gerade gesehen, dass der Shop, den ich aufbaue schon von google gelistet wird obwohl ich eine robots.txt im root Verzeichnis liegen habe in der ich allen Spidern das crawlen verboten habe:

User-agent: *
Disallow: /

muss die robots.txt in ein anderes Verzeichnis, woran könnte es sonst liegen.

 
Magento Community Magento Community
Magento Community
Magento Community
 
Daim
Sr. Member
 
Total Posts:  172
Joined:  2008-01-08
Germany
 

Hallo,
normal sollten sich die Spider daran halten. Die robots.txt sollte immer unter domain.de/robots.txt erreichbar sein. Wenn nicht dann war diese an der falschen Stellen. Wenn du leif entwickelst würde ich vorziehen den shop per htaccess zu schützen.

 
Magento Community Magento Community
Magento Community
Magento Community
 
nico76
Sr. Member
 
Avatar
Total Posts:  76
Joined:  2007-09-06
Berlin
 

hi,

das mit htaccess Schutz ist eine gute idee. Mitlerweile ist die Seite auch wieder aus dem Index verschwunden bis auf die Sitemap.

 
Magento Community Magento Community
Magento Community
Magento Community
Magento Community
Magento Community
Back to top