Posting in the Magento forums has been disabled pending the implementation of a new and improved forum solution which should better serve the community.

For new questions please post at magento.stackexchange.com, the community-run support site for the Magento community. We will be providing updates on the new forum solution soon. For questions or concerns please email community@magento.com.

Magento Forum

Robots.txt no Magento
 
Ludy Amano | Mirago
Member
 
Avatar
Total Posts:  31
Joined:  2008-11-12
São Paulo
 

Pessoal,

para evitar que o Google indexe páginas que não deveria bem como evitar que seu site tenha conteúdo duplicado no índice do Google é preciso ficar atento ao arquivo Robots.txt. Esse arquivo não vem junto na instalação portanto é preciso criá-lo e enviar à raiz do seu servidor. Eu vou deixar o meu aqui, se vocês quiserem dar uma olhada, fiquem a vontade.

Não se esqueçam de enviar o seu sitemap ao Google: https://www.google.com/webmasters/tools/home?hl=pt-BR

ao Yahoo: https://siteexplorer.search.yahoo.com/

E também ao Bing: http://www.bing.com/webmaster

Tutorial para inclusão do seu sitemaps no Bing

Abaixo vai o conteúdo do meu Robots.txt

User-agent: Googlebot
Disallow: /index.php/
Disallow: /*?
Disallow: /*.js$
Disallow: /*.css$
Disallow: /checkout/
Disallow: /review/
Disallow: /app/
Disallow: /downloader/
Disallow: /js/
Disallow: /lib/
Disallow: /media/
Disallow: /*.php$
Disallow: /pkginfo/
Disallow: /report/
Disallow: /skin/
Disallow: /var/
Disallow: /catalog/product_compare/
Disallow: /customer/
Disallow: /wishlist/

User-agent: *
Disallow: /index.php/
Disallow: /checkout/
Disallow: /app/
Disallow: /downloader/
Disallow: /js/
Disallow: /lib/
Disallow: /media/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /skin/
Disallow: /var/
Disallow: /catalog/product_compare/
Disallow: /customer/
Disallow: /wishlist/

 
Magento Community Magento Community
Magento Community
Magento Community
 
DaKe
Member
 
Avatar
Total Posts:  41
Joined:  2008-04-01
São Paulo - Brazil
 

No meu caso que o magento esta dentro da pasta /store ...devo colocar o arquivo Robots.txt dentro da pasta store ou dentro da public_html mesmo?

PS: Tem skype ou msn? Gostei dos serviços de banner…
MSN e Jabber: danihenrique@gmail.com
Skype: danielrique

Grato

 
Magento Community Magento Community
Magento Community
Magento Community
 
Ludy Amano | Mirago
Member
 
Avatar
Total Posts:  31
Joined:  2008-11-12
São Paulo
 

@Dake,

o robots.txt deve ser inserido sempre na raíz do seu site, no seu caso na pasta public_html. Mas não copie e cole este código, pois você deverá especificar a pasta e a sub-pasta que não deverá ser indexada, por exemplo:

Ao invés de
Disallow: /media/

Você teria
Disallow: /store/media/

Então faça as alterações no código acima, inserindo a pasta store e depois coloque o robots em seu servidor.

 
Magento Community Magento Community
Magento Community
Magento Community
 
Alexandre MP
Member
 
Avatar
Total Posts:  41
Joined:  2009-06-24
 

Muito bom mesmo. vou estudar a melhor forma de inserir estes códigos, eu uso o Webmasters tools para criar os robots. Eu jogo na raiz do servidor direto, uso o tema Default, mas logo estaremos usando multi-store (dor de cabeça).

 
Magento Community Magento Community
Magento Community
Magento Community
 
DaKe
Member
 
Avatar
Total Posts:  41
Joined:  2008-04-01
São Paulo - Brazil
 

Olá!

Eu deixei rodando com o código que postou, aparentemente não tinha nenhum problema na indexação…
Enfim, mas agora eu especifiquei o /store em todos…

Grato pelo post e pela atenção!

Att.

 
Magento Community Magento Community
Magento Community
Magento Community
 
suricate
Sr. Member
 
Avatar
Total Posts:  129
Joined:  2009-06-25
Brazil
 

Olá!

@Ludy ,

Primeiramente obrigado pelo post, eu estava realmente precisando!!!

Deixa eu tirar uma dúvida, desculpe a ignorancia!

Mas voce colocando disallow no index.php voce não acaba desabilitando a indexação? pois no meu entendimento ele é a raiz do magento.. ou não?

[edit]
Outra dúvida aproveitando sua boa vontade na comunidade: se eu quiser que as imagens de meu site sejam indexadas, teria que apagar a linha Disallow /media/ é isso? ou não precisa?
[/edit]

Se puder explicar isso pra nós iniciantes agradecemos pra aprender um pouco mais sobre robots e magento!

Obrigado

Abraços!

 
Magento Community Magento Community
Magento Community
Magento Community
 
Ludy Amano | Mirago
Member
 
Avatar
Total Posts:  31
Joined:  2008-11-12
São Paulo
 

@suricate,

o index.php não aparece e não deve aparecer em nenhum lugar da sua URL, a não ser que você tenha desabilitado URL rewrite. No site da Mirago ele não aparece, a não ser na parte administrativa.

Portanto não se preocupe se você retirar o index.php, pois sua home page continuará a ser indexada, mas sem o index.php no final, seria indexada assim por exemplo: www.suricate.com.br ao invés de www.suricate.com.br/index.php.

Abs,

 
Magento Community Magento Community
Magento Community
Magento Community
 
Ludy Amano | Mirago
Member
 
Avatar
Total Posts:  31
Joined:  2008-11-12
São Paulo
 

Quanto a indexação das suas imagens:

se você retirar a pasta /media/ , sim ele vai indexar todas as imagens que lá estiverem, MAS se você trabalha com produtos downlooadáveis eles também serão indexados, pois a pasta /downloadable/files/ fica dentro da pasta /media/.

Embora não se tenha acesso direto ao arquivo downloadável via URL, não sei se é recomendável indexar a pasta /media/.

Como a Mirago também trabalha com arquivos para download, preferimos não arriscar.

 
Magento Community Magento Community
Magento Community
Magento Community
 
suricate
Sr. Member
 
Avatar
Total Posts:  129
Joined:  2009-06-25
Brazil
 

@Ludy

Valeu, obrigado mesmo!

Aliás eu gostei do seu site e dos seus banners que vc vende a um preço bem bacana, já me cadastrei e vou testar o banner grátis promocional!!

Mais pra frente eu pego um email marketing com voces no momento eu to recadastrando todos os produtos do meu site, to na correria aqui..

Abraços

 
Magento Community Magento Community
Magento Community
Magento Community
 
carlosfred
Jr. Member
 
Total Posts:  1
Joined:  2012-10-01
 

Atualmente uso o Webmasterstools para criar os meus robots, apenas colo na raiz do servidor. Estudarei a melhor forma de inserir esses códigos.

 
Magento Community Magento Community
Magento Community
Magento Community
Magento Community
Magento Community
Back to top