Como reenviar um arquivo Robots.txt atualizado ou novo

robôs txt

Nossa agência lida com consultoria de pesquisa orgânica para vários fornecedores de SaaS do setor. Um cliente com o qual começamos a trabalhar recentemente fez uma prática bastante padrão, colocando seu aplicativo em um subdomínio e movendo seu site de brochura para o domínio principal. Essa é uma prática padrão, pois permite que sua equipe de produção e sua equipe de marketing façam atualizações conforme necessário, sem qualquer dependência uma da outra.

Como uma primeira etapa na análise da integridade da pesquisa orgânica, registramos o folheto e os domínios do aplicativo nos Webmasters. Foi quando identificamos um problema imediato. Todas as páginas do aplicativo estavam sendo impedidas de serem indexadas pelos motores de busca. Navegamos até a entrada do arquivo robots.txt nos webmasters e identificamos o problema instantaneamente.

Enquanto se preparava para a migração, a equipe de desenvolvimento não queria que o subdomínio do aplicativo fosse indexado pela pesquisa, portanto, proibiu o acesso aos mecanismos de pesquisa. O arquivo robots.txt é um arquivo encontrado na raiz do seu site - seudominio.com/robots.txt - que permite ao mecanismo de pesquisa saber se deve ou não rastrear o site. Você pode escrever regras para permitir ou proibir a indexação em todo o site ou em caminhos específicos. Você também pode adicionar uma linha para especificar o arquivo de mapa do site.

O Robots.txt arquivo tinha a seguinte entrada que impedia o site de ser rastreado e indexado nas classificações de resultados de pesquisa:

User-Agent: * Disallow: /

Ele deveria ter sido escrito da seguinte forma:

Agente do usuário: * Permitir: /

Este último fornece permissão a qualquer mecanismo de pesquisa que rastreie o site para que possa acessar qualquer diretório ou arquivo do site.

Ótimo ... agora que o robots.txt arquivo é perfeito, mas como o Google sabe e quando eles verificarão o site novamente? Bem, você pode absolutamente solicitar que o Google verifique seu robots.txt, mas não é muito intuitivo.

Navegue até a Google Search Console Search Console ao Rastreio> Testador de robots.txt. Você verá o conteúdo do arquivo robots.txt mais recentemente rastreado no Testador. Se desejar reenviar seu arquivo robots.txt, clique em Enviar e uma janela pop-up aparecerá com algumas opções.

reenviar robots.txt

A opção final é Peça ao Google para atualizar. Clique no botão azul Enviar ao lado dessa opção e navegue de volta para o Rastreio> Testador de robots.txt opção de menu para recarregar a página. Agora você deve ver o arquivo robots.txt atualizado junto com um carimbo de data que mostra que ele foi rastreado novamente.

Se você não vir uma versão atualizada, pode clicar em enviar e selecionar Ver versão carregada para navegar até o seu arquivo robots.txt real. Muitos sistemas armazenarão este arquivo em cache. Na verdade, o IIS gera esse arquivo dinamicamente com base nas regras inseridas por meio de sua interface de usuário. Você provavelmente terá que atualizar as regras e atualizar o cache para publicar um novo arquivo robots.txt.

robots-txt-tester

O que você acha?

Este site usa o Akismet para reduzir o spam. Saiba como seus dados de comentário são processados.