Como os motores de busca localizam, rastreiam e indexam seu conteúdo?

Search Engine Optimization

Não costumo recomendar que os clientes criem seus próprios sistemas de comércio eletrônico ou gerenciamento de conteúdo por causa de todas as opções de extensibilidade invisíveis que são necessárias hoje em dia - principalmente focadas em busca e otimização social. Eu escrevi um artigo sobre como selecionar um CMS e ainda mostro para as empresas com quem trabalho que estão tentadas a construir seu próprio sistema de gerenciamento de conteúdo.

No entanto, existem absolutamente situações em que uma plataforma personalizada é uma necessidade. Quando essa é a solução ideal, ainda pressiono meus clientes a desenvolver os recursos necessários para otimizar seus sites para pesquisa e mídia social. Existem basicamente três recursos principais que são necessários.

  • Robots.txt
  • XML Sitemap
  • metadados

O que é um arquivo Robots.txt?

Robots.txt arquivo - o robots.txt file é um arquivo de texto simples que está no diretório raiz do site e informa aos mecanismos de pesquisa o que eles devem incluir e excluir dos resultados da pesquisa. Nos últimos anos, os mecanismos de pesquisa também solicitaram que você incluísse o caminho para um mapa do site XML dentro do arquivo. Aqui está um exemplo meu, que permite que todos os bots rastreiem meu site e também os direciona para o mapa do meu site em XML:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

O que é um Sitemap XML?

XML Sitemap - Assim como o HTML é para ser visualizado em um navegador, o XML é escrito para ser digerido programaticamente. Um sitemap XML é basicamente uma tabela de todas as páginas do seu site e quando foi atualizado pela última vez. Sitemaps XML também podem ser encadeados ... isto é, um Sitemap XML pode se referir a outro. Isso é ótimo se você deseja organizar e dividir os elementos do seu site de forma lógica (perguntas frequentes, páginas, produtos, etc.) em seus próprios Sitemaps.

Os Sitemaps são essenciais para que você possa informar com eficácia os mecanismos de pesquisa sobre o conteúdo que você criou e quando foi editado pela última vez. O processo que um mecanismo de pesquisa usa ao acessar seu site não é eficaz sem implementar um mapa do site e snippets.

Sem um Sitemap XML, você está arriscando suas páginas de nunca serem descobertas. E se você tiver uma página de destino de um novo produto que não tenha um link interno ou externo. Como o Google descobre isso? Bem, simplesmente coloque ... até que um link seja encontrado para ele, você não será descoberto. Felizmente, os mecanismos de pesquisa permitem que os sistemas de gerenciamento de conteúdo e as plataformas de comércio eletrônico estendam um tapete vermelho para eles!

  1. O Google descobre um link externo ou interno para seu site.
  2. O Google indexa a página e a classifica de acordo com seu conteúdo e qual é o conteúdo e a qualidade do site do link de referência.

Com um Sitemap XML, você não está deixando a descoberta de seu conteúdo ou a atualização de seu conteúdo ao acaso! Muitos desenvolvedores tentam usar atalhos que também os prejudicam. Eles publicam o mesmo rich snippet em todo o site, fornecendo informações que não são relevantes para as informações da página. Eles publicam um mapa do site com as mesmas datas em todas as páginas (ou todos eles atualizados quando uma página é atualizada), dando filas aos motores de busca de que estão enganando o sistema ou não são confiáveis. Ou eles não fazem ping nos mecanismos de pesquisa ... então o mecanismo de pesquisa não percebe que novas informações foram publicadas.

O que são metadados? Microdados? Ricos fragmentos?

Rich snippets são microdados cuidadosamente marcados que está oculto para o visualizador, mas visível na página para os mecanismos de pesquisa ou sites de mídia social utilizarem. Isso é conhecido como metadados. Google está em conformidade com Schema.org como um padrão para incluir coisas como imagens, títulos, descrições ... bem como uma infinidade de outros trechos informativos como preço, quantidade, informações de localização, avaliações, etc. O esquema aumentará significativamente a visibilidade do seu mecanismo de pesquisa e a probabilidade de um usuário clicar através.

Facebook usa o OpenGraph protocolo (é claro que eles não poderiam ser os mesmos), o Twitter ainda tem um snippet para especificar seu perfil do Twitter. Mais e mais plataformas estão usando esses metadados para visualizar links incorporados e outras informações quando publicam.

Suas páginas da web têm um significado subjacente que as pessoas entendem quando lêem as páginas da web. Mas os mecanismos de pesquisa têm uma compreensão limitada do que está sendo discutido nessas páginas. Adicionando tags adicionais ao HTML de suas páginas da web - tags que dizem, “Ei, mecanismo de pesquisa, esta informação descreve este filme específico, ou lugar, ou pessoa, ou vídeo” - você pode ajudar os mecanismos de pesquisa e outros aplicativos a entender melhor seu conteúdo e exibi-lo de uma forma útil e relevante. Microdata é um conjunto de tags, introduzido com HTML5, que permite que você faça isso.

Schema.org, o que é MicroData?

Claro, nenhum desses é obrigatório ... mas eu os recomendo fortemente. Quando você compartilha um link no Facebook, por exemplo, e nenhuma imagem, título ou descrição aparece ... poucas pessoas se interessarão e realmente clicarão. E se seus snippets de Schema não estiverem em cada página, é claro que você ainda pode aparecer nos resultados de pesquisa ... mas os concorrentes podem vencê-lo quando tiverem informações adicionais exibidas.

Registre seus Sitemaps XML com o Search Console

É imperativo que, se você construiu seu próprio conteúdo ou plataforma de comércio eletrônico, você tenha um subsistema que executa ping nos mecanismos de pesquisa, publica microdados e, em seguida, fornece um mapa do site XML válido para o conteúdo ou informações do produto a serem encontrados!

Depois que seu arquivo robots.txt, sitemaps XML e rich snippets forem personalizados e otimizados em todo o seu site, não se esqueça de se registrar no Search Console de cada mecanismo de pesquisa (também conhecido como ferramenta para webmasters), onde você pode monitorar a integridade e a visibilidade do seu site nos motores de busca. Você pode até especificar o caminho do seu Sitemap, se nenhum estiver listado, e ver como o mecanismo de pesquisa o está consumindo, se há ou não problemas com ele e até mesmo como corrigi-los.

Estenda o tapete vermelho para os mecanismos de pesquisa e mídia social e você encontrará melhor classificação do seu site, mais cliques nas suas entradas nas páginas de resultados dos mecanismos de pesquisa e mais compartilhamento nas suas páginas nas redes sociais. Tudo se resume!

Como Robots.txt, Sitemaps e MetaData funcionam juntos

Combinar todos esses elementos é como estender o tapete vermelho para seu site. Este é o processo de rastreamento que um bot executa junto com a forma como o mecanismo de pesquisa indexa seu conteúdo.

  1. Seu site tem um arquivo robots.txt que também faz referência à localização do seu Sitemap XML.
  2. Seu CMS ou sistema de comércio eletrônico atualiza o Sitemap XML com qualquer página e publica data ou edita informações de data.
  3. Seu CMS ou sistema de comércio eletrônico executa um ping nos mecanismos de pesquisa para informá-los de que seu site foi atualizado. Você pode fazer ping diretamente ou usar RPC e um serviço como Ping-o-matic para enviar para todos os principais mecanismos de pesquisa.
  4. O mecanismo de pesquisa volta instantaneamente, respeita o arquivo Robots.txt, encontra páginas novas ou atualizadas por meio do mapa do site e, em seguida, indexa a página.
  5. Ao indexar sua página, ele utiliza microdados de rich snippet para aprimorar a página de resultados do mecanismo de pesquisa.
  6. À medida que outros sites relevantes possuem links para o seu conteúdo, seu conteúdo se classifica melhor.
  7. Como seu conteúdo é compartilhado nas mídias sociais, as informações de rich snippet especificadas podem ajudar a visualizar corretamente seu conteúdo e direcioná-los para seu perfil social.

2 Comentários

  1. 1

O que você acha?

Este site usa o Akismet para reduzir o spam. Saiba como seus dados de comentário são processados.