Como os motores de busca localizam, rastreiam e indexam seu conteúdo?
Não recomendo frequentemente que os clientes construam seus próprios sistemas de comércio eletrônico ou de gerenciamento de conteúdo por causa das opções de extensibilidade invisíveis necessárias hoje em dia – focadas principalmente em pesquisa e otimização social. Escrevi um artigo sobre selecionando um CMS, e ainda mostro para as empresas com quem trabalho que ficam tentadas a construir seu sistema de gerenciamento de conteúdo.
Como funcionam os motores de busca?
Vamos começar explicando como funcionam os mecanismos de pesquisa. Aqui está uma ótima visão geral do Google.
No entanto, existem situações em que uma plataforma personalizada é uma necessidade. Quando essa é a solução ideal, ainda incentivo meus clientes a desenvolverem os recursos necessários para otimizar seus sites para pesquisa e mídia social. Três recursos principais são uma necessidade.
- Robots.txt
- XML Sitemap
- metadados
O que é um arquivo Robots.txt?
Robots.txt arquivo - o robots.txt file é um arquivo de texto simples no diretório raiz do site e informa aos mecanismos de pesquisa o que eles devem incluir e excluir dos resultados da pesquisa. Nos últimos anos, os mecanismos de pesquisa também solicitaram que você incluísse o caminho para um mapa do site XML no arquivo. Aqui está um exemplo meu, que permite que todos os bots rastreiem meu site e também os direcione para meu mapa do site XML:
User-agent: *
Sitemap: https://martech.zone/sitemap_index.xmlO que é um Sitemap XML?
XML Sitemap - Gostar HTML é para visualização em um navegador, o XML é escrito para ser digerido programaticamente. Um XML sitemap é uma tabela de cada página do seu site e quando ela foi atualizada pela última vez. Sitemaps XML também podem ser encadeados… ou seja, um Sitemap XML pode se referir a outro. Isso é ótimo se você deseja organizar e dividir os elementos do seu site de forma lógica (Perguntas Frequentes: , páginas, produtos, etc.) em seus próprios Sitemaps.
Os Sitemaps são essenciais para permitir que os mecanismos de pesquisa saibam com eficácia qual conteúdo você criou e quando foi editado pela última vez. O processo de um mecanismo de pesquisa ao acessar seu site não é eficaz sem a implementação de um mapa do site e snippets.
Sem um Sitemap XML, você corre o risco de suas páginas nunca serem descobertas. E se você tiver uma página de destino de um novo produto que não esteja vinculada interna ou externamente? Como o Google descobre isso? Bem, até que um link seja encontrado, você não será descoberto. Felizmente, os mecanismos de pesquisa permitem que sistemas de gerenciamento de conteúdo e plataformas de comércio eletrônico estendam um tapete vermelho para eles!
- O Google descobre um link externo ou interno para seu site.
- O Google indexa a página e a classifica de acordo com seu conteúdo e com o conteúdo e qualidade do site do link de referência.
Com um Sitemap XML, você não está deixando a descoberta ou atualização do seu conteúdo ao acaso! Muitos desenvolvedores tentam usar atalhos que também os prejudicam. Eles publicam o mesmo rich snippet em todo o site, fornecendo informações que não são relevantes para as informações da página. Eles publicam um mapa do site com as mesmas datas em todas as páginas (ou todas atualizadas quando uma página é atualizada), informando aos mecanismos de busca que estão enganando o sistema ou não são confiáveis. Ou eles não fazem ping nos mecanismos de busca... então o mecanismo de busca não percebe que novas informações foram publicadas.
O que são metadados? Microdados? Ricos fragmentos?
Rich snippets são microdados cuidadosamente marcados oculto do visualizador, mas visível na página para utilização por mecanismos de pesquisa ou sites de mídia social. Isso é conhecido como metadados. O Google está em conformidade com Schema.org como um padrão para incluir coisas como imagens, títulos, descrições e uma infinidade de outros trechos informativos, como preço, quantidade, informações de localização, classificações, etc. O esquema aumentará significativamente a visibilidade do seu mecanismo de pesquisa e a probabilidade de um usuário clicar.
Facebook usa o OpenGraph protocolo (claro, eles não poderiam ser iguais), X ainda tem um trecho para especificar seu perfil X. Cada vez mais plataformas usam esses metadados para visualizar links incorporados e outras informações quando publicam.
Suas páginas da web têm um significado subjacente que as pessoas entendem quando lêem as páginas da web. Mas os mecanismos de pesquisa têm uma compreensão limitada do que está sendo discutido nessas páginas. Adicionando tags adicionais ao HTML de suas páginas da web - tags que dizem, “Ei, mecanismo de pesquisa, esta informação descreve este filme específico, ou lugar, ou pessoa, ou vídeo” - você pode ajudar os mecanismos de pesquisa e outros aplicativos a entender melhor seu conteúdo e exibi-lo de uma forma útil e relevante. Microdata é um conjunto de tags, introduzido com HTML5, que permite que você faça isso.
Schema.org, o que é MicroData?
Claro, nenhum desses é obrigatório ... mas eu os recomendo fortemente. Quando você compartilha um link no Facebook, por exemplo, e nenhuma imagem, título ou descrição aparece ... poucas pessoas se interessarão e realmente clicarão. E se seus snippets de Schema não estiverem em cada página, é claro que você ainda pode aparecer nos resultados de pesquisa ... mas os concorrentes podem vencê-lo quando tiverem informações adicionais exibidas.
Registre seus Sitemaps XML com o Search Console
Se você construiu seu próprio conteúdo ou plataforma de comércio eletrônico, é fundamental que você tenha um subsistema que execute ping nos mecanismos de pesquisa, publique microdados e forneça um mapa do site XML válido para que o conteúdo ou informações do produto sejam encontrados!
Depois que seu arquivo robots.txt, mapas de sites XML e rich snippets forem personalizados e otimizados em todo o seu site, não se esqueça de se registrar em cada mecanismo de pesquisa Pesquisa Console (Também conhecido como o webmaster ferramenta) onde você pode monitorar a saúde e a visibilidade do seu site nos motores de busca. Você pode até especificar o caminho do seu Sitemap se nenhum estiver listado e ver como o mecanismo de pesquisa o está consumindo, se há ou não algum problema com ele e até mesmo como corrigi-lo.
Estenda o tapete vermelho para os mecanismos de pesquisa e mídias sociais e você verá que a classificação do seu site é melhor, suas entradas nas páginas de resultados dos mecanismos de pesquisa são mais clicadas e suas páginas são mais compartilhadas nas mídias sociais. Tudo se resume!
Como Robots.txt, Sitemaps e MetaData funcionam juntos
Combinar todos esses elementos é como estender o tapete vermelho do seu site. Este é o processo de rastreamento que um bot realiza e como o mecanismo de pesquisa indexa seu conteúdo.
- Seu site tem um arquivo robots.txt que também faz referência à localização do seu Sitemap XML.
- Seu CMS ou sistema de comércio eletrônico atualiza o Sitemap XML com qualquer página e publica a data ou edita informações de data.
- Seu CMS ou sistema de comércio eletrônico envia ping aos mecanismos de pesquisa para informá-los de que seu site foi atualizado. Você pode fazer ping diretamente ou usar RPC e um serviço como o Ping-o-matic para enviar para todos os principais mecanismos de pesquisa.
- O mecanismo de pesquisa retorna instantaneamente, respeita o arquivo Robots.txt, encontra páginas novas ou atualizadas por meio do mapa do site e indexa a página.
- Ao indexar sua página, ele utiliza título, meta descrição, elementos HTML5, cabeçalhos, imagens, tags alt e outras informações para indexar adequadamente a página para as pesquisas aplicáveis.
- Ao indexar sua página, ele utiliza o título, a meta descrição e microdados de rich snippet para aprimorar a página de resultados do mecanismo de pesquisa.
- À medida que outros sites relevantes possuem links para o seu conteúdo, seu conteúdo se classifica melhor.
- À medida que seu conteúdo é compartilhado nas redes sociais, as informações de rich snippet especificadas podem ajudar a visualizar adequadamente seu conteúdo e direcioná-lo para seu perfil social.
