Analisador de robots.txt e sitemap.xml
Informe um domínio e o analisador vai buscar robots.txt e sitemap.xml automaticamente, identificar diretivas principais e apontar possíveis problemas comuns de indexação.
Você pode colar com ou sem https. A ferramenta tentará encontrar automaticamente:
/robots.txt e /sitemap.xml (e sitemaps listados no robots).
Usado para interpretar regras Allow/Disallow do robots.txt.
A ferramenta indica se o caminho tende a estar permitido ou bloqueado.
Se o site for lento, aumente.
Resumo
robots.txt
—
—
Sitemaps encontrados
—
Do robots + padrões comuns
Teste de caminho
—
—
Diagnóstico
robots.txt
Sitemaps
—
Observação: por limitações do navegador (CORS), nem todo site permite que a ferramenta leia o conteúdo do sitemap.
Mesmo assim, você pode abrir os links para validar.
