Serch Gaint quiere que el Protocolo de exclusión de robots se convierta en un estándar web oficial.
Google acaba de levantar sus faldas para revelar su analizador robots.txt, que ha hecho de código abierto , revelando así uno de los secretos detrás de sus formas de rastreo web.
Conocido oficialmente como Robots Exclusion Protocol (REP), es básicamente una función de analizador web que los webmasters pueden usar para mantener parte del contenido de su sitio web fuera del alcance del buscador web de Google.
Al utilizar el REP para escribir contenido en archivos robots.txt , los organizadores de sitios web le dicen a Googlebot de Google Search y otros rastreadores automáticos de Google Search qué partes del sitio deben evitarse, por lo tanto, mantienen el contenido privado y evitan cualquier indización innecesaria.
Google acaba de levantar sus faldas para revelar su analizador robots.txt , que ha hecho de código abierto , revelando así uno de los secretos detrás de sus formas de rastreo web.
Conocido oficialmente como Robots Exclusion Protocol (REP), es básicamente una función de analizador web que los webmasters pueden usar para mantener parte del contenido de su sitio web fuera del alcance del buscador web de Google.
Al utilizar el REP para escribir contenido en archivos robots.txt , los organizadores de sitios web le dicen a Googlebot de Google Search y otros rastreadores automáticos de Google Search qué partes del sitio deben evitarse, por lo tanto, mantienen el contenido privado y evitan cualquier indización innecesaria.
Fecha actualización el 2021-07-03. Fecha publicación el 2019-07-03. Categoría: google Autor: Oscar olg Mapa del sitio Fuente: theinquirer Version movil