Los meta Robots son directivas de código que proporcionan instrucciones para los rastreadores de cómo rastrear el contenido de la página web.
Hay dos tipos de robots o directivas metas: los que son parte de la página HTML (como el de robots meta tag ) y aquellas que el servidor web envía como cabeceras HTTP (como robots-x-tag ).Los mismos parámetros se puede utilizar con las dos robots meta y el-robots x-tag, lo que difiere es como estos parámetros son comunicados a los rastreadores.
Las directivas Meta son instrucciones para los rastreadores acerca de cómo rastrear la información del índice encuentran en una página web específica. Si estas directivas son descubiertos por los robots, sus parámetros sirven como fuertes sugerencias para el comportamiento rastreador indexación. Pero al igual que con los archivos robots.txt, los rastreadores no tienen que seguir sus directivas meta, por lo que es una apuesta segura que algunos robots maliciosos ignorarán sus directivas.Parámetros de indexación de control
- Noindex: Indica un motor de búsqueda no indexar una página.
- Index: Indica un motor de búsqueda para indexar una página. Tenga en cuenta que no es necesario agregar esta etiqueta meta; que es el valor predeterminado.
- Follow: Incluso si la página no está indexado, el rastreador debe seguir todos los enlaces de una página y pasar a la equidad de las páginas enlazadas.
- Nofollow: Indica un rastreador no seguir todos los enlaces en una página o pasar a lo largo de toda la equidad enlace.
- Noimageindex: Indica un rastreador no al índice de cualquier imagen en una página.
- None: Equivale a usar tanto el noindex y nofollow etiquetas simultáneamente.
- Noarchive: Los motores de búsqueda no deben mostrar un enlace a esta página en caché en un SERP.
- Nocache: Igual que noarchive, pero sólo utilizado por Internet Explorer y Firefox.
- Nosnippet: Indica un motor de búsqueda no mostrar un fragmento de esta página (es decir, meta descripción) de esta página en un SERP.
- Unavailable_after: Los motores de búsqueda debe indexar ya no esta página después de una fecha determinada.
Meta robots tag
La etiqueta meta robots, conocido como “robots meta” o coloquialmente como “etiqueta de robots”, es parte del código HTML de una página web y se presenta como elementos de código dentro de una página webX-robots-tag
Si bien la etiqueta robots meta le permite controlar el comportamiento de la indexación a nivel de página, elrobots x-tag puede ser incluido como parte de la cabecera HTTP para controlar la indexación de una página en su conjunto, así como elementos muy específicos de una página.
Aunque se puede usar el X-Robots-Tag para ejecutar todas las mismas directivas de indexación como robots meta, la directiva x-robots-tag ofrece significativamente más flexibilidad y funcionalidad que la etiqueta meta robots no lo hace.
En concreto, los X-Robots permite el uso de expresiones regulares, la ejecución de las directivas de rastreo en archivos que no sean HTML, y la aplicación de parámetros a nivel mundial.
Para utilizar el x-robots-tag, necesitará tener acceso a la cabecera .php o al .htaccess, o un archivo de acceso al servidor, ya sea de su sitio web.
A partir de ahí puede añadir marcado x-robots-etiqueta de la configuración del servidor específico, incluyendo cualquier parámetro.
Aquí hay algunos casos de uso de por qué es posible emplear el x-robots-etiqueta:
- El control de la indexación de contenido no escrito en HTML (como flash o vídeo)
- El bloqueo de la indexación de un elemento particular de una página (como una imagen o vídeo), pero no de la totalidad de la propia página
- El control de la indexación si usted no tiene acceso a HTML de una página (en concreto, a la sección ) o si su sitio utiliza una cabecera global que no puede ser cambiado
- Incluir reglas de si o no una página debe ser indexado (ejemplo. Si un usuario ha comentado más de 20 veces, el índice de su página de perfil)
