Google comparte el mismo presupuesto de rastreo entre GoogleBot, el rastreador web gratuito orgánico, y Google AdsBot, el rastreador de pago de Google
Tenga en cuenta que Google tiene docenas de rastreadores y es probable que todos compartan el mismo presupuesto de rastreo.
Este es uno de los raros casos en los que el equipo de búsqueda de Google comparte algo con el equipo de Google Ads, supongo.
La razón por la que surgió esto es porque vi que Microsoft también decía que el presupuesto de rastreo se comparte entre lo orgánico y los anuncios . Entonces le pregunté a John Mueller de Google si este es el mismo caso en Google. John no dijo claramente que sí o no. Lo que dijo en Twitter fue "El objetivo es evitar que el rastreo deje de funcionar el servidor, esencialmente, por lo que hay que contar todas las solicitudes, independientemente del tipo de rastreador".
Aquí están las preguntas y respuestas:
hmm - @methode @JohnMu is there a shared crawl budget between Googlebot and the other Google ad specific Google crawlers? https://t.co/BQVTof0X1D
— Barry Schwartz (@rustybrick) November 16, 2020
¿Suena a que eso es un sí para mí?
Quiero decir, le pedí a John más tarde una respuesta de sí o no y me dio la línea "no es nuevo", así que sí, se comparte:
The goal is to prevent crawling from taking down the server, essentially, so you have to count all the requests, regardless of the crawler type.
— 🍌 John 🍌 (@JohnMu) November 17, 2020
Y sí, no es nuevo, Glenn Gabe cubrió a John diciendo esto en marzo:
How are accurate is the crawl stats report in GSC? Via @johnmu: The report is accurate. It's based on what we pull out of our crawling logs. But, it includes urls fetched from other Google services (like Google Ads, product search, etc.) It's not just Gbot https://t.co/jKlOsn5vSj pic.twitter.com/K8vNgwSZ42
— Glenn Gabe (@glenngabe) March 10, 2020
Y Dawn Anderson compartió algunas capturas de pantalla de John diciendo esto hace años:
And GSC crawl stats also includes all Google bots. John confirmed a few years back when I asked before a talk
— Dawn Anderson (@dawnieando) November 17, 2020
Tiene sentido, Google no quiere que sus sistemas, en su conjunto, afecten el rendimiento de su sitio.
No creo que se trate de una gran conspiración; simplemente tiene sentido que Google comparta estos recursos entre todos sus rastreadores, que básicamente utilizan la misma infraestructura robots.txt y GoogleBot. ¿Si no fuera por el caso de las eficiencias internas de Google, sino también por la salud de su propio sitio?
Pero también es un caso raro en el que la búsqueda orgánica de Google funciona con anuncios de pago de Google.
John también agregó esto:
The goal is to prevent crawling from taking down the server, essentially, so you have to count all the requests, regardless of the crawler type.
— 🍌 John 🍌 (@JohnMu) November 17, 2020
Gracias por visitar este sitio, espero que te haya gustado y vuelvas proximamente, compartela en las redes sociales, gracias
