Son solo seis letras de colores. Azul, rojo, amarillo, azul, verde, rojo. Seis caracteres que abren las puertas de internet.
Google es, entre otras muchas cosas, el mayor buscador de la red y el más utilizado. Lo usan más de 4300 millones de personas en todo el planeta, según datos de SEMRush. Las seis letras de colores que forman la imagen de Google transmiten cercanía y sencillez. Nos dicen a los usuarios de internet que podemos fiarnos, que detrás de todo hay máquinas perfectas que nunca cometen errores. Que no dudan. Solo que sí lo hacen. Menos mal que Google tiene a miles de personas de carne y hueso que les echan una mano: son los quality raters.
¿Qué son los quality raters de Google?
Durante muchos años, Google lo mantuvo oculto. Pero en 2015 hizo público lo que ya era un secreto a voces. La compañía cuenta con un ejército de más de 10 000 personas repartidas alrededor del globo que se encarga de verificar la calidad de los resultados de búsqueda. Los ha bautizado como quality raters. Evalúan todo lo que gira alrededor de las decisiones que toman los algoritmos, desde la aparición de noticias falsas entre los resultados hasta los intentos de spam.
Cada cambio que se introduce en los algoritmos de búsqueda debe ser probado y evaluado en detalle por el equipo de quality raters. Estos cuentan con una guía y una serie de pautas que marcan lo que debería ser un resultado óptimo. En base a ellas, analizan los resultados e informan a Google si algo no funciona como debería. Entre otras cosas, trabajan haciendo test en paralelo, observando los resultados de Google disponibles públicamente y los resultados que tendría la nueva versión del buscador que está siendo probada.
Tal como explican desde la compañía, los informes y las calificaciones que hacen los quality raters no afectan directamente a la forma en que se muestra una página web en los resultados de búsqueda. Pero sí sirven para medir hasta qué punto los sistemas están funcionando bien, así como la calidad y utilidad de los resultados. Sirven para evaluar cuándo el algoritmo tiene dudas y para intentar clarificar la intención de búsqueda del usuario.
¿Cómo controla Google la calidad de sus búsquedas?
La calidad de los resultados de búsqueda no depende solo del equipo de quality raters. Para ello, Google cuenta también con analistas de búsqueda, ingenieros de datos y expertos en leyes de privacidad de todas las partes del mundo. Entre todos, llevan a cabo todo tipo de experimentos (más de 800 000 en 2021). Estas pruebas son, fundamentalmente, de cuatro tipos:
- Lanzamientos. Los ingenieros de datos de Google revisan todos los cambios propuestos para el sistema de búsqueda y analizan con detenimiento los datos de los experimentos para decidir si estas modificaciones pueden hacerse públicas. Google asegura que no aplica ningún cambio que no pueda demostrar que mejora los resultados para los usuarios.
- Experimentos de tráfico en tiempo real. Otra de las pruebas que suele hacerse de forma interna consiste en experimentos de tráfico en tiempo real para ver cómo interactúan los usuarios con una función determinada (antes de publicarla). Por ejemplo, habilitan una nueva función para un pequeño grupo de usuarios (el primer paso suele afectar a un 0,1 % de los usuarios) y analizan los datos comparándolos con la información extraída de un grupo de control que no tenía la función activada. Entre otras métricas, estudian dónde se hace clic y cuánto tiempo se tarda, el número de consultas hechas, si se abandonan consultas, etc.
- Pruebas de calidad. Aquí entra en juego ya el equipo de más de 10 000 quality raters. Estos evaluadores miden la calidad que tienen los resultados y si un sitio puede proporcionar información relevante en función del conocimiento que aporta, la autoridad de la fuente y la fiabilidad del contenido. Para lograr que el proceso de evaluación sea uniforme y consistente, los evaluadores siguen una serie de reglas y normas que Google establece en las ’Quality Rating Guidelines’.
- Experimentos en paralelo. Esta es otra de las tareas que compete en exclusiva a los quality raters. En los experimentos en paralelo, los evaluadores reciben dos conjuntos de resultados de búsqueda diferentes, uno es el que proporciona el buscador con los cambios propuestos e implementados y otro es el que proporciona el buscador sin esos cambios. Los evaluadores deciden qué resultado es mejor y justifican su decisión.
La guía para los quality raters de Google
Google publicó la última actualización de sus directrices para quality raters a finales de julio, menos de un año después de la actualización anterior. Consiste en 167 páginas cargadas de definiciones y procedimientos detallados sobre cómo evaluar un resultado de búsqueda. Entre otras definiciones destacadas, el documento recoge las siguientes:
- Experiencia, autoridad y confianza. Este parámetro (marcado como EAT, por las siglas de las palabras en inglés) sirve para evaluar la experiencia del autor del contenido en la temática tratada, la autoridad del mismo y de la propia página y el nivel de confianza que generan el contenido, el autor y la web. En base a esto, los evaluadores definen en gran medida la calidad de la página.
- Tu dinero, tu vida: contenidos YMYL. Entre las páginas analizadas, Google establece una categoría que requiere especial atención. Las denomina YMYL, de las siglas en inglés de “tu dinero, tu vida”. Su nivel de riesgo se basa en el daño potencial que puedan causar a las personas y a la sociedad. Dentro de YMYL establece a su vez cuatro categorías (salud y seguridad, seguridad financiera, sociedad y otros riesgos).
La guía se extiende a lo largo de 167 páginas definiendo en detalle muchos otros parámetros, como la evaluación del propósito de la página, los diferentes niveles de calidad, las categorías de las webs de menor reputación (como las que copian contenido o las de spam) o los parámetros para entender las intenciones del usuario. En definitiva, un documento para que los quality raters hagan un trabajo riguroso y mejoren a las máquinas de Google.
Por Juan F. Samaniego
Imágenes | Unsplash/Rajeshwar Bachu , Benjamin Dada
