Tecnología

Los bots de IA escanean todo tipo de sitios web miles de veces por día

Cloudflare les da el control a los creadores de contenido sobre los bots de inteligencia artificial

Ciudad de México, 25 de septiembre de 2024.— Cloudflare, la empresa líder de conectividad cloud, anunció el lanzamiento de AI Audit, un set de herramientas para ayudar a los sitios web de cualquier tamaño a analizar y controlar cómo los modelos de inteligencia artificial (IA) utilizan su contenido.

Por primera vez, los sitios web y los creadores de contenido podrán comprender de manera rápida y fácil cómo los proveedores de modelos de IA están utilizando su contenido, y luego podrán controlar si los modelos pueden acceder a estos, y cómo lo pueden hacer. Además, Cloudflare está desarrollando una nueva función mediante la cual los creadores de contenido pueden establecer un precio razonable por el contenido que es utilizado por las empresas de IA para el entrenamiento del modelo y la generación mejorada por recuperación (RAG).

Los propietarios de sitios web, ya sean de empresas con fines de lucro, medios de comunicación o publicaciones de noticias, o pequeños sitios personales, pueden sorprenderse al saber que bots de IA de todo tipo están escaneando su contenido miles de veces por día sin que el creador de contenido sepa y sin ser compensado, lo que causa una destrucción de valor significativa para empresas grandes y pequeñas. Incluso cuando los propietarios de sitios web saben cómo los bots de IA están utilizando su contenido, no cuentan con sistemas sofisticados para determinar qué escaneo permitir ni con un sistema simple para tomar medidas.

Para que la sociedad se siga beneficiando de la cantidad y la diversidad del contenido de Internet, los creadores de contenido necesitan herramientas para recuperar el control.

“La IA cambiará radicalmente el contenido en línea, y todos debemos decidir en forma conjunta cómo será el futuro”, comentó Matthew Prince, cofundador y director general de Cloudflare.

“Los creadores de contenido y los propietarios de sitios web de todos los tamaños merecen tener la propiedad y recuperar el control de su contenido. Si no es así, la calidad de la información en línea se deteriorará o estará exclusivamente a disposición de quienes la paguen. Con la escala y la infraestructura global de Cloudflare, creemos que podemos brindar herramientas y establecer estándares para que los sitios web, los editores y los creadores de contenido puedan recuperar el control y recibir una compensación razonable por su contribución a internet, y seguir permitiendo la innovación a los proveedores de modelos de IA.”

Con AI Audit, Cloudflare tiene como objetivo brindar información a los creadores de contenido y recuperar el control, para que haya un intercambio transparente entre los sitios web que quieren tener un mayor control de su contenido y los proveedores de modelos de IA que necesitan fuentes de datos nuevas, y todos se beneficien. Con este anuncio, Cloudflare tiene la intención de ayudar a todos los sitios web en lo siguiente:

  • Controlar de manera automática los bots de IA, gratis: la IA es un espacio que evoluciona rápidamente, y muchos propietarios de sitios web necesitan tiempo para comprender y analizar cómo los bots de IA están afectando su tráfico o su empresa. Muchos sitios pequeños no tienen la capacidad ni el ancho de banda para bloquear manualmente los bots de IA. La capacidad de bloquear todos los bots de IA con un solo clic permite que los creadores de contenido recuperen el control.
  • Hacer análisis para ver cómo los bots de IA acceden a su contenido: todos los sitios que usan Cloudflare ahora tienen acceso a análisis para comprender por qué, cuándo y con qué frecuencia los modelos de IA acceden a sus sitios web. Los propietarios de sitios web ahora pueden distinguir los bots —por ejemplo, los bots de texto generativos que reconocen la fuente de datos que usan al generar una respuesta vs. los bots que extraen datos sin reconocer la fuente.
  • Proteger mejor sus derechos al negociar con los proveedores de modelos: cada vez son más los sitios que están firmando acuerdos directamente con los proveedores de modelos para darle un permiso para entrenar y extraer contenido a cambio de un pago. La pestaña AI Audit de Cloudflare brindará un análisis avanzado para comprender las métricas que se usan comúnmente en estas negociaciones, como los índices de rastreo para ciertas secciones o la página entera. Cloudflare también ofrecerá términos del servicio que cada creador de contenido puede agregar a los sitios para proteger legalmente sus derechos.
  • Establecer un precio razonable por el derecho de escanear contenido y negociar de manera eficiente (en desarrollo): muchos propietarios de sitios, ya sean grandes empresas del futuro o un blog individual de alta calidad, no cuentan con los recursos, el contexto o la experiencia para negociar los acuerdos que las editoriales más grandes están firmando con los proveedores de modelos de IA, y los proveedores de modelos de IA no cuentan con el ancho de banda para hacer esto con cada sitio que se contacta con ellos. En el futuro, incluso los mayores creadores de contenido se beneficiarán de la manera eficiente en que Cloudflare establece precios y flujos de transacciones, lo que permitirá que los proveedores de modelos encuentren fácilmente contenido nuevo para escanear que de otro modo estaría bloqueado, y los creadores de contenido podrán tener el control y recibir un pago por el valor que crean.

Los clientes actuales de Cloudflare pueden acceder a la pestaña IA desde su panel de control para revisar los análisis de sus sitios y comenzar a controlar ya los bots de IA.

Fotografía: Cloudflare

PAÍSES QUE NOS ESTÁN VIENDO