OpenAI, Google, Microsoft и Anthropic поддержали единый способ отказа от ИИ-скрапинга

OpenAI, Google, Microsoft и Anthropic заявили, что поддержат новый стандарт отказа от скрапинга для ИИ. По данным Search Engine Roundtable, издатели смогут задать предпочтения сразу для нескольких компаний, а не по отдельности.

Сигнал «policy token» предложен техническим специалистом Anthropic по стандартам Кевином Келли в рамках IETF. Он будет размещаться в файле robots.txt, который сайты и раньше использовали, чтобы указывать краулерам, что можно индексировать, архивировать или использовать для обучения ИИ.

Компании говорят, что ограничат доступ своих ИИ-краулеров к сайту, если встретят общий сигнал. Anthropic уже приняла его, Google и Microsoft планируют поддержку в следующем году, OpenAI — в ближайшие месяцы. Meta* выразила поддержку идеи, но не уточнила, будет ли соблюдать сигнал.

Microsoft отметила, что сайты останутся в результатах поиска Bing независимо от предпочтений. Google ранее уже дала сайтам отдельные настройки для ИИ-функций поиска и обучения моделей. Одновременно издатели ищут и другие способы ограничить ИИ-краулеры: стандарт RSL позволяет брать плату за посещение сайта, а Cloudflare блокирует ИИ-краулеры по умолчанию.