Агенты или боты? Осмысление ИИ в открытом вебе

По мере развития интернета меняются и способы доступа к информации и взаимодействия с ней. На заре существования веба автоматизированные боты выполняли простую и понятную функцию: индексировали сайты для поиска, проверяли ссылки или собирали данные в соответствии с четкими правилами, установленными владельцами сайтов.

Однако с появлением ИИ-помощников и пользовательских агентов грань между тем, что считается «просто ботом», и тем, что отвечает насущным потребностям реальных людей, становится все более размытой.

Современные ИИ-помощники работают принципиально иначе, чем традиционные веб-краулеры. Когда вы задаете Perplexity вопрос, требующий актуальной информации — например, «Каковы последние отзывы об этом новом ресторане?» — у ИИ нет этой информации в базе данных. Вместо этого он переходит на соответствующие веб-сайты, читает контент и предоставляет краткий ответ, адаптированный к вашему конкретному вопросу.

Это принципиально отличается от традиционного веб-краулинга, при котором краулеры систематически посещают миллионы страниц для создания огромных баз данных, независимо от того, запрашивал ли кто-либо эту конкретную информацию. Пользовательские агенты, напротив, извлекают контент только тогда, когда реальный человек запрашивает что-то конкретное, и немедленно используют этот контент для ответа на вопрос пользователя. Пользовательские агенты Perplexity не хранят эту информацию и не используют её для обучения.

Разница между автоматизированным краулингом и извлечением данных по запросу пользователя не просто техническая — речь идет о том, кто получает доступ к информации в открытом вебе. Когда поисковая система Google выполняет краулинг для создания своего индекса, это отличается от ситуации, когда она извлекает веб-страницу по вашему запросу для предварительного просмотра. «Извлекатели данных, инициируемые пользователем» Google отдают приоритет вашему опыту, а не ограничениям robots.txt, поскольку эти запросы выполняются от вашего имени.

То же самое касается ИИ-помощников. Когда Perplexity извлекает веб-страницу, это происходит потому, что вы задали конкретный вопрос, требующий актуальной информации. Контент не сохраняется для обучения — он используется немедленно, чтобы ответить на ваш вопрос.

Когда компании, подобные Cloudflare, ошибочно характеризуют пользовательских ИИ-агентов как вредоносных ботов, они утверждают, что любой автоматизированный инструмент, обслуживающий пользователей, должен вызывать подозрение — позиция, которая криминализирует почтовых клиентов и веб-браузеры, а также любой другой сервис, который потенциальный привратник решил не одобрять.

Этот спор показывает, что системы Cloudflare принципиально не способны отличить легитимных ИИ-помощников от реальных угроз. Если вы не можете отличить полезного цифрового помощника от вредоносного скрапера, вам, вероятно, не следует принимать решения о том, что составляет легитимный веб-трафик.

Эта чрезмерная блокировка вредит всем. Представьте человека, использующего ИИ для поиска информации о заболеваниях, сравнения отзывов о товарах или чтения новостей из нескольких источников. Если их помощник блокируется как «вредоносный бот», они теряют доступ к ценной информации.

Результатом является двухуровневый интернет, где ваш доступ зависит не от ваших потребностей, а от того, были ли ваши инструменты одобрены контролерами инфраструктуры, которых больше волнуют ваши средства. Это подрывает выбор пользователя и угрожает доступности открытого веба для инновационных сервисов, конкурирующих с признанными гигантами.

ИИ-помощник работает точно так же, как помощник-человек. Когда вы задаете ИИ-помощнику вопрос, требующий актуальной информации, он не знает ответа заранее. Он ищет его для вас, чтобы выполнить поставленную вами задачу.

В Perplexity и на всех других платформах с агентным ИИ это происходит в режиме реального времени, в ответ на ваш запрос, и информация немедленно используется для ответа на ваш вопрос. Она не хранится в массивных базах данных для будущего использования и не используется для обучения моделей ИИ.

Пользовательские агенты действуют только тогда, когда пользователи делают конкретные запросы, и извлекают только тот контент, который необходим для выполнения этих запросов. Это фундаментальное различие между пользовательским агентом и ботом.

В своей недавней публикации в блоге компания Cloudflare умудрилась ошибиться практически во всем, что касается принципов работы современных ИИ-помощников.

Помимо непонимания того, что 20-25 млн запросов пользовательских агентов не являются скрапингом, Cloudflare заявила, что Perplexity занимается «скрытным краулингом», используя скрытых ботов и тактику выдачи себя за другое лицо, чтобы обойти ограничения веб-сайтов. Но технические факты говорят об обратном.

По-видимому, Cloudflare перепутала Perplexity с 3-6 млн ежедневных запросов несвязанного трафика от BrowserBase, стороннего облачного браузерного сервиса, который Perplexity использует лишь изредка для узкоспециализированных задач (менее 45 000 ежедневных запросов).

Поскольку Cloudflare намеренно скрыла свою методологию и отказалась отвечать на вопросы, помогающие нашим командам разобраться в ситуации, мы можем выделить лишь два возможных объяснения.

Компании Cloudflare нужен был удачный пиар-момент, и мы — их собственный клиент — оказались удобным поводом его получить.

Cloudflare принципиально неверно приписала 3-6 млн ежедневных запросов от автоматизированного браузерного сервиса BrowserBase компании Perplexity, что является базовой ошибкой анализа трафика, особенно постыдной для компании, чьим основным бизнесом является понимание и классификация веб-трафика.

Какое бы объяснение ни было верным, технические ошибки в анализе Cloudflare не просто постыдны — они дискредитируют компанию. Когда вы ошибочно приписываете миллионы запросов, публикуете совершенно неточные технические диаграммы и демонстрируете фундаментальное непонимание того, как работают современные ИИ-помощники, вы утрачиваете право претендовать на экспертность в этом пространстве.

Шум вокруг этой проблемы также показывает, что руководство Cloudflare либо опасно дезинформировано об основах ИИ, либо просто больше полагается на пиар, чем на технологии. Это важно, поскольку клиенты Cloudflare включают компании всех типов, которые не могут позволить себе доверять свою инфраструктуру шарлатанским пиар-акциям.

Более того, Cloudflare опубликовала техническую диаграмму, якобы показывающую «рабочий процесс краулинга Perplexity», который не имеет никакого сходства с тем, как на самом деле работает Perplexity. Если бы Cloudflare действительно была заинтересована в понимании данных, которые она видит, принципов работы наших систем или этих фундаментальных концепций, описанных выше, она могла бы сделать то, к чему мы призываем всех пользователей Perplexity. Просто спросить.

Восхождение цифровых помощников

Почему это различие имеет значение

Призыв к ясности: как на самом деле работают пользовательские агенты

Прямое обращение к Cloudflare: вопрос компетентности