에이전트인가 봇인가? 개방형 웹에서의 AI 이해하기

인터넷이 발전함에 따라 우리가 정보에 접근하고 상호 작용하는 방식도 함께 변화하고 있습니다. 웹 초기 단계에서 자동화된 봇은 검색을 위한 사이트 색인 생성, 링크 확인, 웹사이트 소유자가 설정한 명확한 규칙에 따른 데이터 스크래핑과 같은 단순하고 잘 이해된 역할을 수행했습니다.

그러나 AI 기반 어시스턴트와 사용자 주도 에이전트의 부상으로 '단순한 봇'과 '실제 사람들의 즉각적인 필요를 충족하는 것' 사이의 경계가 점점 모호해지고 있습니다.

현대 AI 어시스턴트는 기존의 웹 크롤링과는 근본적으로 다른 방식으로 작동합니다. 예를 들어, 귀하가 Perplexity에게 "그 새로운 식당에 대한 최신 리뷰는 무엇인가요?"와 같이 최신 정보가 필요한 질문을 하면, AI는 데이터베이스 어딘가에 해당 정보를 미리 가지고 있는 것이 아닙니다. 대신, 관련 웹사이트를 방문하여 콘텐츠를 읽고 귀하의 특정 질문에 맞춤화된 요약을 제공합니다.

이는 수백만 개의 페이지를 체계적으로 방문하여 특정 정보에 대한 요청 여부와 관계없이 거대한 데이터베이스를 구축하는 기존의 웹 크롤링 방식과는 근본적으로 다릅니다. 반면, 사용자 주도 에이전트는 실제 사용자가 특정 정보를 요청할 때만 콘텐츠를 가져오며, 그 콘텐츠를 즉시 사용하여 사용자의 질문에 답합니다. Perplexity의 사용자 주도 에이전트는 정보를 저장하거나 이를 사용하여 학습하지 않습니다.

자동화된 크롤링과 사용자 주도 페칭 간의 차이는 단순히 기술적인 문제가 아니며, 개방형 웹에서 누가 정보에 접근할 수 있는지에 관한 것입니다. Google 검색 엔진이 색인을 생성하기 위해 크롤링하는 것과 사용자가 미리보기를 요청하여 웹페이지를 가져오는 것은 다릅니다. Google의 "사용자 트리거 페처(user-triggered fetchers)"는 귀하를 대신하여 요청이 발생하므로 robots.txt 제한보다 귀하의 경험을 우선시합니다.

이는 AI 어시스턴트에도 동일하게 적용됩니다. Perplexity가 웹페이지를 가져오는 것은 귀하가 최신 정보가 필요한 특정 질문을 했기 때문입니다. 콘텐츠는 학습을 위해 저장되지 않으며, 귀하의 질문에 답하기 위해 즉시 사용됩니다.

Cloudflare와 같은 기업들이 사용자 주도 AI 어시스턴트를 악성 봇으로 잘못 규정할 때, 그들은 사용자를 위한 모든 자동화 도구가 의심받아야 한다고 주장하는 것입니다. 이는 이메일 클라이언트나 웹 브라우저, 또는 잠재적인 게이트키퍼가 마음에 들지 않는다고 판단하는 기타 모든 서비스를 범죄로 규정하는 것과 다름없습니다.

이 논란은 Cloudflare의 시스템이 합법적인 AI 어시스턴트와 실제 위협을 구별하는 데 근본적으로 부적절함을 드러냅니다. 도움이 되는 디지털 어시스턴트와 악성 스크래퍼를 구분할 수 없다면, 무엇이 합법적인 웹 트래픽을 구성하는지에 대한 결정을 내려서는 안 될 것입니다.

이러한 과도한 차단은 모두에게 피해를 줍니다. AI를 사용하여 의학적 상태를 조사하거나 제품 리뷰를 비교하거나 여러 소스에서 뉴스를 확인하는 사람을 생각해 보십시오. 그들의 어시스턴트가 "악성 봇"으로 차단되면, 그들은 가치 있는 정보에 대한 접근 권한을 잃게 됩니다.

그 결과, 귀하의 접근 방식이 필요에 의해서가 아니라 선택한 도구가 인프라 관리자의 승인을 받았는지 여부에 따라 결정되는 이중 계층 인터넷이 만들어집니다. 이는 사용자 선택권을 약화시키고 기존 대기업과 경쟁하는 혁신적인 서비스를 위한 개방형 웹의 접근성을 위협합니다.

AI 어시스턴트는 인간 어시스턴트와 동일하게 작동합니다. 귀하가 최신 정보가 필요한 질문을 하면 AI 어시스턴트는 정답을 미리 알고 있는 것이 아닙니다. 그들은 귀하가 요청한 작업을 완료하기 위해 정보를 찾아봅니다.

Perplexity 및 모든 에이전트 기반 AI 플랫폼에서 이 과정은 귀하의 요청에 따라 실시간으로 발생하며, 정보는 귀하의 질문에 답하기 위해 즉시 사용됩니다. 이는 거대한 데이터베이스에 미래의 사용을 위해 저장되지 않으며, AI 모델 학습에 사용되지 않습니다.

사용자 주도 에이전트는 사용자가 특정 요청을 할 때만 행동하며, 그 요청을 이행하는 데 필요한 콘텐츠만 가져옵니다. 이것이 사용자 에이전트와 봇의 근본적인 차이입니다.

최근 Cloudflare의 블로그 게시물은 현대 AI 어시스턴트의 실제 작동 방식에 대해 거의 모든 것을 잘못 파악하고 있었습니다.

Cloudflare는 2,000만~2,500만 건의 사용자 에이전트 요청이 스크래퍼가 아니라는 점을 오해했을 뿐만 아니라, Perplexity가 웹사이트 제한을 우회하기 위해 숨겨진 봇과 가장 전술을 사용하여 "스텔스 크롤링"을 수행하고 있다고 주장했습니다. 그러나 기술적 사실은 다른 이야기를 합니다.

Cloudflare가 Perplexity를 BrowserBase(Perplexity가 고도로 전문화된 작업에만 가끔 사용하는 제3자 클라우드 브라우저 서비스, 일일 요청 수 45,000건 미만)로부터 발생하는 300만~600만 건의 일일 비관련 트래픽과 혼동한 것으로 보입니다.

Cloudflare가 자사의 방법론을 편리하게 모호하게 만들고 우리 팀이 이해하는 데 도움이 될 질문에 답변하기를 거부했기 때문에, 우리는 이를 두 가지 가능한 설명으로만 압축할 수 있습니다.

Cloudflare는 영리한 홍보의 순간이 필요했고, 그들의 고객인 우리가 그것을 얻기 위한 유용한 이름이었던 것입니다.

Cloudflare는 BrowserBase의 자동화된 브라우저 서비스에서 발생하는 일일 300만~600만 건의 요청을 Perplexity의 것으로 근본적으로 잘못 귀속시켰습니다. 이는 웹 트래픽을 이해하고 분류하는 것을 핵심 사업으로 하는 기업에게 특히 당혹스러운 기본적인 트래픽 분석 실패입니다.

어떤 설명이 진실이든, Cloudflare 분석의 기술적 오류는 당혹스러운 수준을 넘어 자격 미달입니다. 수백만 건의 요청을 잘못 귀속시키고, 완전히 부정확한 기술 다이어그램을 게시하며, 현대 AI 어시스턴트의 작동 방식에 대한 근본적인 오해를 입증했다면, 이 스페이스에서 전문성에 대한 모든 권리를 상실한 것입니다.

이 문제에 대한 과장된 반응은 Cloudflare의 리더십이 AI의 기본 사항에 대해 위험할 정도로 잘못 알고 있거나, 단순히 클라우드보다는 허세가 더 많다는 것을 보여줍니다. 이는 Cloudflare의 고객들이 모든 유형의 기업을 포함하고 있으며, 사이비 홍보 수단에 인프라를 맡길 여유가 없는 기업들이기 때문에 중요합니다.

더욱 당혹스러운 점은 Cloudflare가 "Perplexity의 크롤링 워크플로우"라고 주장하는 기술 다이어그램을 게시했지만, 이는 Perplexity의 실제 작동 방식과 아무런 관련이 없다는 것입니다. Cloudflare가 정말로 그들이 보고 있는 데이터, 우리 시스템의 작동 방식, 또는 위에 설명된 근본적인 개념을 이해하는 데 관심이 있었다면, 우리가 모든 Perplexity 사용자에게 권장하는 대로 할 수 있었습니다. 그냥 질문하는 것입니다.

디지털 어시스턴트의 부상

이 구분이 중요한 이유

명확성을 위한 요구: 사용자 에이전트는 실제로 어떻게 작동하는가

Cloudflare에 대한 직접적인 대응: 역량의 문제