Agenter eller boter? Å forstå KI på det åpne nettet

Ettersom internettet utvikler seg, gjør også måtene vi får tilgang til og samhandler med informasjon på det. I de tidligste dagene av nettet spilte automatiserte boter en enkel, godt forstått rolle: å indeksere nettsteder for søk, sjekke lenker eller skrape data i henhold til klare regler satt av nettstedets eiere.

Men med fremveksten av KI-drevne assistenter og brukerdrevne agenter har grensen mellom hva som regnes som "bare en bot" og hva som tjener de umiddelbare behovene til ekte mennesker, blitt stadig mer utvisket.

Fremveksten av digitale assistenter

Moderne KI-assistenter fungerer fundamentalt annerledes enn tradisjonell nettlesing. Når du stiller Perplexity et spørsmål som krever aktuell informasjon – la oss si: "Hva er de siste anmeldelsene for den nye restauranten?" – har ikke KI-en denne informasjonen liggende i en database et sted. I stedet oppsøker den de relevante nettstedene, leser innholdet og returnerer et sammendrag skreddersydd for ditt spesifikke spørsmål.

Dette er fundamentalt forskjellig fra tradisjonell nettkryptering, der roboter systematisk besøker millioner av sider for å bygge massive databaser, enten noen har bedt om den spesifikke informasjonen eller ikke. Brukerdrevne agenter, derimot, henter bare innhold når en ekte person ber om noe spesifikt, og de bruker det innholdet umiddelbart til å svare på brukerens spørsmål. Perplexitys brukerdrevne agenter lagrer ikke informasjonen eller trener med den.

Hvorfor denne forskjellen betyr noe

Forskjellen mellom automatisert nettkryptering og brukerdrevet henting er ikke bare teknisk – den handler om hvem som får tilgang til informasjon på det åpne nettet. Når Googles søkemotor krypterer for å bygge indeksen sin, er det annerledes enn når den henter en nettside fordi du ba om en forhåndsvisning. Googles "brukerutløste hentetjenester" prioriterer din opplevelse fremfor robots.txt-restriksjoner fordi disse forespørslene skjer på dine vegne.

Det samme gjelder for KI-assistenter. Når Perplexity henter en nettside, skyldes det at du stilte et spesifikt spørsmål som krever aktuell informasjon. Innholdet lagres ikke for trening – det brukes umiddelbart til å svare på spørsmålet ditt.

Når selskaper som Cloudflare feilaktig fremstiller brukerdrevne KI-assistenter som skadelige boter, argumenterer de for at ethvert automatisert verktøy som betjener brukere, bør mistenkes – et standpunkt som ville kriminalisere e-postklienter og nettlesere, eller en hvilken som helst annen tjeneste en potensiell vokter bestemmer seg for at de ikke liker.

Denne kontroversen viser at Cloudflares systemer er fundamentalt utilstrekkelige til å skille mellom legitime KI-assistenter og faktiske trusler. Hvis du ikke klarer å skille en nyttig digital assistent fra en skadelig skraper, bør du sannsynligvis ikke ta avgjørelser om hva som utgjør legitim nettrafikk.

Denne overblokkeringen rammer alle. Tenk på noen som bruker KI til å utforske medisinske tilstander, sammenligne produktanmeldelser eller få tilgang til nyheter fra flere kilder. Hvis assistenten deres blir blokkert som en "skadelig bot", mister de tilgangen til verdifull informasjon.

Resultatet er et todelt internett der tilgangen din ikke avhenger av dine behov, men av om dine valgte verktøy er velsignet av infrastrukturelementer som bryr seg mer om dine midler. Dette undergraver brukervalg og truer det åpne nettets tilgjengelighet for innovative tjenester som konkurrerer med etablerte giganter.

En oppfordring til klarhet: Hvordan brukeragenter faktisk fungerer

En KI-assistent fungerer akkurat som en menneskelig assistent. Når du stiller en KI-assistent et spørsmål som krever aktuell informasjon, kan den ikke svaret fra før. Den slår det opp for deg for å fullføre oppgaven du har bedt om.

På Perplexity og alle andre agentbaserte KI-plattformer skjer dette i sanntid, som svar på din forespørsel, og informasjonen brukes umiddelbart til å svare på spørsmålet ditt. Den lagres ikke i massive databaser for fremtidig bruk, og den brukes ikke til å trene KI-modeller.

Brukerdrevne agenter handler bare når brukere kommer med spesifikke forespørsler, og de henter bare innholdet som trengs for å oppfylle disse forespørslene. Dette er den fundamental forskjellen mellom en brukeragent og en bot.

Direkte til Cloudflare: Et spørsmål om kompetanse

Cloudflares nyere blogginnlegg klarte å ta feil av nesten alt om hvordan moderne KI-assistenter faktisk fungerer.

I tillegg til å misforstå at 20–25 millioner brukeragentforespørsler ikke er skrapere, hevdet Cloudflare at Perplexity drev med "skjult kryptering", der de brukte skjulte boter og utgir seg for å være andre for å omgå nettstedrestriksjoner. Men de tekniske faktaene forteller en annen historie.

Det ser ut til at Cloudflare har forvekslet Perplexity med 3–6 millioner daglige forespørsler fra uvedkommende trafikk fra BrowserBase, en skytjeneste for nettlesere fra en tredjepart som Perplexity bare bruker unntaksvis til svært spesialiserte oppgaver (mindre enn 45 000 daglige forespørsler).

Fordi Cloudflare beleilig nok har tåkelagt metoden sin og avvist å svare på spørsmål som kan hjelpe teamene våre med å forstå, kan vi bare snevre dette inn til to mulige forklaringsmodeller.

Cloudflare trengte et smart PR-øyeblikk, og vi – deres egen kunde – tilfeldigvis var et nyttig navn for å skaffe dem det.

Cloudflare feiltilskrev fundamentalt 3–6 millioner daglige forespørsler fra BrowserBases automatiserte nettlesertjeneste til Perplexity, en grunnleggende trafikanalysefeil som er spesielt pinlig for et selskap hvis kjernevirksomhet er å forstå og kategorisere nettrafikk.

Uansett hvilken forklaring som er sann, er de tekniske feilene i Cloudflares analyse ikke bare pinlige – de diskvalifiserer dem. Når du feiltilordner millioner av forespørsler, publiserer fullstendig unøyaktige tekniske diagrammer og viser en fundamental misforståelse av hvordan moderne KI-assistenter fungerer, har du forspilt enhver påstand om ekspertise på dette rom.

Denne kontroversen viser at Cloudflares systemer er fundamentalt utilstrekkelige til å skille mellom legitime KI-assistenter og faktiske trusler. Hvis du ikke klarer å skille en nyttig digital assistent fra en skadelig skraper, bør du sannsynligvis ikke ta avgjørelser om hva som utgjør legitim nettrafikk.

Støyen rundt dette problemet viser også at Cloudflares ledelse enten er farlig feilinformert om det grunnleggende ved KI, eller ganske enkelt mer bløff enn sky. Dette er viktig fordi Cloudflares kundebase inkluderer bedrifter av alle typer, selskaper som ikke har råd til å overlate infrastrukturen sin til sjarlatanaktige PR-stunts.

Enda mer pinlig er det at Cloudflare publiserte et teknisk diagram som angivelig skulle vise "Perplexitys krypteringsarbeidsflyt", som ikke har noen likhet med hvordan Perplexity faktisk fungerer. Hvis Cloudflare virkelig var interessert i å forstå dataene de så, hvordan systemene våre fungerer, eller disse fundamentale begrepene som er skissert ovenfor, kunne de ha gjort det vi oppfordrer alle Perplexity-brukere til å gjøre. Bare spør.