For første gang i internettets historie surfer kunstig intelligens mer enn oss. Onsdag 3. juni 2026 viste Cloudflares trafikkpanel at 57,5 prosent av alle HTML-forespørsler globalt kom fra bots, mot 42,5 prosent fra mennesker. Kilde: Cloudflare Radar-panelet «Bot vs. Human Worldwide».
Cloudflares administrerende direktør Matthew Prince kommenterte på X: «Welp, that happened faster than I predicted. Thought it would be end of 2027, then early 2027, but agentic traffic growing so fast that bots have now passed human traffic online for the first time in the Internet's history.» Crossover skjedde rundt 18 måneder tidligere enn han spådde. I et oppfølgingsinnlegg konstaterte han at vi er «clearly on the other side now».
Hva menes egentlig med «agentic AI-bots»?
Agentic AI-bots er systemer som surfer på vegne av en bruker. AIKI bygger Autonome AI-agenter på samme tankesett, men for interne arbeidsflyter i stedet for ekstern surfing. De leser produktsider, sjekker priser, sammenligner flybilletter, henter kildemateriale til et svar i en AI-chatbot, eller skraper innhold for modelltrening. Eksempler er ChatGPT-søk, Perplexity-søk, Claude-søk og Gemini-søk med «browse».
Før agentic AI tok av, var weben ifølge Prince dominert av «bare 20 % bot-trafikk». Veksten kommer altså fra den nye kategorien, ikke fra de tradisjonelle søkerobotene. Forskjellen er praktisk: en vanlig søkerobot henter én side, indekserer den og går videre. En agentisk bot kan åpne hundre sider i ett oppdrag for å svare en bruker.
Hvilke AI-crawlere dominerer nå?
Mai 2026-tallene fra Web Search API og Technology Checker viser et crawler-marked i rask endring. Googlebot inkludert Google-Extended står for 27,1 prosent av AI-crawler-trafikken, men faller fra 29,6 prosent i april. GPTBot og OAI-SearchBot er tilbake som nummer tre. Bytespider fra ByteDance vokste 61 prosent i mai, passerte både ClaudeBot og Applebot-Extended, og ignorerer ofte robots.txt. Trenings-crawl utgjør 51,8 prosent av AI-crawler-trafikken, søk-crawl 9,6 prosent. Bare 11,9 prosent er søk- eller handlingsorientert.
Hva betyr dette for norske bedrifter?
Effekten treffer ulikt. En norsk nettbutikk med tynt hosting-lag kan få besøk av en aggressiv crawler som laster ned titusenvis av sider på kort tid. Ifølge Tencent Cloud kan ukontrollerte crawlere gi 1 000 til 10 000 dollar i måneden i ekstra serverkostnad. For en liten norsk nettbutikk er det nok til å knekke margen.
For en B2B-tjenesteleverandør er problemet sjelden rå serverkostnad. Det er synlighet. Hvis kundene søker råd i ChatGPT eller Perplexity, og svarene bygger på konkurrentenes innhold fordi du har blokkert både søk- og trenings-crawl, forsvinner du fra svaret. Mange norske B2B-bedrifter ser at henvisningstrafikken fra Google faller, mens trafikk fra AI-søk vokser. Da gjelder det å være crawlable, strukturert og spesifikk. Bransjen kaller det AEO, Answer Engine Optimization. Vi har samlet guiden vår for AI-automatisering i SMB for å komme i gang.
Norske lokalmedier og innholds-SMB lever av CPM, abonnement og affiliate. Hver AI-agent som besøker 5 000 sider for en oppgave, gir null menneskelige impresjoner. Den globale annonseøkonomien er under press, og norske utgivere bør følge med på lisens-diskusjonene som pågår i Norden.
For en bookingside (frisør, tannlege, håndverker, aktivitetsarrangør) er bildet mer nyansert. Trenings-crawlere er sjeldne, men agentiske søk som PerplexityBot kan hente hele tilbudsmenyen og prisene for å sammenligne med konkurrenter. Det er som regel positivt, men krever at tilbudet ditt er riktig presentert.
Hvilke konkrete tiltak kan SMB-eiere gjøre nå?
Fire grep de fleste norske SMB kan gjøre denne uken, uten å skifte hosting-leverandør.
1. Slå på Cloudflares gratis AI Crawl Control. Verktøyet ligger i dashbordet. Du kan skille mellom AI Search (ofte ønsket), AI Assistant (brukerstyrt hjelp) og AI Crawler for trening (bør blokkeres eller avtales).
2. Oppdater robots.txt med tydelige regler. Legg inn User-agent for kjente crawlere og spesifiser hva som tillates. Bytespider ignorerer robots.txt i mange tilfeller, så dette er første linje, ikke siste.
3. Mål AI-trafikken i egne logger. Filtrer serverlogger eller analyseverktøy på User-Agent-strenger som GPTBot, ClaudeBot, PerplexityBot, Bytespider, Google-Extended og Applebot-Extended. Nyttige verktøy finner du i verktøy-katalogen vår.
4. Vurder Pay Per Crawl når betaen åpner. Minstepris er 0,01 dollar per crawl, men løsningen er fortsatt invitasjonsbeta. Stack Overflow er blant partnerne. For norske SMB er inntekten foreløpig liten, men verdien ligger i å ha en forhandlings-chip.
Siden 1. juli 2025 har Cloudflare på forespørsel fra nettstedeiere blokkert 416 milliarder AI-forespørsler, ifølge Princes WIRED-intervju. Det er hverdagen, ikke et hjørnetall.
Hva sier dette om forretningsmodellen på weben?
Prince har sagt det kort: «Clearly it's going to be pay to crawl.» (The Decoder, 4. juni 2026). I WIRED utdypet han: «The business model of the internet is about to change dramatically.» For norske SMB betyr det at innhold på nettstedet ditt har en verdi uavhengig av klikk. Skrapt innhold brukes til å trene modeller som selges videre, og det er rimelig å forhandle om vilkår via Pay Per Crawl, lisensavtaler eller blokkering. Trenger du hjelp til å vurdere hva som er riktig for din virksomhet, kan du starte med guiden for å velge riktig AI-byrå i 2026. I Norge gir åndsverkloven, med endringene fra EUs opphavsrettsdirektiv (DSM-direktivet art. 4(3)), en ekstra dimensjon: opphavsrettsbeskyttet innhold som brukes til AI-trening krever samtykke eller lisens.
Ofte stilte spørsmål om AI-agenter og Cloudflare
Bør jeg blokkere Google-Extended? Bare hvis du er komfortabel med å miste Google AI Overviews-synlighet. Google-Extended er Googles eget signal for trenings-crawl, adskilt fra vanlig Googlebot-søk. Du kan blokkere trening og beholde søk.
Hva med OpenAIs nye crawlers? OpenAI tilbyr i dag både GPTBot (trening) og OAI-SearchBot (søk). De kan styres hver for seg. Etter at Cloudflare presset flere crawlere over på Pay Per Crawl, har GPTBot kommet tilbake som nummer tre på trafikklisten.
Er dette bare et amerikansk fenomen? Nei. Nord-Amerika aggregert ligger på 68,6 prosent bot, mens Singapore og Iran er over 76 prosent. Norske tall er lavere, men trenden er den samme.
Trenger du hjelp med å kartlegge AI-trafikken?
En AI-revisjon fra AIKI kartlegger AI-trafikken på nettstedet ditt, vurderer hva som bør blokkeres og hva som kan gi ny synlighet. For bedrifter som vil videre fra kartlegging til handling, finnes AI Kickstart og en AI Partner-avtale for løpende drift. Ta kontakt på hei@aiki.as for en uforpliktende samtale.
