Chunken er den nye siden

Siden din blir aldri lest. Ett avsnitt av den blir det.

Når en AI-modell siterer et nettsted, henter den ikke siden slik et menneske ville lest den – fra toppen, gjennom en innledning, ned til konklusjonen. Den henter én chunk: en liten, avgrenset tekstbit, ofte ikke mer enn et avsnitt. Den chunken blir limt inn i et svar, isolert fra alt annet som sto rundt den, og siden din får aldri sjansen til å forklare seg selv i sin helhet.

Det gjør chunken, ikke siden, til den faktiske konkurranseenheten. To sider kan ha identisk godt overordnet innhold og likevel prestere helt forskjellig i AI-søk, hvis den ene er skrevet i biter som gir mening alene, og den andre ikke er det.

Retrieval i korte trekk: embedding, likhet, henting

Mekanikken bak dette kalles retrieval, og den trenger ikke være sjargong for å forstås. Et retrieval-system deler først innholdet på en side opp i chunks. Hver chunk gjøres deretter om til en embedding – en tallvektor som fanger den overordnede meningen i teksten, ikke bare ordene i den. Når noen stiller et spørsmål, gjøres spørsmålet om til den samme typen tallvektor.

Systemet sammenligner så spørsmålets vektor med vektorene til alle chunkene det har lagret, og finner dem som ligger nærmest – altså chunkene som «ligner mest» på det spørsmålet handler om. Det er disse, og bare disse, som hentes inn som grunnlag for svaret. En chunk lenger nede på siden kan bli hentet mens en chunk rett over eller under den ikke blir det, fordi likheten regnes ut per chunk, ikke per side.

Konsekvensen er praktisk, ikke teoretisk: du skriver ikke lenger for en leser som ser hele siden din på én gang. Du skriver for et system som kan komme til å plukke ut akkurat ett avsnitt av den og la resten ligge.

Hva gjør en chunk selvstendig

En chunk som fungerer, kan stå alene uten noe av teksten rundt den. Den har et tydelig subjekt i stedet for et pronomen som «vi» eller «det» (se neste del i serien). Den definerer eller forklarer det den snakker om der og da, i stedet for å vise til «som nevnt tidligere». Og den fullfører tanken sin innenfor sine egne grenser, i stedet for å starte en påstand som først gir mening når neste avsnitt leses ved siden av.

Et enkelt spørsmål avslører svakheten: kopier avsnittet ut av siden og lim det inn et helt annet sted, alene. Gir det fortsatt mening? Hvis svaret krever at leseren husker noe fra lenger opp på siden, gjør det trolig ikke det for et retrieval-system heller.

Overskriftshierarkiet er en chunk-grense, ikke bare design

Mange retrieval-systemer deler opp innhold langs den strukturen som allerede finnes i HTML-en – og overskriftshierarkiet er den tydeligste strukturen en side har. En H2 markerer ofte hvor én chunk slutter og en ny begynner, på samme måte som den markerer et nytt avsnitt for en menneskelig leser. Det gjør overskriften til noe mer enn typografi: den er en literal grense for hva som regnes som samme tekstenhet, og hva som ikke gjør det.

En overskrift som «Litt mer om dette» eller «Andre forhold» gir ingen informasjon om hva som ligger under den, verken til en menneskelig skumleser eller til et system som skal avgjøre om chunken er relevant for et gitt spørsmål. En overskrift formulert som selve spørsmålet eller påstanden den svarer på, gjør derimot dobbelt arbeid: den forteller et menneske hva som følger, og den fungerer som et presist filter for hentingen.

Lange innledninger er dødvekt

«I denne artikkelen skal vi se på …» er en vanlig åpning, og den er nesten alltid bortkastet plass sett fra retrieval-systemets side. Blir nettopp den innledende chunken hentet – noe som skjer oftere enn man skulle tro, siden den ofte er den første, mest generiske teksten på siden – består svaret av en varsling om at et svar kommer, uten selve svaret. For en menneskelig leser er det en mild irritasjon. For en AI-modell som skal bygge en sitering direkte fra chunken, er det en bomtur: ingen påstand å sitere, bare et løfte om én lenger nede.

Regelen som følger av dette, er enkel: la den første setningen i hver seksjon inneholde selve poenget, ikke en varsling om at poenget kommer.

Tabeller, lister og definisjoner: formene som overlever hentingen

Løpende prosa er ikke gal i seg selv, men den skjuler ofte flere separate påstander bak samme avsnitt uten noen synlig grense mellom dem. Strukturerte former unngår det problemet fordi grensen er innebygd i formatet selv. En definisjon («X er Y») er per konstruksjon én selvstendig påstand. Et punkt i en liste under en presis overskrift er avgrenset av selve listeformatet. En tabellrad tar med seg kolonneoverskriften som kontekst, uansett hvor i teksten den siteres fra.

Det betyr ikke at hele siden bør skrives som lister og tabeller – det ville vært like ulesbart som en side full av «vi». Det betyr at der du står med et valg mellom å vikle en påstand inn i et langt avsnitt eller gi den sin egen, tydelige form, er den tydelige formen nesten alltid det sikrere valget for hvordan innholdet overlever å bli hentet ut alene.

Én side, ett spørsmål slår én side, ti spørsmål

En side som prøver å dekke ti beslektede spørsmål på én gang, sprer nødvendigvis signalet for hvert enkelt spørsmål tynnere. Chunken som til slutt hentes for spørsmål nummer syv, konkurrerer da mot en dedikert side som ikke gjør annet enn å svare grundig på akkurat det spørsmålet. Den dedikerte siden vinner oftere, ikke fordi den er «bedre skrevet» i en generell forstand, men fordi hver eneste chunk på den er skrevet med kun ett formål for øye.

Praktisk konsekvens: når en side vokser seg til å dekke stadig flere delspørsmål, er det verdt å vurdere om noen av dem heller fortjener sin egen, smalere side – ikke for å blåse opp sidetallet, men fordi en smalere side produserer skarpere, mer siterbare chunks for nettopp det spørsmålet.

Hvor dette møter det du allerede måler

Hvor godt en gitt side faktisk presterer i AI-siteringer, ikke bare i teori, er noe av det CAVIS-rammeverket til CitationLab er bygget for å måle over tid – på tvers av modeller, ikke bare som et engangsbilde. Chunk-struktur er én av flere strukturelle faktorer som spiller inn i det bildet, ved siden av entitetsklarhet og tekniske forhold som resten av denne serien har dekket.

Selvsjekk: lim inn ett tilfeldig avsnitt, alene

Selvsjekk. Åpne en vilkårlig side på nettstedet ditt, og kopier ut ett tilfeldig avsnitt – ikke det første, ikke det du er mest stolt av, men et helt vanlig avsnitt et sted i midten. Lim det inn alene i et nytt dokument, uten overskriften over det og uten avsnittet før eller etter.

Gir det fortsatt mening? Vet en leser som aldri har sett resten av siden, hva teksten faktisk handler om, og hvem den handler om? Hvis svaret er nei, er det trolig ikke noe galt med innholdet – bare med hvor selvstendig det er skrevet til å stå. Og en chunk som ikke gir mening alene, blir ikke sitert alene.