Hva betyr et langt kontekstvindu for en AI-modell, som Gemini?
Hvis du er kjent med AI-modeller og chatbots, har du sannsynligvis hørt begrepet "kontekst" brukt annerledes enn det du er vant til. Her er hva det betyr.
Google kunngjorde nettopp at de oppgraderer Gemini Advanced-tjenesten med en kontekstmodell på én million, snart til to millioner.
Tenk deg å overstadig se en TV-serie, men du kan bare huske én episode om gangen. Når du går videre til neste episode, glemmer du umiddelbart alt du nettopp har sett. Tenk deg nå at du kan huske hver episode og hver sesong du har sett fra det TV-programmet; dette vil tillate deg å forstå historien, karakterene og vendinger.
Når man diskuterer kunstig intelligens (AI)-modeller, representerer evnen til å huske bare én episode om gangen og bli tvunget til å glemme den når man går til neste episode et kort kontekstvindu. Å huske alle episodene i en serie representerer en AI-modell med en stor kontekst - eller et langt kontekstvindu.
I et nøtteskall betyr et langt kontekstvindu at modellen kan huske mye informasjon på en gang.
Å vite hva konteksten representerer i AI er nødvendig for å lære mer om et langt kontekstvindu og hvordan det påvirker en robots eller andre systems ytelse.
AI-systemer som ChatGPT, Gemini chatbot og Microsoft Copilot er bygget på AI-modeller, i dette tilfellet henholdsvis GPT-3.5, Gemini og GPT-4. Disse modellene fungerer i hovedsak som systemenes hjerner, holder kunnskapen, husker informasjon i en samtale og svarer riktig på brukernes spørsmål.
Kontekst i AI refererer til informasjon som gir mening og relevans til gjeldende data AI behandler. Det er informasjonen modellen vurderer når den bestemmer eller genererer et svar.
Kontekst måles i tokens, og kontekstvinduet representerer det maksimale antallet tokens modellen kan vurdere eller håndtere samtidig. Hvert token representerer et ord eller en del av et ord, avhengig av språket. På engelsk pleier ett token å representere ett ord, så en AI-modell som GPT-4 med et 16 000 (16k) tokenvindu kan håndtere omtrent 12 000 ord.
Tokeniseringsmetoder -- det vil si hvordan ord telles og oversettes til tokens -- varierer avhengig av systemet. Her er et eksempel på hvordan en tokeniseringsmetode kan se ut:
| Example phrase | The quick brown fox jumps over the lazy dog. | Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed. |
| Token breakdown | "The", "quick", "brown", "fox", "jumps", "over", "the", "lazy", "dog", "." | "Lorem", "ipsum", "dolor", "sit", "amet", ",", "consectetur", "adipiscing", "elit", ",", "sed", "." |
| Word count | 9 words | 9 words |
| Token count | 10 tokens | 12 tokens |
En AI-chatbot som kan håndtere omtrent 12 000 ord kan oppsummere en artikkel på 3000 ord eller 5000 ord forskningsoppgave og deretter svare på oppfølgingsspørsmål uten å glemme hva som sto i dokumentet brukeren delte. Tokens fra tidligere meldinger vurderes gjennom samtaler, og gir bot-konteksten for det som diskuteres.
Derfor, hvis en samtale holder seg innenfor token-grensen, kan AI-chatboten opprettholde hele konteksten. Men hvis den overskrider token-grensen, vil de tidligste tokenene sannsynligvis bli ignorert eller tapt for å holde seg innenfor vinduet, så boten vil potensielt miste litt kontekst.
Dette er grunnen til at Google stolt annonserer Gemini 1.5 Pros store kontekstvindu på én million tokens. Ifølge Googles administrerende direktør Sundar Pichai betyr en million tokens at dens Gemini Advanced chatbot kan behandle over 30 000 linjer med kode, PDF-er på opptil 1500 sider eller 96 Cheesecake Factory-menyer.