Halverwege een workshop steekt iemand haar hand op. We zijn net bezig met de leukste oefening van de middag. Ze wijst naar haar scherm. Daar staat, in vriendelijke letters: je hebt je limiet bereikt, probeer het over 3 uur opnieuw.
Wat was er nu gebeurd? De deelneemster was super enthousiast aan de slag gegaan met de AI. Zo probeerde ze hele dashboards in Excel en pdf's te genereren en te itereren in dezelfde chat. Dat werkt tegenwoordig supergoed, maar veel mensen vergeten hun tokenmeter in de gaten te houden.
Steeds meer chatbots hebben zo'n meter. En bijna niemand begrijpt wat hij meet.
Hoe werkt deze tokenmeter?
Als jij een gesprek voert met een chatbot, leest die geen woorden, maar tokens. Tokens zijn de elementen waarmee AI-modellen rekenen. Een token bestaat gemiddeld uit ongeveer vier tekens; "pasta" is dus één token, terwijl "AI-Work-shop" er drie zijn. Zo maakt het model taal behapbaar om mee te rekenen.
Alles telt mee: jouw prompt, het antwoord, het bestand dat je hebt meegestuurd, het redeneren en de instructies die jouw bedrijf vooraf aan het model heeft meegegeven.
Belangrijk om je bewust van te zijn, is dat het model belangrijke informatie uit je gesprek niet onthoudt. Bij elke nieuwe vraag leest het model het hele gesprek opnieuw, inclusief het bestand van tien vragen terug, dat misschien niet eens meer relevant is.
Je eerste vraag kost dus substantieel minder tokens dan je veertigste vraag. Toen ik begin dit jaar overstapte van ChatGPT naar Claude, werd ik voor het eerst geconfronteerd met een tokenlimiet. Tijdens het studeren had ik een hele dag dezelfde chat gebruikt, wat toen de helft van mijn tokens kostte. Toen ik de vorige dag elk uur van chat wisselde, was mijn verbruik veel lager.
Waarom komen deze limieten er nu?
Tot kort geleden hadden nog enkele betaalde modellen een tokenlimiet. Deels omdat de modellen minder complex waren en dus minder tokens gebruikten, maar vooral om marktaandeel te winnen. Het abonnement van €20 dekt lang niet alle kosten die AI-bedrijven per gebruiker hebben. Om marktaandeel te winnen, worden de meeste kosten nu nog door de bedrijven zelf gesubsidieerd.
Het probleem is alleen dat de kosten niet vast zijn: elke vraag die je stelt, kost rekenkracht en dus stroom en koeling. Hoe meer jij het model gebruikt, hoe meer kosten erbij komen kijken. En dat terwijl jij €20 per maand blijft betalen. Forbes rapporteerde afgelopen zomer dat OpenAI werkt met een brutomarge van 33% en dat de consumentenversie de grootste boosdoener is.
Dit is geen houdbaar businessmodel. Zo was Cursor de eerste met een tokenlimiet voor de betaalde versie, en heeft Claude dit al sinds de lancering in 2023. Tegenwoordig hebben bijna alle consumentenmodellen limieten.
Ik denk niet dat limieten iets slechts zijn; ik heb dit liever dan een duurder abonnement of slechtere modellen. Daarnaast word je bewuster van je gebruik, zowel qua kosten als qua energie. Door slim te prompten en een paar simpele gewoontes aan te leren bespaar je veel energie. Een beetje zoals de energiemeter in de meterkast.
Slimme gewoonten om jezelf aan te leren
Nieuwe taak, nieuwe chat: dit is de simpelste en belangrijkste. Naast dat je minder energie gebruikt, krijg je ook betere antwoorden.
Neem tijd voor een goede prompt: dit ligt denk ik het meest voor de hand. Een goede prompt houdt het gesprek kort. Prompts als "maak het korter" en "herformuleer" zijn dan hopelijk minder of niet nodig, wat je een hoop tokens bespaart.
Gebruik niet voor alles het beste model: voor de meeste taken die we aan AI-modellen geven, is het grootste model overkill. Het nieuwste model is niet veel beter in mailtjes beantwoorden of teksten samenvatten dan het model van vorig jaar. Sterker nog, een kleiner model werkt vaak fijner, omdat het een stuk sneller reageert. De vuistregel is dan ook: gebruik het simpelste model dat de taak kan uitvoeren.
Vraag om het format dat je wilt: vaak zoek je in eerste instantie een simpel antwoord, maar krijg je een heel essay. Dat hele essay telt mee, terwijl bulletpoints voldoende waren geweest.
Upload alleen het relevante hoofdstuk: bestanden kosten veel tokens om te verwerken, dus je bespaart veel door alleen het relevante deel te uploaden. Daarnaast heeft het model dan alleen relevante informatie en maakt het minder snel fouten.
