Koliko energije troši AI prompt?
Korisnici DentroChat, našeg EU AI asistenta, ponekad nas pitaju koliko struje ide na njihove poruke. Razumno pitanje. Rado bismo ti u produktu pokazali brojku, ali tvrtke koje pokreću modele u oblaku uglavnom još ne objavljuju energiju po pojedinačnom zahtjevu. Zato smo se što bolje približili koristeći javna istraživanja.
Ovo nisu laboratorijska mjerenja DentroChata. Prošli smo studije koje smo našli, usporedili ih međusobno, a brojke dolje su gdje se slažu. Ako imaš bolji izvor, javi nam.
Struja za običan prompt
Tipičan prompt: postaviš pitanje, model vrati odgovor u nekoliko stotina tokena. Token je dio riječi ili cijela riječ ako je kratka.
Google je to izmjerio. U svibnju 2025. medijan tekstualnog prompta u Gemini aplikacijama bio je 0,24 Wh. Uključuje čip i hlađenje cijele hale u datacentru. Google je za medijan prompta izračunao 0,03 g CO2 (uz Googleov električni mix).
Epoch AI procijenio je tipičan odgovor u ChatGPT-u u veljači 2025. na oko 0,3 Wh, za otprilike 500 tokena odgovora. Sami kažu da je procjena malo visoka.
Rad u Jouleu iz travnja 2026. Podaci iz implementacija iz 2025. Medijan za veliki model je 0,31 Wh. Sam Altman je napisao u lipnju 2025. da je prosječan upit u ChatGPT-u ~0,34 Wh.
Za tipičan prompt rekli bismo 0,3 Wh. Mjerenje i procjene izlaze otprilike jednako.
Struja za duži prompt
Dug dokument je više posla jer se puno mora pročitati.
Epoch AI procijenio je da oko 10k tokena ulaza vodi do oko 2,5 Wh za takav upit. Da bude jasno koliko su to riječi, brojali smo tokene na vlastitim stranicama. Brojke ovdje koriste GPT 4o tokenizer: oko 7700 engleskih riječi i oko 5800 njemačkih, dakle dug članak ili chat s puno poruka. Dolje smo iste stranice proveli kroz još pet tokenizera, a tablica pokazuje koliko su daleko od GPT 4o.
Jegham et al. napravili su vlastitu procjenu za prompt 10k ulaz, 1500 izlaz. Izašlo je između ~1,4 i 2,9 Wh ovisno o modelu. Sličan red veličine kao kod Epoch AI.
Ako model dugo razmišlja i piše tisuće tokena prije nego se odgovor pojavi, troši se više struje. U Joule radu odgovor od oko 5k tokena je ~4 Wh. To je odgovor u „reasoning“ stilu gdje model puno računa.
Evo svega u jednoj tablici. Riječ je o velikim modelima poput GPT 4o i Geminija:
| Vrsta prompta | Tokeni, otprilike | Struja | Izvor |
|---|---|---|---|
| Običan prompt | kratko pitanje, nekoliko stotina tokena natrag | ~0,3 Wh | Google, Epoch AI, Joule, Altman |
| Dug dokument | ~10k ulaz, 500–1500 izlaz | ~2,5 Wh (1,4–2,9) | Epoch AI, Jegham et al. |
| Reasoning odgovor | ~5k izlaz | ~4 Wh | Joule |
Ukratko: običan prompt troši oko 0,3 Wh. Dug dokument od oko 10k tokena oko 2,5 Wh, negdje između 1,4 i 2,9 ovisno o modelu. Dug reasoning odgovor od oko 5k tokena oko 4 Wh.
CO2 ovisi o mreži
Struja za isti model otprilike je ista gdje god stoje serveri. CO2 ovisi o lokalnoj električnoj mreži.
Uzeli smo brojke Embera za 2025., vidljive u „Our World in Data“. To su vrijednosti životnog ciklusa: uključuju lanac opskrbe energijom povrh emisija elektrane. Mjereno u gramima CO2 ekvivalenta po kilovat-satu.
Pomnožili smo to s naše dvije brojke: 0,3 Wh za običan prompt i 2,5 Wh za dug dokument:
| Mreža | g CO2e po kWh | Običan prompt | Dug dokument |
|---|---|---|---|
| Norveška | 28 | 0,01 g | 0,07 g |
| Švedska | 35 | 0,01 g | 0,09 g |
| Francuska | 41 | 0,01 g | 0,10 g |
| Finska | 57 | 0,02 g | 0,14 g |
| Danska | 114 | 0,03 g | 0,29 g |
| Austrija | 117 | 0,04 g | 0,29 g |
| Španjolska | 154 | 0,05 g | 0,38 g |
| EU prosjek | 210 | 0,06 g | 0,53 g |
| Nizozemska | 254 | 0,08 g | 0,63 g |
| Italija | 285 | 0,09 g | 0,71 g |
| Estonija | 319 | 0,10 g | 0,80 g |
| Njemačka | 330 | 0,10 g | 0,82 g |
| Sjedinjene Države | 384 | 0,12 g | 0,96 g |
| Poljska | 589 | 0,18 g | 1,47 g |
Ukratko: u Švedskoj (35 g po kWh) i Francuskoj (41 g) običan prompt je oko 0,01 g CO2, a dug dokument oko 0,1 g. Na EU prosjeku (210 g) to je 0,06 g odnosno oko 0,5 g. U Njemačkoj (330 g) oko 0,1 g odnosno oko 0,8 g. Poljska ima najvišu vrijednost u tablici, 589 g, pa je običan prompt oko 0,18 g, a dug dokument oko 1,5 g. SAD su u tablici jer puno ChatGPT brojki dolazi odatle. Na 384 g to je oko 0,12 g za običan prompt i oko 1 g za dug dokument.
U Njemačkoj, agencija za okoliš kaže slično za 2025.: 344 g CO2 iz proizvodnje i 406 g CO2 ekvivalenta s lancem opskrbe. Electricity Maps navode stvarnu potrošnju struje ljudi u Njemačkoj na 335 g u 2025. Pojedine sate mogu biti od ~100 g do ~600 g.
A DentroChat?
Do sada su sve brojke bile za velike modele poput GPT 4o. Epoch je pretpostavljao oko 100 milijardi parametara po tokenu, ali DentroChat često koristi manje modele. To su „mixture of experts“ modeli: model je velik, ali samo mali dio radi po tokenu. DeepSeek V4 Flash koristi oko 13 milijardi parametara po tokenu, GLM 5.3 Flash oko 18 milijardi, a Qwen 3.8 Flash Next oko 6 milijardi.
Manje aktivnih parametara znači manje struje po tokenu i manje CO2 po tokenu. ML.ENERGY ljestvica to je mjerila na svojim GPU-ima. Qwen model s 22 milijarde aktivnih parametara trebao je oko 0,12 Wh po 1000 napisanih tokena. DeepSeek V3.1 s 37 milijardi oko 0,37 Wh. To su samo grafičke kartice, pa smo dodali hlađenje i ostatak servera. Naši modeli su manji od oba, pa naša procjena:
| Po 1000 tokena | Aktivni parametri po tokenu | Napisano | Pročitano, svježe | Pročitano, u cacheu | CO2 za 1000 napisanih, EU prosjek |
|---|---|---|---|---|---|
| GPT 4o (Epoch pretpostavka) | ~100 mlrd | ~0,6 Wh | ~0,2 Wh | ~0,13 g | |
| DentroChat modeli (naša procjena) | 6–18 mlrd | 0,05–0,4 Wh | 0,01–0,07 Wh | 0,001–0,007 Wh | 0,01–0,08 g |
Ukratko: za GPT 4o, Epochove brojke daju oko 0,6 Wh na svakih 1000 tokena koje model napiše i oko 0,2 na svakih 1000 koje pročita. Za modele u DentroChatu procjenjujemo 0,05–0,4 Wh po 1000 napisanih i 0,01–0,07 po 1000 pročitanih. Ako je tekst pročitan prije nekoliko minuta, u cacheu je i košta otprilike desetinu toga. Na prosječnoj EU mreži, 1000 napisanih tokena je oko 0,13 g CO2 za GPT 4o i 0,01–0,08 g za naše modele.
Ali naši promptovi su veći od „običnog prompta“ u studijama. Svaka poruka modelu šalje upute i opise alata, to je već oko 3k tokena. Osim toga dolaze tvoja memorija, dosadašnji chat te datoteke ili rezultati web pretrage. Kad model koristi alat, sve to čita opet. Na primjer, prvo odluči pretražiti web, pa pročita cijeli chat zajedno s rezultatima da napiše odgovor. Jedna tvoja poruka može značiti nekoliko pokretanja modela.
Sve brojke u tablici dolje odnose se na jednu poruku koju pošalješ. Ako je jedna poruka pokrenula model više puta, zbrojili smo ta pokretanja u jedan red.
Pogledali smo dakle vlastite logove korištenja i brojali tokene (ono što pišeš, naravno, ne čitamo). Tablica koristi 606 promptova s jednog dana u listopadu 2026. Provjerili smo i 21.700 promptova iz prethodnih 30 dana, medijan je bio vrlo sličan:
| DentroChat prompt | Pročitano | od toga u cacheu | Napisano | Struja (naša procjena) | CO2, EU prosjek | CO2, Njemačka |
|---|---|---|---|---|---|---|
| Medijan | ~41k | ~30k | ~900 | 0,2–1,3 Wh | 0,04–0,3 g | 0,06–0,4 g |
| Gornjih 10% | ~131k | ~66k | ~4600 | 1–7 Wh | 0,2–1,4 g | 0,3–2,3 g |
Ukratko: medijan DentroChat prompta pročita oko 41k tokena, od toga oko 30k u cacheu jer su poslani nekoliko minuta ranije. Napiše oko 900 tokena. Procjenjujemo to na 0,2–1,3 Wh, odnosno oko 0,04–0,3 g CO2 na prosječnoj EU mreži i 0,06–0,4 g u Njemačkoj. Gornjih 10% pročita 131k tokena ili više i napiše 4600 ili više. To je oko 1–7 Wh, odnosno 0,2–1,4 g CO2 na EU prosjeku i 0,3–2,3 g u Njemačkoj.
Za red „Gornjih 10%“ uzeli smo liniju za svaki stupac posebno. Pravi prompt rijetko pogodi sve odjednom, pa je red namjerno na teškoj strani.
Ima i posla u pozadini, poput ažuriranja memorije i sažimanja dugih chatova. Ponekad je model prespor i na pola prebacimo se na rezervni. Ta pokretanja nisu u tablici. Raširena na sve promptove, prosječni prompt pročita oko 76k tokena (50k u cacheu) i napiše oko 2k. To je oko 0,4–3 Wh.
Dakle DentroChat prompt pročita puno više nego običan prompt iz studija. Svaki token je jeftiniji. Medijan (0,2–1,3 Wh) na dnu je blizu 0,3 Wh velikih modela, a na vrhu oko polovice njihovog dugog dokumenta (2,5 Wh).
Usporedba: čajnik i kratka vožnja
Treba otprilike 100 Wh topline da litra vode s pipe dovedeš do ključanja. Dio ne uđe u vodu, pa je na utičnici više poput 110–125 Wh.
Medijan DentroChat prompta mali je dio toga. Koristimo gornju granicu naše procjene, 1,3 Wh, da usporedba ostane na teškoj strani. Takvim tempom treba ti oko 90 DentroChat promptova za litru.
Za auto uzimamo prosjek za nova vozila 2025. od Europske agencije za okoliš: 96,7 g CO2 po km u laboratorijskim testovima. Prosjek uključuje i električna vozila koja se računaju kao nula ispuha, pa benzinci na cesti troše malo više.
Za svaki kilometar u takvom prosječnom novom autu u Njemačkoj možeš poslati oko 240 medijan promptova DentroChat-a. Opet gornja granica: 0,4 g CO2 po promptu. Na prosječnoj EU mreži isti prompt je 0,3 g CO2, dakle oko 320 promptova po kilometru.
Jezik utječe na broj tokena
Različiti jezici istu stranicu dijele na različit broj tokena. Proveli smo vlastite članke kroz tokenizere za svih 17 jezika koje DentroChat podržava.
Koristili smo 22 blog posta koji postoje na svakom jeziku, dakle isti tekst svaki put. Glavni broj dolazi od GPT 4o tokenizera. Raspon je minimum i maksimum kroz šest tokenizera (GPT 4o, GPT 4, Mistral, Llama 3, Qwen 2.5 i DeepSeek V3).
| Jezik | Tokena po riječi | Raspon | Riječi u 10k tokena |
|---|---|---|---|
| engleski | 1,3 | 1,3–1,4 | ~7700 |
| španjolski | 1,4 | 1,4–1,7 | ~7200 |
| portugalski | 1,4 | 1,4–1,7 | ~7000 |
| francuski | 1,4 | 1,4–1,7 | ~6900 |
| nizozemski | 1,6 | 1,6–2,1 | ~6300 |
| talijanski | 1,7 | 1,7–1,9 | ~6000 |
| njemački | 1,7 | 1,7–2,1 | ~5800 |
| norveški | 1,9 | 1,9–2,2 | ~5400 |
| švedski | 1,9 | 1,9–2,3 | ~5300 |
| danski | 1,9 | 1,9–2,3 | ~5300 |
| rumunjski | 1,9 | 1,9–2,2 | ~5300 |
| hrvatski | 2,1 | 2,1–2,6 | ~4800 |
| poljski | 2,2 | 2,2–2,6 | ~4500 |
| grčki | 2,4 | 2,4–5,9 | ~4200 |
| estonski | 2,5 | 2,5–3,1 | ~4000 |
| mađarski | 2,6 | 2,5–3,1 | ~3900 |
| finski | 2,8 | 2,8–3,5 | ~3600 |
Ukratko: na GPT 4o tokenizeru engleski je oko 1,3 tokena po riječi, pa je 10k tokena oko 7700 engleskih riječi. Španjolski, portugalski i francuski su blizu, oko 1,4. Nizozemski oko 1,6, njemački i talijanski oko 1,7, pa u 10k tokena stane oko 5800 njemačkih riječi. Nordijski jezici osim finske oko 1,9. Estonski oko 2,5, finski najviše, oko 2,8, pa u 10k tokena stane samo oko 3600 finskih riječi.
Često se kaže da je njemačka riječ 3 tokena. Na modernim tokenizerima mjerimo više poput 2. Grčki ima veliki raspon jer stariji tokenizatori loše rukuju grčkim alfabetom.
Finski dokument iste duljine stoga troši više tokena, a time i više struje. Grami CO2 po Wh s mreže gore ostaju isti.
Što nismo pokrili
Ovdje je struja za jedan odgovor na jednu poruku.
Trening modela obavljen je ranije, jednom, i dijele ga svi koji ga koriste. Dodijeliti trošak treninga tvom promptu bilo bi nagađanje, pa smo to izostavili.
Tu je i trošak proizvodnje grafičkih kartica. Nvidijin pregled za jednu H100 ploču: 1312 kg CO2 ekvivalenta za 8 GPU. To je za nekoliko godina rada. Po promptu pada samo mali dio, daleko ispod 1 g. Na čistoj mreži poput Švedske taj dio može približiti se CO2-u same struje. Na njemačkoj mreži struja je puno veća.
Tu je i voda. Viralna tvrdnja da AI popije bocu vode dolazi iz procjene iz 2023. za GPT 3: oko 500 ml za 20–50 odgovora, u vrućim američkim datacentrima s hlađenjem isparavanjem. Google je izmjerio 0,26 ml za medijan Gemini tekstualnog prompta (~pet kapi). Mnoga europska datacentra hlađe vanjskim zrakom i gotovo ne troše vodu!! To uključuje Hetzner u Njemačkoj, gdje je hostiran DentroChat, i švedska datacentra gdje dio naših modela radi. Više u Troši li UI vodu? Mit ili ne, ako koristiš EU infrastrukturu i detaljnije u Potrošnja vode umjetne inteligencije: Zašto su viralni brojevi obmanjujući.
Tu je i praktična stvar. Ako si u istom chatu, dug dokument obično ostane u memoriji nekoliko minuta. Sljedeća poruka uglavnom obrađuje novi tekst. OpenAI i Anthropic opisuju cache koji istječe nakon oko 5–10 minuta neaktivnosti. To je stupac „u cacheu“ u našoj DentroChat tablici. Pomaže i kad model više puta radi za jednu poruku, jer drugo pokretanje može ponovno upotrijebiti ono što je prvo već pročitalo.
I dalje bismo ti u DentroChat, najboljem EU AI Chatu, rado pokazali pravi broj wat-sati po poruci. Za to bi nam pružatelji modela morali reći energiju svakog zahtjeva, a većina to još ne radi.
Do tada, ovo je naša najbolja aproksimacija. Na velikim modelima poput GPT 4o običan prompt troši oko 0,3 Wh, a dug dokument oko 2,5. Medijan DentroChat prompta na našim manjim modelima troši oko 0,2–1,3 Wh. Na prosječnoj EU mreži to je najviše oko 0,3 g CO2.