Kui palju energiat kulub tehisintellekti päringule?
Kasutajad DentroChatist, meie EL-i tehisintellekti assistendist, küsivad vahel, kui palju voolu nende sõnumite peale kulub. See on mõistlik küsimus. Näitaks sulle hea meelega tootes numbrit, aga pilvepõhised mudelipakkujad ei anna enamasti veel ühe päringu energiat. Seega tegime parima hinnangu avalike uuringute põhjal.
Need pole DentroChati laborimõõdud. Lugesime leitud uuringud läbi, võrdlesime neid omavahel, ja allpool olevad numbrid on koht, kus need kattuvad. Kui sul on parem allikas, anna teada.
Vool tavalise päringu jaoks
Tüüpiline päring: esitad küsimuse ja mudel annab vastuse mõnesaja tokeni ulatuses. Token on sõna osa või terve lühike sõna.
Google mõõtis seda. Mais 2025 oli Gemini rakenduste mediaan tekstipäring 0,24 Wh. See hõlmab kiipi ja jahutust kogu andmekeskuse saali ulatuses. Google arvutas mediaanpäringu CO2-ks 0,03 g (Google’i elektri mixi järgi).
Epoch AI hindas veebruaris 2025 tüüpilise ChatGPT vastuse umbes 0,3 Wh-le, umbes 500 tokeni vastuse puhul. Nemad ise ütlevad, et hinnang on veidi kõrge.
Joule’i artikkel aprillist 2026. Andmed 2025. aasta juurutustest. Suure mudeli mediaan on 0,31 Wh. Sam Altman kirjutas juunis 2025, et ChatGPT keskmine päring on ~0,34 Wh.
Tüüpilise päringu puhul ütleksime 0,3 Wh. Mõõtmine ja hinnangud tulevad umbes samale.
Vool pikema päringu jaoks
Pikk dokument on rohkem tööd, sest palju tuleb lugeda.
Epoch AI hindas, et umbes 10k sisendtokenit annab sellise päringu jaoks umbes 2,5 Wh. Et näha, mitu sõna see on, loendasime tokeneid oma lehtedel. Siin olevad numbrid kasutavad GPT 4o tokeniseerijat: umbes 7700 inglise sõna ja umbes 5800 saksa sõna, st pikk artikkel või vestlus paljude sõnumitega. Allpool jooksutasime samu lehti läbi veel viie tokeniseerija, ja tabel näitab, kui kaugel need GPT 4o-st on.
Jegham et al. tegid sellise 10k sisse, 1500 välja päringu hinnangu. Tuli ~1,4 kuni 2,9 Wh olenevalt mudelist. Sama suurusjärg mis Epochil.
Kui mudel mõtleb kaua ja kirjutab tuhandeid tokene enne vastust, kulub rohkem voolu. Joule’i artiklis on umbes 5k tokeni vastus ~4 Wh. See on „reasoning“ stiilis vastus, kus mudel palju arvutab.
Siin on kõik ühes tabelis. Tegemist on suurte mudelitega nagu GPT 4o ja Gemini:
| Päringu tüüp | Tokenid, umbes | Vool | Allikas |
|---|---|---|---|
| Tavaline päring | lühike küsimus, mõnisada tokenit vastust | ~0,3 Wh | Google, Epoch AI, Joule, Altman |
| Pikk dokument | ~10k sisse, 500–1500 välja | ~2,5 Wh (1,4–2,9) | Epoch AI, Jegham et al. |
| Reasoning vastus | ~5k välja | ~4 Wh | Joule |
Lühidalt: tavaline päring kasutab umbes 0,3 Wh. Umbes 10k tokeni pikk dokument umbes 2,5 Wh, mudelist olenevalt 1,4–2,9 vahel. Pikk reasoning vastus umbes 5k tokenit umbes 4 Wh.
CO2 sõltub võrgust
Sama mudeli vool on serverite asukohast sõltumata umbes sama. CO2 sõltub kohalikust elektrivõrgust.
Võtsime Emberi 2025. aasta numbrid, mida näed „Our World in Data“ saidil. Need on elutsükli numbrid: need lisavad elektri tarneahela elektrijaama heitkogustele. Mõõdetuna grammides CO2 ekvivalenti kilovatt-tunni kohta.
Korrutasime need meie kahe numbriga: 0,3 Wh tavalise päringu ja 2,5 Wh pika dokumendi jaoks:
| Võrk | g CO2e kWh kohta | Tavaline päring | Pikk dokument |
|---|---|---|---|
| Norra | 28 | 0,01 g | 0,07 g |
| Rootsi | 35 | 0,01 g | 0,09 g |
| Prantsusmaa | 41 | 0,01 g | 0,10 g |
| Soome | 57 | 0,02 g | 0,14 g |
| Taani | 114 | 0,03 g | 0,29 g |
| Austria | 117 | 0,04 g | 0,29 g |
| Hispaania | 154 | 0,05 g | 0,38 g |
| EL-i keskmine | 210 | 0,06 g | 0,53 g |
| Holland | 254 | 0,08 g | 0,63 g |
| Itaalia | 285 | 0,09 g | 0,71 g |
| Eesti | 319 | 0,10 g | 0,80 g |
| Saksamaa | 330 | 0,10 g | 0,82 g |
| Ameerika Ühendriigid | 384 | 0,12 g | 0,96 g |
| Poola | 589 | 0,18 g | 1,47 g |
Lühidalt: Rootsis (35 g kWh kohta) ja Prantsusmaal (41 g) on tavaline päring umbes 0,01 g CO2 ja pikk dokument umbes 0,1 g. EL-i keskmisel (210 g) on see 0,06 g ja umbes 0,5 g. Saksamaal (330 g) umbes 0,1 g ja umbes 0,8 g. Poolal on tabelis kõrgeim väärtus, 589 g, seega tavaline päring umbes 0,18 g ja pikk dokument umbes 1,5 g. USA on tabelis, sest palju ChatGPT numbreid tuleb sealt. 384 g juures on tavaline päring umbes 0,12 g ja pikk dokument umbes 1 g.
Saksamaa keskkonnaamet ütleb 2025. kohta sarnast: 344 g CO2 tootmisest ja 406 g CO2 ekvivalenti tarneahelaga. Electricity Maps seab Saksamaa inimeste tegeliku elektrikasutuse 2025. aastal 335 g peale. Üksikud tunnid võivad olla ~100 g kuni ~600 g.
Mis DentroChatiga?
Senini olid kõik numbrid suurte mudelite jaoks nagu GPT 4o. Epoch eeldas umbes 100 miljardit parameetrit iga tokeni kohta, aga DentroChat kasutab sageli väiksemaid mudeleid. Need on „mixture of experts“ mudelid: mudel on suur, aga iga tokeni jaoks töötab vaid väike osa. DeepSeek V4 Flash kasutab umbes 13 miljardit parameetrit tokeni kohta, GLM 5.3 Flash umbes 18 miljardit ja Qwen 3.8 Flash Next umbes 6 miljardit.
Vähem aktiivseid parameetreid tähendab vähem voolu tokeni kohta ja seega vähem CO2 tokeni kohta. ML.ENERGY edetabel mõõtis seda oma GPU-del. Qwen mudel 22 miljardi aktiivse parameetriga vajas umbes 0,12 Wh 1000 kirjutatud tokeni kohta. DeepSeek V3.1 37 miljardiga umbes 0,37 Wh. See on ainult graafikakaardid, seega lisasime jahutuse ja ülejäänud serveri. Meie mudelid on mõlemast väiksemad, seega meie hinnang:
| 1000 tokeni kohta | Aktiivsed parameetrid tokeni kohta | Kirjutatud | Loetud, värske | Loetud, vahemälus | CO2 1000 kirjutatu kohta, EL-i keskmine |
|---|---|---|---|---|---|
| GPT 4o (Epochi eeldus) | ~100 mlrd | ~0,6 Wh | ~0,2 Wh | ~0,13 g | |
| DentroChati mudelid (meie hinnang) | 6–18 mlrd | 0,05–0,4 Wh | 0,01–0,07 Wh | 0,001–0,007 Wh | 0,01–0,08 g |
Lühidalt: GPT 4o puhul annavad Epochi numbrid umbes 0,6 Wh iga 1000 tokeni kohta, mille mudel kirjutab, ja umbes 0,2 iga 1000 loetud tokeni kohta. DentroChati mudelite puhul hinnanguliselt 0,05–0,4 Wh 1000 kirjutatu kohta ja 0,01–0,07 1000 loetu kohta. Kui tekst loeti mõni minut varem, on see vahemälus ja maksab umbes kümendiku. EL-i keskmises võrgus on 1000 kirjutatud tokenit GPT 4o puhul umbes 0,13 g CO2 ja meie mudelite puhul 0,01–0,08 g.
Aga meie päringud on suuremad kui uuringute „tavaline päring“. Iga sõnum saadab mudelile ka juhised ja tööriistakirjeldused, see on juba umbes 3k tokenit. Lisaks tulevad sinu mälu, senine vestlus ning failid või veebiotsingu tulemused. Kui mudel kasutab tööriista, loeb ta kõike uuesti. Näiteks otsustab esmalt veebi otsida, siis loeb kogu vestluse koos otsingutulemustega, et vastust kirjutada. Üks sinu sõnum võib tähendada mitut mudeli käivitust.
Kõik alloleva tabeli numbrid on ühe sinu saadetud sõnumi kohta. Kui üks sõnum käivitas mudeli mitu korda, liitsime need käivitused ühte ritta.
Vaatasime seega oma kasutuslogisid ja loendasime tokenid (muidugi ei loe me seda, mida sa kirjutad). Tabel kasutab 606 päringut ühest oktoobri 2026. päevast. Kontrollisime ka 21 700 päringut eelnevast 30 päevast, mediaan oli väga sarnane:
| DentroChati päring | Loetud | neist vahemälus | Kirjutatud | Vool (meie hinnang) | CO2, EL-i keskmine | CO2, Saksamaa |
|---|---|---|---|---|---|---|
| Mediaan | ~41k | ~30k | ~900 | 0,2–1,3 Wh | 0,04–0,3 g | 0,06–0,4 g |
| Ülemine 10% | ~131k | ~66k | ~4600 | 1–7 Wh | 0,2–1,4 g | 0,3–2,3 g |
Lühidalt: DentroChati mediaanpäring loeb umbes 41k tokenit, neist umbes 30k on vahemälus, sest need saadeti mõni minut varem. Kirjutab umbes 900 tokenit. Hinnanguliselt 0,2–1,3 Wh, st EL-i keskmises võrgus umbes 0,04–0,3 g CO2 ja Saksamaal 0,06–0,4 g. Ülemine 10% loeb 131k tokenit või rohkem ja kirjutab 4600 või rohkem. See on umbes 1–7 Wh ehk EL-i keskmisel 0,2–1,4 g CO2 ja Saksamaal 0,3–2,3 g.
Rea „Ülemine 10%“ puhul võtsime iga veeru jaoks eraldi percentiili. Tõeline päring harva tabab kõiki korraga, seega on rida tahtlikult raskema poole peal.
Taustal on ka muud tööd, näiteks mälu uuendamine ja pikkade vestluste kokkuvõtmine. Mõnikord on mudel liiga aeglane ja vahetame poole pealt varumudelile. Neid käivitusi tabelis pole. Kui jaotada need kõigi päringute peale, loeb keskmine päring umbes 76k tokenit (50k vahemälus) ja kirjutab umbes 2k. See on umbes 0,4–3 Wh.
DentroChati päring loeb seega palju rohkem kui uuringute tavaline päring. Iga token on odavam. Mediaan (0,2–1,3 Wh) on alumises otsas lähedal suurte mudelite 0,3 Wh-le ja ülemises otsas umbes pool nende pikast dokumendist (2,5 Wh).
Võrdluses: veekeetja ja lühike sõit
Umbes 100 Wh soojust on vaja, et liitrit kraanivett keema ajada. Osa ei jõua vette, seega pistikupesas on pigem 110–125 Wh.
DentroChati mediaanpäring on sellest väike osa. Kasutame hinnangu ülemist otsa, 1,3 Wh, et võrdlus jääks raskema poole peale. Sel tempel vajad umbes 90 DentroChati päringut ühe liitri jaoks.
Auto puhul võtame 2025. aasta uute autode keskmise Euroopa Keskkonnaametilt: 96,7 g CO2 km kohta laboritestide järgi. Keskmises on ka elektriautod, mis loevad null heitgaasina, seega bensiiniauto teel tarbib veidi rohkem.
Iga kilomeeter sellise keskmise uue autoga Saksamaal võiks vastata umbes 240 DentroChati mediaanpäringule. Jälle ülemine ots: 0,4 g CO2 päringu kohta. EL-i keskmises võrgus on sama päring 0,3 g CO2, seega umbes 320 päringut kilomeetri kohta.
Keel mõjutab tokenite arvu
Erinevad keeled jagavad sama lehe erinevaks arvuks tokeniteks. Jooksutasime oma artiklid tokeniseerijate kaudu kõigi 17 keele jaoks, mida DentroChat toetab.
Kasutasime 22 blogipostitust, mis on igas keeles olemas, seega iga kord sama tekst. Peamine number tuleb GPT 4o tokeniseerijast. Vahemik on miinimum ja maksimum kuue tokeniseerija lõikes (GPT 4o, GPT 4, Mistral, Llama 3, Qwen 2.5 ja DeepSeek V3).
| Keel | Tokenit sõna kohta | Vahemik | Sõnu 10k tokenis |
|---|---|---|---|
| inglise | 1,3 | 1,3–1,4 | ~7700 |
| hispaania | 1,4 | 1,4–1,7 | ~7200 |
| portugali | 1,4 | 1,4–1,7 | ~7000 |
| prantsuse | 1,4 | 1,4–1,7 | ~6900 |
| hollandi | 1,6 | 1,6–2,1 | ~6300 |
| itaalia | 1,7 | 1,7–1,9 | ~6000 |
| saksa | 1,7 | 1,7–2,1 | ~5800 |
| norra | 1,9 | 1,9–2,2 | ~5400 |
| rootsi | 1,9 | 1,9–2,3 | ~5300 |
| taani | 1,9 | 1,9–2,3 | ~5300 |
| rumeenia | 1,9 | 1,9–2,2 | ~5300 |
| horvaadi | 2,1 | 2,1–2,6 | ~4800 |
| poola | 2,2 | 2,2–2,6 | ~4500 |
| kreeka | 2,4 | 2,4–5,9 | ~4200 |
| eesti | 2,5 | 2,5–3,1 | ~4000 |
| ungari | 2,6 | 2,5–3,1 | ~3900 |
| soome | 2,8 | 2,8–3,5 | ~3600 |
Lühidalt: GPT 4o tokeniseerijal on inglise keeles umbes 1,3 tokenit sõna kohta, seega 10k tokenit on umbes 7700 inglise sõna. Hispaania, portugali ja prantsuse keeled on lähedal, umbes 1,4. Hollandi umbes 1,6, saksa ja itaalia umbes 1,7, seega 10k tokenisse mahub umbes 5800 saksa sõna. Põhjamaade keeled peale soome on umbes 1,9 juures. Eesti umbes 2,5, soome kõige kõrgem, umbes 2,8, seega 10k tokenisse mahub vaid umbes 3600 soome sõna.
Tihti öeldakse, et saksa sõna on 3 tokenit. Kaasaegsetel tokeniseerijatel mõõdame pigem 2. Kreeka keelel on suur vahemik, sest vanemad tokeniseerijad käsitlevad kreeka tähestikku halvasti.
Soomekeelne dokument sama pikkusega kasutab seega rohkem tokene ja seega rohkem voolu. Gramm CO2 Wh kohta võrgust jäävad ülal nagu enne.
Mida me ei käsitlenud
Siin on vool ühele vastusele ühele sõnumile.
Mudeli treenimine tehti varem ühekordselt ja jagavad seda kõik, kes seda kasutavad. Treenimiskulu sinu päringule omistamine oleks oletamine, seega jätsime selle välja.
On ka graafikakaartide tootmise kulu. Nvidia jaotus ühe H100 plaadi kohta: 1312 kg CO2 ekvivalenti 8 GPU jaoks. See on mõne aasta töö peale. Ühe päringu kohta jääb vaid väike osa, kindlalt alla 1 g. Puhtas võrgus nagu Rootsis võib see osa läheneda voolu CO2-le. Saksamaa võrgus on vool palju suurem.
Siis on vesi. Viiruse väide, et tehisintellekt joob veepudeli tühjaks, pärineb 2023. hinnangust GPT 3 jaoks: umbes 500 ml 20–50 vastuse kohta kuumades USA andmekeskustes aurutussüsteemiga jahutusega. Google mõõtis 0,26 ml Gemini mediaan tekstipäringu kohta (~viis tilka). Paljud Euroopa andmekeskused jahutavad välisõhuga ja kasutavad peaaegu üldse vett!! Sealhulgas Hetzner Saksamaal, kus DentroChat hostitakse, ja Rootsi andmekeskused, kus osa meie mudeleid töötab. Rohkem artiklites Kas tehisintellekt raiskab vett? Müüt või mitte, kui kasutad EL-i taristut ja detailselt Tehisintellekti veetarbimine: miks viirussõnumid eksitavad.
On ka praktiline punkt. Kui oled samas vestluses, hoitakse pikka dokumenti tavaliselt mõni minut mälus. Järgmine sõnum töötleb peamiselt uut teksti. OpenAI ja Anthropic räägivad vahemälust, mis aegub umbes 5–10 minuti passiivsuse järel. See on „vahemälus“ veerg meie DentroChati tabelis. See aitab ka siis, kui mudel käivitub ühe sõnumi jaoks mitu korda, sest teine käivitus saab kasutada seda, mida esimene juba luges.
Tahaksime sulle ikka iga sõnumi kohta DentroChatis, parimas EL-i AI vestluses, näidata päris watttundide numbrit. Selleks peaksid mudelipakkujad ütlema iga päringu energia, mida enamik veel ei tee.
Seniks on see meie parim hinnang. Suurtel mudelitel nagu GPT 4o kasutab tavaline päring umbes 0,3 Wh ja pikk dokument umbes 2,5. DentroChati mediaanpäring meie väiksematel mudelitel kasutab umbes 0,2–1,3 Wh. EL-i keskmises võrgus on see maksimaalselt umbes 0,3 g CO2.