Хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ? [Видео болон асуулт хариулт]

Хариулт: Хиймэл оюун ухаан нь энгийн текст даалгаварт маш бага цахилгаан эрчим хүч зарцуулж чаддаг ч хүсэлт урт, гаралт олон горимтой эсвэл системүүд асар их хэмжээгээр ажиллах үед хамаагүй илүү их эрчим хүч ашигладаг. Сургалт нь ихэвчлэн урьдчилсан эрчим хүчний гол цохилт болдог бол хүсэлтүүд хуримтлагдах тусам өдөр тутмын дүгнэлт чухал болдог.

Гол дүгнэлтүүд:

Контекст: Эрчим хүчний тооцооллыг иш татахаасаа өмнө даалгавар, загвар, техник хангамж, цар хүрээг тодорхойл.

Сургалт: Төсөв төлөвлөхдөө загварын сургалтыг гол урьдчилсан эрчим хүчний арга хэмжээ гэж үз.

Дүгнэлт: Хүсэлт тус бүрийн бага хэмжээний зардал хэмжээн дээр хурдан нэмэгддэг тул давтагдсан дүгнэлтийг анхааралтай ажиглаарай.

Дэд бүтэц: Бодит тооцоололд хөргөлт, агуулах, сүлжээ болон сул зогсолтын хүчин чадлыг оруулна уу.

Үр ашиг: Эрчим хүчний хэрэглээг багасгахын тулд жижиг загварууд, богино хугацааны зааварчилгаа, кэш болон багцлахыг ашиглана уу.

Үүний дараа таны унших дуртай нийтлэлүүд:

🔗 Хиймэл оюун ухаан хүрээлэн буй орчинд хэрхэн нөлөөлдөг вэ
Хиймэл оюун ухааны нүүрстөрөгчийн ул мөр, эрчим хүчний хэрэглээ болон тогтвортой байдлын тэнцвэрийг тайлбарладаг.

🔗 Хиймэл оюун ухаан байгаль орчинд муу юу?
Хиймэл оюун ухааны загвар болон өгөгдлийн төвүүдийн байгаль орчны далд зардлыг тайлдаг.

🔗 Хиймэл оюун ухаан сайн уу, муу юу? Давуу болон сул талууд
Хиймэл оюун ухааны ашиг тус, эрсдэл, ёс зүй болон бодит нөлөөллийн талаарх тэнцвэртэй үзэл бодол.

🔗 Хиймэл оюун ухаан гэж юу вэ? Энгийн гарын авлага
Хэдхэн минутын дотор хиймэл оюун ухааны үндэс, гол нэр томьёо болон өдөр тутмын жишээнүүдийг сур.

Энэ асуулт яагаад хүмүүсийн бодож байгаагаас илүү чухал вэ 🔍

Хиймэл оюун ухааны эрчим хүчний хэрэглээ нь зөвхөн байгаль орчны тухай ярианы сэдэв биш юм. Энэ нь хэд хэдэн маш бодит зүйлийг хөнддөг:

• Цахилгааны зардал - ялангуяа хиймэл оюун ухааны олон хүсэлт гаргадаг бизнесүүдэд

• Нүүрстөрөгчийн нөлөө - серверүүдийн ард байгаа эрчим хүчний эх үүсвэрээс хамаарна

• Тоног төхөөрөмжийн ачаалал - хүчирхэг чипүүд их хэмжээний ватт татдаг

• Хэмжээг нэмэгдүүлэх шийдвэрүүд - нэг хямдхан санаачилга нь сая сая үнэтэй санаа болж хувирдаг

• Бүтээгдэхүүний дизайн - үр ашиг нь хүмүүсийн төсөөлж байснаас илүү сайн шинж чанар байдаг (Google Cloud, Green AI)

Олон хүн "Хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ?" гэж асуудаг, учир нь тэд гайхалтай тоо хүсдэг. Асар том зүйл. Гарчигт ээлтэй зүйл. Гэхдээ илүү сайн асуулт бол энэ юм: Бид ямар төрлийн хиймэл оюун ухааны хэрэглээний талаар ярьж байна вэ? Учир нь энэ нь бүх зүйлийг өөрчилдөг. (IEA)

Автоматаар гүйцээх ганц санал уу? Маш жижиг.
Асар том кластеруудын дунд хил хязгаарын загварыг сургах уу? Хаа хамаагүй том.
Сая сая хэрэглэгчдэд хүрдэг байгууллагын хиймэл оюун ухааны ажлын урсгал байнга ажилладаг уу? Тийм ээ, энэ нь хурдан нэмэгддэг... яг л пенни түрээсийн төлбөр болж хувирдаг шиг. (DOE, Google Cloud)

Хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ? Товч хариулт ⚡

Практик хувилбар нь энд байна.

Хиймэл оюун ухаан нь хөнгөн даалгаварт ватт цагийн өчүүхэн хэсгийг ашиглахаас эхлээд томоохон хэмжээний сургалт, байршуулалтад зориулж их хэмжээний цахилгаан эрчим хүч хүртэл хаана ч ашиглаж болно. Энэ хүрээ нь өргөн цар хүрээтэй тул инээдтэй сонсогдож байна. (Google Cloud, Strubell et al.)

Энгийнээр хэлбэл:

• Энгийн дүгнэлт хийх даалгаварууд - хэрэглээ тус бүрт харьцангуй даруухан байдаг

• Урт яриа, их хэмжээний гаралт, зураг үүсгэх, видео үүсгэх - мэдэгдэхүйц илүү их эрчим хүч шаарддаг

• Том загвар өмсөгчдийг сургах нь эрчим хүчний хэрэглээний хүнд жингийн аварга юм

• Хиймэл оюун ухааныг өдөржингөө өргөн хүрээнд ажиллуулах - "хүсэлт тутамд бага хэмжээний төлбөр" нь "нийт төлбөрийн нийлбэр" болж хувирдаг (Google Cloud, DOE)

Сайн дүрэм бол энэ юм:

• Сургалт бол эрчим хүчний томоохон арга хэмжээ юм 🏭

• Дүгнэлт бол үргэлжилж буй хэрэглээний төлбөр 💡 (Струбелл нар, Google Research)

Тиймээс хэн нэгэн " Хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ?" гэж асуухад шууд хариулт нь "Нэг хэмжээ биш - гэхдээ үр ашиг чухал байхад хангалттай, хэмжээ нь бүхэл бүтэн түүхийг өөрчлөхөд хангалттай" гэсэн үг юм. ( IEA , Ногоон хиймэл оюун ухаан )

Энэ хүмүүсийн хүсдэг шиг тийм ч анхаарал татахуйц биш гэдгийг би мэдэж байна. Гэхдээ энэ үнэн.

Хиймэл оюун ухааны эрчим хүчний тооцооллын сайн хувилбарыг юу бүрдүүлдэг вэ? 🧠

Сайн тооцоолол гэдэг нь зүгээр л график дээр шидэгдсэн гайхалтай тоо биш юм. Практик тооцоололд нөхцөл байдал орно. Үгүй бол энэ нь угаалгын өрөөний жингээр манан жинлэхтэй адил юм. Гайхалтай сонсогдохоор ойрхон, итгэхээр ойрхон биш. (IEA, Google Cloud)

Хиймэл оюун ухааны эрчим хүчний зохистой тооцоонд дараахь зүйлс орно

• Даалгаврын төрөл - текст, зураг, аудио, видео, сургалт, нарийн тохируулга

• Загварын хэмжээ - том загварууд ихэвчлэн илүү их тооцоолол шаарддаг

• Ашигласан техник хангамж - бүх чипүүд адилхан үр ашигтай биш

• Сессийн үргэлжлэх хугацаа - богино зааварчилгаа болон урт олон шатлалт ажлын урсгалууд нь маш өөр

• Ашиглалт - сул зогсолтын системүүд эрчим хүч зарцуулсаар байна

• Хөргөлт болон дэд бүтэц - сервер бол бүхэл бүтэн төлбөр биш

• Байршил ба эрчим хүчний холимог - цахилгаан хаа сайгүй адилхан цэвэр байдаггүй (Google Cloud, IEA)

Тийм ч учраас хоёр хүн хиймэл оюун ухааны цахилгаан хэрэглээний талаар маргалдаж болох ч хоёулаа өөр өөр зүйлийн талаар ярьж байхдаа өөртөө итгэлтэй сонсогдож магадгүй юм. Нэг хүн ганцхан чатбот хариу үйлдэл гэсэн үг. Нөгөө нь аварга том сургалтын гүйлт гэсэн үг. Хоёулаа "хиймэл оюун ухаан" гэж хэлээд гэнэт яриа замаасаа хазайчихдаг 😅

Харьцуулсан хүснэгт - хиймэл оюун ухааны эрчим хүчний хэрэглээг тооцоолох хамгийн сайн аргууд 📊

Асуултанд хариулахыг оролдож буй хүн бүрт зориулсан практик хүснэгтийг энд оруулав. Үүнийг урлагийн бүтээл болгон хувиргахгүйгээр хийх боломжтой.

Төгс арга гэж байдаггүй. Энэ бол бага зэрэг бухимдал төрүүлдэг хэсэг нь. Гэхдээ үнэ цэнийн түвшин гэж байдаг. Ихэвчлэн үйлчилгээтэй зүйл төгсөөс илүү байдаг. (Google Cloud)

Хамгийн том хүчин зүйл бол ид шид биш - энэ бол тооцоолол болон техник хангамж 🖥️🔥

Хүмүүс хиймэл оюун ухааны эрчим хүчний хэрэглээг төсөөлөхдөө загварыг өөрөө эрчим хүч хэрэглэдэг зүйл гэж төсөөлдөг. Гэхдээ загвар нь техник хангамж дээр ажилладаг програм хангамжийн логик юм. Цахилгааны төлбөр гарч ирдэг газар нь техник хангамж юм. (Струбелл нар, Google Cloud)

Хамгийн том хувьсагчдад ихэвчлэн дараахь зүйлс орно

• GPU эсвэл хурдасгуурын төрөл

• Хэдэн чип ашигладаг вэ

• Тэд хэр удаан идэвхтэй байх вэ

• Санах ойн ачаалал

• Багцын хэмжээ болон нэвтрүүлэх хүчин чадал

• Системийг сайн оновчтой болгосон уу эсвэл бүх зүйлийг зүгээр л хүчээр шахаж байгаа эсэх (Google Cloud, LLM эрчим хүчний хэрэглээнд тоон үзүүлэлт, багцлах, үйлчлэх стратегиуд)

Өндөр оновчтой систем нь бага эрчим хүчээр илүү их ажил хийж чадна. Хайнга систем нь цахилгааныг гайхалтай итгэлтэйгээр үрж чадна. Та үүнийг мэдэж байгаа - зарим тохиргоо нь уралдааны машинууд, зарим нь пуужингаа наасан дэлгүүрийн тэрэгнүүд юм 🚀🛒

Тийм ээ, загварын хэмжээ чухал. Том загварууд нь илүү их санах ой, илүү их тооцоолол шаарддаг, ялангуяа урт гаралт үүсгэх эсвэл нарийн төвөгтэй үндэслэлийг боловсруулах үед. Гэхдээ үр ашгийн аргууд нь зургийг өөрчилж чадна: (Ногоон хиймэл оюун ухаан, LLM эрчим хүчний хэрэглээнд тоон үзүүлэлт, багцлах, үйлчлэх стратегиуд)

• квантжуулалт

• илүү сайн чиглүүлэлт

• жижиг мэргэжлийн загварууд

• кэш хийх

• багцлах

• Илүү ухаалаг техник хангамжийн хуваарь гаргах (LLM эрчим хүчний хэрэглээнд тоон үзүүлэлт гаргах, багцлах, үйлчлэх стратегиуд)

Тиймээс асуулт нь зөвхөн "Загвар хэр том бэ?" биш, бас "Үүнийг хэр ухаалгаар ажиллуулж байна вэ?" гэдэгт оршино

Сургалт ба дүгнэлт - эдгээр нь өөр амьтад 🐘🐇

Энэ бол бараг бүх хүнийг төөрөгдүүлдэг хуваагдал юм.

Сургалт

Сургалт гэдэг нь загвар нь асар их өгөгдлийн сангаас загваруудыг сурдаг үе юм. Энэ нь олон чипийг удаан хугацаанд ажиллуулж, асар их хэмжээний өгөгдлийг зажилж авахыг шаарддаг. Энэ үе шат нь эрчим хүчний хэрэгцээ ихтэй байдаг. Заримдаа маш их байдаг. (Струбелл нар.)

Сургалтын эрч хүч нь дараахь зүйлээс хамаарна

• загварын хэмжээ

• өгөгдлийн багцын хэмжээ

• сургалтын гүйлтийн тоо

• бүтэлгүйтсэн туршилтууд

• нарийн тохируулгын дамжуулалтууд

• техник хангамжийн үр ашиг

• Хөргөлтийн дээд ачаалал (Струбелл нар, Google Research)

Хүмүүсийн ихэвчлэн анзаардаггүй хэсэг нь энд байна - олон нийт нэг удаа хийгдсэн нэг том сургалтын гүйлтийг түүхийн төгсгөл гэж төсөөлдөг. Практикт хөгжүүлэлт нь давтан гүйлт, тохируулга, давтан сургалт, үнэлгээ болон гол үйл явдлын эргэн тойрон дахь бүх энгийн боловч үнэтэй давталтуудыг багтааж болно. (Strubell et al., Green AI)

Дүгнэлт

Дүгнэлт гэдэг нь бодит хэрэглэгчийн хүсэлтэд хариулдаг загвар юм. Нэг хүсэлт тийм ч их харагдахгүй байж магадгүй. Гэхдээ дүгнэлт дахин дахин давтагддаг. Сая сая удаа. Заримдаа тэрбумаар. (Google Research, DOE)

Дүгнэлтийн энерги дараах байдлаар өсдөг:

• зааврын урт

• гаралтын урт

• хэрэглэгчдийн тоо

• хоцрогдлын шаардлага

• олон төрлийн онцлог шинж чанарууд

• ажиллах хугацааны хүлээлт

• аюулгүй байдал болон боловсруулалтын дараах алхмууд (Google Cloud, LLM эрчим хүчний хэрэглээнд тоон үзүүлэлт, багцлах, үйлчлэх стратегиуд)

Тиймээс сургалт бол газар хөдлөлт юм. Дүгнэлт бол далайн түрлэг юм. Нэг нь гайхалтай, нөгөө нь тууштай бөгөөд хоёулаа эргийг бага зэрэг өөрчилж чадна. Энэ нь ер бусын зүйрлэл байж болох ч, энэ нь хоорондоо холбоотой... бага багаар.

Хүмүүсийн мартдаг далд энергийн зардал 😬

Хэн нэгэн зөвхөн чипийг нь харж хиймэл оюун ухааны эрчим хүчний хэрэглээг тооцоолохдоо ихэвчлэн дутуу тооцоолж байна гэсэн үг. Үргэлж сүйрэлд хүргэдэггүй ч хангалттай чухал юм. (Google Cloud, IEA)

Энд нуугдсан хэсгүүд байна:

Хөргөлт ❄️

Серверүүд дулаан үүсгэдэг. Хүчирхэг хиймэл оюун ухаант техник хангамж нь үүнийг их хэмжээгээр үүсгэдэг. Хөргөлт нь заавал хийх албагүй. Тооцооллын зарцуулсан ватт бүр температурыг эрүүл байлгахын тулд илүү их эрчим хүч зарцуулахад хүргэдэг. (IEA, Google Cloud)

Өгөгдлийн хөдөлгөөн 🌐

Өгөгдлийг хадгалах сан, санах ой болон сүлжээгээр зөөхөд мөн эрчим хүч шаардагдана. Хиймэл оюун ухаан нь зөвхөн "сэтгэх" биш юм. Энэ нь мөн мэдээллийг байнга хольж хутгадаг. (IEA)

Сул зогсолтын багтаамж 💤

Оргил эрэлтэд зориулагдсан системүүд үргэлж оргил эрэлтэд ажилладаггүй. Сул зогсолттой эсвэл дутуу ашиглагдаж байгаа дэд бүтэц нь цахилгаан эрчим хүчийг үргэлжлүүлэн хэрэглэдэг. (Google Cloud)

Илүүдэл ба найдвартай байдал 🧱

Нөөцлөлт, эвдрэлийн систем, давхардсан бүсүүд, аюулгүй байдлын давхаргууд - бүгд үнэ цэнэтэй бөгөөд бүгд эрчим хүчний томоохон дүр зургийн нэг хэсэг юм. (IEA)

Хадгалалт 📦

Сургалтын өгөгдөл, суулгалтууд, логууд, шалгах цэгүүд, үүсгэсэн гаралтууд - энэ бүхэн хаа нэгтээ байдаг. Хадгалалт нь тооцооллоос хямд боловч эрчим хүчний хувьд үнэгүй биш юм. (IEA)

Тийм ч учраас хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ гэсэн асуултад ганцхан жишиг графикаас л хариулж чадахгүй. Бүрэн стек чухал юм. (Google Cloud, IEA)

Яагаад нэг хиймэл оюун ухааны даалгавар жижигхэн байж болох ч дараагийнх нь мангас байж болох вэ 📝➡️🎬

Бүх хүсэлтүүд адилхан бүтээгддэггүй. Өгүүлбэрийг дахин бичих богино хүсэлт нь урт дүн шинжилгээ, олон шатлалт код бичих сесс эсвэл өндөр нягтралтай зураг үүсгэх хүсэлттэй харьцуулах боломжгүй юм. (Google Cloud)

Харилцаа холбоо бүрт эрчим хүчний хэрэглээг нэмэгдүүлдэг зүйлс:

• Илүү урт контекст цонхнууд

• Илүү урт хариултууд

• Багаж хэрэгслийг ашиглах болон сэргээх алхамууд

• Үндэслэл эсвэл баталгаажуулалтын олон дамжуулалт

• Зураг, аудио эсвэл видео үүсгэх

• Илүү өндөр давхцал

• Бага хоцрогдлын зорилтууд (Google Cloud, LLM эрчим хүчний хэрэглээнд квантжуулалт, багцлах, үйлчлэх стратегиуд)

Хөнгөн текст хариулт харьцангуй хямд байж магадгүй. Аварга том олон горимтой ажлын урсгал хямд биш байж болно. Энэ нь кофе захиалах, хуримд хоол хийхтэй адилхан. Хоёуланг нь техникийн хувьд "хоолны үйлчилгээ" гэж тооцдог. Нэг нь нөгөөгөөсөө ялгаатай ☕🎉

Энэ нь ялангуяа бүтээгдэхүүний багуудад чухал юм. Бага хэрэглээтэй үед гэм хоргүй мэт санагдах функц нь хэрэглэгчийн сесс бүр уртсаж, баялаг болж, тооцоолол ихтэй болвол өргөн хүрээнд үнэтэй болж болзошгүй. (DOE, Google Cloud)

Хэрэглэгчийн хиймэл оюун ухаан болон байгууллагын хиймэл оюун ухаан нь ижил зүйл биш 🏢📱

Хиймэл оюун ухааныг санамсаргүй байдлаар ашигладаг дундаж хүн хааяа ирдэг өдөөлт нь том асуудал гэж үзэж магадгүй юм. Ихэвчлэн гол энергийн түүх тэнд байдаггүй. (Google Cloud)

Байгууллагын хэрэглээ нь математикийг өөрчилдөг:

• мянга мянган ажилтан

• үргэлж хамт ажилладаг нисгэгчид

• автоматжуулсан баримт бичиг боловсруулах

• дуудлагын хураангуй

• зургийн шинжилгээ

• код хянах хэрэгслүүд

• байнга ажиллаж байгаа арын агентууд

Энэ бол нийт энергийн хэрэглээ маш чухал болж эхэлдэг газар юм. Үйлдэл бүр апокалиптик учраас биш, харин давталт нь үржүүлэгч учраас. (DOE, IEA)

Миний өөрийн туршилт болон ажлын урсгалын тоймд хүмүүс гайхдаг зүйл бол энэ юм. Тэд загварын нэр эсвэл гял цал демо дээр анхаарлаа төвлөрүүлж, дууны хэмжээг үл тоомсорлодог. Дууны хэмжээ нь ихэвчлэн жинхэнэ хөдөлгөгч хүч болдог - эсвэл хэмнэлтийн давуу тал нь та хэрэглэгчдэд төлбөр тооцоо хийж байгаа эсвэл хэрэглээний төлбөр төлж байгаа эсэхээс хамаарна 😅

Хэрэглэгчдийн хувьд нөлөөлөл нь хийсвэр мэт санагдаж болох ч бизнесийн хувьд энэ нь маш хурдан тодорхой болдог:

• илүү том дэд бүтцийн төлбөрүүд

• оновчтой болгохын тулд илүү их дарамт шахалт үзүүлэх

• боломжтой бол жижиг загваруудын хэрэгцээ өндөр байна

• дотоод тогтвортой байдлын тайлан

• кэш болон чиглүүлэлтэд илүү их анхаарал хандуулах (Google Cloud, Green AI)

Хиймэл оюун ухаанаас татгалзахгүйгээр хиймэл оюун ухааны эрчим хүчний хэрэглээг хэрхэн бууруулах вэ 🌱

Энэ хэсэг нь чухал учир нь зорилго нь "хиймэл оюун ухаан ашиглахаа болих" биш юм. Ихэвчлэн энэ нь бодитой бус, бүр шаардлагагүй байдаг. Илүү сайн ашиглах нь илүү ухаалаг арга юм.

Хамгийн том хөшүүргүүд энд байна:

1. Ажлыг гүйцэтгэх хамгийн жижиг загварыг ашиглаарай

Бүх даалгаварт хүнд жингийн сонголт шаардлагагүй. Ангилал эсвэл нэгтгэн дүгнэх хөнгөн загвар нь хог хаягдлыг хурдан бууруулж чадна. (Ногоон хиймэл оюун ухаан, Google Cloud)

2. Сануулга болон гаралтыг богиносгох

Дэлгэрэнгүй оруулж, дэлгэрэнгүй гарга. Нэмэлт токен гэдэг нь нэмэлт тооцоолол гэсэн үг. Заримдаа мөрийг тайрах нь хамгийн хялбар ялалт болдог. (LLM эрчим хүчний хэрэглээний тоон үзүүлэлт, багцлах, үйлчлэх стратегиуд, Google Cloud)

3. Кэш давтагдсан үр дүн

Хэрэв нэг ижил асуулга гарч ирсээр байвал түүнийг дахин дахин үүсгэх хэрэггүй. Энэ нь бараг л гомдмоор илэрхий боловч алгасдаг. (Google Cloud)

4. Боломжтой үед багцаар хийх ажлууд

Даалгавруудыг багцаар гүйцэтгэх нь ашиглалтыг сайжруулж, хаягдлыг бууруулж чадна. (LLM эрчим хүчний хэрэглээнд тоон үзүүлэлт, багцлах, үйлчлэх стратегиуд)

5. Даалгавруудыг ухаалгаар чиглүүл

Зөвхөн өөртөө итгэх итгэл буурах эсвэл даалгаврын нарийн төвөгтэй байдал нэмэгдэх үед л том загваруудыг ашиглаарай. (Ногоон хиймэл оюун ухаан, Google Cloud)

6. Дэд бүтцийг оновчтой болгох

Илүү сайн хуваарь, илүү сайн техник хангамж, илүү сайн хөргөлтийн стратеги - энгийн зүйлс, асар их үр дүн. (Google Cloud, DOE)

7. Таамаглал дэвшүүлэхээсээ өмнө хэмжилт хий

Олон багууд хүч хаашаа явж байгааг мэддэг гэж боддог. Дараа нь тэд хэмжилт хийдэг бөгөөд энэ нь тэнд байдаг - үнэтэй хэсэг нь өөр газар байдаг. (Google Cloud)

Үр ашгийн ажил нь дур булаам биш. Энэ нь ховорхон алга ташилт авдаг. Гэхдээ энэ нь хиймэл оюун ухааныг илүү хямд, өргөн хүрээнд илүү хамгаалагдахуйц болгох хамгийн сайн аргуудын нэг юм 👍

Хиймэл оюун ухааны цахилгаан хэрэглээний талаарх түгээмэл буруу ойлголтууд 🚫

Энэ сэдэв хурдан орооцолддог тул хэдэн домог яриаг арилгая.

Домог 1 - Хиймэл оюун ухааны асуулга бүр асар их үрэлгэн байдаг

Заавал биш. Зарим нь даруухан байдаг. Хэмжээ болон даалгаврын төрөл нь маш чухал. (Google Cloud)

Домог 2 - Сургалт бол чухал цорын ганц зүйл

Үгүй. Хэрэглээ асар их байх үед дүгнэлт цаг хугацааны явцад давамгайлж болно. (Google Research, DOE)

Домог 3 - Том загвар үргэлж илүү сайн үр дүнд хүргэдэг

Заримдаа тийм, заримдаа огт үгүй. Жижиг системүүд дээр олон ажил сайн ажилладаг. (Ногоон хиймэл оюун ухаан)

Домог 4 - Эрчим хүчний хэрэглээ нь нүүрстөрөгчийн нөлөөлөлтэй автоматаар тэнцүү

Яг тийм биш. Нүүрстөрөгч нь эрчим хүчний эх үүсвэрээс бас хамаардаг. (IEA, Strubell et al.)

Домог 5 - Та хиймэл оюун ухааны эрчим хүчний хэрэглээний нэг нийтлэг тоог авч болно

Чи чадахгүй, ядаж л утга учиртай хэвээрээ байх хэлбэрээр. Эсвэл чи чадна, гэхдээ энэ нь үнэ цэнэтэй байхаа болих хүртэл дундажлагдах болно. (IEA)

Тийм ч учраас "Хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ?" нь ухаалаг хэрэг юм - гэхдээ та уриа лоозонгийн оронд давхаргат хариулт авахад бэлэн байгаа тохиолдолд л.

Тэгэхээр... хиймэл оюун ухаан үнэндээ хэр их эрчим хүч ашигладаг вэ? 🤔

Энд үндэслэлтэй дүгнэлт байна.

Хиймэл оюун ухаан дараах зүйлсийг ашигладаг:

• бага зэрэг, зарим энгийн ажлуудын хувьд

• хүнд мультимодаль үеийн хувьд илүү ихийг

• маш их хэмжээний, томоохон хэмжээний загвар сургалтанд зориулагдсан

• нийтдээ асар их хэмжээ, сая сая хүсэлт цаг хугацааны явцад овоолж байх үед (Google Cloud, DOE)

Энэ бол түүний хэлбэр юм.

Гол нь асуудлыг бүхэлд нь нэг аймшигтай тоо эсвэл нэг үл тоомсорлосон мөрөө хавчих гэж бүү бод. Хиймэл оюун ухааны энергийн хэрэглээ бол бодит зүйл. Энэ нь чухал. Үүнийг сайжруулж болно. Үүнийг жүжигчилсэн байдлаар биш, харин нөхцөл байдлын талаар ярих нь хамгийн сайн арга юм. (IEA, Ногоон хиймэл оюун ухаан)

Олон нийтийн ярианы ихэнх нь туйлшралын хооронд хэлбэлздэг - нэг талаас "хиймэл оюун ухаан үндсэндээ үнэгүй", нөгөө талаас "хиймэл оюун ухаан бол цахилгаан апокалипсис юм". Бодит байдал илүү энгийн бөгөөд энэ нь илүү мэдээлэл сайтай болгодог. Энэ бол системийн асуудал. Техник хангамж, програм хангамж, хэрэглээ, цар хүрээ, хөргөлт, дизайны сонголтууд. Хиймэл үү? Бага зэрэг. Чухал уу? Маш. (IEA, Google Cloud)

Гол санаанууд⚡🧾

Хэрэв та энд " Хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ?"эндээс товч дүгнэлт хийе.

• Бүх хүнд тохирох нэг тоо гэж байдаггүй

• Бэлтгэл ажил нь ихэвчлэн эхэндээ хамгийн их энерги зарцуулдаг

• Дүгнэлт нь масштабын гол хүчин зүйл болдог

• Загварын хэмжээ, техник хангамж, ажлын ачаалал, хөргөлт зэрэг нь бүгд чухал юм

• Жижиг оновчлолууд нь гайхалтай том өөрчлөлтийг авчирч чадна

• Хамгийн ухаалаг асуулт бол зөвхөн "хэр их" биш, бас "ямар даалгаварт, ямар систем дээр, ямар хэмжээгээр?" (IEA, Google Cloud)

Тийм ээ, хиймэл оюун ухаан жинхэнэ энергийг ашигладаг. Анхаарал татахуйц хангалттай. Илүү сайн инженерчлэлийг зөвтгөхөд хангалттай. Гэхдээ хүүхэлдэйн кино шиг, нэг оронтой тоогоор биш.

Бодит ертөнцийн жишээ: Хиймэл оюун ухааны туслахын эрчим хүчний зардлыг хэмжих нь

Хувилбар

Жижиг SaaS компани хэрэглэгчийн дэмжлэгийн тасалбарт хариулт бичихдээ хиймэл оюун ухааны туслах ашиглаж байна гэж төсөөлөөд үз дээ. Энэ бол зохиомол боловч бодит жишээ бөгөөд компанийн кейс судалгаа биш юм.

Тус баг долоо хоног бүр 500 орчим дэмжлэгийн тасалбарыг боловсруулдаг. Ихэнх нь энгийн: нууц үг шинэчлэх, төлбөр тооцооны асуултууд, функцын тайлбар, үндсэн алдааг олж засварлах. Тус компани туслахаас хариултыг автоматаар илгээхийг хүсэхгүй байна. Энэ нь хүний ​​дэмжлэгийн агентад хянуулахаар хариултыг боловсруулдаг.

Эрчим хүчний асуулт нь "Хиймэл оюун ухаан ерөнхийдөө хэр ихийг ашигладаг вэ?" гэсэн асуулт биш, харин илүү практик асуулт юм

"Энэ ажлын урсгалд хиймэл оюун ухаан нэмснээр бид хэр их нэмэлт тооцоолол бий болгож байгаа вэ, мөн чанарыг нь алдагдуулахгүйгээр үүнийг багасгаж чадах уу?"

Туслахад юу хэрэгтэй вэ

Баг дараах байдлаар эхэлнэ:

Цэвэр тусламжийн төвийн мэдлэгийн сан

Батлагдсан буцаан олголт, нууцлал болон өргөтгөлийн дүрмийн жагсаалт

Өмнөх дэмжлэгийн хүчтэй хариултуудын 20-30 жишээ

Туслах нь илгээх биш, харин ноороглох ёстой гэсэн тодорхой зааварчилгаа

Үүлэн хэрэглээний бүртгэл эсвэл загварын API хэрэглээний бүртгэл

Тасалбарын төрөл, асуулгын урт, гаралтын урт, хянах хугацаа, хариултыг хүлээн авсан эсэхийг хянах энгийн хүснэгт

Хамгийн чухал зүйл бол хэмжилт юм. Логгүйгээр баг зөвхөн таамаглал дэвшүүлдэг.

Жишээ заавар

Та SaaS бүтээгдэхүүний дэмжлэг үзүүлэх төсөл боловсруулах туслах юм. Зөвхөн батлагдсан тусламжийн төвийн контент болон өгсөн бодлогын тэмдэглэлийг ашиглана уу. 180 үгнээс бага хэмжээтэй тодорхой, эелдэг хариулт бичнэ үү. Хэрэв үйлчлүүлэгч буцаан олголт, бүртгэл устгах, хууль эрх зүйн зөвлөгөө, аюулгүй байдлын мэдээлэл эсвэл баримт бичигт тусгагдаагүй бусад зүйлийг хүсвэл шууд хариулж болохгүй. Үүнийг хүний ​​хяналтад оруулахын тулд тэмдэглэж, ямар мэдээлэл дутуу байгааг тайлбарлана уу.

Хариу бичихээсээ өмнө тасалбарыг энгийн, бодлогод мэдрэмтгий, техникийн, эсвэл шаардлагатай нэмэлт өөрчлөлт гэж ангилна уу.

Үүнийг хэрхэн шалгах вэ

Баг нь туслахыг шууд ашиглахаасаа өмнө өмнөх 50 тасалбар дээр туршиж үзэх боломжтой.

Энгийн туршилтын багц нь дараахь зүйлийг агуулж болно

10 нууц үг эсвэл нэвтрэх тасалбар

10 төлбөрийн тасалбар

Техникийн алдааг олж засварлах 10 тасалбар

Харилцагчийн 10 тодорхойгүй эсвэл дутуу мессеж

Буцаан олголт, нууцлал эсвэл данс хаахтай холбоотой бодлогын мэдрэмтгий 10 тасалбар

Тасалбар бүрийн хувьд баг дараах зүйлийг тэмдэглэх ёстой:

Ноорог нь бодит байдлын хувьд зөв байсан уу?

Зөвхөн батлагдсан мэдээллийг ашигласан уу?

Энэ нь үгийн хязгаараас доогуур үлдсэн үү?

Энэ нь эмзэг тохиолдлуудыг зөв тэмдэглэсэн үү?

Хүний төлөөлөгч үүнийг засварлахад хэр их хугацаа зарцуулсан бэ?

Ажлын урсгал хэдэн токен эсвэл хүсэлт ашигласан бэ?

Энэ нь багт таамаглалд найдахын оронд харьцуулах тодорхой зүйлийг өгдөг.

Үр дүн

Жишээ үр дүн: Ажлын урсгалыг ашиглахаас өмнө болон дараа 50 дээжийн тасалбарын хугацааг тооцоолоход үндэслэн баг эхний ноорог гаргах дундаж хугацаа тасалбар тутамд 6 минутаас тасалбар тутамд 2 минут болж буурдаг гэж тооцоолжээ.

Долоо хоногт 500 тасалбар зарах нь ойролцоогоор 2000 минут буюу ойролцоогоор 33 цагийн ноорог бичих хугацааг хэмнэдэг.

Гэхдээ бүртгэлүүд нь үнэ цэнэтэй зүйлийг харуулж байна: тасалбарын 38% нь энгийн давталтууд юм. Ноорог бүрийг эхнээс нь дахин үүсгэхийн оронд эдгээр давтагдсан асуултуудын батлагдсан хариултуудыг кэшлэснээр баг долоо хоногт хиймэл оюун ухааны хүсэлтийг 500-аас 310 болгон бууруулсан.

Энэ нь хиймэл оюун ухааны функцийг устгахгүйгээр энэхүү ажлын урсгалын долоо хоног тутмын дүгнэлтийн дуудлагыг 38%-иар бууруулсан гэсэн үг юм.

Баг үүнийг дараах харьцуулалтаар баталгаажуулж болно:

Кэш хийхээс өмнө болон дараа долоо хоног тутмын хиймэл оюун ухааны нийт хүсэлтүүд

Дундаж хүлээх мөр болон гаралтын урт

Хүний хүлээн авах түвшин

Зөв барьсан өсөлтийн тоо

Чанарын оноо эсвэл засварын тооллогыг дэмжих

Цахилгаан эрчим хүчний хэмнэлт нь загвар, техник хангамж, үйлчилгээ үзүүлэгч болон дэд бүтцээс хамаарна. Гэхдээ ажлын ачааллыг бууруулах нь өөрөө хэмжигдэхүйц юм.

Юу буруу болж болох вэ

Хэрэв хурцадмал байдлын дүрэм тодорхойгүй байвал туслах нь бодлогын асуултанд хэт их хариулж магадгүй.

Хэрэв сэргээх тохиргоо муу бүтэцлэгдсэн бол тусламжийн төвийн урт баримт бичгүүд нь хүсэлтийн уртыг нэмэгдүүлж болзошгүй.

Агентууд чөлөөтэй ноорогт хэт хурдан итгэж, нарийн алдаануудыг анзааралгүй өнгөрөөж магадгүй.

Хуучин буцаан олголт, үнийн бодлого эсвэл нууцлалын бодлого хэвээр байвал кэш хийх нь эрсдэлтэй болж болзошгүй.

Баг нь санамсаргүйгээр бага тустай хариулт гаргаж байхдаа цөөн тооны токеныг оновчлох боломжтой.

Хамгийн аюулгүй хувилбар нь хүмүүсийг мэдээлэлтэй байлгаж, хүлээн авсан хариултуудыг хэмжиж, бодлого өөрчлөгдөх бүрт кэшлэгдсэн хариултуудыг хянадаг.

Практик хоол

Хиймэл оюун ухааны эрчим хүчний зөв тооцоолол нь тодорхой ажлын урсгалаас эхэлдэг. Хүсэлтүүдийг тоолж, хүсэлтийг богиносгож, давтагдсан хариултуудыг хадгалж, тоймыг чанараар нь хэмждэг. Энэ нь "Хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ?" гэсэн тодорхойгүй мэтгэлцээнээс баг практик дээр сайжруулж болох тоо бүхий практик инженерийн асуулт болж хувирдаг.

Түгээмэл асуултууд

Хиймэл оюун ухаан нэг удаагийн үйлдэлд хэр их энерги зарцуулдаг вэ?

Нэг удаагийн хүсэлтийн хувьд бүх нийтийн тоо гэж байдаггүй, учир нь эрчим хүчний хэрэглээ нь загвар, техник хангамж, хүсэлтийн урт, гаралтын урт болон бусад нэмэлт хэрэгслийн хэрэглээнээс хамаарна. Богино текст хариулт харьцангуй бага байж болох бол урт олон горимтой даалгавар нь мэдэгдэхүйц илүү ихийг зарцуулж болно. Хамгийн утга учиртай хариулт бол ганц гарчгийн тоо биш, харин даалгаврыг тойрсон нөхцөл байдал юм.

Хиймэл оюун ухааны эрчим хүчний хэрэглээний тооцоолол яагаад ийм их ялгаатай байдаг вэ?

Хүмүүс хиймэл оюун ухааны нэг шошгоны дор маш өөр зүйлийг харьцуулдаг тул тооцоолол харилцан адилгүй байдаг. Нэг тооцоолол нь хөнгөн чатбот хариултыг тодорхойлж болох бол нөгөө нь зураг үүсгэх, видео бичлэг хийх эсвэл том хэмжээний загвар сургалтыг хамарч болно. Тооцоолол нь утга учиртай байхын тулд даалгаврын төрөл, загварын хэмжээ, техник хангамж, ашиглалт, хөргөлт, байршил зэрэг нөхцөл байдал шаардлагатай.

Хиймэл оюун ухааныг сургах уу эсвэл өдөр бүр хиймэл оюун ухааныг ажиллуулах уу, эрчим хүчний зардал өндөр байна уу?

Сургалт нь ихэвчлэн томоохон урьдчилсан эрчим хүчний үйл явдал байдаг, учир нь энэ нь асар их өгөгдлийн багцаар удаан хугацаанд олон чип ажиллуулахыг хамарч болно. Дүгнэлт гэдэг нь хэрэглэгчид хүсэлт илгээх бүрт гарч ирдэг тасралтгүй зардал бөгөөд цар хүрээний хувьд энэ нь маш том болж чаддаг. Практикт хоёулаа чухал боловч өөр өөр байдлаар чухал ач холбогдолтой.

Нэг хиймэл оюун ухааны хүсэлтийг нөгөөгөөсөө илүү их эрчим хүч шаарддаг болгодог зүйл юу вэ?

Илүү урт контекст цонх, илүү урт гаралт, давтан тайлбарлах дамжуулалт, хэрэгслийн дуудлага, сэргээх алхамууд болон олон горимт үүсэлт нь бүгд харилцан үйлчлэл бүрт эрчим хүчний хэрэглээг нэмэгдүүлэх хандлагатай байдаг. Хурдан хариу үйлдэл үзүүлэх шаардлага нь үр ашгийг бууруулж болзошгүй тул хоцрогдлын зорилтууд бас чухал юм. Жижиг дахин бичих хүсэлт болон урт код бичих эсвэл зургийн ажлын урсгалыг харьцуулах боломжгүй юм.

Хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ гэж асуухад хүмүүс ямар далд эрчим хүчний зардлыг анзаардаггүй вэ?

Олон хүн зөвхөн чип дээр анхаарлаа төвлөрүүлдэг боловч хөргөлт, өгөгдлийн хөдөлгөөн, хадгалалт, сул зогсолтын багтаамж, нөөцлөлт эсвэл эвдрэлийн бүс гэх мэт найдвартай байдлын системүүдийг үл тоомсорлодог. Эдгээр дэмжих давхаргууд нь нийт ул мөрийг мэдэгдэхүйц өөрчилж чаддаг. Тийм ч учраас бенчмарк дангаараа эрчим хүчний бүрэн зургийг ховорхон авдаг.

Илүү том хиймэл оюун ухааны загвар үргэлж илүү их эрчим хүч ашигладаг уу?

Том загварууд нь ихэвчлэн илүү их тооцоолол болон санах ой шаарддаг, ялангуяа урт эсвэл нарийн төвөгтэй гаралтын хувьд, тиймээс тэд ихэвчлэн илүү их эрчим хүч зарцуулдаг. Гэхдээ том гэдэг нь ажил бүрт автоматаар илүү сайн гэсэн үг биш бөгөөд оновчлол нь зургийг мэдэгдэхүйц өөрчилж чадна. Жижиг мэргэжлийн загварууд, тоон үзүүлэлт, багцлах, кэшлэх, ухаалаг чиглүүлэлт нь бүгд үр ашгийг сайжруулж чадна.

Хэрэглэгчийн хиймэл оюун ухаан эрчим хүчний гол асуудал уу, эсвэл аж ахуйн нэгжийн хиймэл оюун ухаан илүү том асуудал уу?

Хэрэглэгчийн энгийн хэрэглээ нэмэгдэж болох ч эрчим хүчний томоохон түүх нь ихэвчлэн байгууллагын байршуулалтад гарч ирдэг. Байнга ажилладаг хамтран ажиллагсад, баримт бичиг боловсруулах, дуудлагын хураангуй, код хянах, суурь агентууд нь олон хэрэглэгчдийн дунд давтагдсан эрэлтийг бий болгодог. Асуудал нь ихэвчлэн нэг драмын үйлдэлтэй холбоотой биш харин цаг хугацааны явцад тогтвортой эзлэхүүнтэй холбоотой байдаг.

Өгөгдлийн төвүүд болон хөргөлтийг оруулахад хиймэл оюун ухаан хэр их эрчим хүч ашигладаг вэ?

Илүү өргөн хүрээтэй системийг оруулсны дараа хариулт нь илүү бодитой болж, ихэвчлэн зөвхөн чип дээр суурилсан тооцооллоос илүү их байдаг. Өгөгдлийн төвүүд нь зөвхөн тооцоолоход төдийгүй хөргөлт, сүлжээ, хадгалалт, нөөц хүчин чадлыг хадгалахад ч эрчим хүч шаарддаг. Тийм ч учраас дэд бүтцийн дизайн болон байгууламжийн үр ашиг нь загвар дизайнтай бараг адил чухал юм.

Бодит ажлын урсгалд хиймэл оюун ухааны эрчим хүчний хэрэглээг хэмжих хамгийн практик арга юу вэ?

Хамгийн сайн арга нь хэн, ямар зорилгоор хэмжилт хийж байгаагаас хамаарна. Тойрог дүрэм нь хурдан харьцуулалт хийхэд тусалдаг бол ваттметр, GPU телеметр, үүлэн төлбөрийн бүртгэл, өгөгдлийн төвийн тайлан нь үйл ажиллагааны талаар улам бүр илүү хүчтэй ойлголт өгдөг. Тогтвортой байдлын ноцтой ажлын хувьд илүү удаан бөгөөд илүү их шаарддаг ч гэсэн амьдралын мөчлөгийн бүрэн дүр зураг илүү хүчтэй байдаг.

Багууд ашигтай хиймэл оюун ухааны функцуудаас татгалзахгүйгээр хиймэл оюун ухааны эрчим хүчний хэрэглээг хэрхэн бууруулах вэ?

Хамгийн том ашиг нь ихэвчлэн ажлаа хийдэг хамгийн жижиг загварыг ашиглах, заавар болон гаралтыг богиносгох, давтагдсан үр дүнг кэшлэх, ажлыг багцлах, зөвхөн илүү хүнд даалгавруудыг том загварууд руу чиглүүлэх зэргээс гардаг. Дэд бүтцийн оновчлол, ялангуяа хуваарь болон техник хангамжийн үр ашиг чухал юм. Олон шугам сүлжээнд эхлээд хэмжих нь багуудыг буруу зүйлийг оновчлохоос урьдчилан сэргийлэхэд тусалдаг.

Лавлагаа

1. Олон улсын эрчим хүчний агентлаг (IEA) - Хиймэл оюун ухаанаас үүдэлтэй эрчим хүчний эрэлт - iea.org

2. АНУ-ын Эрчим Хүчний Яам (DOE) - DOE цахилгаан эрчим хүчний эрэлтийн өсөлтийг үнэлдэг шинэ тайланг гаргалаа - energy.gov

3. Google Cloud - Хиймэл оюун ухааны дүгнэлтийн байгаль орчинд үзүүлэх нөлөөллийг хэмжих нь - cloud.google.com

4. Google Research - Машин сургалтын сургалтын нүүрстөрөгчийн ул мөрийн талаар сайн мэдээ - research.google

5. Google Research - Машин сургалтын сургалтын нүүрстөрөгчийн ул мөр тэгширч, дараа нь буурна - research.google

6. arXiv - Ногоон хиймэл оюун ухаан - arxiv.org

7. arXiv - Strubell et al. - arxiv.org

8. arXiv - LLM эрчим хүчний хэрэглээнд квантжуулалт, багцжуулалт болон үйлчлэх стратегиуд - arxiv.org

Албан ёсны хиймэл оюун ухааны туслах дэлгүүрээс хамгийн сүүлийн үеийн хиймэл оюун ухааныг олоорой

Бидний тухай