Хиймэл оюун ухаан өмнө нь том серверүүд болон үүлэн график процессорууд дээр ажилладаг байсан. Одоо энэ нь мэдрэгчүүдийн хажууд агшиж, гулсаж байна. Суулгагдсан системүүдэд зориулсан хиймэл оюун ухаан бол холын амлалт биш бөгөөд хөргөгч, дрон, өмсдөг төхөөрөмжүүд ... тэр ч байтугай огт "ухаалаг" харагдахгүй төхөөрөмжүүдэд ч дуугарч байна.
Энэ шилжилт яагаад чухал, юу нь хэцүү болгодог, аль сонголтууд таны цагийг үрэх нь зүйтэй вэ гэдгийг энд харуулав.
Үүний дараа таны унших дуртай нийтлэлүүд:
🔗 Ёс зүйд нийцсэн, ил тод хиймэл оюун ухааны системийг хангах шилдэг хиймэл оюун ухааны засаглалын хэрэгслүүд
Ёс зүйтэй, дүрэм журмыг дагаж мөрддөг, ил тод хиймэл оюун ухааныг хадгалахад туслах хэрэгслүүдийн гарын авлага.
🔗 Хиймэл оюун ухаанд зориулсан объект хадгалах: сонголтууд, сонголтууд, сонголтууд
Хиймэл оюун ухааны ажлын ачаалалд тохирсон объект хадгалах сонголтуудын харьцуулалт.
🔗 Хиймэл оюун ухааны өгөгдөл хадгалах шаардлага: таны мэдэх ёстой зүйлс
Хиймэл оюун ухааны өгөгдөл хадгалах төлөвлөгөө гаргахдаа анхаарах гол хүчин зүйлүүд.
Суулгагдсан системд зориулсан хиймэл оюун ухаан🌱
Суулгагдсан төхөөрөмжүүд нь жижиг, ихэвчлэн батерейгаар ажилладаг бөгөөд нөөц багатай байдаг. Гэсэн хэдий ч хиймэл оюун ухаан нь томоохон ялалтуудыг авчирдаг:
-
Үүлэн технологид шилжихгүйгээр бодит цагийн шийдвэрүүд
-
Нууцлал нь загвараар хийгдсэн - түүхий өгөгдөл төхөөрөмж дээр үлдэж болно.
-
Миллисекунд чухал үед хоцрогдол бага байна
-
Болгоомжтой загвар + техник хангамжийн сонголтоор дамжуулан эрчим хүчний хэмнэлтийг үнэлэх
Эдгээр нь гараар даллаж байгаа ашиг тус биш юм: тооцооллыг зах хязгаарт хүргэх нь сүлжээний хамаарлыг бууруулж, олон хэрэглээний тохиолдолд нууцлалыг бэхжүүлдэг [1].
Гол нь хүч хэрэглэх биш, харин хязгаарлагдмал нөөцөөр ухаалаг байх явдал юм. Үүргэвчтэй марафон гүйлт гээд бод доо... тэгээд инженерүүд тоосго арилгасаар л байна гэж бод доо.
Суулгагдсан системүүдийн хиймэл оюун ухааныг хурдан харьцуулах хүснэгт 📝
| Хэрэгсэл / Хүрээ | Төгс үзэгчид | Үнэ (ойролцоогоор) | Яагаад ажилладаг вэ (өвөрмөц тэмдэглэл) |
|---|---|---|---|
| TensorFlow Lite | Хөгжүүлэгчид, хоббичид | Үнэгүй | Хөнгөн, зөөврийн, маш сайн MCU → гар утасны хамрах хүрээ |
| Edge Impulse | Анхан шатны бизнес эрхлэгчид ба стартапууд | Freemium шатлалууд | Чирж тавих ажлын урсгал - "AI LEGO" гэх мэт |
| Nvidia Jetson платформ | Эрчим хүч хэрэгтэй инженерүүд | $$$ (хямд биш) | Хүнд хараа/ажлын ачаалалд зориулсан GPU + хурдасгуур |
| TinyML (Arduino-оор дамжуулан) | Сурган хүмүүжүүлэгчид, прототип зохиогчид | Бага өртөгтэй | Хялбархан; олон нийтэд чиглэсэн ❤️ |
| Qualcomm хиймэл оюун ухааны хөдөлгүүр | OEM үйлдвэрлэгчид, гар утасны үйлдвэрлэгчид | Хувьсах | Snapdragon дээр NPU-хурдасгалт - маш хурдан |
| ExecuTorch (PyTorch) | Мобайл болон захын хөгжүүлэгчид | Үнэгүй | Утас/зүүдэг/суулгасан төхөөрөмжүүдэд зориулсан төхөөрөмж дээрх PyTorch ажиллах хугацаа [5] |
(Тийм ээ, тэгш бус. Бодит байдал ч бас тийм.)
Суулгагдсан төхөөрөмжүүд дээрх хиймэл оюун ухаан яагаад салбарт чухал вэ 🏭
Зөвхөн шуугиан ч биш: үйлдвэрийн шугамууд дээр авсаархан загварууд согогийг илрүүлдэг; хөдөө аж ахуйд бага чадлын зангилаанууд талбайн хөрсийг шинжилдэг; тээврийн хэрэгсэлд аюулгүй байдлын функцууд тоормослохоосоо өмнө "гэртээ залгаж" чаддаггүй. Хоцрогдол болон нууцлалын талаар хэлэлцэх боломжгүй тооцооллыг захад шилжүүлэх нь стратегийн хөшүүрэг болдог [1].
TinyML: Суулгагдсан хиймэл оюун ухааны чимээгүй баатар 🐜
TinyML нь килобайтаас хэдэн мегабайт RAM хүртэлх микроконтроллерууд дээр загваруудыг ажиллуулдаг боловч түлхүүр үг илрүүлэх, дохио зангаа таних, аномали илрүүлэх гэх мэт олон функцийг ашигладаг. Энэ нь хулгана тоосго өргөхийг харахтай адил юм. Хачирхалтай нь сэтгэл ханамжтай.
Хурдан сэтгэцийн загвар:
-
Өгөгдлийн ул мөр : жижиг, урсгалтай мэдрэгчийн оролтууд.
-
Загварууд : авсаархан CNN/RNN, сонгодог ML, эсвэл сийрэгжүүлсэн/тоонжуулсан сүлжээ.
-
Төсөв : ватт биш милливатт; киловатт–мб, GB биш.
Тоног төхөөрөмжийн сонголтууд: Үнэ ба гүйцэтгэл ⚔️
Тоног төхөөрөмж сонгох нь олон төслүүдийн гуйвж буй хэсэг юм:
-
Raspberry Pi ангилал : ээлтэй, ерөнхий зориулалттай CPU; туршилтын загваруудад зориулсан бат бөх.
-
NVIDIA Jetson : зориулалтын дагуу бүтээгдсэн захын хиймэл оюун ухааны модулиуд (жишээ нь, Orin) нь нягт хараа эсвэл олон загварын стекийн хувьд хэдэн арван эсвэл хэдэн зуун ТОП-ыг
-
Google Coral (Edge TPU) ойролцоогоор 2W (~2 TOPS/W) хүчээр ~4 TOPS өгдөг ASIC хурдасгуур - таны загвар хязгаарлалтад нийцсэн үед гайхалтай гүйцэтгэл/W байна [3].
-
Ухаалаг гар утасны SoC (Snapdragon) : загваруудыг төхөөрөмж дээр үр ашигтай ажиллуулахын тулд NPU болон SDK-уудтай хамт ирдэг.
Гол дүрэм: зардал, дулааны үзүүлэлт болон тооцооллыг тэнцвэржүүлэх. “Хаа сайгүй хангалттай сайн” гэдэг нь ихэвчлэн “хамгийн сүүлийн үеийн, хаана ч байхгүй” гэсэн үгнээс илүү байдаг.
Суулгагдсан системүүдийн хиймэл оюун ухаанд тулгардаг нийтлэг бэрхшээлүүд 🤯
Инженерүүд дараах асуудлуудтай байнга тэмцдэг:
-
Бага санах ой : жижиг төхөөрөмжүүд аварга том загваруудыг багтааж чадахгүй.
-
Батерейны төсөв : миллиампер бүр чухал.
-
Загварын оновчлол:
-
Квантжуулалт → жижиг, хурдан int8/float16 жин/идэвхжүүлэлтүүд.
-
Тайрах → сийрэгжүүлэхийн тулд бага жинтэй хэсгүүдийг арилгана.
-
Кластержүүлэлт/жин хуваарилалт → цаашид шахах.
Эдгээр нь төхөөрөмж дээрх үр ашгийн стандарт аргууд юм [2].
-
-
Өргөтгөл хийх : ангийн Arduino демо ≠ аюулгүй байдал, хамгаалалт болон амьдралын мөчлөгийн хязгаарлалттай автомашины үйлдвэрлэлийн систем.
Алдааг олж засварлах уу? Бээлий зүүгээд цоожны нүхээр ном уншиж байна гээд төсөөлөөд үз дээ.
Практик хэрэглээнүүд Та удахгүй илүү ихийг харах болно 🚀
-
Ухаалаг зүүдэг төхөөрөмжүүд төхөөрөмж дээрх эрүүл мэндийн статистик мэдээллийг гаргаж байна.
-
IoT камерууд түүхий бичлэгийг дамжуулахгүйгээр үйл явдлыг тэмдэглэдэг.
-
Гар ашиглахгүйгээр удирдахад зориулсан офлайн дуут туслахууд
-
Үзлэг, хүргэлт, нарийвчлалтай хөдөө аж ахуйд зориулсан бие даасан дронууд
Товчхондоо: Хиймэл оюун ухаан бидний бугуй, гал тогоо, дэд бүтцэд улам ойртож байна.
Хөгжүүлэгчид хэрхэн эхлэх вэ 🛠️
-
Өргөн хүрээний багаж хэрэгсэл болон MCU→хөдөлгөөнт хамрах хүрээний хувьд TensorFlow Lite- ээс эхэл
-
Хэрэв та PyTorch-д амьдардаг бөгөөд гар утас болон суулгагдсан төхөөрөмжүүд дээр төхөөрөмж дээр ажиллах хугацаа хэрэгтэй бол ExecuTorch-г судлаарай
-
Arduino + TinyML иж бүрдлүүдийг туршаад үзээрэй .
-
Харааны дамжуулах хоолойг илүүд үздэг үү? Edge Impulse нь өгөгдөл цуглуулах, сургах, байршуулах замаар саадыг бууруулдаг.
-
Техник хангамжийг нэгдүгээр зэрэглэлийн иргэн гэж үз - CPU дээрх туршилтын загвар, дараа нь зорилтот хурдасгуур (Edge TPU, Jetson, NPU) дээрээ баталгаажуулж, хоцрогдол, дулааны хэлбэлзэл болон нарийвчлалын дельтауудыг баталгаажуул.
Жижиг виньетка: Нэг баг зоосны эсийн мэдрэгч дээр чичиргээний аномалийн мэдрэгч илгээдэг. float32 загвар нь эрчим хүчний төсвийг хангалтгүй зарцуулдаг; int8 квантжуулалт нь дүгнэлт бүрт энергийг бууруулж, санах ойг багасгаж, MCU нь ажлыг дуусгадаг - сүлжээ шаардлагагүй [2,3].
Суулгагдсан системүүдэд зориулсан хиймэл оюун ухааны чимээгүй хувьсгал 🌍
мэдрэх → бодох → үйлдэл хийхийг сурч байна . Батерейны ашиглалтын хугацаа биднийг үргэлж зовоох боловч замнал нь тодорхой байна: илүү нягт загварууд, илүү сайн хөрвүүлэгчид, илүү ухаалаг хурдасгуурууд. Үр дүн нь юу вэ? Зөвхөн холбогдсон төдийгүй анхаарал хандуулдаг тул илүү хувийн, хариу үйлдэлтэй мэт санагддаг технологи.
Лавлагаа
[1] ETSI (Олон хандалтын захын тооцоолол) - Хоцрогдол/нууцлалын ашиг тус ба салбарын нөхцөл байдал.
ETSI MEC: Шинэ Цагаан баримт бичгийн тойм
[2] Google TensorFlow загвар оновчлолын хэрэгслийн хэрэгсэл - Төхөөрөмж дээрх үр ашгийг тооцоолох, тайрах, кластерчлах.
TensorFlow загвар оновчлолын гарын авлага
[3] Google Coral Edge TPU - Ирмэгийн хурдатгалын Perf/W жишиг үзүүлэлтүүд.
Edge TPU жишиг үзүүлэлтүүд
[4] NVIDIA Jetson Orin (Албан ёсны) - Edge хиймэл оюун ухааны модулиуд болон гүйцэтгэлийн дугтуйнууд.
Jetson Orin модулиудын тойм
[5] PyTorch ExecuTorch (Албан ёсны баримт бичиг) - Гар утас болон Edge-д зориулсан төхөөрөмж дээрх PyTorch ажиллах хугацаа.
ExecuTorch-ын тойм