AI нь том серверүүд болон үүл GPU дээр амьдардаг байсан. Одоо яг мэдрэгчүүдийн хажууд жижгэрч гулсаж байна. Суулгасан системд зориулсан хиймэл оюун ухаан нь холын амлалт биш - хөргөгч, дрон, зүүдэг төхөөрөмж... тэр ч байтугай огт "ухаалаг" харагддаггүй төхөөрөмжүүдийн дотор аль хэдийн шуугиж байна.
Энэ ээлж яагаад чухал болохыг, юу нь үүнийг хэцүү болгодог, ямар сонголтууд танд цаг зарцуулах нь зүйтэй вэ гэдгийг эндээс харна уу.
Үүний дараа унших дуртай нийтлэлүүд:
🔗 Ёс зүйд нийцсэн, ил тод AI системийг баталгаажуулдаг хиймэл оюун ухааны удирдлагын шилдэг хэрэгслүүд
Ёс зүй, шаардлагад нийцсэн, ил тод хиймэл оюун ухааныг хадгалахад туслах хэрэгслүүдийн гарын авлага.
🔗 AI-д зориулсан объект хадгалах: сонголт, сонголт, сонголт
AI ажлын ачаалалд тохирсон объект хадгалах сонголтуудын харьцуулалт.
🔗 AI-д зориулсан өгөгдөл хадгалах шаардлага: таны мэдэх ёстой зүйл
AI өгөгдөл хадгалах төлөвлөлтийг хийхдээ анхаарах гол хүчин зүйлүүд.
Embedded Systems-д зориулсан AI🌱
Суулгасан төхөөрөмжүүд нь жижиг хэмжээтэй, ихэвчлэн батерейгаар ажилладаг, нөөцийн хувьд хязгаарлагдмал байдаг. Гэсэн хэдий ч хиймэл оюун ухаан нь томоохон ялалтуудыг нээдэг:
-
Үүлэн тойрон аялалгүйгээр бодит цагийн шийдвэр
-
Дизайнаар нууцлал - түүхий өгөгдөл төхөөрөмж дээр үлдэж болно.
-
Миллисекунд чухал үед хоцролтыг багасгана
-
Нарийвчилсан загвар + техник хангамжийн сонголтоор эрчим хүчийг мэддэг дүгнэлт
Эдгээр нь гар урлалын давуу тал биш: тооцооллыг зах руу түлхэх нь сүлжээний хамаарлыг бууруулж, олон төрлийн хэрэглээний хувийн нууцыг бэхжүүлдэг [1].
Энэ заль нь харгис хүч биш, хязгаарлагдмал нөөцтэй ухаалаг байх явдал юм. Үүргэвчтэй марафон гүйх гэж бодоод үз дээ... инженерүүд тоосгыг арилгасаар л байна.
Embedded системд зориулсан хиймэл оюун ухааныг хурдан харьцуулах хүснэгт 📝
| Хэрэгсэл / Хүрээ | Хамгийн тохиромжтой үзэгчид | Үнэ (ойролцоогоор) | Энэ яагаад ажилладаг вэ (хачирхалтай тэмдэглэл) |
|---|---|---|---|
| TensorFlow Lite | Хөгжүүлэгчид, хоббичид | Үнэгүй | Нарийхан, зөөврийн, гайхалтай MCU → гар утасны хамрах хүрээ |
| Ирмэгийн импульс | Эхлэгчид ба гарааны бизнес эрхлэгчид | Freemium давхаргууд | Чирэх, буулгах ажлын урсгал - "AI LEGO" шиг |
| Nvidia Jetson платформ | Инженерүүдэд хүч хэрэгтэй | $$$ (хямд биш) | Хүнд алсын хараа/ажлын ачаалалд зориулсан GPU + хурдасгуур |
| TinyML (Arduino-р) | Сурган хүмүүжүүлэгчид, прототипчид | Бага зардал | ойртох боломжтой; нийгэмд тулгуурласан ❤️ |
| Qualcomm AI хөдөлгүүр | OEM, гар утас үйлдвэрлэгч | Өөр өөр байдаг | Snapdragon дээр NPU хурдасгасан - маш хурдан |
| ExecuTorch (PyTorch) | Мобайл болон захын хөгжүүлэгчид | Үнэгүй | Утас/зүүдэг/суулгасан төхөөрөмж дээрх PyTorch ажиллах хугацаа [5] |
(Тийм ээ, тэгш бус. Бодит байдал ч мөн адил.)
Embedded төхөөрөмж дээрх хиймэл оюун ухаан яагаад үйлдвэрлэлд чухал байдаг вэ?
Зөвхөн шуугиан тарьсан ч биш: үйлдвэрийн шугам дээр авсаархан загварууд согогтой байдаг; хөдөө аж ахуйд бага чадлын зангилаа нь талбайн хөрсөнд дүн шинжилгээ хийдэг; Тээврийн хэрэгсэлд хамгаалалтын функцууд нь тоормослохын өмнө "гэртээ утсаар ярих" боломжгүй. Хоцролт ба нууцлалыг тохиролцох боломжгүй үед тооцооллыг зах руу шилжүүлэх нь стратегийн хөшүүрэг болно [1].
TinyML: Embedded AI-ийн чимээгүй баатар 🐜
TinyML нь килобайтаас хэдэн мегабайт хүртэлх RAM-тай микроконтроллерууд дээр загваруудыг ажиллуулдаг ч гэсэн түлхүүр үг хайх, дохио зангаа таних, аномали илрүүлэх гэх мэтийг дэмждэг. Хулгана тоосго өргөхийг харж байгаа юм шиг. Хачирхалтай сэтгэл ханамжтай.
Шуурхай сэтгэцийн загвар:
-
Өгөгдлийн ул мөр : жижиг, урсгал мэдрэгчийн оролт.
-
Загварууд : авсаархан CNN/RNN, сонгодог ML эсвэл сийрэгжүүлсэн/тооцсон тор.
-
Төсөв : ватт биш милливатт; ГБ биш, КБ–МБ.
Техник хангамжийн сонголт: Өртөг ба гүйцэтгэл ⚔️
Техник хангамжийг сонгох нь олон төсөл эргэлдэж байдаг.
-
Raspberry Pi ангилал : ээлтэй, ерөнхий зориулалттай CPU; прототипүүдийн хувьд хатуу.
-
NVIDIA Jetson нягт алсын хараа эсвэл олон загварт стек хийхэд зориулж араваас хэдэн зуун TOPS-ыг хүргэдэг тусгайлан бүтээсэн AI модулиуд (жишээ нь, Orin)
-
Google Coral (Edge TPU) : ASIC хурдасгуур нь ойролцоогоор 2W (~2 TOPS/W)-д ~4 TOPS-ийг хэмжигдсэн загваруудад өгдөг - таны загвар хязгаарлалтад нийцсэн үед гайхалтай perf/W [3].
-
Ухаалаг утасны SoCs (Snapdragon) : загваруудыг төхөөрөмж дээр үр дүнтэй ажиллуулахын тулд NPU болон SDK-уудтай хамт нийлүүлнэ.
Үндсэн дүрэм: тэнцэл зардал, дулаан, тооцоо. "Хангалттай, хаа сайгүй" гэдэг нь ихэвчлэн "хамгийн сүүлийн үеийн, хаана ч байхгүй" гэсэн үг юм.
Embedded системд зориулсан хиймэл оюун ухаанд тулгардаг нийтлэг бэрхшээлүүд 🤯
Инженерүүд дараахь хүмүүстэй тогтмол барилддаг.
-
Хатуу санах ой : жижигхэн төхөөрөмжүүд аварга том загваруудыг хүлээн авах боломжгүй.
-
Батерейны төсөв : миллиампер бүр чухал.
-
Загвар оновчлол:
-
Тоо хэмжээ → жижиг, илүү хурдан int8/float16 жин/идэвхжүүлэх.
-
Тайрах → сийрэгжилтийн хувьд ач холбогдолгүй жинг арилгах.
-
Кластер / жин хуваалцах → цааш шахах.
Эдгээр нь төхөөрөмж дээрх үр ашгийн стандарт техник юм [2].
-
-
Өргөтгөх : анги танхим Arduino demo ≠ аюулгүй байдал, аюулгүй байдал, амьдралын мөчлөгийн хязгаарлалт бүхий автомашины үйлдвэрлэлийн систем.
Дибаг хийх үү? Түлхүүрийн нүхээр ном уншиж буй зураг... бээлий зүүсэн.
Удахгүй та илүү ихийг үзэх практик програмууд 🚀
-
Ухаалаг зүүдэг төхөөрөмж нь төхөөрөмж дээрх эрүүл мэндийн талаархи мэдээлэл өгдөг.
-
IoT камер нь түүхий бичлэгийг дамжуулахгүйгээр үйл явдлыг тэмдэглэдэг.
-
офлайн дуут туслахууд - үүлэн хамааралгүй.
-
Шалгалт, хүргэлт, нарийвчлалын хувьд бие даасан дронууд
Товчхондоо: хиймэл оюун ухаан нь бидний бугуй, гал тогоо, дэд бүтцэд ойртож байна.
Хөгжүүлэгчид хэрхэн эхэлж болох вэ 🛠️
-
Өргөн хүрээний хэрэгсэл, MCU→гар утасны хамрах хүрээг хангахын тулд TensorFlow Lite- аас эхэл тоо хэмжээг тогтоох/тайрах ажлыг эрт хийх [2].
-
Хэрэв та PyTorch газар амьдардаг бөгөөд гар утас болон суулгагдсан [5] дээр төхөөрөмж дээр ажиллах цаг хэрэгтэй бол ExecuTorch-тэй танилцаарай
-
Хурдан, гайхалтай загвар гаргахын тулд Arduino + TinyML иж бүрдлийг туршаад үзээрэй
-
Харааны дамжуулах хоолойг илүүд үздэг үү? Edge Impulse нь өгөгдөл цуглуулах, сургах, байршуулах зэрэгт саад бэрхшээлийг бууруулдаг.
-
Техник хангамжийг нэгдүгээр зэрэглэлийн иргэн гэж үзэж - CPU-ийн прототипийг хийж, дараа нь зорилтот хурдасгуур (Edge TPU, Jetson, NPU) дээр баталгаажуулж, хоцролт, дулаан, нарийвчлалын дельтаг баталгаажуулна уу.
Мини-виньет: Баг нь зоос мэдрэгч дээрх чичиргээ-гажиг илрүүлэгчийг илгээдэг. float32 загвар нь эрчим хүчний төсвийг алддаг; int8 квантчилал нь дүгнэлт гаргахад шаардагдах энергийг багасгаж, тайрах нь санах ойг багасгаж, MCU-ийн үүргийн цикл нь ажлыг дуусгадаг - сүлжээ шаардлагагүй [2,3].
Embedded системд зориулсан хиймэл оюун ухааны чимээгүй хувьсгал 🌍
мэдрэх → бодох → үйлдэл хийх - орон нутагт сурч байна Батерейны ашиглалтын хугацаа биднийг үргэлж зовоож байх болно, гэхдээ зам нь тодорхой: илүү нягт загварууд, илүү сайн эмхэтгэгчид, илүү ухаалаг хурдасгуурууд. Үр дүн? Энэ нь зүгээр л холбоотой биш, учир нь илүү хувийн, мэдрэмжтэй технологи юм - энэ нь анхаарал хандуулж байна.
Лавлагаа
[1] ETSI (Multi-access Edge Computing) - Хоцролт/нууцлалын ашиг тус ба салбарын нөхцөл байдал.
ETSI MEC: Шинэ цагаан номны тойм
[2] Google TensorFlow загварын оновчлолын хэрэгсэл - Төхөөрөмжийн үр ашгийг дээшлүүлэхийн тулд тоо хэмжээ, тайрах, кластер хийх.
TensorFlow загварыг оновчтой болгох гарын авлага
[3] Google Coral Edge TPU - Ирмэгийн хурдатгалын Perf/W жишиг.
Edge TPU жишиг
[4] NVIDIA Jetson Orin (Албан ёсны) - Edge AI модулиуд болон гүйцэтгэлийн дугтуйнууд.
Жетсон Орин модулиудын тойм
[5] PyTorch ExecuTorch (Албан ёсны баримт бичиг) - Гар утас болон захад зориулсан төхөөрөмж дээрх PyTorch ажиллах хугацаа.
ExecuTorch тойм