Edge AI нь мэдээлэл бий болсон газруудад оюун ухааныг түлхэж өгдөг. Гоёмсог сонсогдож байгаа ч гол санаа нь энгийн: яг мэдрэгчийн хажууд бодож хийгээрэй, ингэснээр үр дүн нь дараа нь биш, яг одоо харагдах болно. Шийдвэр бүрийг үүлэн хүүхэд асрахгүйгээр та хурд, найдвартай байдал, нууцлалын зохистой түүхийг авах болно. Үүнийг задлах товчлолууд болон хажуугийн даалгаврууд багтсан болно. 😅
Үүний дараа таны унших дуртай нийтлэлүүд:
🔗 Генератив AI гэж юу вэ
Хиймэл оюун ухаан, хэрхэн ажилладаг, практик хэрэглээний талаар тодорхой тайлбар.
🔗 Агент AI гэж юу вэ
Агентлаг хиймэл оюун ухаан, бие даасан зан үйл, бодит ертөнц дэх хэрэглээний загваруудын тойм.
🔗 AI өргөтгөх чадвар гэж юу вэ
AI системийг хэрхэн найдвартай, үр ашигтай, хэмнэлттэй масштабтай болгох талаар суралц.
🔗 AI-д зориулсан програм хангамжийн хүрээ гэж юу вэ
AI программ хангамжийн хүрээ, архитектурын ашиг тус, хэрэгжилтийн үндсүүдийн задаргаа.
Edge AI гэж юу вэ? Шуурхай тодорхойлолт 🧭
Edge AI нь гар утас, камер, робот, машин, өмсдөг төхөөрөмж, үйлдвэрлэлийн хянагч гэх мэт өгөгдөл цуглуулдаг төхөөрөмжүүд дээр эсвэл ойролцоо бэлтгэгдсэн машин сургалтын загваруудыг шууд ажиллуулах практик юм. Түүхий өгөгдлийг алс холын сервер рүү илгээхийн оронд уг төхөөрөмж нь оролтыг дотооддоо боловсруулж, зөвхөн хураангуй эсвэл огт илгээдэггүй. Хоёр талын аялал бага, хоцролт бага, илүү хяналт. Хэрэв та цэвэр, худалдагчаас ангид тайлбарлагч хүсч байвал эндээс эхлээрэй. [1]
Edge AI-г юу үнэхээр ашигтай болгодог вэ? 🌟
-
Хоцролт бага - шийдвэр нь төхөөрөмж дээр гардаг тул объект илрүүлэх, сэрэх үг илрүүлэх эсвэл гажиг дохиолол зэрэг ойлголтын ажлуудад хариу шууд мэдрэгддэг. [1]
-
Орон нутгийн нууцлал - нууц өгөгдөл нь төхөөрөмж дээр үлдэж, өртөлтийг бууруулж, өгөгдлийг багасгах хэлэлцүүлэгт тусална. [1]
-
зурвасын өргөнийг хэмнэх - түүхий урсгалын оронд функцууд эсвэл үйл явдлуудыг илгээх. [1]
-
Уян хатан байдал - бүдүүвч холболтын үед ажилладаг.
-
Зардлын хяналт - цөөхөн үүлэн тооцооллын мөчлөг, бага гаралт.
-
Контекстийн мэдрэмж - төхөөрөмж нь хүрээлэн буй орчныг "мэдэрч", дасан зохицдог.
Шуурхай анекдот: жижиглэн худалдааны нисгэгч төхөөрөмж дээрх хүн-объект гэсэн ангилалд тогтмол камер байршуулалтыг сольж, зөвхөн цагийн тоолол, онцгой байдлын клипийг түлхсэн. Үр дүн: Дэлгүүрийн WAN гэрээг өөрчлөхгүйгээр тавиурын ирмэг дээр 200 мс-ээс бага дохио өгч, дээшээ холбох урсгал ~90%-иар буурна. (Арга: орон нутгийн дүгнэлт, үйл явдлын багц, зөвхөн гажуудал.)
Edge AI vs Cloud AI - хурдан тодосгогч 🥊
-
Тооцоолол хаана болох вэ: ирмэг = төхөөрөмж дээр/төхөөрөмжийн ойролцоо; үүл = алсын мэдээллийн төвүүд.
-
Саатал: зах ≈ бодит цагийн горимд; үүл нь тойрон аялдаг.
-
Өгөгдлийн хөдөлгөөн: ирмэгийг эхлээд шүүнэ/шахна; Cloud бүрэн үнэнч байршуулалтанд дуртай.
-
Найдвартай байдал: ирмэг нь офлайнаар ажилладаг; үүлэнд холболт хэрэгтэй.
-
Засаглал: зах нь өгөгдлийг багасгахыг дэмждэг; үүл нь хяналтыг төвлөрүүлдэг. [1]
Энэ нь аль нь ч биш юм. Ухаалаг системүүд аль алиныг нь хослуулсан: орон нутагт хурдан шийдвэр гаргах, илүү гүнзгий дүн шинжилгээ хийх, төвлөрсөн флотын сургалт. Эрлийз хариулт нь уйтгартай бөгөөд зөв юм.
Edge AI хэрхэн ажилладаг вэ 🧩
-
Мэдрэгч нь дууны хүрээ, камерын пиксел, IMU цорго, чичиргээний ул мөр зэрэг түүхий дохиог авдаг.
-
Урьдчилан боловсруулалт нь эдгээр дохиог загварт ээлтэй функц болгон хувиргадаг.
-
Дүгнэлт ажиллах хугацаа нь боломжтой үед хурдасгуур ашиглан төхөөрөмж дээр авсаархан загварыг гүйцэтгэдэг.
-
Дараах боловсруулалт нь гаралтыг үйл явдал, шошго эсвэл хяналтын үйлдэл болгон хувиргадаг.
-
Телеметр нь зөвхөн хэрэгтэй зүйлсийг л байршуулдаг: хураангуй, гажиг эсвэл үечилсэн санал хүсэлт.
Төхөөрөмж дээрх ажиллах хугацаануудад Google-ийн LiteRT (өмнө нь TensorFlow Lite), ONNX Runtime болон Intel-ийн OpenVINO орно . Эдгээр хэрэгслийн гинж нь тоон үзүүлэлт болон операторын нэгдэл гэх мэт заль мэхийг ашиглан бага эрчим хүч/санах ойн төсвөөс дамжуулах чадварыг шахдаг. Хэрэв танд гол санаа таалагдаж байвал тэдгээрийн баримт бичиг бат бөх байна. [3][4]
Энэ нь хаана харагдах вэ - бодит хэрэглээний тохиолдлуудыг та 🧯🚗🏭 хаягаар зааж болно
-
Захын алсын хараа: хаалганы хонхны камер (хүмүүс болон тэжээвэр амьтад), жижиглэнгийн худалдаанд тавиур скан хийх, дрон согог илрүүлэх.
-
Төхөөрөмж дээрх аудио: сэрээх үгс, диктант, ургамал дахь гоожиж илрүүлэх.
-
Аж үйлдвэрийн IoT: хөдөлгүүр болон насосыг эвдрэлээс өмнө чичиргээний гажиг байгаа эсэхийг хянадаг.
-
Автомашин: жолоочийн хяналт, эгнээ илрүүлэх, зогсоолын туслах-секунд эсвэл уналт.
-
Эрүүл мэндийн тусламж үйлчилгээ: зүүдэг төхөөрөмж хэм алдагдалыг орон нутагт тэмдэглэдэг; хураангуйг дараа нь синк хийнэ үү.
-
Ухаалаг утас: зургийн сайжруулалт, спам дуудлагыг илрүүлэх, "миний утас офлайн үед яаж ингэж ажилласан бэ" гэсэн мөчүүд.
Албан ёсны тодорхойлолтыг (мөн "манан ба захын" үеэл яриа) NIST-ийн үзэл баримтлалын загварыг үзнэ үү. [2]
Үүнийг түргэн шуурхай болгодог техник хангамж 🔌
Хэд хэдэн платформууд нэрээр нь маш их шалгадаг:
-
NVIDIA Jetson - робот/камеруудад зориулсан GPU-ээр ажилладаг модулиуд, суулгагдсан AI-д зориулсан Швейцарийн армийн хутганы чичиргээ.
-
Google Edge TPU + LiteRT - үр ашигтай бүхэл тоон дүгнэлт ба хэт бага эрчим хүч зарцуулдаг төслүүдэд хялбаршуулсан ажиллах хугацаа. [3]
-
Apple Neural Engine (ANE) - iPhone, iPad болон Mac-д зориулсан төхөөрөмж дээрх нягт ML; Apple компани ANE дээр трансформаторыг үр ашигтай байрлуулах практик ажлыг нийтлэв. [5]
-
OpenVINO-той Intel CPU/iGPU/NPU-ууд - Intel техник хангамжид "нэг удаа бичээд, хаана ч байршуул"; ашигтай оновчлол амжилттай хэрэгждэг.
-
ONNX Runtime хаа сайгүй - утас, компьютер, гарц дээр залгах боломжтой гүйцэтгэх үйлчилгээ үзүүлэгч бүхий саармаг ажиллах хугацаа. [4]
Тэд бүгд танд хэрэгтэй юу? Үнэхээр биш. Өөрийн флотод тохирсон нэг хүчтэй замыг сонгоод, түүгээрээ яваарай - churn бол суулгагдсан багуудын дайсан юм.
Програм хангамжийн стек - богино аялал 🧰
-
Загварын шахалт: квантчлал (ихэвчлэн int8 хүртэл), тайрах, нэрэх.
-
Операторын түвшний хурдатгал: цөмийг таны цахиурт тохируулсан.
-
Ажиллах хугацаа: LiteRT, ONNX Runtime, OpenVINO. [3][4]
-
Байршуулах боодол: контейнер/апп багц; заримдаа гарц дээрх микро үйлчилгээнүүд.
-
Захын MLOps: OTA загварын шинэчлэлт, A/B rollout, телеметрийн гогцоо.
-
Нууцлал ба аюулгүй байдлын хяналт: төхөөрөмж дээрх шифрлэлт, аюулгүй ачаалах, баталгаажуулалт, тусгаарлалт.
Бяцхан хэрэг: Хяналтын нисгэгчгүй нисэгчдийн баг хүнд жингийн илрүүлэгчийг LiteRT-д зориулсан тоон үзүүлэлттэй оюутны загвар болгон нэрж, дараа нь төхөөрөмж дээрх NMS-ийг нэгтгэсэн. Тооцоолол багатай тул нислэгийн цаг ~15% сайжирсан; байршуулах хэмжээ онцгой хүрээ рүү багассан. (Арга: өгөгдлийн багцыг газар дээр нь авах, хэмжигдэхүүний дараах шалгалт тохируулга, бүрэн нэвтрүүлэхээс өмнө сүүдэрлэх A/B горим.)
Харьцуулах хүснэгт - алдартай Edge AI сонголтууд 🧪
Бодит яриа: энэ хүснэгт нь бодит ертөнцтэй адил үзэл бодолтой, бага зэрэг замбараагүй байна.
| Хэрэгсэл / Платформ | Шилдэг үзэгчид | Үнийн талбай | Яагаад энэ нь ирмэг дээр ажилладаг |
|---|---|---|---|
| LiteRT (хуучин TFLite) | Android, бүтээгчид, суулгагдсан | доллараас $$ хүртэл | Хялбар ажиллах хугацаа, хүчирхэг баримт бичиг, гар утасны анхны үйлдлийн систем. Офлайнаар сайн ажилладаг. [3] |
| ONNX ажиллах хугацаа | Хөндлөн платформ багууд | $ | Төвийг сахисан формат, залгах боломжтой тоног төхөөрөмжийн арын хэсэг-Ирээдүйд ээлтэй. [4] |
| OpenVINO | Intel төвтэй байршуулалт | $ | Нэг хэрэгсэл, олон Intel зорилтот хэрэгсэл; тохиромжтой оновчтой дамжуулалт. |
| NVIDIA Жетсон | Робот техник, алсын хараатай | $$-с $$$ | Өдрийн хоолны хайрцагт GPU хурдатгал; өргөн экосистем. |
| Apple ANE | iOS/iPadOS/macOS програмууд | төхөөрөмжийн өртөг | HW/SW нягт уялдаатай; сайн баримтжуулсан ANE трансформаторын ажил. [5] |
| Edge TPU + LiteRT | Хэт бага эрчим хүчний төслүүд | $ | Ирмэг дээр үр дүнтэй int8 дүгнэлт; жижигхэн хэрнээ чадвартай. [3] |
Edge AI замыг хэрхэн сонгох вэ - жижигхэн шийдвэрийн мод 🌳
-
Таны амьдрал хэцүү байна уу? Хурдасгагч + квант загвараас эхэл.
-
Олон төрлийн төхөөрөмж? Зөөврийн хувьд ONNX Runtime эсвэл OpenVINO-г сонго. [4]
-
Гар утасны програм хүргэх үү? LiteRT бол хамгийн бага эсэргүүцэлтэй зам юм. [3]
-
Робот техник үү эсвэл камерын аналитик уу? Jetson-ы GPU-д ээлтэй үйлдлүүд цаг хэмнэдэг.
-
Нууцлалын хатуу байр суурь? Өгөгдлийг локал байлгаж, шифрлээрэй, түүхий фрейм биш логийн агрегатууд.
-
Жижигхэн баг уу? Чамин багажны оосороос зайлсхий - уйтгартай байх нь үзэсгэлэнтэй юм.
-
Загварууд байнга солигдох уу? Эхний өдрөөс эхлэн OTA болон телеметрийг төлөвлө.
Эрсдэл, хязгаарлалт, уйтгартай боловч чухал хэсгүүд 🧯
-
Загварын шилжилт - орчин өөрчлөгдөх; хуваарилалтыг хянах, сүүдрийн горимыг ажиллуулах, үе үе давтан сургах.
-
Тооцооллын тааз - нягт санах ой / хүч нь жижиг загвар эсвэл сул нарийвчлалыг шаарддаг.
-
Аюулгүй байдал - биет хандалт хийх; аюулгүй ачаалах, гарын үсэг зурсан олдвор, гэрчилгээ, хамгийн бага давуу эрх бүхий үйлчилгээг ашиглах.
-
Өгөгдлийн засаглал - орон нутгийн боловсруулалт тусалдаг, гэхдээ танд зөвшөөрөл, хадгалах болон хамрах хүрээний телеметр хэрэгтэй хэвээр байна.
-
Fleet ops - төхөөрөмжүүд хамгийн муу үед офлайн болдог; хойшлуулсан шинэчлэлтүүд болон дахин байршуулах боломжтой.
-
Авьяас чадварын холимог - суулгагдсан + ML + DevOps бол олон өнгийн баг юм; эрт хөндлөн галт тэрэг.
Хэрэгтэй зүйл хүргэх практик замын зураг 🗺️
-
3-р мөрөнд хэмжигдэхүйц үнэ цэнийн согог илрүүлэх, ухаалаг чанга яригч дээрх үгийг сэрээх гэх мэт нэг хэрэглээг сонго.
-
Зорилтот орчныг тусгасан эмх цэгцтэй мэдээллийн багц цуглуулах ; бодит байдалд нийцүүлэхийн тулд чимээ шуугиан тарина.
-
Үйлдвэрлэлийн техник хангамжид ойрхон хөгжүүлэгч иж бүрдэл дээрх прототип .
-
Загварыг тоо хэмжээ / тайралтаар шахах; нарийвчлалын алдагдлыг шударгаар хэмжих. [3]
-
Төхөөрөмжүүд шөнийн 02 цагт унтардаг тул арын даралт болон харуул хамгаалалт бүхий цэвэр API-д дүгнэлт хий.
-
Нууцлалыг дээдэлсэн телеметрийн дизайн : тоолол, гистограмм илгээх, ирмэгээс задалсан функцууд.
-
Аюулгүй байдлыг чангатгах: гарын үсэг зурсан хоёртын файл, аюулгүй ачаалах, хамгийн бага үйлчилгээ нээлттэй.
-
Төлөвлөгөө OTA: шаталсан хувилбарууд, канарууд, шуурхай буцаах.
-
булангийн жижиг хайрцгийг нисгэ - хэрэв тэр тэнд амьд үлдвэл хаана ч амьд үлдэх болно.
-
Тоглоомын дэвтэр ашиглан масштаблах: загваруудыг хэрхэн нэмэх, товчлууруудыг эргүүлэх, өгөгдлийг архивлах - ингэснээр 2-р төсөл эмх замбараагүй болохгүй.
Түгээмэл асуултууд - Edge хиймэл оюун ухааны сонирхолтой зүйлсийн товч хариултууд ❓
Edge хиймэл оюун ухаан нь жижиг компьютер дээр жижиг загварыг ажиллуулж байгаа юм уу?
Ихэнх тохиолдолд тийм ээ, гэхдээ хэмжээ нь бүхэл бүтэн түүх биш юм. Энэ нь мөн хоцрогдлын төсөв, нууцлалын амлалт, орон нутагт ажиллаж байгаа ч дэлхий даяар суралцах олон төхөөрөмжийг зохион байгуулахтай холбоотой юм. [1]
Би ч бас ирмэг дээр бэлтгэл хийж болох уу?
Хөнгөн төхөөрөмж дээрх сургалт/хувийн тохиргоо байдаг; хүнд сургалт төвлөрсөн хэвээр явагддаг. Хэрэв та адал явдалд дуртай бол ONNX Runtime нь төхөөрөмж дээрх сургалтын сонголтуудыг баримтжуулдаг. [4]
Edge AI ба манан тооцоолол гэж юу вэ?
Манан ба зах нь үеэл юм. Хоёулаа тооцооллыг өгөгдлийн эх үүсвэрт ойртуулдаг, заримдаа ойролцоох гарцаар дамжуулдаг. Албан ёсны тодорхойлолт болон контекстийг NIST-ээс үзнэ үү. [2]
Edge хиймэл оюун ухаан нууцлалыг үргэлж сайжруулдаг уу?
Энэ нь тусалдаг ч ид шид биш. Та багасгах, аюулгүй шинэчлэх зам, болгоомжтой бүртгэл хийх шаардлагатай хэвээр байна. Нууцлалыг тэмдэглэгээний хайрцаг биш, зуршил гэж үз.
Та үнэхээр уншиж магадгүй гүн гүнзгий 📚
1) Нарийвчлалыг алдагдуулдаггүй загварын оновчлол
Тоон тоолол нь санах ойг багасгаж, үйл ажиллагааг хурдасгах боломжтой боловч төлөөлөх өгөгдлөөр тохируулга хийх эсвэл загвар нь замын конус байгаа газарт хэрэм дүрсэлж болно. Нэрэлт-багш нь жижиг сурагчийг удирдан чиглүүлэх нь ихэвчлэн семантикийг хадгалдаг. [3]
2) Практикт төгсгөлийн дүгнэлт гаргах хугацаа
LiteRT-ийн орчуулагч нь ажиллах үед зориудаар статик-бага санах ой алддаг. ONNX Runtime нь гүйцэтгэх үйлчилгээ үзүүлэгчээр дамжуулан өөр өөр хурдасгуурт залгагддаг. Мөнгөн сум ч биш; хоёулаа хатуу алх. [3][4]
3) Зэрлэг байгальд бат бөх байдал
Дулаан, тоос шороо, тасархай эрчим хүч, Wi-Fi-г тасалдуулах: шугам сүлжээг дахин эхлүүлдэг, шийдвэрүүдийг кэшээр хийдэг, сүлжээ буцаж ирэхэд эвлэрдэг харуулуудыг бий болго. Анхаарал татахуйцаас бага дур булаам - илүү чухал.
Уулзалтууд дээр давтдаг хэллэг - Edge хиймэл оюун ухаан гэж юу вэ 🗣️
Edge AI нь саатал, нууцлал, зурвасын өргөн, найдвартай байдлын практик хязгаарлалтыг хангахын тулд оюун ухааныг өгөгдөлд ойртуулдаг. Ид шид нь нэг чип эсвэл хүрээ биш - хаана юуг тооцоолохоо ухаалгаар сонгох явдал юм.
Эцсийн тайлбар - Хэтэрхий удаан, би уншаагүй 🧵
Edge AI нь загваруудыг өгөгдлийн ойролцоо ажиллуулдаг тул бүтээгдэхүүнүүд хурдан, нууцлалтай, бат бөх мэдрэгддэг. Та хоёр ертөнцийн хамгийн сайн сайхны төлөө орон нутгийн дүгнэлтийг үүлэн хяналттай хослуулах болно. Төхөөрөмжүүдтэйгээ тохирох ажиллах хугацааг сонгож, боломжтой үедээ хурдасгуур ашиглаж, загваруудыг шахалтаар цэвэр байлгаж, ажил чинь үүнээс хамаардаг шиг флотын үйл ажиллагааг зохион бүтээгээрэй - учир нь магадгүй. Хэрэв хэн нэгэн Edge AI гэж юу вэ гэж: орон нутагт, цаг тухайд нь гаргасан ухаалаг шийдвэрүүд гэж хэлээрэй. Дараа нь инээмсэглээд сэдвийг батерей болгон өөрчил. 🔋🙂
Лавлагаа
-
IBM - Edge AI гэж юу вэ? (тодорхойлолт, ашиг тус).
https://www.ibm.com/think/topics/edge-ai -
NIST - SP 500-325: Манан тооцоолох концепцийн загвар (манан/ирмэгийн албан ёсны контекст).
https://csrc.nist.gov/pubs/sp/500/325/final -
Google AI Edge - LiteRT (өмнө нь TensorFlow Lite) (ажиллах хугацаа, тоо хэмжээ, шилжих).
https://ai.google.dev/edge/litert -
ONNX Runtime - Төхөөрөмж дээрх сургалт (зөөврийн ажиллах хугацаа + захын төхөөрөмж дээрх сургалт).
https://onnxruntime.ai/docs/get-started/training-on-device.html -
Apple-ийн машин сургалтын судалгаа - Apple-ийн мэдрэлийн хөдөлгүүр дээр трансформаторуудыг байрлуулах нь (ANE үр ашгийн тэмдэглэл).
https://machinelearning.apple.com/research/neural-engine-transformers