Edge AI гэж юу вэ?

Edge AI нь мэдээлэл бий болсон газруудад оюун ухааныг түлхэж өгдөг. Гоёмсог сонсогдож байгаа ч гол санаа нь энгийн: яг мэдрэгчийн хажууд бодож хийгээрэй, ингэснээр үр дүн нь дараа нь биш, яг одоо харагдах болно. Шийдвэр бүрийг үүлэн хүүхэд асрахгүйгээр та хурд, найдвартай байдал, нууцлалын зохистой түүхийг авах болно. Үүнийг задлах товчлолууд болон хажуугийн даалгаврууд багтсан болно. 😅

Үүний дараа унших дуртай нийтлэлүүд:

🔗 Генератив AI гэж юу вэ
Хиймэл оюун ухаан, хэрхэн ажилладаг, практик хэрэглээний талаар тодорхой тайлбар.

🔗 Агент AI гэж юу вэ
Агентлаг хиймэл оюун ухаан, бие даасан зан үйл, бодит ертөнц дэх хэрэглээний загваруудын тойм.

🔗 AI өргөтгөх чадвар гэж юу вэ
AI системийг хэрхэн найдвартай, үр ашигтай, хэмнэлттэй масштабтай болгох талаар суралц.

🔗 AI-д зориулсан програм хангамжийн хүрээ гэж юу вэ
AI программ хангамжийн хүрээ, архитектурын ашиг тус, хэрэгжилтийн үндсүүдийн задаргаа.

Edge AI гэж юу вэ? Шуурхай тодорхойлолт 🧭

Edge AI нь гар утас, камер, робот, машин, өмсдөг төхөөрөмж, үйлдвэрлэлийн хянагч гэх мэт өгөгдөл цуглуулдаг төхөөрөмжүүд дээр эсвэл ойролцоо бэлтгэгдсэн машин сургалтын загваруудыг шууд ажиллуулах практик юм. Түүхий өгөгдлийг алс холын сервер рүү илгээхийн оронд уг төхөөрөмж нь оролтыг дотооддоо боловсруулж, зөвхөн хураангуй эсвэл огт илгээдэггүй. Хоёр талын аялал бага, хоцролт бага, илүү хяналт. Хэрэв та цэвэр, худалдагчаас ангид тайлбарлагч хүсч байвал эндээс эхлээрэй. [1]

Edge AI-г юу үнэхээр ашигтай болгодог вэ? 🌟

• Хоцролт бага - шийдвэр нь төхөөрөмж дээр гардаг тул объект илрүүлэх, сэрэх үг илрүүлэх эсвэл гажиг дохиолол зэрэг ойлголтын ажлуудад хариу шууд мэдрэгддэг. [1]

• Орон нутгийн нууцлал - нууц өгөгдөл нь төхөөрөмж дээр үлдэж, өртөлтийг бууруулж, өгөгдлийг багасгах хэлэлцүүлэгт тусална. [1]

• зурвасын өргөнийг хэмнэх - түүхий урсгалын оронд функцууд эсвэл үйл явдлуудыг илгээх. [1]

• Уян хатан байдал - бүдүүвч холболтын үед ажилладаг.

• Зардлын хяналт - цөөхөн үүлэн тооцооллын мөчлөг, бага гаралт.

• Контекст мэдлэг - төхөөрөмж нь хүрээлэн буй орчныг "мэдэрч", дасан зохицдог.

Шуурхай анекдот: жижиглэн худалдааны нисгэгч төхөөрөмж дээрх хүн-объект гэсэн ангилалд тогтмол камер байршуулалтыг сольж, зөвхөн цагийн тоолол, онцгой байдлын клипийг түлхсэн. Үр дүн: Дэлгүүрийн WAN гэрээг өөрчлөхгүйгээр тавиурын ирмэг дээр 200 мс-ээс бага дохио өгч, дээшээ холбох урсгал ~90%-иар буурна. (Арга: орон нутгийн дүгнэлт, үйл явдлын багц, зөвхөн гажуудал.)

Edge AI vs Cloud AI - хурдан тодосгогч 🥊

• Тооцоолол хаана болох вэ : ирмэг = төхөөрөмж дээр/төхөөрөмжийн ойролцоо; үүл = алсын мэдээллийн төвүүд.

• Хоцролт : ирмэг ≈ бодит цаг хугацаа; үүл нь хоёр талын аялалтай.

• Өгөгдлийн хөдөлгөөн : ирмэгийг эхлээд шүүнэ/шахна; Cloud бүрэн үнэнч байршуулалтанд дуртай.

• Найдвартай байдал : ирмэг нь офлайнаар ажилладаг; үүлэнд холболт хэрэгтэй.

• Засаглал : зах нь өгөгдлийг багасгахыг дэмждэг; үүл нь хяналтыг төвлөрүүлдэг. [1]

Энэ нь аль нь ч биш юм. Ухаалаг системүүд аль алиныг нь хослуулсан: орон нутагт хурдан шийдвэр гаргах, илүү гүнзгий дүн шинжилгээ хийх, төвлөрсөн флотын сургалт. Эрлийз хариулт нь уйтгартай бөгөөд зөв юм.

Edge AI хэрхэн ажилладаг вэ 🧩

1. Мэдрэгч нь дууны хүрээ, камерын пиксел, IMU цорго, чичиргээний ул мөр зэрэг түүхий дохиог авдаг.

2. Урьдчилан боловсруулалт нь эдгээр дохиог загварт ээлтэй функц болгон хувиргадаг.

3. Дүгнэлт ажиллах хугацаа нь боломжтой үед хурдасгуур ашиглан төхөөрөмж дээр авсаархан загварыг гүйцэтгэдэг.

4. Дараах боловсруулалт нь гаралтыг үйл явдал, шошго эсвэл хяналтын үйлдэл болгон хувиргадаг.

5. Телеметр нь зөвхөн хэрэгтэй зүйлсийг байршуулдаг: хураангуй, гажиг эсвэл үе үе санал хүсэлт.

Таны зэрлэг байгальд харагдах төхөөрөмж дээрх ажиллах цагуудад Google-ийн LiteRT (хуучнаар TensorFlow Lite), ONNX Runtime болон Intel-ийн OpenVINO . Эдгээр багажны гинж нь тоо хэмжээ, операторын нэгдэл гэх мэт заль мэх ашиглан эрчим хүч/санах ойн зарцуулалт багатай төсвөөс дамжуулалтыг шахдаг. Хэрэв та самар, боолтонд дуртай бол тэдгээрийн баримт бичиг хатуу байна. [3][4]

Энэ нь хаана харагдах вэ - бодит хэрэглээний тохиолдлуудыг та 🧯🚗🏭 хаягаар зааж болно

• Захын алсын хараа : хаалганы хонхны камер (хүмүүс болон тэжээвэр амьтад), жижиглэнгийн худалдаанд тавиур скан хийх, дрон согог илрүүлэх.

• Төхөөрөмж дээрх аудио : сэрээх үгс, диктант, ургамал дахь гоожиж илрүүлэх.

• Аж үйлдвэрийн IoT : хөдөлгүүр болон насосыг эвдрэлээс өмнө чичиргээний гажиг байгаа эсэхийг хянадаг.

• Автомашин : жолоочийн хяналт, эгнээ илрүүлэх, зогсоолын туслах-секунд эсвэл уналт.

• Эрүүл мэндийн тусламж үйлчилгээ : зүүдэг төхөөрөмж хэм алдагдалыг орон нутагт тэмдэглэдэг; хураангуйг дараа нь синк хийнэ үү.

• Ухаалаг утас : зураг сайжруулах, спам дуудлага илрүүлэх, "миний утас яаж үүнийг офлайн хийсэн бэ" гэсэн мөчүүд.

Албан ёсны тодорхойлолтыг (мөн "манан ба захын" үеэл яриа) NIST-ийн үзэл баримтлалын загварыг үзнэ үү. [2]

Үүнийг түргэн шуурхай болгодог техник хангамж 🔌

Хэд хэдэн платформууд нэрээр нь маш их шалгадаг:

• NVIDIA Jetson - робот/камеруудад зориулсан GPU-ээр ажилладаг модулиуд, суулгагдсан AI-д зориулсан Швейцарийн армийн хутганы чичиргээ.

• Google Edge TPU + LiteRT - үр ашигтай бүхэл тоон дүгнэлт ба хэт бага эрчим хүч зарцуулдаг төслүүдэд хялбаршуулсан ажиллах хугацаа. [3]

• Apple Neural Engine (ANE) - iPhone, iPad болон Mac-д зориулсан төхөөрөмж дээрх нягт ML; Apple компани ANE дээр трансформаторыг үр ашигтай байрлуулах практик ажлыг нийтлэв. [5]

• OpenVINO-тэй Intel CPU/iGPU/NPU - Intel-ийн техник хангамж дээр "нэг удаа бичиж, хаана ч байрлуулах"; ашигтай оновчлол дамждаг.

• ONNX Runtime хаа сайгүй - утас, компьютер, гарц дээр залгах боломжтой гүйцэтгэх үйлчилгээ үзүүлэгч бүхий саармаг ажиллах хугацаа. [4]

Тэд бүгд танд хэрэгтэй юу? Үнэхээр биш. Өөрийн флотод тохирсон нэг хүчтэй замыг сонгоод, түүгээрээ яваарай - churn бол суулгагдсан багуудын дайсан юм.

Програм хангамжийн стек - богино аялал 🧰

• Загварын шахалт : квантчлал (ихэвчлэн int8 хүртэл), тайрах, нэрэх.

• Операторын түвшний хурдатгал : цөмийг таны цахиурт тохируулсан.

• Ажиллах хугацаа : LiteRT, ONNX Runtime, OpenVINO. [3][4]

• Байршуулах боодол : контейнер/апп багц; заримдаа гарц дээрх микро үйлчилгээнүүд.

• Захын MLOps : OTA загварын шинэчлэлт, A/B rollout, телеметрийн гогцоо.

• Нууцлал ба аюулгүй байдлын хяналт : төхөөрөмж дээрх шифрлэлт, аюулгүй ачаалах, баталгаажуулалт, анклав.

Бяцхан хэрэг: Хяналтын нисгэгчгүй нисэгчдийн баг хүнд жингийн илрүүлэгчийг LiteRT-д зориулсан тоон үзүүлэлттэй оюутны загвар болгон нэрж, дараа нь төхөөрөмж дээрх NMS-ийг нэгтгэсэн. Тооцоолол багатай тул нислэгийн цаг ~15% сайжирсан; байршуулах хэмжээ онцгой хүрээ рүү багассан. (Арга: өгөгдлийн багцыг газар дээр нь авах, хэмжигдэхүүний дараах шалгалт тохируулга, бүрэн нэвтрүүлэхээс өмнө сүүдэрлэх A/B горим.)

Харьцуулах хүснэгт - алдартай Edge AI сонголтууд 🧪

Бодит яриа: энэ хүснэгт нь бодит ертөнцтэй адил үзэл бодолтой, бага зэрэг замбараагүй байна.

Edge AI замыг хэрхэн сонгох вэ - жижигхэн шийдвэрийн мод 🌳

• Таны амьдрал хэцүү байна уу? Хурдасгагч + квант загвараас эхэл.

• Олон төрлийн төхөөрөмж? Зөөврийн хувьд ONNX Runtime эсвэл OpenVINO-г сонго. [4]

• Гар утасны програм хүргэх үү? LiteRT бол хамгийн бага эсэргүүцэлтэй зам юм. [3]

• Робот техник эсвэл камерын аналитик уу? Jetson-ийн GPU-д ээлтэй үйлдлийн системүүд нь цаг хэмнэдэг.

• Нууцлалын хатуу байр суурь? Өгөгдлийг локал байлгаж, шифрлээрэй, түүхий фрейм биш логийн агрегатууд.

• Жижигхэн баг уу? Чамин багажны оосороос зайлсхий - уйтгартай байх нь үзэсгэлэнтэй юм.

• Загварууд байнга солигдох уу? Эхний өдрөөс эхлэн OTA болон телеметрийг төлөвлө.

Эрсдэл, хязгаарлалт, уйтгартай боловч чухал хэсгүүд 🧯

• Загварын шилжилт - орчин өөрчлөгдөх; хуваарилалтыг хянах, сүүдрийн горимыг ажиллуулах, үе үе давтан сургах.

• Тооцооллын тааз - нягт санах ой / хүч нь жижиг загвар эсвэл сул нарийвчлалыг шаарддаг.

• Аюулгүй байдал - биет хандалт хийх; аюулгүй ачаалах, гарын үсэг зурсан олдвор, гэрчилгээ, хамгийн бага давуу эрх бүхий үйлчилгээг ашиглах.

• Өгөгдлийн засаглал - орон нутгийн боловсруулалт тусалдаг, гэхдээ танд зөвшөөрөл, хадгалах болон хамрах хүрээний телеметр хэрэгтэй хэвээр байна.

• Fleet ops - төхөөрөмжүүд хамгийн муу үед офлайн болдог; хойшлуулсан шинэчлэлтүүд болон дахин байршуулах боломжтой.

• Авьяас чадварын холимог - суулгагдсан + ML + DevOps бол олон өнгийн баг юм; эрт хөндлөн галт тэрэг.

Хэрэгтэй зүйл хүргэх практик замын зураг 🗺️

1. 3-р мөрөнд хэмжигдэхүйц үнэ цэнийн согог илрүүлэх, ухаалаг чанга яригч дээрх үгийг сэрээх гэх мэт нэг хэрэглээг сонго.

2. Зорилтот орчныг тусгасан эмх цэгцтэй мэдээллийн багц цуглуулах бодит байдалд нийцүүлэхийн тулд чимээ шуугиан тарина.

3. Үйлдвэрлэлийн техник хангамжид ойрхон хөгжүүлэгч иж бүрдэл дээрх прототип

4. Загварыг тоо хэмжээ / тайралтаар шахах; нарийвчлалын алдагдлыг шударгаар хэмжих. [3]

5. Төхөөрөмжүүд шөнийн 02 цагт унтардаг тул арын даралт болон харуул хамгаалалт бүхий цэвэр API-д дүгнэлт хий.

6. Нууцлалыг дээдэлсэн телеметрийн дизайн

7. Аюулгүй байдлыг чангатгах : гарын үсэг зурсан хоёртын файл, аюулгүй ачаалах, хамгийн бага үйлчилгээ нээлттэй.

8. Төлөвлөгөө OTA : шаталсан хувилбарууд, канарууд, шуурхай буцаах.

9. Нисгэгч эхлээд булангийн хайрцагт байгаа бол тэнд амьд үлдвэл хаана ч амьд үлдэнэ.

10. Тоглоомын дэвтэрээр масштаблах : хэрхэн загвар нэмэх, товчлуурыг эргүүлэх, өгөгдлийг архивлах, тиймээс №2 төсөл нь эмх замбараагүй байдал биш юм.

Edge AI сониуч зан гэж юу вэ ❓ гэсэн богино хариултууд

Edge AI зүгээр л жижигхэн компьютер дээр жижиг загвар ажиллуулдаг уу?
Ихэнхдээ тийм, гэхдээ хэмжээ нь бүхэл бүтэн түүх биш юм. Энэ нь мөн хоцрогдлын төсөв, нууцлалын амлалт, орон нутагт ажиллаж байгаа хэдий ч дэлхийн хэмжээнд суралцаж буй олон төхөөрөмжийг зохион байгуулах тухай юм. [1]

Би бас ирмэг дээр бэлтгэл хийж болох уу?
Төхөөрөмж дээрх хөнгөн сургалт/хувийн тохируулга байдаг; илүү хүнд сургалт төвлөрсөн хэвээр байна. Хэрэв та адал явдалд дуртай бол ONNX Runtime баримт бичиг төхөөрөмж дээрх сургалтын сонголтууд. [4]

Edge AI ба манан тооцоолол гэж юу вэ?
Манан ба зах нь үеэл юм. Хоёулаа тооцооллыг өгөгдлийн эх үүсвэрт ойртуулдаг, заримдаа ойролцоох гарцаар дамжуулдаг. Албан ёсны тодорхойлолт болон контекстийг NIST-ээс үзнэ үү. [2]

Edge AI үргэлж хувийн нууцыг сайжруулдаг уу?
Энэ нь тусалдаг - гэхдээ энэ нь ид шид биш юм. Танд багасгах, аюулгүй шинэчлэх зам, болгоомжтой бүртгэл хийх шаардлагатай хэвээр байна. Хувийн нууцлалыг шалгах хайрцаг биш зуршил гэж үз.

Та үнэхээр уншиж магадгүй гүн гүнзгий 📚

1) Нарийвчлалыг алдагдуулдаггүй загварын оновчлол

Тоон тоолол нь санах ойг багасгаж, үйл ажиллагааг хурдасгах боломжтой боловч төлөөлөх өгөгдлөөр тохируулга хийх эсвэл загвар нь замын конус байгаа газарт хэрэм дүрсэлж болно. Нэрэлт-багш нь жижиг сурагчийг удирдан чиглүүлэх нь ихэвчлэн семантикийг хадгалдаг. [3]

2) Практикт төгсгөлийн дүгнэлт гаргах хугацаа

LiteRT-ийн орчуулагч нь ажиллах үед зориудаар статик-бага санах ой алддаг. ONNX Runtime нь гүйцэтгэх үйлчилгээ үзүүлэгчээр дамжуулан өөр өөр хурдасгуурт залгагддаг. Мөнгөн сум ч биш; хоёулаа хатуу алх. [3][4]

3) Зэрлэг байгальд бат бөх байдал

Дулаан, тоос шороо, тасархай эрчим хүч, Wi-Fi-г тасалдуулах: шугам сүлжээг дахин эхлүүлдэг, шийдвэрүүдийг кэшээр хийдэг, сүлжээ буцаж ирэхэд эвлэрдэг харуулуудыг бий болго. Анхаарал татахуйцаас бага дур булаам - илүү чухал.

Таны уулзалт дээр давтах хэллэг - Edge AI гэж юу вэ 🗣️

Edge AI нь саатал, нууцлал, зурвасын өргөн, найдвартай байдлын практик хязгаарлалтыг хангахын тулд оюун ухааныг өгөгдөлд ойртуулдаг. Ид шид нь нэг чип эсвэл хүрээ биш - хаана юуг тооцоолохоо ухаалгаар сонгох явдал юм.

Эцсийн тайлбар - Хэтэрхий удаан, би уншаагүй 🧵

Edge AI нь өгөгдлийн ойролцоо загваруудыг ажиллуулдаг тул бүтээгдэхүүн хурдан, хувийн, бат бөх мэт санагддаг. Та орон нутгийн дүгнэлтийг үүлэн хяналттай хослуулах болно. Төхөөрөмжүүддээ тохирсон ажиллах цагийг сонго, боломжтой бол хурдасгуур дээр түшиглэж, загваруудаа шахаж эмх цэгцтэй байлгаж, таны ажил гэх мэт флотын үйл ажиллагааг төлөвлөх нь үүнээс шалтгаална. Хэрэв хэн нэгэн Edge AI гэж юу вэ гэж : Орон нутагт, цаг тухайд нь гаргасан ухаалаг шийдвэр гэж хэлээрэй. Дараа нь инээмсэглээд сэдвийг батарейгаар солино. 🔋🙂

Лавлагаа

1. IBM - Edge AI гэж юу вэ? (тодорхойлолт, ашиг тус).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Манан тооцоолох концепцийн загвар (манан/ирмэгийн албан ёсны контекст).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (өмнө нь TensorFlow Lite) (ажиллах хугацаа, тоо хэмжээ, шилжих).
   https://ai.google.dev/edge/litert

4. ONNX Runtime - Төхөөрөмж дээрх сургалт (зөөврийн ажиллах хугацаа + захын төхөөрөмж дээрх сургалт).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Apple-ийн машин сургалтын судалгаа - Apple-ийн мэдрэлийн хөдөлгүүр дээр трансформаторуудыг байрлуулах нь (ANE үр ашгийн тэмдэглэл).
   https://machinelearning.apple.com/research/neural-engine-transformers

Албан ёсны AI Assistant дэлгүүрээс хамгийн сүүлийн үеийн хиймэл оюун ухааныг олоорой

Бидний тухай