Хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу вэ?

Хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу вэ?

Мэдрэлийн сүлжээнүүд нууцлаг сонсогдож байгаа ч үнэндээ нууцлаг сонсогдож байна. Хэрэв та хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу болох , энэ нь зүгээр л математикийн хувьд гоёмсог малгайтай эсэхийг гайхаж байсан бол та зөв газартаа хүрч байна. Бид үүнийг практик байдлаар хадгалах болно, жижиг тойргуудыг нэмж оруулах болно, тийм ээ - хэдэн эможи. Та эдгээр системүүд юу болох, яагаад ажилладаг, хаана бүтэлгүйтдэг, гараараа даллалгүйгээр тэдгээрийн талаар хэрхэн ярихаа мэдэх болно.

Үүний дараа таны унших дуртай нийтлэлүүд:

🔗 Хиймэл оюун ухааны хэвийлт гэж юу вэ
Хиймэл оюун ухааны систем дэх ялгаварлан гадуурхалтыг ойлгох, шударга ёсыг хангах стратегиуд.

🔗 Урьдчилан таамаглах хиймэл оюун ухаан гэж юу вэ
Урьдчилан таамаглах хиймэл оюун ухаан ирээдүйн үр дүнг урьдчилан таамаглахын тулд хэв маягийг хэрхэн ашигладаг вэ.

🔗 Хиймэл оюун ухааны сургагч гэж юу вэ
Хиймэл оюун ухааныг сургадаг мэргэжилтнүүдийн үүрэг, хариуцлагыг судлах.

🔗 Хиймэл оюун ухаанд компьютерын хараа гэж юу вэ
Хиймэл оюун ухаан нь компьютерийн хараагаар дамжуулан харааны өгөгдлийг хэрхэн тайлбарлаж, шинжилдэг вэ.

Хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу вэ? 10 секундын хариулт ⏱️

Мэдрэлийн сүлжээ гэдэг нь тоонуудыг урагш дамжуулж, сургалтын явцад холболтын хүчээ тохируулж, өгөгдөл дэх хэв маягийг аажмаар сурдаг мэдрэлийн эсүүд гэж нэрлэгддэг энгийн тооцооллын нэгжүүдийн овоолго юм. Та гүнзгий суралцахыг энэ нь ихэвчлэн олон давхарласан давхаргатай мэдрэлийн сүлжээ гэсэн үг бөгөөд та тэдгээрийг гараар кодлохын оронд автоматаар суралцдаг функцуудыг хэлнэ. Өөрөөр хэлбэл: олон жижиг математикийн хэсгүүдийг ухаалгаар байрлуулж, ашигтай болтол нь өгөгдөл дээр сургасан байдаг [1].

Мэдрэлийн сүлжээг юу ашигтай болгодог вэ? ✅

  • Дүрслэх чадвар : Зөв архитектур болон хэмжээтэй сүлжээнүүд нь маш нарийн төвөгтэй функцүүдийг ойролцоолж чадна (Түгээмэл Ойролцоолох Теоремыг үзнэ үү) [4].

  • Төгсгөлөөс төгсгөл хүртэлх сургалт : Гар аргаар инженерчлэл хийх функцүүдийн оронд загвар нь тэдгээрийг нээн илрүүлдэг [1].

  • Ерөнхий ойлголт : Сайн зохицуулсан сүлжээ нь зөвхөн цээжлээд зогсохгүй, шинэ, харагдахгүй өгөгдөл дээр ажилладаг [1].

  • Өргөтгөх чадвар : Илүү том өгөгдлийн багц болон илүү том загварууд нь тооцоолол болон өгөгдлийн чанар зэрэг практик хязгаарт хүртэл үр дүнг сайжруулсаар байдаг [1].

  • Шилжүүлэх чадвар : Нэг даалгаварт сурсан онцлогууд нь нөгөө даалгаварт тусалж чадна (шилжүүлэх сургалт болон нарийн тохируулга) [1].

Жижиг талбайн тэмдэглэл (жишээ хувилбар): Бүтээгдэхүүн ангиллын жижиг баг гараар бүтээсэн функцуудыг авсаархан CNN-ээр сольж, энгийн нэмэлтүүдийг нэмж (эргэлт/тайралт), баталгаажуулалтын алдаа унахыг ажигладаг - энэ нь сүлжээ нь "ид шид" учраас биш, харин пикселээс шууд илүү хэрэгтэй функцуудыг сурсан учраас юм.

“Хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу вэ?” энгийн англи хэлээр, ойлгомжгүй метафортой 🍞

Талх нарийн боовны дарааллыг төсөөлөөд үз дээ. Орц найрлага орж, ажилчид жороо өөрчилж, амт шалгагчид гомдоллож, баг жороо дахин шинэчилдэг. Сүлжээнд оролтууд давхаргуудаар дамжин урсаж, алдагдлын функц нь гаралтыг үнэлж, градиентууд нь дараагийн удаа илүү сайн ажиллахын тулд жинг түлхдэг. Төгс төгөлдөр зүйрлэл биш - талхыг ялгаж салгаж болохгүй - гэхдээ энэ нь хэвээр байна [1].

Мэдрэлийн сүлжээний анатоми 🧩

  • Нейронууд : Жинлэсэн нийлбэр болон идэвхжүүлэх функцийг ашигладаг жижиг тооны машинууд.

  • Жин ба хазайлт : Дохионы хослолыг тодорхойлдог тохируулж болох товчлуурууд.

  • Давхаргууд : Оролтын давхарга өгөгдлийг хүлээн авч, далд давхаргууд нь өгөгдлийг хувиргаж, гаралтын давхарга нь таамаглал дэвшүүлдэг.

  • Идэвхжүүлэх функцүүд : ReLU, сигмоид, танх, софтмакс зэрэг шугаман бус эргэлтүүд нь суралцах үйл явцыг уян хатан болгодог.

  • Алдагдлын функц : Урьдчилан таамаглал хэр буруу байгааг харуулсан оноо (ангиллын хувьд кросс-энтропи, регрессийн хувьд MSE).

  • Оновчлогч : SGD эсвэл Adam зэрэг алгоритмууд жинг шинэчлэхийн тулд градиент ашигладаг.

  • Тогтмол болгох : Загварыг хэт тохируулахаас сэргийлэхийн тулд загварыг орхих эсвэл жин хасах зэрэг аргууд.

Хэрэв та албан ёсны боловсруулалтыг хүсч байвал (гэхдээ уншигдахуйц хэвээр байгаа), нээлттэй Deep Learning нь математикийн үндэс, оновчлол, ерөнхийлөл [1] гэсэн бүрэн стекийг хамардаг.

Идэвхжүүлэх функцууд, товчхон боловч тустай ⚡

  • ReLU : Сөрөг тоог тэг, эерэг тоог шугаман гэж тэмдэглэнэ. Энгийн, хурдан, үр дүнтэй.

  • Сигмоид : 0-ээс 1 хүртэлх утгыг шахдаг - ашигтай боловч ханасан байж болно.

  • Танх : Сигмоид булчин шиг боловч тэг орчимд тэгш хэмтэй.

  • Softmax : Ангилалуудын хоорондох түүхий оноог магадлал болгон хувиргадаг.

Та муруйн хэлбэр бүрийг цээжлэх шаардлагагүй - зүгээр л буулт болон нийтлэг анхдагч утгуудыг мэдэж байгаарай [1, 2].

Суралцах үйл явц үнэндээ хэрхэн явагддаг вэ: арын тулгуур, гэхдээ аймаар биш 🔁

  1. Урагш дамжуулах : Өгөгдөл нь таамаглал гаргахын тулд давхаргаар урсдаг.

  2. Алдагдлыг тооцоолох : Таамаглалыг үнэнтэй харьцуул.

  3. Буцах тархалт : Гинжингийн дүрмийг ашиглан жин тус бүрийн хувьд алдагдлын градиентийг тооцоол.

  4. Шинэчлэлт : Оновчлогч нь жинг бага зэрэг өөрчилдөг.

  5. Давтах : Олон эрин үе. Загвар аажмаар суралцдаг.

Дүрслэл болон кодын тайлбартай практик зөн совингийн талаар backprop болон оновчлолын талаарх сонгодог CS231n тэмдэглэлийг үзнэ үү [2].

Мэдрэлийн сүлжээний гол гэр бүлүүд, товчхондоо 🏡

  • Урсгал дамжуулах сүлжээ (MLP) : Хамгийн энгийн төрөл. Өгөгдөл зөвхөн урагш шилждэг.

  • Эргэлт мэдрэлийн сүлжээ (CNN) : Ирмэг, бүтэц, хэлбэрийг илрүүлдэг орон зайн шүүлтүүрийн ачаар зураг авахад маш тохиромжтой [2].

  • Давтагдах мэдрэлийн сүлжээ (RNN) ба хувилбарууд : Текст эсвэл цагийн цуваа гэх мэт дарааллыг эмх цэгцтэй байлгаснаар бүтээгдсэн [1].

  • Трансформаторууд : Хэл болон түүнээс цааш давамгайлсан дарааллын байрлалуудын хоорондын харилцааг нэгэн зэрэг загварчлахад анхаарлаа хандуулаарай [3].

  • Графын мэдрэлийн сүлжээ (GNN) : Графын зангилаа болон ирмэг дээр ажиллах - молекул, нийгмийн сүлжээнд ашигтай, зөвлөмж [1].

  • Автокодлогч ба VAE : Шахагдсан дүрслэлийг сурч, хувилбаруудыг үүсгэх [1].

  • Үүсгэн байгуулах загварууд : GAN-аас эхлээд диффузийн загварууд хүртэл, зураг, аудио, тэр ч байтугай кодод ашиглагддаг [1].

CS231n тэмдэглэл нь CNN-үүдэд онцгой тохиромжтой байдаг бол Transformer баримт бичиг нь анхаарал төвлөрүүлсэн загваруудын гол эх сурвалж болдог [2, 3].

Харьцуулсан хүснэгт: мэдрэлийн сүлжээний нийтлэг төрлүүд, тэдгээр нь хэнд зориулагдсан, үнийн хэлбэлзэл, яагаад ажилладаг вэ 📊

Хэрэгсэл / Төрөл Үзэгчид Үнэтэй Яагаад ажилладаг вэ
Урьдчилан дамжуулах (MLP) Анхан шатны судлаачид, шинжээчид Бага-дунд Энгийн, уян хатан, зохистой суурь шугамууд
CNN Алсын хараатай багууд Дунд зэрэг Орон нутгийн хэв маяг + параметр хуваалцах
RNN / LSTM / GRU Дарааллын хүмүүс Дунд зэрэг Түр зуурын ой санамж шиг... эмх цэгцийг хадгалдаг
Трансформатор NLP, олон аргачлалтай Дунд-өндөр Холбогдох харилцаанд анхаарлаа хандуулдаг
GNN Эрдэмтэд, recsys Дунд зэрэг Графикуудаар дамжин өнгөрөх мессеж нь бүтцийг илчилдэг
Автокодлогч / VAE Судлаачид Бага-дунд Шахагдсан дүрслэлийг сурдаг
GAN / Диффузи Бүтээлч лабораториуд Дунд-өндөр Эсрэг тэмүүлэлтэй эсвэл давталтын дуу чимээг бууруулах ид шид

Тэмдэглэл: Үнэ нь тооцоолол болон цаг хугацааны тухай; таны миль харилцан адилгүй байна. Нэг эсвэл хоёр гар утас санаатайгаар санаатайгаар яриад байна.

“Хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу вэ?” сонгодог машин механизмын алгоритмуудтай харьцуулбал ⚖️

  • Онцлог инженерчлэл : Сонгодог машин механизм нь ихэвчлэн гарын авлагын онцлог шинж чанаруудад тулгуурладаг. Мэдрэлийн сүлжээ нь онцлог шинж чанаруудыг автоматаар сурдаг - энэ нь нарийн төвөгтэй өгөгдлийн хувьд том давуу тал юм [1].

  • Өгөгдлийн өлсгөлөн : Сүлжээ нь ихэвчлэн илүү их өгөгдлөөр гэрэлтдэг; жижиг өгөгдөл нь илүү энгийн загваруудыг илүүд үздэг [1].

  • Тооцоолол : Сүлжээнүүд нь GPU [1] зэрэг хурдасгууруудад дуртай.

  • Гүйцэтгэлийн дээд хязгаар : Бүтэцлэгдээгүй өгөгдлийн (зураг, аудио, текст) хувьд гүн сүлжээ давамгайлах хандлагатай байдаг [1, 2].

Практик дээр үнэхээр ажилладаг сургалтын ажлын урсгал 🛠️

  1. Зорилгоо тодорхойлох : Ангилал, регресс, эрэмбэлэлт, үе - тохирох алдагдлыг сонгоно уу.

  2. Өгөгдлийн маргаан : Сургалт/баталгаажуулалт/туршилт гэж хуваана. Функцуудыг хэвийн болгоно. Классуудыг тэнцвэржүүлнэ. Зургийн хувьд эргүүлэх, тайрах, жижиг чимээ гэх мэт нэмэгдлийг авч үзнэ.

  3. Архитектурын сонголт : Энгийнээс эхэл. Зөвхөн шаардлагатай үед багтаамжийг нэмэгдүүл.

  4. Сургалтын давталт : Өгөгдлийг багцлах. Урагш дамжуулах. Алдагдлыг тооцоолох. Арын тулгуур. Шинэчлэлт. Лог үзүүлэлтүүд.

  5. Тогтмол болгох : Жин хасах, жин хасах, эрт зогсоох.

  6. Үнэлгээ : Гиперпараметрүүдийн баталгаажуулалтын багцыг ашиглана уу. Эцсийн шалгалтанд зориулж туршилтын багц гаргана уу.

  7. Хөлөг онгоцыг болгоомжтой ажигла : Хөлөг онгоцны шилжилтийг хянаж, хазайлт байгаа эсэхийг шалгаж, буцаах төлөвлөгөө гарга.

Бат бөх онолтой, код чиглэсэн, цогц хичээлүүдийн хувьд нээлттэй сурах бичиг болон CS231n тэмдэглэлүүд нь найдвартай тулгуур болдог [1, 2].

Хэт их тохируулга, ерөнхийлөлт болон бусад дэмийрэл 👀

  • Хэт тохируулга : Загвар нь сургалтын онцлог шинж чанаруудыг цээжилдэг. Илүү их өгөгдөл, илүү хүчтэй зохицуулалт эсвэл илүү энгийн архитектураар засдаг.

  • Тохиромжгүй байдал : Загвар нь хэтэрхий энгийн эсвэл сургалт хэтэрхий ичимхий байна. Хүчин чадлыг нэмэгдүүлэх эсвэл удаан хугацаагаар сургана уу.

  • Өгөгдөл алдагдах : Тестийн багцаас мэдээлэл сургалтанд сэмхэн ордог. Хуваалтуудаа гурван удаа шалгаарай.

  • Муу тохируулга : Өөртөө итгэлтэй хэрнээ буруу загвар нь аюултай. Тохируулга хийх эсвэл өөр жин хасах талаар бодож үзээрэй.

  • Тархалтын шилжилт : Бодит ертөнцийн өгөгдлийн шилжилт. Хянаж, дасан зохицох.

Ерөнхийлөн дүгнэх болон тогтмолжуулахын цаад онолын хувьд стандарт лавлагаанд тулгуурлана уу [1, 2].

Аюулгүй байдал, тайлбарлах боломжтой байдал, хариуцлагатай байршуулалт 🧭

Мэдрэлийн сүлжээ нь өндөр эрсдэлтэй шийдвэр гаргаж чаддаг. Тэд тэргүүлэгчдийн самбар дээр сайн ажиллах нь хангалтгүй. Амьдралын мөчлөгийн туршид засаглал, хэмжилт, бууруулах алхмууд хэрэгтэй. NIST AI Эрсдэлийн Удирдлагын Хүрээ нь багуудад эрсдэлийн менежментийг дизайн, байршуулалтад нэгтгэхэд нь туслах практик функцуудыг - ЗАХИРАХ, ЗУРАГЛАХ, ХЭМЖЭЭХ, УДИРДАХ - тодорхойлсон байдаг [5].

Хэд хэдэн хурдан түлхэлт:

  • Хэтэрхий талыг шалгах : Шаардлагатай бөгөөд хууль ёсны тохиолдолд хүн ам зүйн хэсгүүдийг үнэлнэ үү.

  • Тайлбарлах чадвар : Онцлох байдал эсвэл онцлог шинж чанаруудыг онцлох зэрэг аргуудыг ашигла. Эдгээр нь төгс бус боловч ашигтай.

  • Хяналт : Гэнэтийн хэмжигдэхүүний уналт эсвэл өгөгдлийн зөрүүний талаар анхааруулга тохируулах.

  • Хүний хяналт : Хүмүүсийг нөлөөллийн өндөр түвшинд шийдвэр гаргахад нь хяналт тавь. Баатарлаг үйлдэл хийх хэрэггүй, зүгээр л эрүүл ахуй.

Таны нууцаар асуудаг байнга асуудаг асуултууд 🙋

Мэдрэлийн сүлжээ нь үндсэндээ тархи мөн үү?

Тархинаас санаа авсан, тийм ээ - гэхдээ хялбаршуулсан. Сүлжээнд байгаа мэдрэлийн эсүүд нь математикийн функцууд; биологийн мэдрэлийн эсүүд нь нарийн төвөгтэй динамиктай амьд эсүүд юм. Үүнтэй төстэй чичиргээ, маш өөр физик [1].

Надад хэдэн давхарга хэрэгтэй вэ?

Багаас эхэл. Хэрэв та дутуу тохируулж байгаа бол өргөн эсвэл гүн нэм. Хэрэв та хэт тохируулж байгаа бол хүчин чадлыг тогтворжуулах эсвэл багасгах. Шидэт тоо гэж байхгүй; зөвхөн баталгаажуулалтын муруй болон тэвчээр л байна [1].

Надад үргэлж GPU хэрэгтэй юу?

Үргэлж биш. Бага хэмжээний өгөгдөл дээр ажилладаг жижиг загварууд нь CPU дээр сургаж болох боловч зураг, том текст загвар эсвэл том өгөгдлийн багцын хувьд хурдасгуур нь маш их цаг хэмнэдэг [1].

Хүмүүс яагаад анхаарал бол хүчтэй гэж хэлдэг вэ?

Учир нь анхаарал нь загваруудад оролтын хамгийн чухал хэсгүүдэд анхаарлаа төвлөрүүлэх боломжийг олгодог бөгөөд хатуу дарааллаар алхахгүйгээр хийдэг. Энэ нь дэлхийн харилцаа холбоог харуулдаг бөгөөд энэ нь хэлний болон олон төрлийн даалгаврын хувьд чухал ач холбогдолтой юм [3].

"Хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу вэ?" нь "гүнзгий сургалт"-аас өөр үү?

Гүнзгий сургалт гэдэг нь гүн мэдрэлийн сүлжээг ашигладаг өргөн хүрээтэй арга юм. Тиймээс хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу вэ гол дүрийн тухай асуухтай адил юм; гүнзгий сургалт бол бүхэл бүтэн кино юм [1].

Практик, бага зэрэг санал бодолтой зөвлөгөөнүүд 💡

  • энгийн суурь шугамуудыг илүүд үзээрэй . Жижиг олон давхаргат ойлголт ч гэсэн өгөгдлийг сурч мэдэх боломжтой эсэхийг хэлж чадна.

  • Өгөгдлийн дамжуулах хоолойгоо хуулбарлах боломжтой байлгаарай . Хэрэв та үүнийг дахин ажиллуулж чадахгүй бол та үүнд итгэж чадахгүй.

  • Суралцах хурд таны бодож байгаагаас ч илүү чухал. Хуваарь гаргаж үзээрэй. Бие халаалт тус болно.

  • Багцын хэмжээний хувьд буулт хийх боломжууд байдаг. Илүү том багцууд нь градиентийг тогтворжуулдаг боловч өөрөөр ерөнхийлж болно.

  • алдагдлын муруй болон жингийн нормыг зур . Хариулт нь графикт хэр олон удаа байгааг та гайхах болно.

  • Таамаглалыг баримтжуул. Ирээдүйд та юмсыг хурдан мартдаг [1, 2].

Гүнзгий тойруу зам: өгөгдлийн үүрэг, эсвэл яагаад хог хаягдал орж ирсээр байвал хог хаягдал гарч ирнэ гэсэн үг вэ 🗑️➡️✨

Мэдрэлийн сүлжээ нь алдаатай өгөгдлийг ид шидийн мэтээр засдаггүй. Гажуудсан шошго, тэмдэглэгээний алдаа эсвэл нарийн түүвэрлэлт нь бүгд загвараар дамжин цуурайтаж байдаг. Координат хийх, аудит хийх, нэмэгдүүлэх. Хэрэв танд илүү их өгөгдөл хэрэгтэй юу эсвэл илүү сайн загвар хэрэгтэй юу гэдэгт эргэлзэж байвал хариулт нь ихэвчлэн ядаргаатай энгийн байдаг: хоёулаа - гэхдээ өгөгдлийн чанараас эхэл [1].

“Хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу вэ?” - дахин ашиглаж болох товч тодорхойлолтууд 🧾

  • Мэдрэлийн сүлжээ нь градиент дохиог ашиглан жинг тохируулах замаар нарийн төвөгтэй хэв маягийг сурдаг давхаргат функцийн ойролцоологч юм [1, 2].

  • Энэ нь алдагдлыг багасгахын тулд сургагдсан, дараалсан шугаман бус алхмуудаар дамжуулан оролтыг гаралт болгон хувиргадаг систем юм [1].

  • Энэ нь зураг, текст, аудио [1, 2, 3] зэрэг бүтэцгүй оролтууд дээр хөгждөг уян хатан, өгөгдөл ихтэй загварчлалын арга юм.

Хэтэрхий урт байна, уншаагүй байна, мөн эцсийн тайлбар 🎯

Хэрэв хэн нэгэн танаас хиймэл оюун ухаанд мэдрэлийн сүлжээ гэж юу вэ гэж гол санаа нь энд байна: мэдрэлийн сүлжээ гэдэг нь өгөгдлийг алхам алхмаар хувиргадаг энгийн нэгжүүдийн овоолго бөгөөд алдагдлыг хамгийн бага байлгаж, градиентийг дагаж хувиргалтыг сурдаг. Эдгээр нь масштабтай, функцуудыг автоматаар сурдаг, маш нарийн төвөгтэй функцуудыг төлөөлж чаддаг тул хүчирхэг юм [1, 4]. Хэрэв та өгөгдлийн чанар, засаглал эсвэл хяналтыг үл тоомсорловол эрсдэлтэй байдаг [5]. Мөн тэд ид шид биш. Зүгээр л математик, тооцоолол, сайн инженерчлэл - бага зэрэг амт чанартай.

Нэмэлт унших материал, сайтар түүвэрлэсэн (ишлэлгүй нэмэлт материалууд)

Лавлагаа

[1] Гудфеллоу, И., Бенжио, Ю., & Курвилл, А. Гүнзгий сургалт . MIT Press. Үнэгүй онлайн хувилбар: дэлгэрэнгүй унших

[2] Стэнфорд CS231n. Харааны танилтын мушгирсан мэдрэлийн сүлжээ (хичээлийн тэмдэглэл): дэлгэрэнгүй унших

[3] Васвани, А., Шазир, Н., Пармар, Н., нар. (2017). Анхаарал бол танд хэрэгтэй бүх зүйл . NeurIPS. arXiv: дэлгэрэнгүй унших

[4] Цибенко, Г. (1989). Сигмоид функцийн суперпозициар ойролцоолол . Хяналт, дохио ба системийн математик , 2, 303–314. Спрингер: дэлгэрэнгүй унших

[5] NIST. Хиймэл оюун ухааны эрсдэлийн удирдлагын хүрээ (Хиймэл оюун ухааны RMF) : дэлгэрэнгүй унших

Албан ёсны хиймэл оюун ухааны туслах дэлгүүрээс хамгийн сүүлийн үеийн хиймэл оюун ухааныг олоорой

Бидний тухай

Блог руу буцах