хиймэл оюун ухааны инженерүүд юу хийдэг вэ

Хиймэл оюун ухааны инженерүүд юу хийдэг вэ?

"Хиймэл оюун ухааны инженер" гэдэг алдартай үгийн ард юу нуугдаж байгааг та бодож үзсэн үү? Би ч бас бодож байсан. Гаднаас нь харахад гялалзсан сонсогдож байгаа ч үнэндээ энэ нь дизайны ажил, замбараагүй өгөгдлийг маргалдах, системийг хооронд нь холбох, зүйлс хийх ёстой зүйлээ хийж байгаа эсэхийг нягтлан шалгахтай тэнцүү хэсгүүд юм. Хэрэв та нэг мөртэй хувилбарыг хүсч байвал: тэд бүдэг асуудлуудыг жинхэнэ хэрэглэгчид гарч ирэхэд нурдаггүй ажилладаг хиймэл оюун ухааны систем болгон хувиргадаг. Илүү урт, арай эмх замбараагүй байдал - за, энэ нь доор байна. Кофеин уугаарай. ☕

Үүний дараа таны унших дуртай нийтлэлүүд:

🔗 Инженерүүдэд зориулсан хиймэл оюун ухааны хэрэгслүүд: Үр ашиг, инновацийг нэмэгдүүлэх
Инженерийн бүтээмж болон бүтээлч байдлыг сайжруулдаг хүчирхэг хиймэл оюун ухааны хэрэгслүүдийг нээж илрүүлээрэй.

🔗 Програм хангамжийн инженерүүдийг хиймэл оюун ухаан орлох уу?
Автоматжуулалтын эрин үед програм хангамжийн инженерчлэлийн ирээдүйг судлаарай.

🔗 Хиймэл оюун ухааныг өөрчлөх үйлдвэрлэлийн инженерийн хэрэглээ
Хиймэл оюун ухаан үйлдвэрлэлийн үйл явцыг хэрхэн өөрчилж, инновацийг хэрхэн хөдөлгөж байгааг мэдэж аваарай.

🔗 Хэрхэн хиймэл оюун ухааны инженер болох вэ
Хиймэл оюун ухааны инженерчлэлийн чиглэлээр карьераа эхлүүлэх алхам алхмаар гарын авлага.

Товчхондоо: хиймэл оюун ухааны инженер юу хийдэг вэ 💡

Хамгийн энгийн түвшинд хиймэл оюун ухааны инженер нь хиймэл оюун ухааны системийг зохион бүтээж, барьж, тээвэрлэж, засвар үйлчилгээ хийдэг. Өдөр тутмын ажил нь дараахь зүйлийг хамардаг

  • Тодорхойгүй бүтээгдэхүүн эсвэл бизнесийн хэрэгцээг загваруудын үнэхээр зохицуулж чадах зүйл болгон хөрвүүлэх.

  • Өгөгдөл алдагдаж эхлэхэд цуглуулах, шошголох, цэвэрлэх, мөн зайлшгүй дахин шалгах.

  • Загваруудыг сонгож, сургаж, зөв ​​хэмжүүрээр нь үнэлж, хаана бүтэлгүйтэхээ бичиж тэмдэглэх.

  • Туршиж, байрлуулж, ажиглаж болохын тулд бүх зүйлийг MLOps дамжуулах хоолой руу ороож байна.

  • Үүнийг зэрлэг байгальд ажиглах нь: нарийвчлал, аюулгүй байдал, шударга байдал... мөн замаасаа гарахаас өмнө тохируулах.

Хэрэв та "энэ нь програм хангамжийн инженерчлэл болон өгөгдлийн шинжлэх ухаан, бүтээгдэхүүний сэтгэлгээний зарим нэг хувилбартай холбоотой" гэж бодож байгаа бол - тийм ээ, энэ бол түүний хэлбэр юм.

Сайн хиймэл оюун ухааны инженерүүдийг бусдаас юугаараа ялгаруулдаг вэ

Та 2017 оноос хойш хэвлэгдсэн бүх архитектурын өгүүллийг мэдэж байгаа ч гэсэн эмзэг замбараагүй байдал үүсгэж болно. Энэ албан тушаалд амжилттай ажиллаж буй хүмүүс ихэвчлэн:

  • Систем дотор сэтгэ. Тэд бүхэл бүтэн мөчлөгийг хардаг: өгөгдөл орж ирэх, шийдвэр гарах, хянах боломжтой бүх зүйл.

  • Эхлээд ид шидийг хөөж болохгүй. Нарийн төвөгтэй байдлыг нэмэхээсээ өмнө суурь болон энгийн шалгалтуудыг хий.

  • Санал хүсэлтээр жигнэх. Дахин сургах болон буцаах нь нэмэлт зүйл биш, харин дизайны нэг хэсэг юм.

  • Юм бичиж тэмдэглэ. Буудалцаа, таамаглал, хязгаарлалтууд - уйтгартай ч дараа нь алт болно.

  • Хариуцлагатай хиймэл оюун ухаанд нухацтай ханд. Эрсдэлүүд өөдрөг үзлээр алга болдоггүй, харин бүртгэгдэж, удирдагддаг.

Богино түүх: Нэгэн дэмжлэг үзүүлэх баг тэнэг дүрэм + сэргээх суурь үзүүлэлтээр эхэлсэн. Энэ нь тэдэнд тодорхой хүлээн авах тест өгсөн тул дараа нь том загварыг солиход цэвэр харьцуулалт хийсэн бөгөөд буруу ажилласан тохиолдолд амархан нөөцлөлт хийсэн.

Амьдралын мөчлөг: замбараагүй бодит байдал ба цэвэрхэн диаграммууд 🔁

  1. Асуудлыг томъёол. Зорилго, даалгавар болон “хангалттай сайн” гэж юу болохыг тодорхойл.

  2. Өгөгдлийг боловсруул. Цэвэрлэ, шошголо, хуваа, хувилбар. Схемийн хэлбэлзлийг илрүүлэхийн тулд төгсгөлгүй баталгаажуул.

  3. Загварын туршилтууд. Энгийнээр туршиж үзэх, суурь шугамуудыг шалгах, давтах, баримтжуулах.

  4. Үүнийг тээвэрлэх. CI/CD/CT дамжуулах хоолой, аюулгүй байршуулалт, канар хөлөг онгоц, эргэлт буцалт.

  5. Ажиглаж байгаарай. Нарийвчлал, хоцрогдол, хэлбэлзэл, шударга байдал, хэрэглэгчийн үр дүнг хянаж байгаарай. Дараа нь дахин сурга.

Слайд дээр энэ нь цэвэрхэн тойрог шиг харагдаж байна. Практик дээр энэ нь шпагеттиг шүүрээр жонглёрдохтой илүү төстэй юм.

Резин замд гарахад хариуцлагатай хиймэл оюун ухаан 🧭

Энэ бол хөөрхөн гулсах тавцангийн тухай биш юм. Инженерүүд эрсдэлийг бодитой болгохын тулд хүрээг ашигладаг:

  • NIST AI RMF нь дизайн хийхээс эхлээд байршуулах хүртэлх эрсдэлийг илрүүлэх, хэмжих, зохицуулах бүтцийг өгдөг [1].

  • Эдийн засгийн хамтын ажиллагаа, хөгжлийн байгууллагын зарчмууд нь луужин шиг ажилладаг бөгөөд олон байгууллага үүнийг дагаж мөрддөг [2].

Олон багууд эдгээр амьдралын мөчлөгт суурилсан өөрсдийн шалгах хуудсыг (нууцлалын тойм, хүний ​​​​давталт хаалга) үүсгэдэг.

Заавал биш мэт санагдах баримт бичиг: Загварын картууд ба мэдээллийн хуудаснууд 📝

Дараа нь өөртөө талархах хоёр баримт бичиг:

  • Загварын картууд → зориулалтын хэрэглээ, үнэлгээний нөхцөл байдал, анхааруулгыг тодорхой бичсэн. Бүтээгдэхүүн/хууль эрх зүйн ажилтнууд ч дагаж мөрдөх боломжтой байхаар бичсэн [3].

  • Өгөгдлийн багцын өгөгдлийн хуудас → өгөгдөл яагаад байгаа, түүнд юу байгаа, болзошгүй алдаа, аюулгүй ба аюултай хэрэглээг тайлбарлана уу [4].

Ирээдүйд та (болон ирээдүйн багийнхан) тэдгээрийг бичсэний чинь төлөө чимээгүйхэн танд таван хуруу магтах болно.

Гүнзгий шумбалт: өгөгдлийн дамжуулах хоолой, гэрээ, хувилбаржуулалт 🧹📦

Өгөгдөл замбараагүй болж байна. Ухаалаг хиймэл оюун ухааны инженерүүд гэрээг хэрэгжүүлж, чекийг нягталж, хувилбаруудыг кодтой холбож хадгалдаг тул та дараа нь буцаах боломжтой болно.

  • Баталгаажуулалт → схем, хүрээ, шинэлэг байдлыг кодлох; баримт бичгийг автоматаар үүсгэх.

  • Хувилбар → Git коммит ашиглан өгөгдлийн багц болон загваруудыг эгнүүлснээр та үнэхээр итгэж болох өөрчлөлтийн бүртгэлтэй болно.

Жижиг жишээ: Нэг жижиглэн худалдаачин null-ээр дүүрсэн нийлүүлэгчдийн тэжээлийг хаахын тулд схемийн бүртгэлийг алгассан. Тэр ганц tripwire нь хэрэглэгчид анзаарахаас өмнө recall@k-ийн давтагдсан уналтыг зогсоосон.

Гүнзгий шумбалт: тээвэрлэлт ба өргөтгөл 🚢

prod дээр загварыг ажиллуулах нь зөвхөн model.fit() . Энд байгаа хэрэгслийн мөрөнд дараахь зүйлс орно:

  • Тогтвортой сав баглаа боодлын зориулалттай Docker

  • Найрал хөгжим, масштаб болон аюулгүй нэвтрүүлэгт зориулсан Kubernetes

  • Канарын MLOps хүрээ

Хөшигний ард эрүүл мэндийн үзлэг, мөрдөлт, CPU болон GPU-ийн хуваарь гаргах, хугацаа дуусах тохиргоо хийх зэрэг зүйлс байдаг. Гайхалтай биш ч зайлшгүй шаардлагатай.

Гүнзгий шумбалт: GenAI системүүд ба RAG 🧠📚

Үүсгэх системүүд нь өөр нэг эргэлтийг авчирдаг - сэргээн босгох газардуулга.

  • ижил төстэй байдлыг хурдан хайх вектор хайлт

  • Гинжин хайлт, багаж хэрэгсэл ашиглах, дараах боловсруулалт хийх найруулгын

Хэсэгчилсэн, дахин эрэмбэлсэн, үнэлгээ хийх сонголтууд - эдгээр жижиг дуудлага нь та болхи чатбот эсвэл хэрэгтэй хамтран нисгэгч авах эсэхийг шийддэг.

Ур чадвар ба багаж хэрэгсэл: стек дотор юу байгаа вэ 🧰

Сонгодог машин механизм болон гүнзгий сургалтын хэрэгслийн холимог багц:

  • Хүрээлэнгүүд: PyTorch, TensorFlow, scikit-learn.

  • Шугам хоолой: Төлөвлөсөн ажлуудад зориулсан агаарын урсгал гэх мэт.

  • Үйлдвэрлэл: Docker, K8s, үйлчилгээний хүрээ.

  • Ажиглалт: шилжилтийн монитор, хоцрогдол хэмжигч, шударга байдлын шалгалт.

бүх зүйлийг ашигладаггүй . Гол нь амьдралын мөчлөгийн туршид ухаалаг сэтгэхэд хангалттай мэдлэгтэй байх явдал юм.

Багаж хэрэгслийн хүснэгт: инженерүүдийн үнэхээр хүсч буй зүйл 🧪

Багаж хэрэгсэл Үзэгчид Үнэ Яагаад хэрэг болох вэ
PyTorch Судлаачид, инженерүүд Нээлттэй эх сурвалж Уян хатан, питон хэлний хэлтэй, асар том нийгэмлэг, захиалгат сүлжээнүүд.
ТензорФлоу Бүтээгдэхүүнд чиглэсэн багууд Нээлттэй эх сурвалж Экосистемийн гүн, TF үйлчилгээ болон байршуулалтад зориулсан Lite.
scikit-learn Сонгодог ML хэрэглэгчид Нээлттэй эх сурвалж Маш сайн суурь шугамууд, цэвэрхэн API, урьдчилан боловсруулалт хийгдсэн.
MLflow Олон туршилт хийсэн багууд Нээлттэй эх сурвалж Гүйлт, загвар, эд өлгийн зүйлсийг эмх цэгцтэй байлгадаг.
Агаарын урсгал Хоолойн ажилчид Нээлттэй эх сурвалж DAGs, хуваарь гаргах, ажиглалт сайтай.
Докер Үндсэндээ хүн бүр Чөлөөт цөм Ижил орчин (ихэвчлэн). "Зөвхөн миний зөөврийн компьютер дээр ажилладаг" гэсэн маргаан цөөн гардаг.
Кубернетс Хэт улаан туяаны багууд Нээлттэй эх сурвалж Автомат масштабжуулалт, нэвтрүүлэлт, аж ахуйн нэгжийн түвшний булчингийн хэрэглээ.
K8 дээр үйлчилж буй загвар өмсөгч K8s загварын хэрэглэгчид Нээлттэй эх сурвалж Стандарт порц, дрифт дэгээ, өргөтгөх боломжтой.
Вектор хайлтын сангууд RAG барилгачид Нээлттэй эх сурвалж Хурдан төстэй байдал, GPU-д ээлтэй.
Удирдлагатай вектор дэлгүүрүүд Аж ахуйн нэгжийн RAG багууд Төлбөртэй шатлалууд Сервергүй индексүүд, шүүлтүүр, масштабын найдвартай байдал.

Тийм ээ, хэллэг нь жигд бус санагдаж байна. Хэрэгслийн сонголтууд ихэвчлэн тийм байдаг.

Тоонуудад живэхгүйгээр амжилтыг хэмжих нь 📏

Чухал үзүүлэлтүүд нь нөхцөл байдлаас хамаардаг боловч ихэвчлэн дараахь зүйлсийн хослол байдаг:

  • Таамаглалын чанар: нарийвчлал, эргэн санах, F1, тохируулга.

  • Систем + хэрэглэгч: хоцрогдол, p95/p99, хөрвүүлэлтийн өсөлт, гүйцэтгэлийн түвшин.

  • Шударга ёсны үзүүлэлтүүд: тэгш байдал, ялгаатай нөлөөлөл - болгоомжтой ашигласан [1][2].

Буудалцааг гадагшлуулахын тулд хэмжүүрүүд байдаг. Хэрэв тийм биш бол тэдгээрийг солино уу.

Хамтын ажиллагааны хэв маяг: энэ бол багийн спорт 🧑🤝🧑

Хиймэл оюун ухааны инженерүүд ихэвчлэн дараахтай уулзвар дээр суудаг:

  • Бүтээгдэхүүн ба домэйн хүмүүс (амжилтыг тодорхойлох, хашлага).

  • Өгөгдлийн инженерүүд (эх сурвалж, схем, SLA).

  • Аюулгүй байдал/хууль эрх зүйн (нууцлал, хууль ёсны байдал).

  • Дизайн/судалгаа (хэрэглэгчийн туршилт, ялангуяа GenAI-д зориулсан).

  • Ажиллагаа/SRE (ажиллах цаг болон галын сургуулилт).

Цагаан самбарууд сараачиж сийлэх, хааяа нэг ширүүн хэмжүүрийн мэтгэлцээн өрнөх байх гэж найдаж байна - энэ нь эрүүл мэндэд тустай.

Аюул: техникийн өрийн намаг 🧨

ML системүүд нь далд өрийг татдаг: орооцолдсон тохиргоо, эмзэг хамаарал, мартагдсан цавуу скриптүүд. Давуу талууд намаг томрохоос өмнө хамгаалалтын хашлага - өгөгдлийн тест, бичсэн тохиргоо, буцаан олголт зэргийг суурилуулдаг. [5]

Эрүүл ахуйг сахигчид: тустай дадал зуршлууд 📚

  • Багаас эхэл. Загваруудыг хүндрүүлэхээсээ өмнө дамжуулах хоолой ажиллаж байгааг батал.

  • MLOps дамжуулах хоолой. Өгөгдөл/загваруудад зориулсан CI, үйлчилгээний CD, давтан сургалтад зориулсан CT.

  • Хариуцлагатай хиймэл оюун ухааны шалгах хуудас. Загварын карт болон өгөгдлийн хуудас [1][3][4] зэрэг баримт бичгүүдтэй хамт танай байгууллагад байршуулсан.

Түгээмэл асуултуудыг хурдан дахин хийх: нэг өгүүлбэрт хариулт 🥡

Хиймэл оюун ухааны инженерүүд ашигтай, туршиж үзэх, байршуулах боломжтой, мөн аюулгүй цогц системүүдийг бүтээдэг бөгөөд хэн ч мэдэхгүй байхын тулд буулт хийх боломжийг тодорхой болгодог.

TL;DR 🎯

  • Тэд өгөгдлийн ажил, загварчлал, MLOp, хяналт шинжилгээгээр дамжуулан бүдэг бодлогууд → найдвартай хиймэл оюун ухааны системүүдийг авч үздэг.

  • Хамгийн сайн нь эхлээд энгийн байлгаж, тасралтгүй хэмжиж, таамаглалыг баримтжуулах хэрэгтэй.

  • Үйлдвэрлэлийн хиймэл оюун ухаан = дамжуулах хоолой + зарчим (CI/CD/CT, шаардлагатай үед шударга ёс, эрсдэлийн сэтгэлгээг шингээсэн).

  • Багаж хэрэгсэл бол зүгээр л багаж хэрэгсэл. Галт тэргээр дамжин өнгөрөхөд тань туслах хамгийн бага хэмжээг ашиглаарай → зам → үйлчлэх → ажиглах.

Лавлах холбоосууд

  1. NIST AI RMF (1.0). Холбоос

  2. OECD-ийн хиймэл оюун ухааны зарчмууд. Холбоос

  3. Загварын картууд (Митчелл нар, 2019). Холбоос

  4. Өгөгдлийн багцын өгөгдлийн хуудас (Gebru et al., 2018/2021). Холбоос

  5. Далд техникийн өр (Sculley et al., 2015). Холбоос

Албан ёсны хиймэл оюун ухааны туслах дэлгүүрээс хамгийн сүүлийн үеийн хиймэл оюун ухааныг олоорой

Бидний тухай

Блог руу буцах