Хиймэл оюун ухаан өгөгдлийн инженерүүдийг орлох уу?

Хиймэл оюун ухаан өгөгдлийн инженерүүдийг орлох уу?

Товчхондоо: Хиймэл оюун ухаан нь өгөгдлийн инженерүүдийг шууд орлохгүй; энэ нь SQL төсөл боловсруулах, дамжуулах хоолойн шат, тест, баримтжуулалт зэрэг давтагдах ажлыг автоматжуулах болно. Хэрэв таны үүрэг ихэвчлэн бага эзэмшлийн, тасалбарт суурилсан ажил бол энэ нь илүү ил тод байх болно; хэрэв та найдвартай байдал, тодорхойлолт, засаглал, ослын хариу арга хэмжээг эзэмшдэг бол Хиймэл оюун ухаан нь таныг голчлон хурдан болгоно.

Гол дүгнэлтүүд:

Эзэмшил : Зөвхөн кодыг хурдан гаргахаас гадна үр дүнгийн хариуцлагыг нэн тэргүүнд тавь.

Чанар : Шугам хоолой найдвартай хэвээр байхын тулд барилгын туршилт, ажиглалт болон гэрээг хийнэ.

Засаглал : Хүний эзэмшлийн нууцлал, хандалтын хяналт, хадгалалт болон аудитын мөрийг хадгална.

Буруу ашиглалтаас хамгаалах : Хиймэл оюун ухааны гаралтыг ноорог гэж үз; өөртөө итгэлтэй алдаа гаргахаас зайлсхийхийн тулд тэдгээрийг хянаж үзээрэй.

Үүргийн шилжилт : Байршлын хэв маягийг бичихэд бага цаг зарцуулж, бат бөх систем зохион бүтээхэд илүү их цаг зарцуул.

Хиймэл оюун ухаан өгөгдлийн инженерүүдийг орлох уу? Инфографик

Хэрэв та өгөгдлийн багуудтай таван минутаас илүү хугацаанд харьцсан бол уулзалтын үеэр заримдаа шивнэж, заримдаа үйл явдлын эргэлт мэт өрнөж буй давталт сонссон байх: Хиймэл оюун ухаан өгөгдлийн инженерүүдийг орлох уу?

Тэгээд... би ойлгож байна. Хиймэл оюун ухаан SQL үүсгэж, дамжуулах хоолойг бүтээж, стекийн мөрийг тайлбарлаж, dbt загваруудыг боловсруулж, тэр ч байтугай агуулахын схемийг өөртөө итгэлтэйгээр санал болгож чадна. SQL-д зориулсан GitHub Copilot dbt загваруудын тухай GitHub Copilot
Энэ нь ачигч хэрхэн жонглёр хийж сурахыг харахтай адил мэдрэмж төрүүлдэг. Сэтгэл хөдөлгөм, бага зэрэг түгшүүртэй бөгөөд энэ нь таны ажилд ямар утгатай болохыг та бүрэн мэдэхгүй байна 😅

Гэхдээ үнэндээ гарчиг шиг цэвэрхэн биш байна. Хиймэл оюун ухаан нь өгөгдлийн инженерчлэлийг бүрэн өөрчилж байна. Энэ нь уйтгартай, давтагдах хэсгүүдийг автоматжуулж байна. Энэ нь "Би юу хүсч байгаагаа мэдэж байгаа ч синтаксийг нь санахгүй байна" гэсэн мөчүүдийг хурдасгаж байна. Энэ нь мөн цоо шинэ төрлийн эмх замбараагүй байдлыг бий болгож байна.

Тиймээс өөдрөг үзэл эсвэл аймшигт сандралгүйгээр үүнийг зөв тайлбарлая.

Үүний дараа таны унших дуртай нийтлэлүүд:

🔗 Хиймэл оюун ухаан рентген судлаачдыг орлох уу?
Хиймэл оюун ухааны дүрслэл нь ажлын урсгал, нарийвчлал болон ирээдүйн үүргийг хэрхэн өөрчилдөг вэ?.

🔗 Хиймэл оюун ухаан нягтлан бодогчдыг орлох уу?
Хиймэл оюун ухааны ямар нягтлан бодох бүртгэлийн ажлуудыг автоматжуулж, юу нь хүнийх хэвээр байгааг хараарай.

🔗 Хиймэл оюун ухаан хөрөнгө оруулалтын банкируудыг орлох уу?
Хэлэлцээр, судалгаа, үйлчлүүлэгчтэй харилцах харилцаанд хиймэл оюун ухааны нөлөөллийг ойлгох.

🔗 Хиймэл оюун ухаан даатгалын агентуудыг орлох уу?
Хиймэл оюун ухаан нь андеррайтинг, борлуулалт болон хэрэглэгчийн дэмжлэгийг хэрхэн өөрчилдөг болохыг мэдэж аваарай.

"Хиймэл оюун ухаан өгөгдлийн инженерүүдийг орлодог" гэсэн асуулт яагаад дахин гарч ирээд байна вэ 😬

Айдас нь маш тодорхой газраас үүдэлтэй: өгөгдлийн инженерчлэл нь олон давтагдах ажилтай байдаг .

  • SQL бичих болон дахин боловсруулах

  • Дамжуулах скриптүүдийг бүтээж байна

  • Нэг схемээс нөгөө схем рүү талбаруудыг зураглах

  • Тест болон үндсэн баримт бичгийг бүрдүүлэх

  • Урьдчилан таамаглах боломжтой дамжуулах хоолойн алдааг олж засварлах ..

Хиймэл оюун ухаан давтагдах хэв маягт ер бусын сайн байдаг. Өгөгдлийн инженерчлэлийн нэг хэсэг нь яг үүнтэй холбоотой - хэв маяг дээр давхарласан хэв маяг. GitHub Copilot кодын саналууд

Түүнчлэн, багаж хэрэгслийн экосистем нь нарийн төвөгтэй байдлыг аль хэдийн "нууж" байна:

Тиймээс хиймэл оюун ухаан гарч ирэхэд энэ нь сүүлийн хэсэг мэт санагдаж магадгүй юм. Хэрэв стек аль хэдийн хийсвэрлэгдсэн бөгөөд хиймэл оюун ухаан цавууны кодыг бичиж чадвал ... юу үлдэх вэ? 🤷

Гэхдээ хүмүүсийн алгасдаг нэг зүйл байна: өгөгдлийн инженерчлэл нь голчлон бичих биш . Бичих нь амархан хэсэг. Хэцүү хэсэг нь бүрхэг, улс төрийн, өөрчлөгдөж буй бизнесийн бодит байдлыг найдвартай систем мэт болгох явдал юм.

Хиймэл оюун ухаан энэ бүрхэг байдалтай тэмцсээр байна. Хүмүүс ч бас тэмцсээр байна - тэд зүгээр л илүү сайн импровизаци хийдэг.

Өгөгдлийн инженерүүд өдөржингөө юу хийдэг вэ (үнэхээр аймшигтай үнэн) 🧱

Шударгаар хэлэхэд "Өгөгдлийн инженер" гэсэн албан тушаал нь та цэвэр математикийн аргаар пуужингийн хөдөлгүүр бүтээж байгаа юм шиг сонсогдож байна. Практик дээр та итгэлцлийг .

Ердийн өдөр бол "шинэ алгоритм зохион бүтээх"-ээс бага, илүү их зүйл юм:

  • Өгөгдлийн тодорхойлолтын талаар дээд шатны багуудтай хэлэлцээр хийх (хэцүү боловч зайлшгүй шаардлагатай)

  • Метрик яагаад өөрчлөгдсөнийг (мөн энэ нь бодит эсэхийг) судлах

  • Схемийн хэлбэлзэл болон "хэн нэгэн шөнө дунд багана нэмсэн" гэнэтийн зүйлсийг зохицуулах

  • Шугам хоолойнууд нь идемпотент, сэргээгдэх, ажиглагдахуйц эсэхийг баталгаажуулах

  • Доод урсгалын шинжээчид санамсаргүйгээр утгагүй хяналтын самбар үүсгэхгүйн тулд хашлага бий болгож байна

  • Агуулахаа мөнгөний түүдэг гал болгохгүйн тулд зардлаа удирдах нь 🔥

  • Хандалтыг хамгаалах, аудит хийх, нийцүүлэх, хадгалах бодлогууд GDPR-ийн зарчим (Европын Комисс) Хадгалах хязгаарлалт (ICO)

  • Хүмүүс танд DM бичихгүйгээр үнэхээр ашиглаж болох өгөгдлийн бүтээгдэхүүн бүтээх 20 асуулт

Ажлын ихэнх хэсэг нь нийгмийн болон үйл ажиллагааны шинж чанартай байдаг:

  • "Энэ ширээний эзэн хэн бэ?"

  • "Энэ тодорхойлолт одоо хүртэл хүчинтэй юу?"

  • "CRM яагаад давхардсан файлуудыг экспортолж байгаа вэ?"

  • "Энэ үзүүлэлтийг удирдах албан тушаалтнуудад ичгүүргүйгээр илгээж болох уу?" 😭

Мэдээж хиймэл оюун ухаан үүний зарим хэсэгт тусалж чадна. Гэхдээ үүнийг бүрэн орлуулах нь ... хүндрэлтэй асуудал юм.

Өгөгдлийн инженерчлэлийн үүргийн хүчтэй хувилбарыг юу тодорхойлдог вэ? ✅

Энэ хэсэг чухал учир нь солих яриа нь өгөгдлийн инженерүүдийг голчлон "хоол боловсруулах хоолой баригчид" гэж үздэг. Энэ нь тогооч нарыг голчлон "ногоо хэрчинэ" гэж үзэхтэй адил юм. Энэ бол ажлын нэг хэсэг боловч ажил биш.

Өгөгдлийн инженерийн хүчтэй хувилбар нь ихэвчлэн эдгээрийн ихэнхийг хийж чадна гэсэн үг юм:

  • Өөрчлөлтөд зориулсан дизайн
    Өгөгдөл өөрчлөгддөг. Багууд өөрчлөгддөг. Хэрэгслүүд өөрчлөгддөг. Сайн инженер бодит байдал найтаах бүрт нурдаггүй системүүдийг бүтээдэг 🤧

  • Гэрээ болон хүлээлтийг тодорхойлох
    "Хэрэглэгч" гэж юу гэсэн үг вэ? "Идэвхтэй" гэж юу гэсэн үг вэ? Мөр хоцорч ирэхэд юу болдог вэ? Гэрээ нь гоёмсог кодоос илүү эмх замбараагүй байдлаас сэргийлдэг. Нээлттэй өгөгдлийн гэрээний стандарт (ODCS) ODCS (GitHub)

  • Бүх зүйлд ажиглагдахуйц байдлыг бий болгох
    Зөвхөн "ажилласан уу" гэлтгүй "зөв ажилласан уу" гэх мэт. Шинэлэг байдал, эзлэхүүний гажиг, тэг дэлбэрэлт, тархалтын шилжилт. Өгөгдлийн ажиглагдахуйц байдал (Dynatrace) Өгөгдлийн ажиглагдахуйц байдал гэж юу вэ?

  • Насанд хүрсэн хүн шиг буулт хий.
    Хурд ба зөв байдал, өртөг ба хоцрогдол, уян хатан байдал ба энгийн байдал. Төгс дамжуулах хоолой гэж байдаггүй, зөвхөн таны амьдарч чадах дамжуулах хоолой гэж байдаг.

  • Бизнесийн хэрэгцээг бат бөх систем болгон хөрвүүлэх
    Хүмүүс үзүүлэлт хүсдэг ч тэдэнд өгөгдлийн бүтээгдэхүүн хэрэгтэй байдаг. Хиймэл оюун ухаан кодыг боловсруулж чаддаг ч бизнесийн минатай холбоотой зүйлсийг ид шидийн мэт мэдэж чадахгүй.

  • Өгөгдлийг чимээгүй байлга.
    Өгөгдлийн платформын хамгийн өндөр магтаал бол хэн ч энэ талаар ярьдаггүй явдал юм. Үйл явдалгүй өгөгдөл бол сайн өгөгдөл юм. Сантехникийн ажил шиг. Та үүнийг зөвхөн эвдэрсэн үед л анзаардаг 🚽

"Хиймэл оюун ухаан өгөгдлийн инженерүүдийг орлох уу?" гэсэн асуулт жаахан хачин сонсогдож эхэлнэ. Хиймэл оюун ухаан нь эзэмшлийг биш, харин даалгавруудыг .

Хиймэл оюун ухаан өгөгдлийн инженерүүдэд аль хэдийн тусалж байгаа (энэ үнэхээр гайхалтай) 🤖✨

Хиймэл оюун ухаан бол зүгээр нэг маркетинг биш. Зөв ашиглавал энэ нь жинхэнэ хүчийг үржүүлэгч юм.

1) SQL болон хувиргалтын ажлыг илүү хурдан хийх

  • Нийлмэл холболтыг зурах

  • Таны бодохыг хүсэхгүй байгаа цонхны функцуудыг бичих

  • Энгийн хэлний логикийг асуулгын араг яс болгон хувиргах нь

  • Муухай асуулгыг уншигдахуйц CTE болгон дахин боловсруулах нь SQL-д зориулсан GitHub Copilot

Энэ нь "хоосон хуудас"-ын нөлөөг бууруулдаг тул асар том юм. Та баталгаажуулах шаардлагатай хэвээр байгаа ч 0%-ийн оронд 70%-иас эхэлнэ.

2) Алдааг олж засварлах болон үндсэн шалтгааны үйрмэгийг арилгах

Хиймэл оюун ухаан дараах чадваруудад сайн байна:

  • Алдааны мессежийг тайлбарлах

  • Хаашаа харахыг санал болгож байна

  • "Схемийн үл нийцлийг шалгах" төрлийн алхмуудыг санал болгож байна GitHub Copilot
    Энэ нь хэзээ ч унтдаггүй, заримдаа өөртөө итгэлтэйгээр худлаа хэлдэг, ядарч туйлдсан залуу инженертэй байхтай адил юм 😅

3) Баримтжуулалт болон өгөгдлийн каталогийг баяжуулах

Автоматаар үүсгэгдсэн:

  • Баганын тайлбарууд

  • Загварын хураангуй

  • Удам угсааны тайлбар

  • "Энэ хүснэгтийг юунд ашигладаг вэ?" dbt баримт бичгийн

Энэ нь төгс биш ч гэсэн баримтжуулаагүй дамжуулах хоолойн хараалыг эвддэг.

4) Шатны шат болон шалгалтыг турших

AI нь дараахь зүйлийг санал болгож чадна:

Дахин хэлэхэд та юу чухал болохыг шийдсээр байх болно, гэхдээ энэ нь ердийн хэсгүүдийг хурдасгадаг.

5) Шугам хоолойн "цавуу" код

Тохиргооны загварууд, YAML шатлалууд, найрал хөгжмийн DAG ноорогууд. Эдгээр зүйлс давтагддаг бөгөөд хиймэл оюун ухаан өглөөний цайндаа давтагддаг хоол иддэг 🥣 Apache Airflow DAGs

Хиймэл оюун ухаан одоо хүртэл тэмцэж байгаа газар (энэ бол түүний гол цөм нь) 🧠🧩

Энэ хэсэг нь хамгийн чухал хэсэг юм, учир нь энэ нь орлуулах асуултанд жинхэнэ бүтэцтэйгээр хариулдаг.

1) Хоёрдмол утгатай байдал болон өөрчлөгдөж буй тодорхойлолтууд

Бизнесийн логик ховорхон тодорхой байдаг. Хүмүүс өгүүлбэрийн дундуур бодлоо өөрчилдөг. “Идэвхтэй хэрэглэгч” гэдэг нь “идэвхтэй төлбөр төлөгч хэрэглэгч” болж, “зарим тохиолдолд буцаан олголт оруулахгүй идэвхтэй төлбөр төлөгч хэрэглэгч” болж хувирдаг... та үүнийг мэдэж байгаа.

Хиймэл оюун ухаан энэ хоёрдмол утгыг эзэмшиж чадахгүй. Энэ нь зөвхөн таах л боломжтой.

2) Хариуцлага ба эрсдэл

Шугам хоолой эвдэрч, гүйцэтгэх удирдлагын самбар утгагүй зүйл харуулсан үед хэн нэгэн дараах зүйлийг хийх ёстой:

  • ангилах

  • нөлөөллийг дамжуулах

  • засаарай

  • дахилтаас урьдчилан сэргийлэх

  • нас барсны дараах түүхийг бичих

  • өнгөрсөн долоо хоногийн тоон үзүүлэлтүүдэд бизнес итгэж чадах эсэхийг шийднэ үү

Хиймэл оюун ухаан тусалж чадна, гэхдээ утга учиртай байдлаар хариуцлага хүлээх боломжгүй. Байгууллагууд сэтгэл хөдлөлөөр ажилладаггүй - тэд хариуцлагаар ажилладаг.

3) Системийн сэтгэлгээ

Өгөгдлийн платформууд нь экосистемүүд юм: шингээлт, хадгалалт, хувиргалт, найрал хөгжим, засаглал, зардлын хяналт, үйлчилгээний гэрээ. Нэг давхаргын долгион дахь өөрчлөлт. Apache Airflow концепцууд

Хиймэл оюун ухаан нь дэлхий нийтийн зовлонг үүсгэдэг орон нутгийн оновчлолыг санал болгож чадна. Энэ нь хаалгыг авч хаалгыг нь засахтай адил юм 😬

4) Аюулгүй байдал, нууцлал, дүрэм журмын хэрэгжилт

Энэ бол орлуулах уран зөгнөлүүд үхдэг газар юм.

Хиймэл оюун ухаан бодлого боловсруулж чаддаг ч аюулгүйгээр хэрэгжүүлэх нь жинхэнэ инженерчлэл юм.

5) "Үл мэдэгдэх үл мэдэгдэх зүйлс"

Өгөгдлийн тохиолдлууд ихэвчлэн урьдчилан таамаглах боломжгүй байдаг:

  • Худалдагчийн API нь семантикийг чимээгүйхэн өөрчилдөг

  • Цагийн бүсийн таамаглал өөрчлөгдөнө

  • Арын дүүргэлт нь хуваалтыг хуулбарладаг

  • Дахин оролдох механизм нь давхар бичихэд хүргэдэг

  • Шинэ бүтээгдэхүүний онцлог нь шинэ арга хэмжээний хэв маягийг танилцуулж байна

Нөхцөл байдал тодорхой хэв маягаар биш үед хиймэл оюун ухаан сул байдаг.

Харьцуулсан хүснэгт: практик дээр юу юуг бууруулж байна вэ 🧾🤔

Доор практик үзэл бодол байна. "Хүмүүсийг орлох хэрэгслүүд" биш, харин тодорхой ажлуудыг багасгадаг хэрэгсэл, аргууд.

Хэрэгсэл / арга барил Үзэгчид Үнийн уур амьсгал Яагаад ажилладаг вэ
Хиймэл оюун ухааны кодын хуулбарууд (SQL + Python туслагчид) GitHub хуулбарууд Маш их код бичдэг инженерүүд Үнэгүйгээс төлбөртэй хүртэл Шатны бүтэц, рефактор, синтакс хийхдээ маш сайн... заримдаа маш тодорхой байдлаар биеэ тоодог
Удирдлагатай ELT холбогч Fivetran Багууд залгих чадвараа хөгжүүлж залхсан Захиалгын дугаар Захиалгат залгих үеийн өвдөлтийг арилгадаг ч шинэ хөгжилтэй аргуудыг бий болгодог
Өгөгдөл ажиглах платформууд Өгөгдөл ажиглах (Dynatrace) Үйлчилгээний гэрээ (SLA) эзэмшдэг хэн бүхэн Дунд болон аж ахуйн нэгж Шугам хоолойн утааны дохиолол гэх мэт гажигийг эрт илрүүлдэг 🔔
Хувиргалтын хүрээ (тунхаглалын загварчлал) dbt Аналитик + DE эрлийз Ихэвчлэн хэрэгсэл + тооцоолол Логикийг модульчлагдсан, туршиж үзэх боломжтой болгож, спагетти багатай болгодог
Өгөгдлийн каталог + семантик давхаргууд dbt Семантик давхарга Метрийн төөрөгдөлтэй эрхтнүүд Практикт хамаарна "Үнэн"-ийг нэг удаа тодорхойлдог - төгсгөлгүй хэмжүүрийн мэтгэлцээнийг бууруулдаг
Apache Airflow загваруудтай найруулга Платформд суурилсан багууд Нээлттэй + үйл ажиллагааны зардал Ажлын урсгалыг стандартчилдаг; цасан ширхэгийн DAG-уудыг багасгадаг
Хиймэл оюун ухааны тусламжтайгаар баримтжуулалт хийх dbt баримт бичиг үүсгэх Баримт бичиг бичих дургүй багууд Хямдаас дунд зэрэг хүртэл Мэдлэг алга болохгүйн тулд "хангалттай сайн" баримт бичиг хийдэг
Автоматжуулсан засаглалын бодлого NIST Нууцлалын хүрээ Зохицуулалттай орчин Байгууллагын Дүрмийг хэрэгжүүлэхэд тусалдаг - гэхдээ дүрмийг боловсруулахад хүмүүс хэрэгтэй хэвээр байна

Юу дутуу байгааг анхаарна уу: "өгөгдлийн инженерүүдийг устгахын тулд товчлуурыг дарна уу" гэсэн мөр байна. Тийм ээ... энэ мөр байхгүй байна 🙃

Тэгэхээр... хиймэл оюун ухаан өгөгдлийн инженерүүдийг орлох уу, эсвэл зүгээр л үүргийг нь өөрчлөх үү? 🛠️

Эндээс харамсалтай хариултыг олж болно: Хиймэл оюун ухаан нь мэргэжлийг биш, харин ажлын урсгалын зарим хэсгийг орлох болно.

Гэхдээ энэ нь үүргийг дахин тохируулах болно

Юу өөрчлөгдөж байна вэ:

  • Товч загвар бичихэд бага цаг зарцуулдаг

  • Баримт бичгийг хайхад бага цаг зарцуулна

  • Хянах, баталгаажуулах, загварчлахад илүү их цаг зарцуулах

  • Гэрээ болон чанарын хүлээлтийг тодорхойлоход илүү их цаг хугацаа шаардагдана. Нээлттэй өгөгдлийн гэрээний стандарт (ODCS)

  • Бүтээгдэхүүн, аюулгүй байдал, санхүүтэй хамтран ажиллахад илүү их цаг зарцуулах

Энэ бол нарийн өөрчлөлт юм: өгөгдлийн инженерчлэл нь "дамжуулах хоолой барих"-аас илүү "найдвартай өгөгдлийн бүтээгдэхүүний систем байгуулах"-аас илүүтэй болж байна

Тэгээд чимээгүйхэн хэлбэл энэ нь бага биш, харин илүү үнэ цэнэтэй юм.

Түүнчлэн - хэрэв энэ нь гайхалтай сонсогдож байгаа ч гэсэн би үүнийг хэлэх болно - хиймэл оюун ухаан нь өгөгдлийн эд өлгийн зүйлсийг үүсгэж чадах хүмүүсийн тоог нэмэгдүүлдэг бөгөөд энэ нь бүх зүйлийг эрүүл ухаанаар хадгалах хэн нэгний хэрэгцээг нэмэгдүүлдэг. Илүү их гаралт нь илүү их төөрөгдөл үүсгэдэг. GitHub Copilot

Энэ нь хүн бүрт цахилгаан өрөм өгөхтэй адил юм. Гайхалтай! Одоо хэн нэгэн "усны хоолой руу өрөмдөж болохгүй" гэсэн дүрмийг хэрэгжүүлэх хэрэгтэй байна 🪠

Үнэ цэнэтэй хэвээрээ үлдэх шинэ ур чадварын багц (хаа сайгүй хиймэл оюун ухаан байсан ч гэсэн) 🧠⚙️

Хэрэв та "ирээдүйд бэлэн" практик шалгах хуудсыг хүсч байвал дараах байдалтай байна

Системийн дизайны сэтгэлгээ

  • Өөрчлөлтийг тэсвэрлэдэг өгөгдлийн загварчлал

  • Багц болон стримингийн хоорондох тэнцвэр

  • Хоцрогдол, өртөг, найдвартай байдлын сэтгэлгээ

Өгөгдлийн чанарын инженерчлэл

Засаглал ба итгэлцлийн архитектур

Платформ сэтгэлгээ

  • Дахин ашиглах боломжтой загварууд, алтан замууд

  • Fivetran dbt өгөгдлийн тестийг залгих, хувиргах, турших стандартчилагдсан хэв маяг

  • Хайлдаггүй, өөртөө үйлчлэх багаж хэрэгсэл

Харилцаа холбоо (тийм ээ, үнэхээр)

  • Тодорхой баримт бичиг бичих

  • Тодорхойлолтуудыг уялдуулах

  • "Үгүй" гэж эелдэг боловч баттай хэлэх

  • Робот шиг сонсогдохгүйгээр буулт хийх аргуудыг тайлбарлаж байна 🤖

Хэрэв та эдгээрийг хийж чадвал "Хиймэл оюун ухаан өгөгдлийн инженерүүдийг орлох уу?" гэсэн асуулт аюул багатай болно. Хиймэл оюун ухаан таны орлох хэсэг биш, харин таны экзоскелет болно.

Зарим өгөгдлийн инженерчлэлийн үүрэг багасдаг бодит нөхцөл байдал 📉

За, бодит байдлыг хурдан шалгаарай, учир нь энэ бүхэн нарны гэрэл болон эможи конфетти биш юм 🎉

Зарим үүрэг илүү илэрхий байдаг:

  • Бүх зүйл стандарт холбогчтой цэвэр залгих үүрэг Fivetran холбогч

  • Багууд ихэвчлэн давтагдсан тайлангийн шугам хоолойг хамгийн бага домэйны нарийн мэдрэмжтэйгээр хийдэг

  • Өгөгдлийн инженерчлэлийг “SQL сармагчингууд” гэж үздэг байгууллагууд (хатуу боловч үнэн)

  • Ажил нь зүгээр л тасалбар болон хуулбарлахаас бүрддэг бага өмчлөлийн үүрэг

Хиймэл оюун ухаан болон удирдлагын хэрэгслүүд нь эдгээр хэрэгцээг багасгаж чадна.

Гэхдээ тэнд ч гэсэн орлуулах нь ихэвчлэн дараах байдалтай байдаг

  • Нэг давтагдсан ажлыг хийдэг хүмүүс цөөрөх

  • Платформын эзэмшил болон найдвартай байдалд илүү их анхаарал хандуулдаг

  • "Нэг хүн илүү олон дамжуулах хоолойг дэмжиж чадна" гэсэн хандлага руу шилжих

Тийм ээ - ажилчдын тооллогын хэв маяг өөрчлөгдөж болно. Үүрэг даалгавар өөрчлөгдөж, цол хэргэм өөрчлөгддөг. Энэ хэсэг нь бодитой юм.

Гэсэн хэдий ч уг үүргийн өндөр эзэмшлийн, өндөр итгэлцлийн хувилбар хэвээр байна.

Төгсгөлийн хураангуй 🧾✅

Хиймэл оюун ухаан өгөгдлийн инженерүүдийг орлох уу? Хүмүүсийн төсөөлж буй цэвэрхэн, бүрэн дүүрэн байдлаар биш.

Хиймэл оюун ухаан дараах зүйлсийг хийх болно:

Гэхдээ өгөгдлийн инженерчлэл нь үндсэндээ дараахь зүйлтэй холбоотой юм

Хиймэл оюун ухаан үүнд тусалж чадна... гэхдээ тэр үүнийг "эзэмшдэггүй".

Хэрэв та өгөгдлийн инженер бол энэ алхам нь энгийн (амархан биш ч гэсэн энгийн):
өмчлөл, чанар, платформ сэтгэлгээ, харилцаа холбоонд анхаарлаа хандуулаарай. Чухал хэсгүүдийг өөрөө зохицуулж байхдаа хиймэл оюун ухаанд үндсэн зарчмуудыг даатгаарай.

Тийм ээ - заримдаа энэ нь өрөөндөө том хүн байх гэсэн үг. Тансаг биш. Гэхдээ чимээгүйхэн хүчтэй 😄

Хиймэл оюун ухаан нь өгөгдлийн инженерүүдийг орлох уу?
Энэ нь зарим ажлуудыг орлож, шат дамжлагыг өөрчилж, шилдэг өгөгдлийн инженерүүдийг бүр ч илүү үнэ цэнэтэй болгоно. Энэ бол жинхэнэ түүх.

Түгээмэл асуултууд

Хиймэл оюун ухаан өгөгдлийн инженерүүдийг бүрэн орлох уу?

Ихэнх байгууллагуудад хиймэл оюун ухаан нь үүргийг бүрмөсөн арилгахаас илүү тодорхой ажлуудыг гүйцэтгэх магадлал өндөр байдаг. Энэ нь SQL төсөл боловсруулах, дамжуулах хоолойн шат дамжлага, баримтжуулалтын эхний дамжуулалт, үндсэн тест үүсгэх ажлыг хурдасгаж чадна. Гэхдээ өгөгдлийн инженерчлэл нь өмчлөл, хариуцлагатай байдлыг хангахаас гадна замбараагүй бизнесийн бодит байдлыг найдвартай систем шиг болгох гэсэн сүрлэг бус ажлыг дагуулдаг. Эдгээр хэсгүүдэд хүмүүс "зөв" гэж юу болохыг шийдэж, асуудал гарсан үед хариуцлага хүлээх шаардлагатай хэвээр байна.

Хиймэл оюун ухаан өгөгдлийн инженерчлэлийн ямар хэсгүүдийг аль хэдийн автоматжуулж байна вэ?

Хиймэл оюун ухаан нь давтагдах боломжтой ажлуудад хамгийн сайн ажилладаг: SQL-г боловсруулж, дахин боловсруулах, dbt загварын араг ясыг үүсгэх, нийтлэг алдааг тайлбарлах, баримт бичгийн тоймыг гаргах. Энэ нь мөн null эсвэл өвөрмөц байдлын шалгалт гэх мэт туршилтуудыг хийж, найрал хөгжмийн хэрэгслүүдэд зориулсан загвар "цавуу" кодыг үүсгэж чаддаг. Ялалт бол эрч хүч юм - та ажиллах шийдэлд ойртож эхэлдэг - гэхдээ та зөвийг баталгаажуулж, энэ нь таны орчинд тохирч байгаа эсэхийг шалгах хэрэгтэй.

Хэрэв хиймэл оюун ухаан SQL болон дамжуулах хоолойг бичиж чаддаг бол өгөгдлийн инженерүүдэд юу үлдэх вэ?

Маш их зүйл: өгөгдлийн гэрээг тодорхойлох, схемийн шилжилтийг зохицуулах, дамжуулах хоолойнууд нь идемпотент, ажиглагдахуйц, сэргээгдэх боломжтой эсэхийг баталгаажуулах. Өгөгдлийн инженерүүд метрикийн өөрчлөлтийг судлах, доод урсгалын хэрэглэгчдэд зориулсан хашлага барих, өртөг болон найдвартай байдлын тэнцвэрийг зохицуулахад цаг зарцуулдаг. Ажил нь ихэвчлэн итгэлцлийг бий болгох, өгөгдлийн платформыг "чимээгүй" байлгах, өөрөөр хэлбэл хэн ч өдөр бүр энэ талаар бодох шаардлагагүй хангалттай тогтвортой байлгахад чиглэгддэг.

Хиймэл оюун ухаан нь өгөгдлийн инженерийн өдөр тутмын ажлыг хэрхэн өөрчилдөг вэ?

Энэ нь ихэвчлэн загвар болон "хайх хугацаа"-г багасгадаг тул та бичихэд бага цаг зарцуулж, хянах, баталгаажуулах, зохион бүтээхэд илүү их цаг зарцуулдаг. Энэ өөрчлөлт нь бүх зүйлийг гараар кодлохын оронд хүлээлт, чанарын стандарт, дахин ашиглах боломжтой хэв маягийг тодорхойлох үүргийг түлхэж өгдөг. Практикт та бүтээгдэхүүн, аюулгүй байдал, санхүүтэй илүү их түншлэлийн ажил хийх магадлалтай - учир нь техникийн гаралтыг бий болгоход хялбар боловч удирдахад хэцүү болдог.

Хиймэл оюун ухаан яагаад "идэвхтэй хэрэглэгч" гэх мэт бизнесийн тодорхойгүй тодорхойлолтуудтай тэмцэж байна вэ?

Учир нь бизнесийн логик нь статик эсвэл нарийн биш бөгөөд төслийн дундуур өөрчлөгдөж, оролцогч талуудаас хамааран өөр өөр байдаг. Хиймэл оюун ухаан тайлбарыг боловсруулж болох ч тодорхойлолтууд өөрчлөгдөх эсвэл зөрчилдөөн гарах үед шийдвэрийг эзэмшиж чадахгүй. Өгөгдлийн инженерчлэл нь ихэвчлэн хэлэлцээр хийх, таамаглалыг баримтжуулах, тодорхойгүй шаардлагыг удаан хугацааны гэрээ болгон хувиргахыг шаарддаг. Энэхүү "хүний ​​​​уялдаа холбоо" ажил нь багаж хэрэгсэл сайжирсан ч гэсэн үүрэг алга болохгүйн гол шалтгаан юм.

Хиймэл оюун ухаан өгөгдлийн удирдлага, нууцлал болон нийцлийн ажлыг аюулгүйгээр зохицуулж чадах уу?

Хиймэл оюун ухаан бодлого боловсруулахад туслах эсвэл арга барил санал болгоход тусалж болох ч аюулгүй хэрэгжүүлэх нь жинхэнэ инженерчлэл, нямбай хяналт шаарддаг. Засаглалд хандалтын хяналт, хувийн мэдээллийн менежмент, хадгалах дүрэм, аудитын мөр, заримдаа оршин суух хязгаарлалт орно. Эдгээр нь "бараг зөв" гэж хүлээн зөвшөөрөгдөхгүй өндөр эрсдэлтэй чиглэлүүд юм. Хүмүүс дүрмийг боловсруулж, хэрэгжилтийг шалгаж, нийцлийн үр дүнд хариуцлага хүлээх ёстой.

Хиймэл оюун ухаан сайжирч байгаа тул өгөгдлийн инженерүүдэд ямар ур чадвар үнэ цэнэтэй хэвээр үлддэг вэ?

Системийг уян хатан болгодог ур чадварууд: системийн дизайны сэтгэлгээ, өгөгдлийн чанарын инженерчлэл, платформд чиглэсэн стандартчилал. Гэрээ, ажиглалт, ослын хариу арга хэмжээ авах зуршил, сахилга баттай үндсэн шалтгааны шинжилгээ нь олон хүн өгөгдлийн олдворуудыг хурдан үүсгэж чаддаг болсон үед бүр ч чухал болдог. Харилцаа холбоо нь мөн ялгааг бий болгодог - тодорхойлолтуудыг уялдуулах, тодорхой баримт бичиг бичих, драмагүйгээр буулт хийхийг тайлбарлах нь өгөгдлийг найдвартай байлгах чухал хэсэг юм.

Хиймэл оюун ухаан болон удирдлагын хэрэгслээс шалтгаалан өгөгдлийн инженерчлэлийн ямар үүрэг хамгийн их эрсдэлд ордог вэ?

Давтагдсан мэдээлэл дамжуулах эсвэл стандарт тайлагнах дамжуулах хоолойд чиглэсэн үүрэг нь илүү нээлттэй байдаг, ялангуяа удирддаг ELT холбогч нь ихэнх эх сурвалжийг хамарсан үед. Бага эзэмшлийн, тасалбарт суурилсан ажил нь хиймэл оюун ухаан болон хийсвэрлэл нь дамжуулах хоолой тус бүрийн хүчин чармайлтыг бууруулдаг тул багасч болно. Гэхдээ энэ нь ихэвчлэн давтагдсан ажлуудыг хийдэг хүмүүс цөөрсөн, "өгөгдлийн инженер байхгүй" мэт харагддаг. Найдвартай байдал, чанар, итгэлцэлд төвлөрсөн өндөр эзэмшлийн үүрэг нь удаан хугацаанд тогтвортой хэвээр байна.

Эмх замбараагүй байдал үүсгэхгүйгээр GitHub Copilot эсвэл dbt зэрэг хэрэгслүүдийг хиймэл оюун ухаантай хэрхэн ашиглах ёстой вэ?

Хиймэл оюун ухааны гаралтыг шийдвэр биш, харин ноорог гэж үз. Үүнийг ашиглан асуулгын араг ясыг үүсгэх, уншигдах чадварыг сайжруулах эсвэл dbt тест болон баримт бичгийг бэлтгэх, дараа нь бодит өгөгдөл болон захын тохиолдлуудтай харьцуулан баталгаажуул. Үүнийг гэрээ, нэршлийн стандарт, ажиглагдах байдлын шалгалт, хяналтын практик зэрэг хүчтэй конвенцуудтай хослуул. Зорилго нь найдвартай байдал, зардлын хяналт эсвэл засаглалыг золиослохгүйгээр хурдан хүргэх явдал юм.

Лавлагаа

  1. Европын Комисс - Өгөгдөл хамгааллын тайлбар: GDPR-ийн зарчмууд - commission.europa.eu

  2. Мэдээллийн комиссарын алба (ICO) - Хадгалах хязгаар - ico.org.uk

  3. Европын Комисс - Өгөгдлийг хэр удаан хадгалах боломжтой бөгөөд шинэчлэх шаардлагатай юу? - commission.europa.eu

  4. Стандарт ба технологийн үндэсний хүрээлэн (NIST) - Нууцлалын хүрээ - nist.gov

  5. NIST Компьютерийн аюулгүй байдлын нөөцийн төв (CSRC) - SP 800-92: Компьютерийн аюулгүй байдлын бүртгэлийн удирдлагын гарын авлага - csrc.nist.gov

  6. Интернетийн аюулгүй байдлын төв (CIS) - Аудитын бүртгэлийн менежмент (CIS Controls) - cisecurity.org

  7. Цасан ширхэгийн баримт бичиг - Мөрийн хандалтын бодлого - docs.snowflake.com

  8. Google Cloud баримтжуулалт - BigQuery мөрийн түвшний аюулгүй байдал - docs.cloud.google.com

  9. BITOL - Нээлттэй өгөгдлийн гэрээний стандарт (ODCS) v3.1.0 - bitol-io.github.io

  10. BITOL (GitHub) - Нээлттэй өгөгдлийн гэрээний стандарт - github.com

  11. Apache Airflow - Баримтжуулалт (тогтвортой) - airflow.apache.org

  12. Apache Airflow - DAGs (үндсэн ойлголтууд) - airflow.apache.org

  13. dbt Labs баримтжуулалт - dbt гэж юу вэ? - docs.getdbt.com

  14. dbt Labs баримтжуулалт - dbt загваруудын тухай - docs.getdbt.com

  15. dbt Labs баримтжуулалт - Баримтжуулалт - docs.getdbt.com

  16. dbt Labs баримтжуулалт - Өгөгдлийн тестүүд - docs.getdbt.com

  17. dbt Labs баримтжуулалт - dbt семантик давхарга - docs.getdbt.com

  18. Fivetran баримтжуулалт - Эхлэх - fivetran.com

  19. Fivetran - Холбогч - fivetran.com

  20. AWS баримтжуулалт - AWS Lambda хөгжүүлэгчийн гарын авлага - docs.aws.amazon.com

  21. GitHub - GitHub Copilot - github.com

  22. GitHub Docs - GitHub Copilot ашиглан IDE дээрээ кодын санал авах - docs.github.com

  23. Microsoft Learn - SQL-д зориулсан GitHub Copilot (VS Code өргөтгөл) - learn.microsoft.com

  24. Dynatrace баримтжуулалт - Өгөгдлийн ажиглалт - docs.dynatrace.com

  25. DataGalaxy - Өгөгдлийн ажиглагдах байдал гэж юу вэ? - datagalaxy.com

  26. Агуу хүлээлтийн баримт бичиг - Хүлээлтийн тойм - docs.greatexpectations.io

Албан ёсны хиймэл оюун ухааны туслах дэлгүүрээс хамгийн сүүлийн үеийн хиймэл оюун ухааныг олоорой

Бидний тухай

Блог руу буцах