AI чиг хандлагыг хэрхэн урьдчилан таамагладаг вэ?

AI нь нүцгэн нүдээр алддаг хэв маягийг илрүүлж, эхлээд нүүр улайх үед чимээ шуугиантай төстэй дохиог илрүүлдэг. Үүнийг зөв хийвэл замбараагүй зан үйлийг ашигтай алсын хараа болгон хувиргадаг - ирэх сард борлуулалт, маргаашийн ачаалал, энэ улирлын сүүлээр гацах болно. Буруу хийсэн, өөртөө итгэлтэй мөрөө хавчиж байна. Энэхүү гарын авлагад бид хиймэл оюун ухаан чиг хандлагыг хэрхэн урьдчилан таамаглах, ялалт хаанаас ирдэг, хөөрхөн графикуудад хууртахаас хэрхэн зайлсхийх талаар нарийн тодорхой тайлбарлах болно. Бодит ярианы хэдэн мөч, хааяа хөмсөг зангидах зэргээр би үүнийг ажил хэрэгч байлгах болно 🙃.

Үүний дараа унших дуртай нийтлэлүүд:

🔗 AI гүйцэтгэлийг хэрхэн хэмжих вэ
AI системийн нарийвчлал, үр ашиг, найдвартай байдлыг үнэлэх гол хэмжүүрүүд.

🔗 AI-тай хэрхэн ярих вэ
Хариултын чанарыг сайжруулахын тулд хиймэл оюун ухаантай харилцах практик зөвлөмжүүд.

🔗 AI гэж юу вэ
Мэдээлэл нь AI-ийн зан төлөв, гаралтад хэрхэн нөлөөлдөг талаар тодорхой тайлбар.

🔗 AI мэдээллийн шошго гэж юу вэ
Машин сургалтын загваруудыг сургахад үр дүнтэй өгөгдлийг шошголох танилцуулга.

AI чиг хандлагыг урьдчилан таамаглахад юу нөлөөлдөг вэ ✅

Хүмүүс хиймэл оюун ухаан чиг хандлагыг хэрхэн урьдчилан таамаглаж байна вэ гэж асуухад тэд ихэвчлэн тодорхойгүй мөртлөө давтагдах зүйлийг хэрхэн урьдчилан таамаглахыг хэлдэг. Сайн чиг хандлагын таамаглал нь уйтгартай боловч үзэсгэлэнтэй найрлагатай:

• Дохиотой өгөгдөл - та чулуунаас жүржийн шүүсийг шахаж чадахгүй. Танд өмнөх үнэт зүйлс, нөхцөл байдал хэрэгтэй.

• Бодит байдлыг тусгасан шинж чанарууд - улирлын шинж чанар, амралт, сурталчилгаа, макро нөхцөл байдал, тэр ч байтугай цаг агаар. Бүгд биш, зөвхөн зүүг хөдөлгөдөг.

• Цагт тохирсон загварууд - дараалал, завсарлага, шилжилтийг хүндэтгэдэг цаг хугацааг мэддэг аргууд.

• Байршлыг тусгасан үнэлгээ - таныг хэрхэн урьдчилан таамаглахыг дуурайдаг арын тестүүд. Харж харахгүй [2].

• Өөрчлөлтийг хянах - дэлхийн өөрчлөлт; таны загвар ч бас байх ёстой [5].

Энэ бол араг яс юм. Үлдсэн хэсэг нь булчин шөрмөс, бага зэрэг кофейн юм.

Үндсэн дамжуулах хоолой: AI нь түүхий өгөгдлөөс урьдчилан таамаглах чиг хандлагыг хэрхэн урьдчилан таамаглах вэ?

1. Өгөгдлийг цуглуулах, зэрэгцүүлэх
   Зорилтот цуврал болон экзоген дохиог нэгтгэх. Ердийн эх сурвалжууд: бүтээгдэхүүний каталог, зар сурталчилгаа, үнэ, макро индекс, үйл явдал. Цагийн тэмдэглэгээг тохируулах, дутуу утгыг зохицуулах, нэгжийг стандартчилах. Энэ нь бүдүүлэг боловч шүүмжлэлтэй.

2. Инженерийн онцлогууд
   Хоцрогдол, гулсмал хэрэгсэл, хөдөлж буй тоо хэмжээ, долоо хоногийн өдрийн туг, домэйны тусгай үзүүлэлтүүдийг үүсгэх. Улирлын тохируулга хийхийн тулд олон дадлагажигчид загварчлалын өмнө цувралыг чиг хандлага, улирлын болон үлдэгдэл бүрэлдэхүүн хэсгүүдэд задалдаг; АНУ-ын Хүн амын тооллогын товчооны X-13 хөтөлбөр нь энэ нь хэрхэн, яагаад ажилладаг тухай каноник лавлагаа юм [1].

3. Загвар гэр бүлээ сонго
   Танд гурван том хувин байна:

• Сонгодог статистик : ARIMA, ETS, state-space/Kalman. Тайлбарлах боломжтой, хурдан.

• Машины сургалт : градиентийг нэмэгдүүлэх, цаг хугацааны онцлог шинж чанартай санамсаргүй ой мод. Олон цувралд уян хатан.

• Гүнзгий суралцах : LSTM, Temporal CNN, Transformers. Олон тооны өгөгдөл, нарийн төвөгтэй бүтэцтэй үед хэрэг болно.

4. Зөв арын тест хийх
   Хугацааны цувралын хөндлөн баталгаажуулалт нь гулсмал гарал үүслийг ашигладаг тул та өнгөрсөн үеийг туршиж байхдаа хэзээ ч ирээдүйд сургахгүй. Энэ бол үнэн зөв байдал, хүсэл эрмэлзэл хоёрын ялгаа юм [2].

5. Урьдчилан таамаглаж, тодорхой бус байдлыг тоолж,
   буцах таамаглалыг завсарлагатайгаар илгээж, алдааг хянаж, дэлхий тэнүүчлэх үед дахин сургах. Удирдлагатай үйлчилгээнүүд нь ихэвчлэн нарийвчлалын хэмжигдэхүүнүүдийг (жишээ нь, MAPE, WAPE, MASE) гадаргуугаас гаргаж, цонхнуудыг дахин шалгах боломжийг олгодог бөгөөд энэ нь засаглал болон хяналтын самбарыг хялбар болгодог [3].

Дайны хурдан түүх: нэг нээлтийн үеэр бид хуанлийн онцлог (бүс нутгийн баярууд + сурталчилгааны тугнууд) дээр нэмэлт өдөр зарцуулж, загвар солихоос илүү эрт үеийн алдаануудыг багасгасан. Онцлог чанар, шинэлэг загвар - та дахин харах болно.

Харьцуулалтын хүснэгт: хиймэл оюун ухаанд чиг хандлагыг урьдчилан таамаглахад туслах хэрэгслүүд 🧰

Зорилгодоо төгс бус - хүний ​​цөөн хэдэн өвөрмөц онцлогтой жинхэнэ ширээ.

Тиймээ, хэллэг нь жигд бус байна. Энэ бол жинхэнэ амьдрал.

Зүүг хөдөлгөдөг онцлог инженерчлэл 🧩

AI чиг хандлагыг хэрхэн урьдчилан таамаглах вэ гэсэн хамгийн энгийн хэрэгтэй хариулт бол: бид цувралыг цагийг санадаг, хяналттай сургалтын хүснэгт болгон хувиргадаг. Хэд хэдэн алхам хийх:

• Хоцрогдол ба цонхнууд : y[t-1], y[t-7], y[t-28], дээр нь гулсмал хэрэгсэл болон std dev орно. Энэ нь импульс ба инерцийг барьж авдаг.

• Улирлын шинж тэмдэг : сар, долоо хоног, долоо хоногийн өдөр, өдрийн цаг. Фурье нэр томъёо нь жигд улирлын муруйг өгдөг.

• Хуанли ба үйл явдлууд : амралт, бүтээгдэхүүний нээлт, үнийн өөрчлөлт, сурталчилгаа. Бошиглогч маягийн баярын эффектүүд нь зөвхөн өмнөх онцлог шинж чанарууд юм.

• Задаргаа : улирлын бүрэлдэхүүнийг хасч, хэв маяг хүчтэй байх үед үлдсэн хэсгийг загварчлах; X-13 нь үүнийг сайн туршсан суурь үзүүлэлт юм [1].

• Гадны регрессүүд : цаг агаар, макро индекс, хуудас үзэх, хайлтын сонирхол.

• Харилцааны зөвлөмж : сурталчилгааны_туг × долоо хоногийн_өдөр гэх мэт энгийн загалмайнууд. Энэ нь хачирхалтай боловч ихэвчлэн ажилладаг.

Хэрэв танд олон тооны холбогдох цувралууд байгаа бол, тухайлбал, мянга мянган SKU-тэй бол та тэдгээрийг шаталсан эсвэл глобал загвараар нэгтгэж болно. Практикт цаг хугацааны онцлогтой, дэлхийн градиентаар нэмэгдүүлсэн загвар нь ихэвчлэн жингээсээ дээгүүр цохидог.

Загвар гэр бүлийг сонгох нь: нөхөрсөг зодоон 🤼♀️

• ARIMA/ETS
  давуу тал: тайлбарлах боломжтой, хурдан, хатуу суурь. Сул талууд: Цуврал бүрийг тааруулах нь маш том хэмжээтэй байж болно. Хэсэгчилсэн автокорреляци нь захиалгыг илрүүлэхэд тусалдаг боловч гайхамшгийг хүлээх хэрэггүй.

• Gradient boosting
  давуу тал: Хүснэгтийн шинж чанаруудыг зохицуулдаг, холимог дохиог хүртэл бат бөх, холбоотой олон цувралтай маш сайн. Сул талууд: Та цаг хугацааны онцлогийг сайтар боловсруулж, учир шалтгааны холбоог хүндэтгэх ёстой.

• Гүнзгий суралцах
  давуу тал: шугаман бус ба хөндлөн цуваа хэв маягийг олж авдаг. Сул талууд: өгөгдөл ихтэй, дибаг хийхэд илүү төвөгтэй байдаг. Хэрэв та баялаг агуулга эсвэл урт түүхтэй бол энэ нь гэрэлтэж чадна; Үгүй бол энэ нь оргил ачааллын үед спорт машин юм.

• Гибрид ба чуулга
  Шударга байцгаая, улирлын үндсэн үзүүлэлтийг градиент өргөгчөөр давхарлаж, хөнгөн жинтэй LSTM-тэй холих нь тийм ч ховор таашаал юм. Би хүлээн зөвшөөрч байгаагаас илүү олон удаа "ганц загварын цэвэр байдал"-аас ухарсан.

Шалтгаан ба хамаарал: болгоомжтой харьц 🧭

Хоёр шугам эргэлдэж байгаа нь нэг нь нөгөөг нь жолооддог гэсэн үг биш юм. Грэйнжер учир шалтгааны хамаарлыг шалгадаг бөгөөд нэр дэвшигчийн жолоочийг нэмснээр зорилтот зорилтыг урьдчилан таамаглах нь өөрийн гэсэн түүхтэй. Энэ нь гүн ухааны учир шалтгааны хамаарал биш, харин шугаман авторегресс таамаглалын дагуу урьдчилан таамаглах ашигтай байдлын тухай юм - нарийн боловч чухал ялгаа [4].

Үйлдвэрлэлд та домэйн мэдлэгээрээ эрүүл ухаанаа шалгасан хэвээр байна. Жишээ нь: жижиглэнгийн худалдаанд ажлын өдрийн эффектүүд чухал боловч өнгөрсөн долоо хоногийн зар сурталчилгааны товшилтыг нэмэх нь загварт аль хэдийн зарцуулагдсан бол илүүц байж магадгүй юм.

Тест ба хэмжигдэхүүн: ихэнх алдаа нуугдаж байдаг 🔍

AI чиг хандлагыг хэрхэн бодитойгоор урьдчилан таамаглаж байгааг үнэлэхийн тулд зэрлэг байгальд хэрхэн таамаглахаа дуурайна уу:

• Rolling-origin cross-validation : Өмнөх өгөгдөл дээр дахин дахин сургаж, дараагийн хэсгийг урьдчилан таамаглах. Энэ нь цагийн дарааллыг хүндэтгэж, ирээдүйд алдагдахаас сэргийлдэг [2].

• Алдааны хэмжүүр : өөрийн шийдвэрт тохирохыг сонго. MAPE гэх мэт хувийн хэмжүүрүүд түгээмэл байдаг ч жинлэсэн хэмжигдэхүүнүүд (WAPE) эсвэл масштабгүй хэмжигдэхүүнүүд (MASE) нь ихэвчлэн багц болон агрегатуудын хувьд илүү сайн ажилладаг [3].

• Урьдчилан таамаглах интервал : зүгээр л оноо өгөх хэрэггүй. Тодорхой бус байдлын талаар ярих. Удирдах ажилтнууд завсарлагаанд дуртай байдаггүй ч гэнэтийн зүйлд дуртай байдаг.

Бяцхан таамаглал: Зүйл нь тэг байх үед хувийн үзүүлэлтүүд хачирхалтай болдог. Үнэмлэхүй эсвэл масштабтай алдааг илүүд үз, эсвэл бага хэмжээний офсет нэмнэ - зүгээр л тууштай байгаарай.

Дрифт тохиолддог: өөрчлөлтийг илрүүлж, дасан зохицох 🌊

Зах зээл өөрчлөгдөж, сонголтууд өөрчлөгдөж, мэдрэгчүүд хөгширч байна. Оролт болон зорилтот хоорондын хамаарал өөрчлөгдөхөд концепцийн дрифт Та статистикийн тест, гулсах цонхны алдаа эсвэл өгөгдөл түгээлтийн шалгалтаар зөрөх эсэхийг хянах боломжтой. Дараа нь стратеги сонго: богино сургалтын цонх, үе үе давтан сургах эсвэл онлайнаар шинэчлэгдэх дасан зохицох загварууд. Талбайн судалгаа нь олон төрлийн шилжилт хөдөлгөөн, дасан зохицох бодлогыг харуулж байна; бүгдэд нь тохирох ганц бодлого байхгүй [5].

Практик тоглоомын дэвтэр: шууд урьдчилсан мэдээний алдааны сэрэмжлүүлгийн босго тогтоох, хуваарийн дагуу дахин сургах, нөөцийн суурь үзүүлэлтийг бэлэн байлгах. Дур булаам биш - маш үр дүнтэй.

Тайлбар: хар хайрцгийг задлахгүйгээр нээх 🔦

Оролцогч талууд урьдчилсан мэдээ яагаад өсөв гэж асууж байна. Боломжийн. SHAP зэрэг загвар-агностик хэрэгслүүд нь онолын үндэслэлтэй байдлаар онцлог шинж чанаруудын таамаглалыг хамааруулж, улирлын шинж чанар, үнэ эсвэл сурталчилгааны байдал энэ тоог түлхэж байгаа эсэхийг харахад тусална. Энэ нь учир шалтгааны холбоог нотлохгүй, гэхдээ энэ нь итгэлцэл болон дибаг хийхийг сайжруулдаг.

Миний өөрийн туршилтаар долоо хоног тутмын улирлын шинж чанар, сурталчилгааны туг нь жижиглэнгийн худалдааны богино хугацааны урьдчилсан мэдээнд давамгайлах хандлагатай байдаг бол урт хугацааных нь макро прокси рүү шилждэг. Таны миль өөр өөр байх болно - тааламжтай.

Cloud & MLOps: наалдамхай туузгүй тээвэрлэлтийн урьдчилсан мэдээ 🚚

Хэрэв та удирддаг платформыг илүүд үздэг бол:

• Google Vertex AI Forecast нь цагийн цувааг нэвтрүүлэх, AutoML урьдчилан таамаглах, арын тест хийх, төгсгөлийн цэгүүдийг байрлуулах зэрэгт чиглүүлсэн ажлын урсгалыг өгдөг. Энэ нь орчин үеийн мэдээллийн стектэй сайн тоглодог.

• Amazon Forecast нь өргөн цар хүрээтэй байршуулалтад анхаарлаа хандуулдаг бөгөөд стандартчилсан арын тест, нарийвчлалын хэмжүүрүүдээр та API-аар дамжуулан татах боломжтой бөгөөд энэ нь засаглал болон хяналтын самбарт тусалдаг [3].

Аль ч зам нь бойлерийн хавтанг бууруулдаг. Зөвхөн нэг нүдийг зардал, нөгөөг нь өгөгдлийн удам угсаагаар ажиглаарай. Хоёр нүд нь төвөгтэй боловч хийх боломжтой.

Мини кейс: түүхий товшилтоос эхлээд чиг хандлагын дохио хүртэл 🧭✨

Та freemium програмын өдөр тутмын бүртгэлийг урьдчилан таамаглаж байна гэж төсөөлөөд үз дээ:

1. Өгөгдөл : өдөр бүр бүртгүүлэх, сувгаар зар сурталчилгаа хийх, сайтын тасалдал, энгийн сурталчилгааны хуанли.

2. Онцлогууд : 1, 7, 14 хоцролт; 7 хоногийн гулсмал дундаж; долоо хоногийн өдөр тугнууд; хоёртын сурталчилгааны туг; Фурье улирлын нэр томъёо; болон задарсан улирлын үлдэгдэл учраас загвар нь давтагдахгүй хэсэгт анхаарлаа хандуулдаг. Улирлын задрал нь албан ёсны статистикийн сонгодог алхам бөгөөд уйтгартай нэр, том ашиг [1] юм.

3. Загвар : градиентээр нэмэгдүүлсэн регрессорыг бүх гео-д дэлхийн загвар болгон эхлүүлээрэй.

4. Тест : долоо хоног бүр нугалж буй өнхрөх гарал үүсэл. Бизнесийн үндсэн сегмент дээрээ WAPE-г оновчтой болго. Найдвартай үр дүнд хүрэхийн тулд цаг хугацааг хүндэтгэсэн арын тестийг тохиролцох боломжгүй юм [2].

5. Тайлбарлах : сурталчилгааны туг нь слайд дээр гайхалтай харагдахаас гадна үнэхээр юу ч хийж байгаа эсэхийг мэдэхийн тулд онцлог шинж чанаруудыг долоо хоног бүр шалгаарай.

6. Хяналт : Хэрэв бүтээгдэхүүн өөрчлөгдсөний дараа сурталчилгааны нөлөө арилах эсвэл ажлын өдрийн хэв маяг өөрчлөгдвөл дахин сургах ажлыг эхлүүлнэ үү. Дрифт бол алдаа биш, Лхагва гариг ​​[5].

Гаралт: итгэлцлийн тууз бүхий найдвартай урьдчилсан мэдээ, зүүг юу хөдөлгөснийг харуулсан хяналтын самбар. Цөөн мэтгэлцээн, илүү их үйл ажиллагаа.

Чимээгүйхэн зугтаж болох алдаа ба домог 🚧

• Төөрөгдөл: илүү олон функц үргэлж илүү сайн байдаг. Үгүй ээ. Хэт олон хамааралгүй функцууд нь хэт их тохирохыг урьж байна. Арын тестэнд тусалж, домэйн мэдрэмжтэй нийцэж байгаа зүйлийг хадгал.

• Төөрөгдөл: гүн тор бүх зүйлийг ялдаг. Заримдаа тийм, ихэнхдээ үгүй. Хэрэв өгөгдөл богино эсвэл чимээ шуугиантай байвал сонгодог аргууд нь тогтвортой байдал, ил тод байдал дээр ялдаг.

• Нөхцөл байдал: гоожих. Маргаашийн мэдээллийг өнөөдрийн сургалтанд санамсаргүйгээр оруулах нь таны хэмжүүрийг зусардуулж, үйлдвэрлэлээ шийтгэх болно [2].

• Бүдүүлэг: сүүлчийн аравтын бутархайг хөөж байна. Хэрэв таны нийлүүлэлтийн сүлжээ бөөгнөрсөн бол 7.3-7.4 хувийн алдаа нь театр юм. Шийдвэрийн босго дээр анхаарлаа төвлөрүүл.

• Төөрөгдөл: хамаарлаас үүссэн учир шалтгаан. Грэнжерийн тестүүд нь философийн үнэнийг биш харин урьдчилан таамаглах ашиг тустай эсэхийг шалгадаг - тэдгээрийг сайн мэдээ биш харин хашлага болгон ашигладаг [4].

Хэрэгжилтийн хяналтын хуудсыг хуулж буулгаж болно 📋

• Алсын хязгаар, нэгтгэх түвшин, жолоодох шийдвэрээ тодорхойл.

• Цэвэр цагийн индекс үүсгэж, цоорхойг нөхөж, тэмдэглэж, экзоген өгөгдлийг зэрэгцүүлээрэй.

• Гар урлалын хоцрогдол, гүйлтийн статистик, улирлын тугнууд болон таны итгэдэг цөөн хэдэн домэйны онцлогуудыг гарга.

• Хүчтэй суурь шугамаас эхэлж, шаардлагатай бол илүү төвөгтэй загвар руу давт.

• Өөрийн бизнест тохирох хэмжигдэхүүнтэй эргэлдэж буй арын тестийг ашиглаарай [2][3].

• Урьдчилан таамаглах интервал нэмэх - нэмэлт биш.

• Ачих, зөрөх эсэхийг хянах, хуваарийн дагуу дахин сургах, анхааруулга өгөх [5].

Хэт удаан, би уншаагүй - Эцсийн тайлбар 💬

Хиймэл оюун ухаан чиг хандлагыг хэрхэн урьдчилан таамаглах тухай энгийн үнэн: энэ нь ид шидийн алгоритмуудын тухай биш харин сахилга баттай, цагийг мэддэг дизайны тухай юм. Өгөгдөл, боломжуудыг зөв авч, үнэн зөвөөр үнэлж, энгийнээр тайлбарлаж, бодит байдал өөрчлөгдөхөд дасан зохицоорой. Энэ нь бага зэрэг тослог бариултай радиог тааруулахтай адил юм - бага зэрэг хийсвэр, заримдаа хөдөлгөөнгүй, гэхдээ станц орж ирэхэд гайхалтай тод харагддаг.

Хэрэв та нэг зүйлийг хасвал: цаг хугацааг хүндэтгэж, үл итгэгч шиг баталгаажуулж, хяналтаа үргэлжлүүлээрэй. Үлдсэн хэсэг нь зөвхөн багаж хэрэгсэл, амт юм.

Лавлагаа

1. АНУ-ын хүн амын тооллогын товчоо - X-13ARIMA-SEATS улирлын зохицуулалтын хөтөлбөр . Холбоос

2. Hyndman & Athanasopoulos - Forecasting: Principles and Practice (FPP3), §5.10 Хугацааны цувралын хөндлөн баталгаажуулалт . Холбоос

3. Amazon Web Services - Урьдчилан таамаглагчийн нарийвчлалыг үнэлэх (Amazon Forecast) . Холбоос

4. Хьюстоны Их Сургууль - Грэнжерийн учир шалтгааны хамаарал (лекцийн тэмдэглэл) . Холбоос

5. Гама нар. - Дрифт дасан зохицох үзэл баримтлалын судалгаа (нээлттэй хувилбар). Холбоос

Албан ёсны AI Assistant дэлгүүрээс хамгийн сүүлийн үеийн хиймэл оюун ухааныг олоорой

Бидний тухай