Товч хариулт: Суурь загварууд нь өргөн хүрээтэй өгөгдлийн багц дээр сургагдсан, дараа нь өдөөлт, нарийн тохируулга, хэрэгслүүд эсвэл сэргээлтээр дамжуулан олон ажилд (бичих, хайх, код бичих, зураг) дасан зохицсон том, ерөнхий зориулалттай хиймэл оюун ухааны загварууд юм. Хэрэв танд найдвартай хариулт хэрэгтэй бол тэдгээрийг импровизацийг нь зөвшөөрөхийн оронд газардуулга (RAG гэх мэт), тодорхой хязгаарлалт, шалгалттай хослуул.
Гол дүгнэлтүүд:
Тодорхойлолт : Нэг загварт нэг даалгавар гүйцэтгэх биш, харин олон даалгаварт дахин ашигласан нэг өргөн хүрээтэй сургагдсан суурь загвар.
Дасан зохицох : Зан төлөвийг удирдахын тулд өдөөлт, нарийн тохируулга, LoRA/адаптер, RAG болон хэрэгслүүдийг ашиглаарай.
Бүтээлч тохируулга : Тэд текст, зураг, аудио, код болон олон горимт контент үүсгэх боломжийг олгодог.
Чанарын дохио : Хянах чадвар, хий үзэгдэл багатай байх, олон янзын чадвар, үр дүнтэй дүгнэлтийг нэн тэргүүнд тавь.
Эрсдэлийн хяналт : Засаглал болон туршилтаар дамжуулан хий үзэгдэл, нэг талыг баримтлах, хувийн нууцын алдагдлыг бууруулах, шуурхай тарилга хийх төлөвлөгөө гаргах.
Үүний дараа таны унших дуртай нийтлэлүүд:
🔗 Хиймэл оюун ухааны компани гэж юу вэ
Хиймэл оюун ухааны компаниуд бүтээгдэхүүн, баг, орлогын загварыг хэрхэн бий болгодог талаар ойлгох.
🔗 AI код ямар харагддаг вэ
Python загваруудаас API хүртэлх хиймэл оюун ухааны кодын жишээг үзнэ үү.
🔗 Хиймэл оюун ухааны алгоритм гэж юу вэ
Хиймэл оюун ухааны алгоритм гэж юу болох, тэдгээр нь хэрхэн шийдвэр гаргадаг талаар суралц.
🔗 Хиймэл оюун ухааны технологи гэж юу вэ
Автоматжуулалт, аналитик болон ухаалаг аппликейшнуудыг дэмждэг гол хиймэл оюун ухааны технологийг судлаарай.
1) Суурийн загварууд - манангүй тодорхойлолт 🧠
Суурь загвар гэдэг нь өргөн хүрээтэй өгөгдөл дээр (ихэвчлэн маш олон) сургагдсан том, ерөнхий зориулалттай хиймэл оюун ухааны загвар тул зөвхөн нэг биш, олон даалгаварт тохируулан ашиглаж болно ( NIST , Stanford CRFM ).
Тусдаа загвар бүтээхийн оронд:
-
имэйл бичих
-
асуултанд хариулах
-
PDF файлуудыг нэгтгэн дүгнэх
-
зураг үүсгэх
-
дэмжлэгийн тасалбарыг ангилах
-
хэл орчуулах
-
код санал болгох
...та "дэлхийг ойлгодог" нэг том суурь загварыг бүдэг статистикийн аргаар сургаад, дараа нь тодорхой ажлуудад зааварчилгаа, нарийн тохируулга эсвэл нэмэлт хэрэгслүүдээр тохируулдаг Bommasani et al., 2021 ).
Өөрөөр хэлбэл: энэ бол таны жолоодож болох ерөнхий хөдөлгүүр
Тийм ээ, түлхүүр үг нь "ерөнхий" юм. Энэ бол бүхэл бүтэн заль мэх юм.
2) Бүтээлч хиймэл оюун ухаанд суурь загварууд гэж юу вэ? (Тэдгээр нь хэрхэн тохирдог вэ) 🎨📝
Тэгэхээр, Үүсгэх хиймэл оюун ухаанд суурь загварууд гэж юу вэ? текст, зураг, аудио, код, видео болон эдгээрийн холимог гэх мэт шинэ контент үүсгэж чадах системийг ажиллуулдаг үндсэн загварууд юм NIST , NIST Үүсгэх хиймэл оюун ухааны профайл ).
Бүтээлч хиймэл оюун ухаан нь зөвхөн "спам / спам биш" гэх мэт шошгыг урьдчилан таамаглах тухай биш юм. Энэ нь хүн хийсэн мэт харагдах гарцыг бий болгох тухай юм.
-
догол мөрүүд
-
шүлэг
-
бүтээгдэхүүний тодорхойлолт
-
чимэглэлүүд
-
аялгуу
-
аппликейшны туршилтын загварууд
-
синтетик дуу хоолой
-
бас заримдаа итгэмээргүй итгэлтэй утгагүй зүйлс 🙃
Суурийн загварууд энд онцгой
-
Тэд асар том өгөгдлийн сангаас өргөн хүрээний хэв маягийг шингээсэн ( Боммасани нар, 2021 )
-
тэд шинэ өдөөлтүүдийг (тэр ч байтугай хачин өдөөлтүүдийг) ерөнхийлж чадна ( Brown et al., 2020 )
-
тэдгээрийг эхнээс нь давтан сургалт явуулахгүйгээр олон арван бүтээгдэхүүнд дахин ашиглаж болно ( Боммасани нар, 2021 )
Тэдгээр нь "суурь давхарга" буюу талхны зуурмаг шиг. Та үүнийг багет, пицца эсвэл шанцайтай ороомог болгон жигнэж болно... төгс зүйрлэл биш ч гэсэн та ойлгож байна 😄
3) Тэд яагаад бүх зүйлийг өөрчилсөн бэ (мөн хүмүүс яагаад тэдний талаар ярихаа больдоггүй вэ) 🚀
Загваруудыг үндэслэхээс өмнө хиймэл оюун ухааны ихэнх нь даалгаварт тохирсон байсан:
-
сэтгэл хөдлөлийн шинжилгээний загварыг сургах
-
орчуулгад өөр хүнийг сургах
-
зургийн ангилалд өөр хүнийг сургах
-
нэрлэсэн аж ахуйн нэгжийг танихын тулд өөр хүнийг сургах
Энэ нь ажилласан ч удаан, үнэтэй, бас жаахан хэврэг байсан.
Суурийн загварууд үүнийг эргүүлэв:
-
нэг удаа урьдчилан сургах (их хүчин чармайлт)
-
хаа сайгүй дахин ашиглах (их ашиг) ( Bommasani нар, 2021 )
Энэхүү дахин ашиглалт нь үржүүлэгч юм. Компаниуд дугуйг 20 удаа дахин зохион бүтээхийн оронд нэг загварын гэр бүл дээр 20 функцийг бүтээж чадна.
Мөн хэрэглэгчийн туршлага илүү байгалийн болсон:
-
та "ангилагч ашиглахгүй"
-
Чи загвар өмсөгчтэй хэзээ ч унтдаггүй тусархаг хамт ажиллагч шиг ярьдаг ☕🤝
Заримдаа энэ нь бүх зүйлийг өөртөө итгэлтэйгээр буруу ойлгодог хамт ажиллагчтай адилхан байдаг ч тийм ээ. Өсөлт.
4) Гол санаа: урьдчилсан сургалт + дасан зохицох 🧩
Бараг бүх суурийн загварууд нь нэг хэв маягийг дагадаг ( Стэнфорд CRFM , NIST ):
Урьдчилсан бэлтгэл ("интернет маягийн зүйлийг шингээх" үе шат) 📚
Энэхүү загварыг өөрөө хяналттай сургалт ( NIST ) ашиглан асар том, өргөн хүрээтэй өгөгдлийн багц дээр сургасан болно. Хэлний загваруудын хувьд энэ нь ихэвчлэн алга болсон үгс эсвэл дараагийн тэмдгийг урьдчилан таамаглах гэсэн үг юм ( Devlin et al., 2018 , Brown et al., 2020 ).
Гол нь үүнд нэг даалгавар заах биш. Гол нь ерөнхий дүрслэлийг :
-
дүрэм
-
баримтууд (төрөл зүйл)
-
сэтгэлгээний хэв маяг (заримдаа)
-
бичих хэв маяг
-
кодын бүтэц
-
хүний нийтлэг зорилго
Дасан зохицох ("Үүнийг практик болгох" үе шат) 🛠️
Дараа нь та үүнийг нэг буюу хэд хэдийг ашиглан тохируулна уу:
-
өдөөлт (тодорхой хэлээр зааварчилгаа өгөх)
-
зааварчилгааны тохируулга (зааврыг дагахад сургах) ( Вэй нар, 2021 )
-
нарийн тохируулга (таны домэйн өгөгдлийн талаар сургалт явуулах)
-
LoRA / адаптерууд (хөнгөн тохируулгын аргууд) ( Hu et al., 2021 )
-
RAG (эргүүлэн авах замаар нэмэгдүүлсэн үе - загвар нь таны баримт бичгийг лавлана) ( Льюис нар, 2020 )
-
багаж хэрэгсэл ашиглах (функцуудыг дуудах, дотоод системүүдийг үзэх гэх мэт)
Тийм ч учраас ижил суурь загвар нь хайр дурлалын үзэгдлийг бичиж чаддаг... дараа нь таван секундын дараа SQL асуулгыг дибаг хийхэд тусалдаг 😭
5) Суурийн загварын сайн хувилбарыг юу бүрдүүлдэг вэ? ✅
Энэ бол хүмүүсийн алгасаад дараа нь харамсдаг хэсэг юм.
"Сайн" суурь загвар нь зүгээр л "илүү том" гэсэн үг биш юм. Том нь тусалдаг нь мэдээж... гэхдээ энэ нь цорын ганц зүйл биш юм. Суурийн загварын сайн хувилбар нь ихэвчлэн дараахь зүйлийг агуулдаг:
Хүчтэй ерөнхийлөл 🧠
Энэ нь даалгаварт тохирсон давтан сургалт шаардахгүйгээр олон ажлыг сайн гүйцэтгэдэг ( Bommasani et al., 2021 ).
Жолооны хүрд болон удирдах чадвар 🎛️
Энэ нь дараах зааврыг найдвартай дагаж мөрдөж чадна:
-
"Товчхон байх"
-
"цэгүүдийг ашиглах"
-
"Нөхөрсөг өнгө аястай бичих"
-
"Нууц мэдээллийг задруулж болохгүй"
Зарим загварууд нь ухаалаг хэрнээ гулгамтгай байдаг. Шүршүүрт саван барих гэж оролдохтой адил. Хэрэгтэй ч гэсэн тогтворгүй 😅
Галлюцинация багатай хандлага (эсвэл ядаж л илэн далангүй тодорхойгүй байдал) 🧯
Ямар ч загвар хий үзэгдэлд өртөхөөс ангид байдаггүй, гэхдээ сайн загварууд нь:
-
хий үзэгдэл багатай
-
тодорхойгүй байдлыг илүү олон удаа хүлээн зөвшөөрөх
-
Дахин сэргээх аргыг ашиглахдаа өгөгдсөн нөхцөл байдалд ойр байх ( Ji et al., 2023 , Lewis et al., 2020 )
Олон төрлийн харилцааны чадвар сайн (шаардлагатай үед) 🖼️🎧
Хэрэв та зураг уншиж, диаграммыг тайлбарлаж эсвэл аудиог ойлгодог туслахуудыг бүтээж байгаа бол олон төрлийн харилцаа холбоо маш чухал ( Radford et al., 2021 ).
Үр дүнтэй дүгнэлт⚡
Саатал болон өртөг чухал. Хүчтэй хэрнээ удаан загвар нь дугуй нь хагарсан спорт машинтай адил юм.
Аюулгүй байдал болон тохируулгын зан байдал 🧩
Зүгээр л "бүх зүйлээс татгалзах" биш, харин:
-
хортой заавраас зайлсхий
-
хэвийсэн утгыг багасгах
-
эмзэг сэдвүүдийг болгоомжтой харьцах
-
jailbreak-ийн энгийн оролдлогуудыг эсэргүүцэх (зарим талаараа...) ( NIST AI RMF 1.0 , NIST Generative AI Profile )
Баримт бичиг + экосистем 🌱
Энэ нь хуурай сонсогдож байгаа ч үнэн юм:
-
багаж хэрэгсэл
-
үнэлгээний бэхэлгээ
-
байршуулалтын сонголтууд
-
аж ахуйн нэгжийн хяналт
-
нарийн тохируулгын дэмжлэг
Тийм ээ, "экосистем" гэдэг нь тодорхойгүй үг. Би ч бас үүнд дургүй. Гэхдээ энэ нь чухал.
6) Харьцуулах хүснэгт - суурь загварын нийтлэг сонголтууд (мөн тэдгээр нь юунд тохиромжтой вэ) 🧾
Доорх нь практик боловч бага зэрэг төгс бус харьцуулалтын хүснэгт юм. Энэ бол "цорын ганц жинхэнэ жагсаалт" биш, харин хүмүүсийн зэрлэг байгальд юу сонгож байгаатай илүү төстэй юм.
| хэрэгсэл / загварын төрөл | үзэгчид | үнэтэй | яагаад ажилладаг вэ |
|---|---|---|---|
| Хувийн өмчийн LLM (чат маягийн) | хурд + өнгөлгөө хүсч буй багууд | хэрэглээнд суурилсан / захиалга | Зааварчилгааг маш сайн дагаж мөрддөг, ерөнхийдөө сайн гүйцэтгэлтэй, ихэвчлэн "хайрцагнаас нь гаргах" нь дээр 😌 |
| Нээлттэй жинтэй LLM (өөрөө байрлуулах боломжтой) | хяналтыг хүсдэг барилгачид | инфракцийн зардал (бас толгойны өвчин) | Тохируулж болох, нууцлалд ээлтэй, орон нутагт ажиллах боломжтой... хэрэв та шөнө дундын цагаар тоглоом тоглох дуртай бол |
| Диффузийн дүрс үүсгэгч | бүтээлч хүмүүс, дизайны багууд | үнэгүйээс төлбөртэй хүртэл | Маш сайн дүрсний синтез, хэв маягийн олон янз байдал, давталтын ажлын урсгал (мөн: хуруугаа салгаж магадгүй) ✋😬 ( Хо нар, 2020 , Ромбах нар, 2021 ) |
| Олон горимт “харааны хэл” загвар | Зураг + текст уншдаг аппликейшнууд | хэрэглээнд суурилсан | Зураг, дэлгэцийн агшин, диаграммын талаар асуулт асуух боломжийг танд олгоно - гайхалтай тохиромжтой ( Radford et al., 2021 ) |
| Суурийн загварыг суулгах | хайлт + RAG системүүд | нэг дуудлага тутамд бага зардал | Семантик хайлт, кластерчлал, зөвлөмжийн зорилгоор текстийг вектор болгон хувиргадаг - чимээгүй MVP энерги ( Карпухин нар, 2020 , Дузе нар, 2024 ) |
| Ярианаас текст рүү хөрвүүлэх суурь загвар | дуудлагын төвүүд, бүтээгчид | хэрэглээнд суурилсан / орон нутгийн | Хурдан бичвэр, олон хэлний дэмжлэг, шуугиантай аудионд хангалттай сайн (ихэвчлэн) 🎙️ ( Шивнээ ) |
| Текстээс ярианд хувиргах суурь загвар | бүтээгдэхүүний баг, хэвлэл мэдээллийн хэрэгсэл | хэрэглээнд суурилсан | Байгалийн дуу хоолой үүсгэх, дуу хоолойн хэв маяг, хүүрнэл - аймшигтай болж хувирч болно ( Шен нар, 2017 ) |
| Код төвлөрсөн LLM | хөгжүүлэгчид | хэрэглээнд суурилсан / захиалга | Кодын хэв маяг, дибаг хийх, рефактор хийхдээ илүү сайн... гэхдээ бодол уншигч биш л байна 😅 |
"Суурь загвар" гэдэг нь зөвхөн "чатбот" гэсэн үг биш гэдгийг анхаарна уу. Оруулсан болон ярианы загварууд нь мөн суурь хэлбэртэй байж болно, учир нь тэдгээр нь өргөн хүрээтэй бөгөөд даалгавруудад дахин ашиглах боломжтой ( Bommasani et al., 2021 , NIST ).
7) Илүү ойроос харах: хэлний суурь загварууд хэрхэн суралцдаг (вибр хувилбар) 🧠🧃
Хэлний суурь загварууд (ихэвчлэн LLM гэж нэрлэдэг) нь ихэвчлэн асар их текстийн цуглуулга дээр сургагдсан байдаг. Тэд жетонуудыг урьдчилан таамаглах замаар суралцдаг ( Brown et al., 2020 ). Ингээд л болоо. Нууц шидэт тоос гэж байхгүй.
Гэхдээ ид шид нь токенуудыг урьдчилан таамаглах нь загварыг бүтцийг сурахад хүргэдэгт ( CSET ):
-
дүрэм ба синтакс
-
сэдвийн харилцаа
-
сэтгэлгээтэй төстэй хэв маяг (заримдаа)
-
бодлын нийтлэг дараалал
-
хүмүүс юмыг хэрхэн тайлбарлах, маргах, уучлалт гуйх, хэлэлцээр хийх, заах арга барил
Энэ нь хүмүүсийн хийдэг зүйлийг "ойлголгүйгээр" сая сая яриаг дуурайж сурахтай адил юм. Энэ нь ажиллах ёсгүй юм шиг сонсогдож байна... гэхдээ энэ нь ажилласаар байна.
Нэгэн хэтрүүлэг: энэ нь үндсэндээ хүний бичвэрийг аварга том магадлалын тархинд шахаж байгаатай адил юм.
Гэхдээ энэ зүйрлэл жаахан хараал идсэн хэрэг. Гэхдээ бид хөдөлдөг 😄
8) Ойроос харах: диффузийн загварууд (зураг яагаад өөрөөр ажилладаг вэ) 🎨🌀
диффузийн ашигладаг ( Ho et al., 2020 , Rombach et al., 2021 ).
Бараг санаа нь:
-
зурагт үндсэндээ хөдөлгөөнгүй болтол нь шуугиан нэмнэ
-
загварыг тэр чимээг алхам алхмаар эргүүлж сургах
-
Үе үе шатанд шуугианаар эхэлж, мөрийн дагуу дүрс рүү "дуу чимээг бууруулах" арга хэмжээ авна ( Хо нар, 2020 )
Тийм учраас зураг үүсгэх нь зураг "боловсруулж" байгаа юм шиг санагддаг, гэхдээ зураг нь супермаркетын үүдэнд пүүз өмссөн луу юм 🛒🐉
Диффузийн загварууд нь дараах шалтгаанаар сайн байдаг:
-
тэд өндөр чанартай дүрслэлийг бий болгодог
-
тэднийг текстээр хүчтэй удирдаж болно
-
тэдгээр нь давталтын сайжруулалтыг (хувилбарууд, зураг зурах, өргөжүүлэх) дэмждэг ( Ромбах нар, 2021 )
Тэд заримдаа дараах зүйлстэй тэмцдэг:
-
зураг доторх текстийн дүрслэл
-
нарийн анатомийн дэлгэрэнгүй мэдээлэл
-
үзэгдлүүд дээрх дүрийн ижил төстэй байдал (сайжирч байгаа ч гэсэн)
9) Ойрхон харах: олон горимт суурь загварууд (текст + зураг + аудио) 👀🎧📝
Олон төрлийн өгөгдлийн төрлүүдийг ойлгож, үүсгэхийг зорьдог олон төрлийн суурь загварууд:
-
текст
-
зураг
-
аудио
-
видео
-
заримдаа мэдрэгчтэй төстэй оролтууд ( NIST Generative AI Profile )
Энэ нь бодит амьдрал дээр яагаад чухал вэ:
-
хэрэглэгчийн дэмжлэг дэлгэцийн агшинг тайлбарлаж чадна
-
Хандалтын хэрэгслүүд зургийг тайлбарлаж чадна
-
Боловсролын аппликейшнууд диаграммыг тайлбарлаж чадна
-
Бүтээгчид форматыг хурдан ремикс хийж чадна
-
Бизнесийн хэрэгслүүд хяналтын самбарын дэлгэцийн зургийг "уншиж", нэгтгэн дүгнэж чадна
Олон төрлийн системүүд нь ихэвчлэн дүрслэлийг дараах байдлаар уялдуулдаг
-
зургийг оруулга болгон хувиргах
-
текстийг оруулга болгон хувиргах
-
"Муур" нь муурны пикселтэй таардаг хуваалцсан орон зайг сур 😺 ( Рэдфорд нар, 2021 )
Энэ нь үргэлж дэгжин байдаггүй. Заримдаа хөнжил шиг оёдолтой байдаг. Гэхдээ энэ нь үр дүнтэй.
10) Нарийн тохируулга ба өдөөлт ба RAG (үндсэн загварыг хэрхэн тохируулах вэ) 🧰
Хэрэв та суурь загварыг тодорхой салбарт (хууль эрх зүй, анагаах ухаан, харилцагчийн үйлчилгээ, дотоод мэдлэг) ашиглахад тохиромжтой болгохыг оролдож байгаа бол танд хэд хэдэн хөшүүрэг байна:
Өдөөлт 🗣️
Хамгийн хурдан бөгөөд энгийн.
-
Давуу талууд: тэг сургалт, шуурхай давталт
-
сул талууд: тогтворгүй байж болно, контекстийн хязгаарлалт, эмзэг байдал
Нарийн тохируулга 🎯
Жишээнүүд дээрээ загвараа илүү сайн сурга.
-
Давуу талууд: илүү тогтвортой зан төлөв, илүү сайн домэйн хэл, мөрийн уртыг багасгаж чадна
-
сул талууд: өртөг, өгөгдлийн чанарын шаардлага, хэт их тохируулгын эрсдэл, засвар үйлчилгээ
Хөнгөн тохируулга (LoRA / адаптерууд) 🧩
Нарийн тохируулгын илүү үр ашигтай хувилбар ( Hu et al., 2021 ).
-
Давуу талууд: хямд, модульчлагдсан, солиход хялбар
-
сул талууд: сургалтын шугам хоолой, үнэлгээ шаардлагатай хэвээр байна
RAG (эргүүлэн авах-өргөтгөсөн үе) 🔎
Энэ загвар нь таны мэдлэгийн сангаас холбогдох баримт бичгүүдийг авч, тэдгээрийг ашиглан хариулт өгдөг ( Льюис нар, 2020 ).
-
Давуу талууд: хамгийн сүүлийн үеийн мэдлэг, дотооддоо ишлэл (хэрэв та үүнийг хэрэгжүүлбэл), давтан сургалт багатай
-
сул талууд: сэргээх чанар нь үүнийг сайжруулж эсвэл эвдэж болно, сайн хуваалт + оруулга шаардлагатай
Бодит яриа: олон амжилттай системүүд өдөөлт + RAG-г хослуулсан байдаг. Нарийн тохируулга нь хүчтэй боловч үргэлж шаардлагатай биш. Хүмүүс үүнийг хэтэрхий хурдан хийдэг, учир нь энэ нь гайхалтай сонсогдож байна 😅
11) Эрсдэл, хязгаарлалт, мөн "үүнийг сохроор бүү байршуул" хэсэг 🧯😬
Суурийн загварууд нь хүчирхэг боловч уламжлалт програм хангамж шиг тогтвортой биш. Тэд илүү өөртөө итгэх итгэлийн асуудалтай авьяаслаг дадлагажигчтай адилхан.
Төлөвлөлтийн гол хязгаарлалтууд:
Хий үзэгдэл 🌀
Загвар зохион бүтээгчид дараахь зүйлийг зохион бүтээж болно
-
хуурамч эх сурвалжууд
-
буруу баримтууд
-
Үнэмшилтэй боловч буруу алхамууд ( Жи нар, 2023 )
Бууруулах арга хэмжээ:
-
Үндэслэлтэй нөхцөл байдалтай RAG ( Льюис нар, 2020 )
-
хязгаарлагдмал гаралтууд (схем, хэрэгслийн дуудлага)
-
"таах хэрэггүй" гэсэн тодорхой зааварчилгаа
-
баталгаажуулалтын давхаргууд (дүрэм, хөндлөнгийн шалгалт, хүний хяналт)
Хэтэрхий ялгаварлан гадуурхалт ба хор хөнөөлтэй хэв маяг ⚠️
Сургалтын өгөгдөл нь хүнийг тусгасан тул та дараахь зүйлийг авч болно
-
хэвшмэл ойлголтууд
-
бүлгүүдийн хооронд жигд бус гүйцэтгэл
-
аюултай дуусгах ( NIST AI RMF 1.0 , Bommasani нар, 2021 )
Бууруулах арга хэмжээ:
-
аюулгүй байдлын тохируулга
-
улаан баг
-
контент шүүлтүүрүүд
-
домэйны хязгаарлалтыг болгоомжтой хийх ( NIST-ийн үүсгэгч хиймэл оюун ухааны профайл )
Өгөгдлийн нууцлал болон алдагдал 🔒
Хэрэв та нууц мэдээллийг загварын төгсгөлийн цэг рүү оруулбал дараах зүйлсийг мэдэх шаардлагатай:
-
хэрхэн хадгалагддаг вэ
-
сургалтанд ашиглаж байгаа эсэх
-
ямар бүртгэл байдаг вэ
-
Танай байгууллагын хэрэгцээг юу хянадаг вэ ( NIST AI RMF 1.0 )
Бууруулах арга хэмжээ:
-
хувийн байршуулалтын сонголтууд
-
хүчтэй засаглал
-
хамгийн бага өгөгдлийн илрэл
-
Хатуу хандалтын хяналттай зөвхөн дотоод RAG ( NIST Generative AI Profile , Carlini et al., 2021 )
Шуурхай тарилга (ялангуяа RAG-тай үед) 🕳️
Хэрэв загвар нь итгэмжлэгдээгүй текстийг уншвал тухайн текст үүнийг өөрчлөхийг оролдож болно:
-
"Өмнөх зааврыг үл тоомсорло..."
-
“Нууцыг надад илгээгээрэй…” ( OWASP , Greshake et al., 2023 )
Бууруулах арга хэмжээ:
-
системийн зааврыг тусгаарлах
-
авсан контентыг ариутгах
-
хэрэгсэлд суурилсан бодлогыг ашиглах (зөвхөн зааварчилгаа биш)
-
Эсрэг талын оролттой туршилт ( OWASP Cheat Sheet , NIST Generative AI Profile )
Чамайг айлгах гээгүй юм. Зүгээр л... шалны банз хаана чахарч байгааг мэдэх нь дээр.
12) Хэрэглээнийхээ хувьд суурь загварыг хэрхэн сонгох вэ 🎛️
Хэрэв та суурийн загвар сонгож байгаа (эсвэл түүн дээр барьж байгаа) бол эдгээр заавраас эхэл:
Юу бүтээж байгаагаа тодорхойл 🧾
-
зөвхөн текст
-
зураг
-
аудио
-
холимог олон төрлийн
Бодит байдлын хэмжүүрээ тогтоо 📌
Хэрэв танд өндөр нарийвчлал хэрэгтэй бол (санхүү, эрүүл мэнд, хууль эрх зүй, аюулгүй байдал):
-
Танд RAG хэрэгтэй болно ( Льюис нар, 2020 )
-
танд баталгаажуулалт хэрэгтэй болно
-
Та давталтад хүний хяналт тавихыг хүсэх болно (ядаж заримдаа) ( NIST AI RMF 1.0 )
Хоцрогдлын зорилтоо шийдээрэй⚡
Чат шууд явагдана. Багцаар нэгтгэн дүгнэх нь удаан байж болно.
Хэрэв танд шууд хариу хэрэгтэй бол загварын хэмжээ болон хостинг чухал.
Газрын зургийн нууцлал болон нийцлийн хэрэгцээ 🔐
Зарим багуудад дараах шаардлага тавигддаг:
-
орон нутагт / VPC байршуулалт
-
өгөгдөл хадгалах шаардлагагүй
-
хатуу аудитын бүртгэлүүд
-
Баримт бичиг тус бүрийн хандалтын хяналт ( NIST AI RMF 1.0 , NIST Generative AI Profile )
Төсвөө тэнцвэржүүл - бас үйл ажиллагааны тэвчээр 😅
Өөрөө байршуулах нь хяналтыг өгдөг боловч нарийн төвөгтэй байдлыг нэмэгдүүлдэг.
Удирдлагатай API-ууд нь хялбар боловч үнэтэй бөгөөд тохируулахад хялбар байж болно.
Жижиг практик зөвлөгөө: эхлээд хялбар зүйлээр туршилтын загвараа гаргаад дараа нь хатууруул. "Төгс" тохиргооноос эхлэх нь ихэвчлэн бүх зүйлийг удаашруулдаг.
13) Бүтээлч хиймэл оюун ухаанд суурь загварууд гэж юу вэ? (Хурдан сэтгэхүйн загвар) 🧠✨
Үүнийг буцааж авч үзье. Үүсгэх хиймэл оюун ухаанд суурь загварууд гэж юу вэ?
Тэдгээр нь:
-
Өргөн хүрээний өгөгдөл дээр сургагдсан том, ерөнхий загварууд ( NIST , Stanford CRFM )
-
контент (текст, зураг, аудио гэх мэт) үүсгэх чадвартай ( NIST-ийн үүсгэгч хиймэл оюун ухааны профайл )
-
тушаал өгөх, нарийн тохируулах, сэргээх замаар олон даалгаварт дасан зохицох боломжтой ( Боммасани нар, 2021 )
-
орчин үеийн ихэнх үүсгүүрийн хиймэл оюун ухааны бүтээгдэхүүнийг эрчим хүчээр хангадаг үндсэн давхарга
Тэд бол ганц архитектур эсвэл брэнд биш. Тэд бол платформ шиг ажилладаг загваруудын ангилал юм.
Суурийн загвар нь тооны машин шиг биш, гал тогоо шиг юм. Та үүнд олон хоол хийж болно. Хэрэв та анхаарал хандуулахгүй байгаа бол шарсан талхаа шатааж болно... гэхдээ гал тогоо нь нэлээд тохиромжтой хэвээр байна 🍳🔥
14) Товч агуулга болон авч явах зүйлс ✅🙂
Суурийн загварууд нь үүсгэгч хиймэл оюун ухааны дахин ашиглах боломжтой хөдөлгүүрүүд юм. Тэдгээрийг өргөн хүрээнд сургаж, дараа нь өдөөлт, нарийн тохируулга, сэргээлтээр дамжуулан тодорхой даалгаварт дасан зохицдог ( NIST , Stanford CRFM ). Тэд гайхалтай, замбараагүй, хүчирхэг, хааяа инээдтэй байж болно - бүгд нэгэн зэрэг.
Товч агуулга:
-
Суурийн загвар = ерөнхий зориулалттай суурь загвар ( NIST )
-
Бүтээлч хиймэл оюун ухаан = зөвхөн ангилал биш, контент бүтээх ( NIST Бүтээлч хиймэл оюун ухааны профайл )
-
Дасан зохицох аргууд (сэтгэл хөдөлгөх, RAG, тохируулга) нь үүнийг практик болгодог ( Льюис нар, 2020 , Ху нар, 2021 )
-
Загвар сонгох нь нарийвчлал, өртөг, хоцрогдол, нууцлал, аюулгүй байдал гэсэн хоёр хүчин зүйлийн талаарх буулт хийхтэй холбоотой ( NIST AI RMF 1.0 )
Хэрэв та генератив хиймэл оюун ухаанаар ямар нэгэн зүйл барьж байгаа бол суурийн загваруудыг ойлгох нь заавал байх албагүй. Энэ бол барилгын бүхэл бүтэн шал юм... тийм ээ, заримдаа шал нь бага зэрэг гуйвдаг 😅
Түгээмэл асуултууд
Суурийн загварууд, энгийнээр хэлбэл
Суурь загвар гэдэг нь өргөн хүрээтэй өгөгдөл дээр сургагдсан, олон даалгаварт дахин ашиглах боломжтой том, ерөнхий зориулалттай хиймэл оюун ухааны загвар юм. Ажил бүрт нэг загвар бүтээхийн оронд та хүчтэй "суурь" загвараас эхэлж, шаардлагатай бол тохируулдаг. Энэхүү дасан зохицол нь ихэвчлэн өдөөлт, нарийн тохируулга, сэргээлт (RAG) эсвэл хэрэгслүүдээр дамжин явагддаг. Гол санаа нь өргөн цар хүрээ ба жолоодлого юм.
Суурь загварууд нь уламжлалт даалгаварт зориулагдсан хиймэл оюун ухааны загваруудаас юугаараа ялгаатай вэ
Уламжлалт хиймэл оюун ухаан нь ихэвчлэн даалгавар бүрийн хувьд сэтгэл хөдлөлийн шинжилгээ эсвэл орчуулга гэх мэт тусдаа загварыг сургадаг. Суурь загварууд нь энэ хэв маягийг өөрчилдөг: нэг удаа урьдчилан сургаад дараа нь олон функц болон бүтээгдэхүүн дээр дахин ашигладаг. Энэ нь давхардсан хүчин чармайлтыг бууруулж, шинэ боломжуудын хүргэлтийг хурдасгаж чадна. Үүний үр дүнд хязгаарлалт болон туршилтыг нэмээгүй л бол сонгодог програм хангамжаас илүү урьдчилан таамаглах боломжгүй байж болно.
Бүтээлч хиймэл оюун ухааны суурь загварууд
Бүтээлч хиймэл оюун ухаанд суурь загварууд нь текст, зураг, аудио, код эсвэл олон төрлийн гаралт зэрэг шинэ контент үүсгэх боломжтой суурь системүүд юм. Эдгээр нь зөвхөн шошгололт эсвэл ангилалаар хязгаарлагдахгүй; тэд хүний бүтээлтэй төстэй хариу үйлдлийг бий болгодог. Тэд урьдчилсан сургалтын үеэр өргөн хүрээний хэв маягийг сурдаг тул олон төрлийн хүсэлтийн төрөл, форматыг зохицуулж чаддаг. Эдгээр нь орчин үеийн ихэнх бүтээлч туршлагын ард байгаа "суурь давхарга" юм.
Суурь загварууд урьдчилсан сургалтын үеэр хэрхэн суралцдаг вэ
Ихэнх хэлний суурь загварууд нь дараагийн үг эсвэл текстэн дэх алга болсон үгс гэх мэт тэмдэгтүүдийг урьдчилан таамаглах замаар суралцдаг. Энэхүү энгийн зорилго нь тэднийг дүрэм, хэв маяг, тайлбарын нийтлэг хэв маяг зэрэг бүтцийг дотооддоо шингээхэд түлхэц болдог. Тэд мөн дэлхийн мэдлэгийг маш ихээр шингээж чаддаг ч үргэлж найдвартай байдаггүй. Үр дүн нь та дараа нь тодорхой ажил руу чиглүүлж болох хүчтэй ерөнхий дүрслэл юм.
Түргэвчилсэн, нарийн тохируулга, LoRA болон RAG-ийн хоорондох ялгаа
Зааварчилгаа ашиглан зан төлөвийг удирдах хамгийн хурдан арга бол өдөөлт боловч эмзэг байж болно. Нарийн тохируулга нь загварыг таны жишээнүүд дээр илүү тогтвортой зан төлөвт сургадаг боловч зардал болон засвар үйлчилгээг нэмэгдүүлдэг. LoRA/адаптерууд нь ихэвчлэн хямд, илүү модульчлагдсан байдаг илүү хөнгөн нарийн тохируулгын арга юм. RAG нь холбогдох баримт бичгүүдийг олж авч, загварын хариултыг тухайн нөхцөл байдлыг ашиглан авдаг бөгөөд энэ нь шинэлэг байдал, үндэслэлийг сайжруулахад тусалдаг.
Нарийн тохируулгын оронд RAG-г хэзээ ашиглах вэ
Хэрэв та одоогийн баримт бичиг эсвэл дотоод мэдлэгийн санд суурилсан хариулт хэрэгтэй бол RAG нь ихэвчлэн хүчтэй сонголт болдог. Энэ нь загварыг үүсгэсэн үед холбогдох нөхцөл байдлыг хангаж өгснөөр "таах"-ыг багасгаж чадна. Тогтвортой хэв маяг, домэйн хэллэг эсвэл өдөөлтөөр найдвартай гаргаж чадахгүй зан төлөв хэрэгтэй үед нарийн тохируулга нь илүү тохиромжтой байдаг. Олон практик системүүд нарийн тохируулга хийхээсээ өмнө өдөөлт + RAG-г хослуулдаг.
Галлюцинацияг хэрхэн бууруулж, илүү найдвартай хариулт авах вэ
Нийтлэг арга бол загварыг өгөгдсөн контексттэй ойр байлгахын тулд сэргээлт (RAG)-ээр газардуулах явдал юм. Та мөн гаралтыг схемээр хязгаарлаж, гол алхмуудад багажны дуудлагыг шаардаж, "таах хэрэггүй" гэсэн тодорхой зааврыг нэмж болно. Дүрмийн шалгалт, хөндлөн шалгалт, өндөр түвшний хэрэглээний тохиолдлуудад хүний хяналт гэх мэт баталгаажуулалтын давхаргууд бас чухал юм. Загварыг анхдагчаар үнэний эх сурвалж биш, харин магадлалын туслагч гэж үз.
Үйлдвэрлэл дэх суурь загваруудтай холбоотой хамгийн том эрсдэлүүд
Нийтлэг эрсдэлд хий үзэгдэл, сургалтын өгөгдлөөс үүдэлтэй нэг талыг барьсан эсвэл хор хөнөөлтэй хэв маяг, мөн эмзэг өгөгдлийг муу боловсруулсан тохиолдолд нууцлалын алдагдал орно. Системүүд нь ялангуяа загвар нь баримт бичиг эсвэл вэб контентоос найдваргүй текстийг унших үед шуурхай тарилгад өртөмтгий байж болно. Бууруулах арга хэмжээнд ихэвчлэн засаглал, улаан баг, хандалтын хяналт, илүү аюулгүй өдөөлтийн хэв маяг, бүтэцлэгдсэн үнэлгээ орно. Эдгээр эрсдэлийг дараа нь нөхөхийн оронд эрт төлөвлөх хэрэгтэй.
Шуурхай тарилга ба энэ нь RAG системд яагаад чухал вэ
Шуурхай тарилга гэдэг нь итгэмжлэгдээгүй текст нь "өмнөх зааврыг үл тоомсорлох" эсвэл "нууцыг задруулах" гэх мэт зааврыг дарж бичихийг оролдохыг хэлнэ. RAG-д сэргээгдсэн баримт бичигт эдгээр хортой зааврууд агуулагдаж болох бөгөөд хэрэв та болгоомжтой байхгүй бол загвар нь тэдгээрийг дагаж мөрдөж магадгүй юм. Нийтлэг арга бол системийн зааврыг тусгаарлах, сэргээгдсэн контентыг ариутгах, зөвхөн заавраас илүү багаж хэрэгсэлд суурилсан бодлогод найдах явдал юм. Эсрэг талын оролтоор турших нь сул талуудыг илрүүлэхэд тусалдаг.
Хэрэглээнийхээ хувьд суурийн загварыг хэрхэн сонгох вэ
Эхлээд текст, зураг, аудио, код эсвэл олон горимт гаралт үүсгэх шаардлагатай зүйлсээ тодорхойл. Дараа нь баримтын түвшинг тохируулна уу - өндөр нарийвчлалтай домэйнууд нь ихэвчлэн газардуулга (RAG), баталгаажуулалт, заримдаа хүний хяналт шаарддаг. Удаан эсвэл үнэтэй хүчтэй загварыг тээвэрлэхэд хэцүү байж болох тул хоцрогдол болон зардлыг анхаарч үзээрэй. Эцэст нь газрын зургийн нууцлал болон нийцлийг байршуулах сонголтууд болон хяналтууд руу оруулах шаардлагатай.
Лавлагаа
-
Стандарт ба технологийн үндэсний хүрээлэн (NIST) - Суурийн загвар (Нэр томьёоны нэр томьёо) - csrc.nist.gov
-
Үндэсний Стандарт ба Технологийн Хүрээлэн (NIST) - NIST AI 600-1: Үүсгэн байгуулагч хиймэл оюун ухааны профайл - nvlpubs.nist.gov
-
Үндэсний Стандарт, Технологийн Хүрээлэн (NIST) - NIST AI 100-1: Хиймэл Оюун Ухааны Эрсдэлийн Удирдлагын Хүрээ (AI RMF 1.0) - nvlpubs.nist.gov
-
Суурийн загваруудын судалгааны Стэнфордын төв (CRFM) - Тайлан - crfm.stanford.edu
-
arXiv - Суурийн загваруудын боломж ба эрсдэлийн тухай (Bommasani нар, 2021) - arxiv.org
-
arXiv - Хэлний загварууд нь цөөн тооны суралцагчид юм (Brown et al., 2020) - arxiv.org
-
arXiv - Мэдлэгийг эрчимжүүлсэн NLP даалгавруудад зориулсан сэргээн засварлах-өргөтгөсөн үе (Lewis et al., 2020) - arxiv.org
-
arXiv - LoRA: Том хэлний загваруудын доод зэрэглэлийн дасан зохицол (Hu et al., 2021) - arxiv.org
-
arXiv - BERT: Хэлний ойлголтод зориулсан гүнзгий хоёр чиглэлт трансформаторын урьдчилсан сургалт (Девлин нар, 2018) - arxiv.org
-
arXiv - Нарийн тохируулсан хэлний загварууд нь тэг цохилттой суралцагчид юм (Wei et al., 2021) - arxiv.org
-
ACM Дижитал Номын Сан - Байгалийн хэлний үүсэл дэх хий үзэгдлийн судалгаа (Ji et al., 2023) - dl.acm.org
-
arXiv - Байгалийн хэлний хяналтаас шилжүүлэх боломжтой дүрслэлийн загваруудыг сурах нь (Radford et al., 2021) - arxiv.org
-
arXiv - Дуу чимээг бууруулах диффузийн магадлалын загварууд (Хо нар, 2020) - arxiv.org
-
arXiv - Латент Диффузийн Загваруудтай Өндөр нягтралтай Зургийн Синтез (Rombach et al., 2021) - arxiv.org
-
arXiv - Нээлттэй Домэйн Асуулт Хариултад зориулсан Дэндүү Хэсэг Хайлт (Карпухин нар, 2020) - arxiv.org
-
arXiv - Faiss номын сан (Douze et al., 2024) - arxiv.org
-
OpenAI - Whisper-ийг танилцуулж байна - openai.com
-
arXiv - Mel Spectrogram таамаглал дээр WaveNet-ийг тохируулах замаар байгалийн TTS синтез хийх (Shen et al., 2017) - arxiv.org
-
Жоржтаун Их Сургуулийн Аюулгүй байдал ба Шинээр гарч ирж буй технологийн төв (CSET) - Дараагийн үгийг таамаглахын гайхалтай хүч: том хэлний загваруудыг тайлбарласан (1-р хэсэг) - cset.georgetown.edu
-
USENIX - Том хэлний загваруудаас сургалтын өгөгдлийг гаргаж авах (Карлини нар, 2021) - usenix.org
-
OWASP - LLM01: Шуурхай тарилга - genai.owasp.org
-
arXiv - Таны хүссэнээс ч илүү: Програм хангамжид нэгтгэсэн том хэлний загваруудад тулгарч буй шинэ шуурхай тарилгын аюулын цогц шинжилгээ (Greshake et al., 2023) - arxiv.org
-
OWASP Cheat Sheet цуврал - LLM-ийн шуурхай тарилгын урьдчилан сэргийлэх Cheat Sheet - cheatsheetseries.owasp.org