Хэрэв та хүмүүс GPT-г айл өрхийн үг мэтээр ярьж байхыг сонссон бол та ганцаараа биш. Энэ товчлол нь бүтээгдэхүүний нэр, судалгааны ажил, өдөр тутмын чатуудад гардаг. Энгийн хэсэг нь энд байна: GPT гэдэг нь Бүтээлч Урьдчилан Сургагдсан Трансформер гэсэн утгатай . Ашигтай хэсэг нь эдгээр дөрвөн үг яагаад чухал болохыг мэдэх явдал юм - учир нь ид шид нь холимогт байдаг. Энэхүү гарын авлагад үүнийг задлан шинжилсэн болно: цөөн хэдэн санал бодол, бага зэрэг хазайлт, олон практик дүгнэлт. 🧠✨
Үүний дараа таны унших дуртай нийтлэлүүд:
🔗 Урьдчилан таамаглах хиймэл оюун ухаан гэж юу вэ
Урьдчилан таамаглах хиймэл оюун ухаан нь өгөгдөл болон алгоритм ашиглан үр дүнг хэрхэн урьдчилан таамагладаг вэ.
🔗 Хиймэл оюун ухааны сургагч гэж юу вэ
Орчин үеийн хиймэл оюун ухааны системийг сургах үүрэг, ур чадвар, ажлын урсгал.
🔗 Нээлттэй эхийн хиймэл оюун ухаан гэж юу вэ
Нээлттэй эхийн хиймэл оюун ухааны тодорхойлолт, ашиг тус, бэрхшээл, жишээнүүд.
🔗 Бэлгэдлийн хиймэл оюун ухаан гэж юу вэ: таны мэдэх ёстой бүх зүйл
Бэлгэдлийн хиймэл оюун ухааны түүх, үндсэн аргууд, давуу болон хязгаарлалтууд.
Шуурхай хариулт: GPT гэдэг нь юу гэсэн үг вэ?
GPT = Урьдчилан сургагдсан үүсгэгч трансформатор.
-
Бүтээлч - энэ нь контентыг бий болгодог.
-
Урьдчилан сургагдсан - дасан зохицохоосоо өмнө өргөн хүрээнд суралцдаг.
-
Трансформатор - өгөгдөл дэх загвар харилцаанд өөртөө анхаарал хандуулдаг мэдрэлийн сүлжээний архитектур.
Хэрэв та нэг өгүүлбэрийн тодорхойлолт авахыг хүсвэл: GPT нь трансформаторын архитектур дээр суурилсан, өргөн уудам текст дээр урьдчилан сургагдсан, дараа нь зааврыг дагаж, тустай байхаар тохируулсан том хэлний загвар юм [1][2].
Бодит амьдрал дээр товчлол яагаад чухал вэ 🤷♀️
Товчлолууд нь уйтгартай боловч энэ нь эдгээр системүүд зэрлэг байгальд хэрхэн ажилладагийг илтгэж байна. GPT нь генератив зөвхөн хэсгүүдийг татаж авахаас гадна хариултуудыг нэгтгэдэг. Тэд урьдчилан бэлтгэгдсэн хайрцагнаас гарсан өргөн мэдлэгтэй бөгөөд хурдан дасан зохицож чаддаг. Тэд хувиргагч хуучин архитектуруудаас илүү сайн өргөжиж, урт хугацааны контекстийг илүү уян хатан зохицуулдаг [2]. Энэ хослол нь GPT нь яагаад шөнийн 2 цагт ердийн дибаг хийх эсвэл лазанья төлөвлөх үед харилцан ярианы, уян хатан, хачин тустай санагддагийг тайлбарладаг. Би ... хоёуланг нь нэгэн зэрэг хийсэн гэсэн үг биш.
Трансформаторын битийн талаар сонирхож байна уу? Анхаарал хандуулах механизм нь загваруудад бүх зүйлийг тэгш авч үзэхийн оронд оролтын хамгийн хамааралтай хэсгүүдэд анхаарлаа төвлөрүүлэх боломжийг олгодог бөгөөд энэ нь трансформаторууд маш сайн ажилладаг гол шалтгаан юм [2].
GPT-г юу ашигтай болгодог вэ ✅
Үнэнийг хэлэхэд хиймэл оюун ухааны олон нэр томьёо шуугиан тарьдаг. GPT нь нууцлаг гэхээсээ илүү практик шалтгаанаар алдартай:
-
Контекст мэдрэг байдал - өөртөө анхаарал хандуулах нь загварт үгсийг хооронд нь харьцуулж, уялдаа холбоо, үндэслэлийн урсгалыг сайжруулахад тусалдаг [2].
-
Шилжүүлэх чадвар - өргөн хүрээтэй өгөгдлийн урьдчилсан сургалт нь загварт шинэ даалгаварт хамгийн бага дасан зохицох чадвартайгаар шилжих ерөнхий ур чадварыг өгдөг [1].
-
Зэрэгцүүлэлтийн тохируулга - хүний санал хүсэлтээр (RLHF) зааврыг дагаж мөрдөх нь тусгүй эсвэл зорилтот бус хариултыг бууруулж, гаралтыг хамтын ажиллагааны мэдрэмж төрүүлдэг [3].
-
Олон горимт өсөлт - шинэ GPT нь зурагтай (болон бусадтай) ажиллах боломжтой бөгөөд энэ нь харааны асуулт хариулт эсвэл баримт бичгийг ойлгох зэрэг ажлын урсгалыг идэвхжүүлдэг [4].
Тэд одоо хүртэл буруу зүйл хийдэг үү? Тийм ээ. Гэхдээ энэ багц нь хэрэгтэй - ихэвчлэн хачин гайхалтай - учир нь энэ нь түүхий мэдлэгийг хянах боломжтой интерфэйстэй хослуулсан байдаг.
“GPT гэдэг нь юу гэсэн үг вэ” дэх үгсийг задлан шинжилж байна 🧩
Үүсгэн байгуулагч
Энэхүү загвар нь үүсгэдэг . Хүйтэн имэйл асуухад тэр даруй нэгийг нь бичдэг.
Урьдчилан сургагдсан
Та үүнийг хүрэхээс өмнө GPT нь том текстийн цуглуулгаас өргөн хүрээтэй хэл шинжлэлийн хэв маягийг аль хэдийн шингээсэн байдаг. Урьдчилсан сургалт нь ерөнхий чадамжийг өгдөг тул та дараа нь нарийн тохируулга эсвэл зүгээр л ухаалаг өдөөлтөөр [1] хамгийн бага өгөгдөл ашиглан өөрийн чиглэлд тохируулан өөрчлөх боломжтой.
Трансформатор
Энэ бол масштабыг практик болгосон архитектур юм. Трансформаторууд алхам бүрт аль тэмдэг чухал болохыг шийдэхийн тулд өөртөө анхаарал хандуулах давхаргыг ашигладаг, жишээлбэл, догол мөрийг гүйлгэн харах, нүдээ холбогдох үгс рүү эргүүлэх гэх мэт боловч ялгаж салгаж, сургаж болдог [2].
GPT-үүдийг хэрхэн тустай байхад сургадаг вэ (товчхон боловч хэт товч биш) 🧪
-
Урьдчилсан сургалт - асар том текст цуглуулгад дараагийн тэмдгийг урьдчилан таамаглахыг сурах; энэ нь ерөнхий хэлний чадварыг хөгжүүлдэг.
-
Хяналттай нарийн тохируулга - хүмүүс асуултуудад төгс хариулт бичдэг; загвар нь тэр хэв маягийг дуурайж сурдаг [1].
-
Хүний санал хүсэлтээс суралцах нь (RLHF) - хүмүүс үр дүнг эрэмбэлж, шагналын загварыг сургаж, үндсэн загварыг хүмүүсийн илүүд үздэг хариултыг бий болгоход оновчтой болгодог. Энэхүү InstructGPT жор нь чат загваруудыг зөвхөн эрдэм шинжилгээний бус харин тустай мэт санагдахад хүргэсэн зүйл юм [3].
GPT нь трансформатор эсвэл LLM-тэй адилхан уу? Бага зэрэг, гэхдээ яг тийм биш 🧭
-
Трансформатор - үндсэн архитектур.
-
Том Хэлний Загвар (ТХЗ) - текст дээр сургагдсан аливаа том загварыг хэлнэ.
-
GPT - OpenAI [1][2]-оор түгээмэл болгосон, генератив болон урьдчилан сургагдсан трансформатор дээр суурилсан LLM-ийн гэр бүл.
Тиймээс GPT бүр нь LLM болон трансформатор боловч трансформаторын загвар бүр GPT гэж боддог тэгш өнцөгт ба дөрвөлжин биш юм.
Мультимодаль газрын “GPT гэдэг нь юуг илэрхийлдэг вэ” өнцөг 🎨🖼️🔊
Текстийн хажууд зургийг оруулах үед товчлол нь тохирч байна. Генератив болон урьдчилан сургагдсан хэсгүүд нь горимуудаар дамждаг бол трансформаторын гол хэсэг нь олон төрлийн оролтыг зохицуулахад зориулагдсан байдаг. Харааны функцтэй GPT-үүдийн дүрсний ойлголт болон аюулгүй байдлын талаарх олон нийтийн гүнзгий мэдээллийг системийн картаас үзнэ үү [4].
Хэрэглээндээ тохирох GPT-г хэрхэн сонгох вэ 🧰
-
Бүтээгдэхүүний туршилтын загвар гаргах - ерөнхий загвараас эхэлж, шуурхай бүтцээр давтах; энэ нь эхний өдөр төгс тохируулгыг хөөцөлдөхөөс илүү хурдан юм [1].
-
Тогтвортой дуу хоолой эсвэл бодлого шаардсан даалгаварууд - түгжих зан төлөвт хяналттай нарийн тохируулга болон давуу эрхэд суурилсан тохируулгыг авч үзэх [1][3].
-
Харааны эсвэл баримт бичиг ихтэй ажлын урсгал - олон горимт GPT нь хэврэг OCR-ийн зөвхөн дамжуулах хоолойгүйгээр зураг, диаграм эсвэл дэлгэцийн агшинг задлан шинжлэх боломжтой [4].
-
Өндөр эрсдэлтэй эсвэл зохицуулалттай орчин - хүлээн зөвшөөрөгдсөн эрсдэлийн хүрээтэй уялдуулж, заавар, өгөгдөл, гаралтын хяналтын хаалгыг тохируулах [5].
Хариуцлагатай хэрэглээ, товчхондоо - учир нь энэ нь чухал 🧯
Эдгээр загварууд шийдвэрт нэгдсэн тул багууд өгөгдөл, үнэлгээ, багийн ажиллагааг болгоомжтой зохицуулах хэрэгтэй. Практик эхлэлийн цэг бол таны системийг хүлээн зөвшөөрөгдсөн, үйлдвэрлэгчээс төвийг сахисан эрсдэлийн хүрээтэй харьцуулах явдал юм. NIST-ийн хиймэл оюун ухааны эрсдэлийн удирдлагын хүрээ нь Удирдах, Зураглах, Хэмжих, Удирдах функцуудыг тодорхойлж, тодорхой практик бүхий үүсгэгч хиймэл оюун ухааны профайлыг өгдөг [5].
Тэтгэвэрт гарахтай холбоотой нийтлэг буруу ойлголтууд 🗑️
-
"Энэ бол зүйлсийг хайдаг мэдээллийн сан юм."
Үгүй. GPT-ийн гол зан төлөв нь дараагийн токеныг таамаглах генератив юм; сэргээлтийг нэмж болох боловч энэ нь анхдагч биш юм [1][2]. -
"Илүү том загвар гэдэг нь баталгаатай үнэн гэсэн үг."
Хэмжээ нь тусалдаг ч давуу эрхэд суурилсан оновчлогдсон загварууд нь тустай байдал болон аюулгүй байдлын арга зүйн хувьд тохируулагдаагүй том загваруудаас илүү сайн ажиллаж чаддаг бөгөөд энэ нь RLHF-ийн гол санаа юм [3]. -
"Мултимодаль гэдэг нь зүгээр л OCR гэсэн үг."
Үгүй. Мультимодаль GPT нь илүү контекстэд тохирсон хариулт авахын тулд загварын үндэслэлийн шугамд харааны онцлогуудыг нэгтгэдэг [4].
Үдэшлэг дээр ашиглаж болох халаасны тайлбар 🍸
GPT гэдэг нь юу гэсэн үг болохыг асуувал үүнийг туршаад үзээрэй:
"Энэ бол Үүсгэгч Урьдчилан Сургасан Трансформатор буюу том текстэн дээрх хэлний хэв маягийг сурч, дараа нь хүний санал хүсэлтийг ашиглан зааврыг дагаж, хэрэгтэй хариулт гаргаж чаддаг хиймэл оюун ухааны нэг төрөл юм." [1][2][3]
Богинохон, эелдэг, интернетээс юм уншиж байгаа мэт сэтгэгдэл төрүүлэхүйц ухаалаг.
GPT нь текстээс гадна юуг илэрхийлдэг вэ: таны үнэхээр ажиллуулж болох практик ажлын урсгалууд 🛠️
-
Тархины шуурга болон тойм бичих - агуулгыг ноороглоод дараа нь гол санаа, өөр гарчиг эсвэл эсрэг тэсрэг байр суурь гэх мэт бүтцийн сайжруулалтыг хүс.
-
Өгөгдлөөс хүүрнэл рүү - жижиг хүснэгт наагаад нэг догол мөр бүхий товч хураангуйг асууж, дараа нь хоёр эрсдэл болон тус бүрээс нь бууруулах арга хэмжээг оруулна уу.
-
Кодын тайлбар - төвөгтэй функцийг алхам алхмаар унших хүсэлт гаргаж, дараа нь хэдэн тест хийнэ үү.
-
Олон горимт эрэмбэлэлт - графикийн зургийг нэгтгэн: "чиг хандлагыг нэгтгэн дүгнэж, гажигийг тэмдэглэж, дараагийн хоёр шалгалтыг санал болгоно уу."
-
Бодлогын мэдлэгтэй гаралт - тодорхойгүй үед юу хийх талаар тодорхой зааварчилгаатайгаар дотоод удирдамжийг лавлахын тулд загварыг нарийн тохируулах эсвэл зааварчилгаа өгөх.
Эдгээр нь бүгд нэг гурвал дээр тулгуурладаг: үүсгэгч гаралт, өргөн хүрээтэй урьдчилсан сургалт, трансформаторын контекст үндэслэл [1][2].
Гүнзгий шумбах булан: бага зэрэг алдаатай зүйрлэлээр анхаарал хандуулах 🧮
Эдийн засгийн талаар зузаан догол мөр уншиж байхдаа нэг аяга кофе муу уугаад байгаагаар төсөөлөөд үз дээ. Таны тархи чухал мэт санагдах хэдэн түлхүүр хэллэгийг дахин шалгаж, тэдэнд оюун санааны наалттай тэмдэглэл оноож өгдөг. Сонгомол анхаарал нь анхааралтай . Өөрчлөлтүүд нь бусад бүх тэмдэгтэй харьцуулахад тэмдэг бүрт хэр их "анхаарлын жин" ногдуулахыг сурдаг; олон анхаарлын толгойнууд нь хэд хэдэн уншигч өөр өөр онцлох зүйлсийг гүйлгэн үзэж, дараа нь ойлголтоо нэгтгэж байгаа мэт ажилладаг [2]. Төгс биш гэдгийг би мэдэж байна; гэхдээ энэ нь хэвээрээ байна.
Түгээмэл асуултууд: маш богино хариултууд, ихэвчлэн
-
GPT нь ChatGPT-тэй адилхан уу?
ChatGPT нь GPT загварууд дээр суурилсан бүтээгдэхүүний туршлага юм. Нэг гэр бүл, өөр өөр түвшний хэрэглэгчийн хэрэглээ болон аюулгүй байдлын хэрэгслүүд [1]. -
GPT нь зөвхөн текст бичдэг үү?
Үгүй. Зарим нь олон горимтой, зураг (болон бусад) боловсруулдаг [4]. -
GPT хэрхэн бичихийг би хянаж чадах уу?
Тийм. Ая болон бодлогыг дагаж мөрдөхийн тулд мөрийн бүтэц, системийн зааварчилгаа эсвэл нарийн тохируулгыг ашиглана уу [1][3]. -
Аюулгүй байдал болон эрсдэлийн талаар юу хэлэх вэ?
Хүлээн зөвшөөрөгдсөн хүрээг баримталж, сонголтоо баримтжуул [5].
Эцсийн тайлбар
Хэрэв та өөр юу ч санахгүй байгаа бол үүнийг санаарай: GPT гэдэг нь зүгээр л үгсийн сангийн асуултаас илүү утгатай. Энэ товчлол нь орчин үеийн хиймэл оюун ухааныг ашигтай мэт мэдрүүлсэн жорыг кодчилдог. Бүтээлч байдал нь танд чөлөөтэй гаралтыг өгдөг. Урьдчилан сургагдсан нь танд өргөн хүрээг өгдөг. Трансформатор нь танд цар хүрээ, нөхцөл байдлыг өгдөг. Системийг ажиллуулахын тулд зааварчилгааны тохиргоог нэмээрэй - гэнэт та бичиж, тайлбарлаж, дасан зохицдог ерөнхий туслахтай болно. Энэ төгс үү? Мэдээж үгүй. Гэхдээ мэдлэгийн ажлын практик хэрэгсэл болохын хувьд энэ нь таныг ашиглаж байх үед хааяа шинэ ир зохион бүтээдэг Швейцарийн армийн хутга шиг юм ... дараа нь уучлалт гуйж, танд товч дүгнэлт өгдөг.
Хэтэрхий урт байна, уншсангүй.
-
GPT гэдэг нь юу гэсэн үг вэ : Урьдчилан сургагдсан генератив трансформатор.
-
Яагаад чухал вэ: үүсгэгч синтез + өргөн хүрээтэй урьдчилсан сургалт + трансформаторын контекст боловсруулалт [1][2].
-
Үүнийг хэрхэн хийдэг вэ: урьдчилсан сургалт, хяналттай нарийн тохируулга, хүний санал хүсэлтийг уялдуулах [1][3].
-
Үүнийг сайн ашиглаарай: бүтэцтэй болгох, тогтвортой байдлыг нарийн тохируулах, эрсдэлийн хүрээтэй уялдуулах [1][3][5].
-
Суралцаж байгаарай: анхны трансформаторын цаас, OpenAI баримт бичиг, NIST удирдамжийг [1][2][5] гүйлгэн уншаарай.
Лавлагаа
[1] OpenAI - Гол ойлголтууд (урьдчилсан сургалт, нарийн тохируулга, өдөөлт, загварууд)
дэлгэрэнгүй унших
[2] Васвани болон бусад, “Анхаарал бол танд хэрэгтэй бүх зүйл” (Трансформер архитектур)
дэлгэрэнгүй унших
[3] Оуянг нар, “Хүний санал хүсэлтийн дагуу зааврыг дагаж мөрдөх хэлний загваруудыг сургах нь” (InstructGPT / RLHF)
дэлгэрэнгүй унших
[4] OpenAI - GPT-4V(ision) Системийн Карт (олон горимын боломжууд болон аюулгүй байдал)
дэлгэрэнгүй унших
[5] NIST - Хиймэл оюун ухааны эрсдэлийн удирдлагын хүрээ (үйлдвэрлэгчээс төвийг сахисан засаглал)
дэлгэрэнгүй унших