Хиймэл оюун ухаанд токен гэж юу вэ? [Видео болон асуулт хариулт]

Товч хариулт: Токен гэдэг нь хиймэл оюун ухааны загвар нь тоо болон процесс болгон хөрвүүлдэг текст эсвэл өгөгдлийн жижиг хэсэг юм. Токенууд нь зардал, хурд, санах ой болон гаралтын уртад нөлөөлдөг. Хүсэлт нь контекст цонхноос хэтэрсэн тохиолдолд чухал контентыг таслах, нэгтгэх эсвэл хасах боломжтой.

Гол дүгнэлтүүд:

Токенизаци: Үг, цэг таслал, зай болон кодыг өөр өөрөөр хувааж болно.

Контекст: Загварын боломжтой токен цонхонд чухал мэдээллийг хадгална уу.

Зардал: Өндөр хэмжээний хиймэл оюун ухааны ажлын урсгалд давтагдсан зааварчилгаа болон шаардлагагүй текстийг багасгах.

Тодорхой байдал: Үндсэн даалгавраа эрт тодорхойлж, шаардлагыг тодорхой шошготойгоор зохион байгуул.

Үр ашиг: Олдворуудыг нэгтгэхээс өмнө хэт том баримт бичгүүдийг логик хэсгүүдэд хуваа.

Үүний дараа таны унших дуртай нийтлэлүүд:

🔗 Хиймэл оюун ухааны төрлүүд юу вэ?
Хиймэл оюун ухааны ангиллыг чадвар, үйл ажиллагаа, сургалтын хэв маяг, практик хэрэглээгээр нь ойлгоорой.

🔗 Хиймэл оюун ухааны шил гэж юу вэ?
Ухаалаг нүдний шилний онцлог, гар ашиглахгүй хэрэглээ, нууцлал болон практик хязгаарлалтуудыг судлаарай.

🔗 Хиймэл оюун ухаант телевиз гэж юу вэ?
Хиймэл оюун ухаан нь зураг, дуу чимээ, хайлт, зөвлөмж болон хүртээмжийг хэрхэн сайжруулдаг талаар мэдэж аваарай.

🔗 Хиймэл оюун ухааны хомсдол гэж юу вэ?
Чанар муутай хиймэл оюун ухааны контентыг таньж, нарийвчлал, өвөрмөц байдал, зорилгыг сайжруул.

---

1. Хиймэл оюун ухаанд токен гэж юу вэ? Энгийн хариулт

Хиймэл оюун ухаан дахь токен гэдэг нь загвар нь хэлийг ойлгож, үүсгэхэд ашигладаг текстийн нэгж юм .

Жишээлбэл, өгүүлбэр:

Би пиццанд дуртай.

Дараахь токенуудад хуваагдаж болно:

• Би

• хайр

• пицца

• .

Хангалттай энгийн.

Гэхдээ энэ нь үргэлж тийм цэвэрхэн байдаггүй. Урт эсвэл ер бусын үгийг жижиг хэсгүүдэд хувааж болно. Жишээлбэл:

итгэмээргүй

Дараахтай төстэй зүйл болж хувирч болно:

• нэг

• итгэх

• чадвартай

Өөр өөр хиймэл оюун ухааны системүүд өөр өөр токенизатор ашигладаг тул яг тодорхой хуваалт нь өөр өөр байж болно. Тийм ч учраас токенууд жаахан гулгамтгай санагдаж болно. Эдгээр нь яг үг биш, яг үсэг биш, үргэлж үе биш юм.

Үүнийг бодох илүү сайн арга бол энэ юм:

Токен гэдэг нь хиймэл оюун ухааны загварын боловсруулж чадах хэлний жижиг хэсгүүд юм. 🍽️

Та чатботоос асуулт асуухад систем таны өгүүлбэрийг хүний ​​нэг жигд бодол мэтээр шингээж авдаггүй. Энэ нь оролтыг жетон болгон хувааж, тоо болгон хувиргаж, тэдгээрийн хамаарлыг боловсруулж, дараа нь хариулт гаргах хүртлээ хамгийн магадлалтай дараагийн жетоныг дахин дахин таамагладаг.

Тиймээс хүмүүс хиймэл оюун ухаанд токен гэж юу вэ гэж асуухад хариулт нь зүгээр л "текстийн хэсэг" биш юм. Энэ бол хэлний хиймэл оюун ухааныг боломжтой болгодог үндсэн ажлын нэгж юм.

---

2. Яагаад токенууд хүмүүсийн хүлээж байснаас илүү чухал вэ?

Токенууд нь хиймэл оюун ухааны хэрэгслүүд хэрхэн ажилладагтай холбоотой бараг бүх зүйлд нөлөөлдөг тул чухал ач холбогдолтой.

Тэд нөлөөлдөг:

• Хиймэл оюун ухаан нэг дор хэр их текст боловсруулж чадах вэ

• Олон хиймэл оюун ухааны системд хүсэлт хэр үнэтэй вэ

• Модель хэр хурдан хариу үйлдэл үзүүлдэг вэ

• Загвар хэр их нарийн ширийн зүйлийг санаж чадах вэ

• Загвар таны хүсэлтийг хэр зөв ойлгож байна вэ

• Хариулт нь хэр удаан байж болох вэ

Энд л гайхалтай практик болж хувирдаг.

Хиймэл оюун ухааны хэрэгсэл нь "контекст цонх"-той гэж хэлэх үед энэ нь ихэвчлэн нэг удаад авч үзэж болох хамгийн их тооны токеныг хэлнэ. Таны хүсэлт, харилцан ярианы түүх, байршуулсан текст, системийн зааварчилгаа болон загварын хариулт бүгд токенуудыг эзэлдэг.

Тиймээс хэрэв та асар том баримт бичгийг хиймэл оюун ухааны туслах руу буулгаад дараа нь "Үүнийг нэгтгэн дүгнэж өгөөч" гэж асуувал загвар нь тухайн текстийг өөрийн тэмдгийн хязгаарт багтаах ёстой. Хэрэв агуулга хэтэрхий урт байвал хэрэгслийг хэрхэн зохион бүтээснээс хамааран хэсгүүдийг таслах, шахах эсвэл үл тоомсорлох боломжтой.

Токенууд нь зөвхөн техникийн асуулт биш юм. Эдгээр нь хиймэл оюун ухааны ширээний орон зай юм. Ширээн дээр хэтэрхий их цаас байвал зүйлс ирмэгээс хальтирч эхэлдэг 📄.

---

3. Токенууд нь үгстэй адил биш

Энэ нь магадгүй хамгийн том буруу ойлголт байх.

Тэмдэглэгээ гэдэг нь үргэлж нэг үг биш.

Заримдаа нэг үг нэг тэмдэгтэй тэнцүү байдаг. Заримдаа нэг үг хэд хэдэн тэмдэг болдог. Заримдаа цэг таслал эсвэл зай нь өөрийн тэмдэг гэж тооцогддог. Уйтгартай юу? Бага зэрэг. Чухал уу? Маш их.

Энд бүдүүлэг жишээ байна:

Текстийн жишээ	Боломжит Токен Хуваах	Энэ юу гэсэн үг вэ
муур	муур	Нэг энгийн үг, магадгүй нэг тэмдэг
муурнууд	муур эсвэл муур + s	Токенизатороос хамаарна
олон улсын шинж чанартай болох	олон улсын + хэлбэржилт эсвэл жижиг хэсгүүд	Урт үгс ихэвчлэн хуваагддаг
Хиймэл оюун ухаанаар ажилладаг	Хиймэл оюун ухаан + - + хүчээр ажилладаг	Цэг таслал тооцогдож магадгүй
Хөөе!!!	Хөөе + ! + ! + !	Тийм ээ, цэг таслал нь жетоныг бас идэж болно
супер калифрагилистик	магадгүй хэд хэдэн хэсэг	Загвар өмсөгч дотроо санаа алдаж байгаа бололтой 😅

Бүх загварт төгс тохирох бүх нийтийн дүрэм гэж байдаггүй.

Нийтлэг тооцооллоор нэг токен нь ихэвчлэн цөөн хэдэн тэмдэгт эсвэл үгийн хэсгийг төлөөлдөг. Гэхдээ энэ бол зүгээр л нэг дүрэм бөгөөд сайн мэдээ биш юм. Англи хэл дээрх текст нь бусад зарим хэлнээс илүү үр дүнтэй токенжуулдаг бөгөөд код нь өөрөөр ажиллах боломжтой.

Тийм ч учраас богинохон харагдах өгүүлбэрт хүлээгдэж байснаас илүү олон тэмдэг ашиглаж болох юм. Мөн түгээмэл үгсийн урт догол мөр нь техникийн нэр томьёо, тэмдэг эсвэл ер бусын форматаар дүүрэн догол мөрөөс илүү жигд тэмдэг болж магадгүй юм.

---

4. Хиймэл оюун ухаан текст үүсгэхийн тулд токенуудыг хэрхэн ашигладаг вэ?

Энэ бол жаахан ид шидийн хэсэг юм - хэдийгээр энэ нь шидтэний малгай өмссөн математик юм 🧙.

Та мөр бичих үед хиймэл оюун ухааны систем дараах зүйлийг хийдэг:

1. Текстийг тэмдэгт болгон хуваадаг

2. Токен бүрийг тоон эсвэл тоон дүрслэл болгон хөрвүүлнэ

3. Тэмдэгтийн хэв маяг болон харилцааг шинжилдэг

4. Дараагийн магадлалтай токеныг таамаглана

5. Энэ таамаглалын үйл явцыг давтана

6. Үүсгэсэн токенуудыг буцааж уншигдахуйц текст болгон хувиргадаг

Тэгэхээр хэрэв та бичвэл:

Тэнгэр бол

Энэ загвар нь дараах зүйлийг урьдчилан таамаглаж болно:

цэнхэр

Гэхдээ энэ нь бас урьдчилан таамаглаж болно:

Үүлэрхэг бороо нь оддоор дүүрэн хязгаар биш

Сонгосон гаралт нь загвар, мөр, контекст болон санамсаргүй байдал эсвэл бүтээлч байдлыг хянадаг тохиргооноос хамаарна.

Тийм ч учраас хиймэл оюун ухаан заримдаа чөлөөтэй мэт санагдаж, заримдаа хогийн ургамал руу тэнүүчилдэг. Энэ нь файлын шүүгээнээс дууссан өгүүлбэрүүдийг гаргаж ирэх биш, харин сурсан хэв маягт үндэслэн тэмдэг дарааллаар нь таамаглах явдал юм.

Энэ нь загвар нь уйтгартай утгаараа "зүгээр л автоматаар гүйцээгддэг" гэсэн үг биш юм. Том хиймэл оюун ухааны загварууд нь ойлголт, хэл, бүтэц, өнгө аяс, логик, контекстийн хоорондын маш нарийн төвөгтэй харилцааг сурдаг. Гэхдээ гаралтын түвшинд машин нь нэг удаад нэг токен текстийг гаргадаг.

Жижигхэн шат. Том хуурмаг. Маш чамин шат.

---

5. Харьцуулсан хүснэгт: Хиймэл оюун ухаан дахь токенуудын төрлүүд

Токенууд нь загвар, токенизатор болон контентын төрлөөс хамааран өөр өөр хэлбэрээр гарч ирж болно. Практик харьцуулалтыг энд оруулав.

Токен төрөл	Жишээ	Энэ хаана гарч ирдэг вэ	Яагаад чухал вэ
Үгийн тэмдэг	алим	Энгийн текстэн асуултууд	Ойлгоход хялбар, цэвэрхэн, цэгцтэй
Дэд үгийн тэмдэг	тоглох + тоглох	Урт эсвэл өөрчлөгдсөн үгс	Хиймэл оюун ухаан танил бус үгсийг ойлгоход тусалдаг
Тэмдэгтийн тэмдэг	а, б, в	Зарим токенжуулалтын системүүд	Уян хатан боловч үр ашиггүй байж болно
Цэг таслалын тэмдэг	., ?, !	Бүх төрлийн бичвэрүүд, ядаргаатайгаар	Өнгө болон токен тоонд нөлөөлдөг
Хоосон зайны тэмдэг	зай, мөр таслалт	Форматлагдсан текст болон код	Харамсалтай нь форматлах нь үнэгүй биш юм
Кодын токен	функц, {, ==	Програмчлалын зааварчилгаа	Код нь токенуудыг хурдан шатааж чадна
Тусгай токен	эхлэх/төгсгөлийн тэмдэглэгээ	Хөшигний ард	Загварын бүтцийн оролтыг дэмждэг
Үл мэдэгдэх эсвэл ховор хэсэг	ер бусын хэлтэрхий	Нэрс, хэлц үг, зөв ​​бичгийн алдаа	Нарийвчлалд бага зэрэг нөлөөлж болно

Хиймэл оюун ухааны загвар бүр эдгээрийг бүгдийг нь адилхан ашигладаггүй. Зарим системүүд нь дэд үгийн токенжуулалтад . Энэ нь загварт өмнө нь хэзээ ч харж байгаагүй үгсийг өөрийн таньдаг хэсгүүдэд хувааж зохицуулах боломжийг олгодог.

Жишээлбэл, хэрэв загвар нь микро, био, логикийгер бусын байсан ч нарийн төвөгтэй шинжлэх ухааны үгстэй ажиллахад илүү сайн боломжтой байдаг.

Төгс биш. Гэхдээ нэлээд ухаалаг. 🧩

---

6. Хиймэл оюун ухаанд токен гэж юу вэ? Энэ нь яагаад өртөгт нөлөөлдөг вэ?

Олон хиймэл оюун ухааны хэрэгслүүд токенуудын хэрэглээг хэмждэг.

Энэ нь таны оролт болон хиймэл оюун ухааны гаралт хоёулаа хэрэглээнд тооцогдож болно гэсэн үг юм. Хэрэв та урт хүсэлт илгээвэл илүү олон токен ашиглана. Хэрэв загвар нь урт хариулт бичвэл илүү олон токен ашиглана.

Богино асуулт гэх мэт:

Таталцлын хүчийг тайлбарла.

Харьцангуй цөөн тооны оролтын жетон ашигладаг.

Гэхдээ энэ уриалга:

Таталцлыг дэлгэрэнгүй, анхан шатны хүмүүст ээлтэй байдлаар тайлбарлаж, жишээ оруулж, соронзонтой харьцуулж, хүснэгт нэмж, хүүхдэд зориулж дахин бичээд, дараа нь яриа болгон хувирга.

Илүү олон оролтын жетон ашигладаг бөгөөд мөн илүү урт гаралт шаарддаг.

Тиймээс токен өртөг нь ихэвчлэн хоёр талаасаа гардаг:

• Оролтын жетонууд - таны загвар руу илгээсэн зүйл

• Гаралтын жетонууд - загвар юу үүсгэдэг вэ

• Контекст тэмдэг - өмнөх харилцан яриа эсвэл баримт бичгүүдийг оруулсан болно

• Системийн жетонууд - зан төлөвийг удирддаг далд зааварчилгаа

Тийм учраас маш урт яриа удаан эсвэл хязгаарлагдмал мэт санагдаж болно. Хиймэл оюун ухаан ярианы эхний хэсгүүдийг өөрийн хүрээнд авч явж байж магадгүй юм. Яг л тоосгоор дүүрэн үүргэвч шиг. Үнэ цэнэтэй тоосго, гэхдээ л тоосго.

API-ээр дамжуулан хиймэл оюун ухаан ашигладаг бизнесийн хувьд токены үр ашиг нь төсвийн асуудал болж болзошгүй юм. Хэдэн мянган удаа давтагдсан орооцолдсон хүсэлт нь гайхалтай их хэмжээний мөнгийг үр ашиггүй зарцуулж болзошгүй. Цэвэр хүсэлт нь зөвхөн илүү үзэсгэлэнтэй төдийгүй хямд байж болно.

---

7. Токен хязгаар ба хиймэл оюун ухааны контекст цонх

Контекст цонх нь токенуудтай холбоотой хамгийн чухал санаануудын нэг юм.

Энэ нь хиймэл оюун ухааны загвар нэгэн зэрэг хэдэн токен боловсруулж болохыг заана . Үүнд таны хүсэлт, өмнөх мессежүүд, буулгасан баримт бичиг, зааварчилгаа болон үүсгэсэн хариулт багтана.

Хиймэл оюун ухаан цагаан самбартай гэж төсөөлөөд үз дээ. Түүнд анхаарах ёстой бүх зүйл тэр цагаан самбар дээр багтах ёстой. Самбар дүүрсэний дараа ямар нэгэн зүйл өгөх ёстой.

Энэ нь хэд хэдэн нөхцөл байдалд хүргэж болзошгүй:

• Загвар өмсөгч урт ярианы өмнөх хэсгүүдийг мартаж магадгүй юм

• Шинжилгээ хийхийн өмнө баримт бичгийг нэгтгэн дүгнэх шаардлагатай байж магадгүй

• Урт асуултууд нь урт хариулт өгөх зай бага үлдээж болзошгүй

• Давтагдсан нөхцөл байдал нь чухал мэдээллийг дарж хаяж болзошгүй

• Энэ загвар нь сүүлийн үеийн мэдээлэлд илүү анхаарлаа төвлөрүүлж магадгүй юм

Тийм учраас хурдан дизайн хийх нь чухал юм.

Дараахтай төстэй хүсэлт:

Энэ бүхнийг уншаад юу чухал болохыг надад хэлээрэй.

Ажиллаж болох ч төгс биш байж магадгүй.

Илүү сайн санаа бол дараах зүйлийг хэлж магадгүй юм:

Үндсэн маргааныг нэгтгэн дүгнэж, эрсдэлийг жагсаан бичиж, зөрчилдөөнийг тодорхойлж, надад хамгийн чухал таван үйл ажиллагааны зүйлийг өг.

Энэ нь загварт илүү тодорхой даалгавар өгч, таны зорилгыг таахын оронд үнэ цэнэтэй ажилд жетон зарцуулахад тусалдаг.

Токенууд нь зөвхөн техникийн хязгаарлалт биш. Тэд таны хиймэл оюун ухаантай харилцах арга барилыг тодорхойлдог.

---

8. Токенжуулалт нь хиймэл оюун ухаанд дуулгаваргүй хэлийг зохицуулахад яагаад тусалдаг вэ?

Хүний хэл яриа бол дэг журамгүй. Түрэмгий зантай.

Хүмүүс шатаар унасан мэт харагдах хэллэг, үсгийн алдаа, эможи, товчлол, код солих, брэндийн нэр, хэштег, зохиомол үгс, өгүүлбэрийн хэсгүүдийг ашигладаг.

Токенжуулалт нь хиймэл оюун ухаан энэ асуудлыг шийдвэрлэхэд тусалдаг.

Загвар нь бүх боломжит үгийг цээжлэхийн оронд танил бус текстийг жижиг хэсгүүдэд хувааж болно. Энэ нь дараахь зүйлд тусалдаг:

• Зөв бичгийн алдаа

• Шинэ нэр томьёо

• Нийлмэл үгс

• Техникийн үгсийн сан

• Нэрс

• Интернетийн хэллэг

• Эможи ба тэмдэг

• Програмчлалын синтакс

Жишээлбэл, иймэрхүү үг:

хэт хувьчлах

Нэгэн танил үг гэж үзэхгүй байж магадгүй. Гэхдээ хиймэл оюун ухаан дараах хэсгүүдийг таньж магадгүй:

• хэт

• хувийн

• шинжүүлэлт

Энэ нь түүнд тулалдах боломжийг олгодог.

Ийм учраас токенжуулалт нь хэл бүрт үнэ цэнэтэй байдаг. Зарим хэлнүүд үгсийн хооронд тодорхой зайтай байдаг. Бусад нь ижил аргаар зай ашигладаггүй. Зарим нь баялаг үгийн хэлбэртэй байдаг. Зарим нь санаануудыг урт нийлмэл үгс болгон нэгтгэдэг. Токен системүүд нь энэ бүхнийг боловсруулж болох нэгж болгон стандартчлахад тусалдаг.

Энэ яг чамин биш. Тооны машинаар ногоо хэрчихтэй адилхан. Гэхдээ энэ нь ажилладаг 🥕.

---

9. Текст, зураг, аудио болон олон горимт хиймэл оюун ухаан дахь токенууд

Хиймэл оюун ухаан дахь токен хэллэг нь ихэвчлэн текст загваруудад гарч ирдэг боловч илүү өргөн хүрээтэй санаа нь текстээс гадна ч хэрэглэгдэж болно.

Олон горимт хиймэл оюун ухаанд системүүд нь токен төст нэгжүүдийг ашиглан зураг, аудио, видео эсвэл бүтэцлэгдсэн өгөгдлийг боловсруулж болно. Дэлгэрэнгүй мэдээлэл нь ялгаатай боловч гол санаа нь ижил төстэй: нарийн төвөгтэй мэдээллийг загвар боловсруулж болох жижиг хэсгүүдэд хуваах.

Жишээ нь:

• Текстийг үг эсвэл дэд үгийн тэмдэгт болгон хувааж болно

• Зургийг хэсэг хэсгүүд эсвэл дүрслэл болгон хувааж болно

• Аудиог цаг хугацаанд суурилсан сегментүүд эсвэл кодлогдсон нэгжүүдэд хувааж болно

• Кодыг синтакстай холбоотой токен болгон хувааж болно

• Хүснэгтүүдийг бүтэцлэгдсэн токен дараалал болгон хувиргаж болно

Энэ нь орчин үеийн хиймэл оюун ухаан зөвхөн "чат" биш болсонтой холбоотой юм. Энэ нь дэлгэцийн агшинг тайлбарлах, зургийг тайлбарлах, диаграммыг шинжлэх, аудиог хөрвүүлэх, кодыг тайлбарлах, форматаар хариу өгөх боломжтой.

Гэхдээ ижил үндсэн зарчим үргэлжилсээр байна:

Оролтыг удирдах боломжтой хэсгүүдэд хувааж, эдгээр хэсгүүдийг тоо болгон хөрвүүлж, загварт тэдгээрийн хоорондын хамаарлыг сурталчлах боломжийг олгоно.

Энэ бол ерөнхийдөө токенизаци юм.

Энэ нь хүний ​​бүтэц болон машин уншигдахуйц бүтцийн хоорондох орчуулгын давхарга юм.

---

10. Токенууд нь шуурхай инженерчлэлд хэрхэн нөлөөлдөг вэ?

Шуурхай инженерчлэл гэдэг нь байгаагаас нь илүү тансаг сонсогдож байна. Заримдаа энэ нь зүгээр л "тодорхой асууж, асуулгыг хог хаягдлаар дүүргэхээ боль" гэсэн утгатай. Хатуу боловч үнэн зөв.

Токенууд нь илүү сайн өдөөлтөд гол үүрэг гүйцэтгэдэг.

Токен мэдлэгийг ашиглах зарим практик аргууд энд байна:

Эртнээс тодорхой байгаарай

Гол даалгавраа эхэнд нь ойртуулна уу:

Төсөвт ээлтэй ширээний чийдэнгийн бүтээгдэхүүний товч тайлбарыг бичнэ үү.

Үгүй:

Би бүтээгдэхүүний хуудсанд зориулж ямар нэгэн зүйл хийх талаар бодож байсан бөгөөд энэ нь дэнлүүний тухай бөгөөд надад үг хэрэгтэй байна...

Хоёр дахь хувилбар нь токенуудыг үр ашиггүй болгож, цэгийг хойшлуулдаг.

Шаардлагагүй дүүргэгчийг зайлуул

Хиймэл оюун ухаан энгийн хэлийг ойлгож чаддаг ч нэмэлт дүүргэлт нь нөхцөл байдлыг эзэлдэг. Та робот шиг бичих шаардлагагүй ч тайрах нь тусалдаг.

Бүтцийг ашиглах

Гарчиг, сум, дугаарлагдсан алхам, шошго нь загварт юу хаашаа явж байгааг ойлгоход тусална.

Жишээ:

• Зорилго:

• Үзэгчид:

• Өнгө:

• Формат:

• Хязгаарлалтууд:

Энэ нь ихэвчлэн текстийн бөөгнөрөлөөс илүү сайн ажилладаг.

Хиймэл оюун ухаанд юуг үл тоомсорлохыг хэлээрэй

Энэ бол чимээгүйхэн хүчтэй.

Та дараахийг хэлж болно:

Давтагдсан тоймыг үл тоомсорлож, зөвхөн үнийн зөрүүнд анхаарлаа төвлөрүүл.

Энэ нь загварыг бага үнэ цэнэтэй контент дээр анхаарлаа төвлөрүүлэхээс сэргийлдэг.

Урт чатуудыг цэгцтэй байлгаарай

Урт яриа хэлэлцээрийн үеэр гол шийдвэрүүдээ үе үе нэгтгэн дүгнэж байгаарай. Энэ нь нөхцөл байдлыг хадгалахад тусалж, төөрөгдлийг багасгахад тусалдаг.

Үндсэндээ, бэлгэдлийн мэдрэмжтэй өдөөлт нь чемодан баглахтай адил юм. Та зайлшгүй шаардлагатай зүйлсээ авчирч болно, эсвэл гурван хайруулын таваг авчирчихаад оймс чинь яагаад таарахгүй байгааг гайхаж болно.

---

11. Хиймэл оюун ухааны токенуудын талаарх нийтлэг буруу ойлголтууд

Тэмдэгт яриа хурдан бүдгэрдэг тул хэдэн зүйлийг тодруулъя.

Буруу ойлголт 1: Нэг тэмдэг нь нэг үгтэй тэнцүү

Үгүй. Заримдаа тийм, ихэвчлэн үгүй. Токенууд нь үг, үгийн хэсэг, цэг таслал эсвэл бусад хэсэг байж болно.

Буруу ойлголт 2: Илүү олон токен үргэлж илүү сайн хариултыг илэрхийлдэг

Заавал биш. Урт хугацааны мэдэгдэл нь үнэ цэнэтэй контекст нэмэхэд тусалж чадна. Гэхдээ хэт их ачаалалтай мэдэгдэл нь загварыг төөрөгдүүлж эсвэл зайг үрж болзошгүй.

Буруу ойлголт 3: Токен хязгаарлалт нь зөвхөн урт баримт бичигт хамаарна

Эдгээр нь ердийн чатуудад, ялангуяа харилцан яриа олон эргэлттэй үед нөлөөлдөг. Загвар нь өмнөх мессеж, зааварчилгаа болон таны хамгийн сүүлийн хүсэлтийг харгалзан үзэх шаардлагатай байж магадгүй.

Буруу ойлголт 4: Хиймэл оюун ухаан нь хүмүүс үгсийг ойлгодог шиг жетонуудыг ойлгодог

Хүний утгаараа биш. Хүмүүс үгэнд амьдралын туршлага, мэдрэхүйн ой санамж, зорилго, сэтгэл хөдлөлөө холбодог. Хиймэл оюун ухааны загварууд нь статистик болон семантик хэв маягийг тэмдэгт дарааллаар боловсруулдаг. Энэ нь гайхалтай үндэслэлийг бий болгож болох ч энэ нь ижил үйл явц биш юм.

Буруу ойлголт 5: Токенжуулалт нь уйтгартай арын хэсэг юм

Энэ нь уйтгартай сонсогдож байна. Тийм биш. Токенжуулалт нь өртөг, хурд, санах ой, нарийвчлал, хэрэглэгчийн туршлагыг бүрдүүлдэг. Жижигхэн нугас, аварга том хаалга 🚪.

---

12. Хиймэл оюун ухаан дахь токенуудын бодит жишээнүүд

Үүнийг хийсвэрлэл багатай болгоё.

Жишээ 1: Чатбот яриа

Та бичнэ үү:

Та буцаан олголт хүссэн эелдэг имэйл бичиж чадах уу?

Хиймэл оюун ухаан үүнийг жетон болгон хувааж, хүсэлтийн загварыг ойлгож, токен тус бүрээр хариу токен үүсгэдэг.

Жишээ 2: Баримтын урт хураангуй

Та бодлогын баримт бичгийг буулгадаг. Хиймэл оюун ухаан нь бүх зүйлийг токенчилдог. Хэрэв энэ нь контекст цонхонд багтаж байвал маш сайн. Хэрэв үгүй ​​бол хэрэгсэл нь хэсэгчлэн хуваах, нэгтгэн дүгнэх эсвэл хасах шаардлагатай болж магадгүй.

Жишээ 3: Код бичих туслах

Та асууна:

Энэ JavaScript функцийг засах.

Код нь ихэвчлэн тэмдэгт, догол мөр, оператор болон тодорхой синтаксийг ашигладаг. Эдгээр нь бүгд токен шинж чанартай байдаг. Тийм ч учраас код ихтэй мөрүүд олон токеныг хурдан ашиглаж чаддаг.

Жишээ 4: SEO нийтлэл бичих

Гарчиг, тойм, гарчиг, түлхүүр үг, өнгө аяс, жишээ, мета тайлбарыг асуух хүсэлт нь энгийн хүсэлтээс илүү олон токен ашигладаг. Мөн нийтлэл урт тул гаралт нь олон токен ашигладаг.

Жишээ 5: Харилцагчийн дэмжлэгийн автоматжуулалт

Компани нь хиймэл оюун ухаанд хэрэглэгчийн мессеж, дансны мэдээлэл, бодлогын хэсэгчилсэн мэдээлэл, хариу үйлдлийн дүрмийг илгээж болно. Энэ бүхэн нь токен болж хувирдаг. Илүү их контекст оруулах тусам систем хязгаарлалт болон зардлын талаар илүү болгоомжтой байх ёстой.

Та тэдгээрийг анзаарч эхэлмэгц хаа сайгүй токенууд гарч ирнэ. Нарны гэрэлд тоос шороо шиг боловч арай л ухаангүй.

---

13. Токенуудыг ойлгох нь яагаад хиймэл оюун ухааныг ашиглахад илүү сайн болгодог вэ?

Токенуудыг ойлгохын тулд та машин сургалтын инженер болох шаардлагагүй.

Үндсэн ойлголт танд туслах болно:

• Цэвэрлэгчийн зааврыг бичих

• Загварыг хэт ачаалахаас зайлсхий

• Урт чатууд яагаад заримдаа гаждагийг ойлгох

• Нэг хүсэлт нөгөөгөөсөө яагаад илүү үнэтэй болохыг тооцоол

• Илүү сайн хураангуй үүсгэх

• Баримт бичигтэй илүү ухаалаг ажиллах

• Илүү тогтвортой хиймэл оюун ухааны гаралтуудыг аваарай

Энэ нь танд хиймэл оюун ухааныг шидэт хайрцаг шиг хандахаа болиход тусалдаг.

Энэ бол сайн хэрэг. Шидэт хайрцаг сэтгэлгээ нь хүлээлтийг гажуудуулдаг. Токенд суурилсан сэтгэлгээ нь хэрэгслийг илүү удирдахад хялбар болгодог.

Хиймэл оюун ухаан нь токен хэв маягаар ажилладаг гэдгийг ойлгосноор та илүү сайн асуулт асууж эхэлдэг. Та илүү сайн нөхцөл байдлыг өгдөг. Та чат руу роман хийгээд "бодол?" гэж хэлэхээс зайлсхийдэг - үнэнийг хэлэхэд бидний ихэнх нь хэзээ нэгэн цагт хийхийг хүсдэг байсан.

Таны оролт сайн байх тусам загварын дагаж мөрдөх тэмдэгтийн зам төдий чинээ сайн байна.

---

14. Хиймэл оюун ухаанд токен гэж юу вэ? Практик дүгнэлт

Тэгэхээр, хиймэл оюун ухаанд токен гэж юу вэ? Энэ нь хиймэл оюун ухааны загвар боловсруулдаг текст эсвэл өгөгдлийн жижиг нэгж юм.

Гэхдээ илүү практик хариулт нь энэ юм:

Токен бол хүний ​​хэл болон машины сэтгэлгээний хоорондох үндсэн харилцаа холбооны хэсэг юм. Энэ бол таны орооцолдсон, сэтгэл хөдлөл ихтэй, бичгийн алдаатай өгүүлбэр хэрхэн загварчлах боломжтой зүйл болж хувирдаг тухай юм.

Токенууд нь загварт нөлөөлдөг:

• Ойлголт

• Санах ой

• Зардал

• Хурд

• Гаралтын урт

• Нарийвчлал

• Форматлах

• Контекст боловсруулах

Тэд ихэнхдээ үл үзэгдэх боловч үргэлж тэнд байдаг.

Таны бичсэн асуулт бүр жетон болж хувирдаг. Таны уншсан хариулт бүр нь жетоноос үүсгэгддэг. Догол мөр, таслал, эможи, кодын хэсэг, эвгүй хэллэг бүрийг загвар боловсруулж чадах нэгж болгон хуваадаг.

Энэ өгүүлбэр хүртэл жетон юм. Маш мета. Бага зэрэг залхмаар. Хөөрхөн юм. ✨

---

15. Хаалтын тэмдэглэл

Хиймэл оюун ухаанд токен гэж юу вэ? Токен гэдэг нь хиймэл оюун ухааны загварууд текст унших, тайлбарлах, үүсгэхэд ашигладаг хэлний жижиг хэсэг юм. Энэ нь токенизатороос хамааран үг, үгийн хэсэг, цэг таслал, зай эсвэл өөр жижиг нэгж байж болно.

Токенуудыг ойлгох нь хиймэл оюун ухааны хэрэгслүүд яагаад хязгаартай байдаг, урт зааварчилгаа яагаад илүү үнэтэй байдаг, контекст яагаад чухал, тодорхой зааварчилгаа нь яагаад том орооцолдсон догол мөрүүдээс илүү сайн ажилладаг болохыг ойлгоход тусална.

Эхэндээ энэ бүхэн техникийн мэт сонсогдож байгаа ч энэ нь практик зүйл рүү чиглэж байна:

Хиймэл оюун ухаан нь хэлийг хүний ​​хэлбэртэй бүрэн хазалтаар ашигладаггүй. Энэ нь хэлийг жетон болгон хувиргаж, хэв маягийг судалж, дараа нь юу болохыг урьдчилан таамагладаг.

Жижиг хэсгүүд. Маш том үр дүн. Өвөрмөц бяцхан гайхамшиг 🤖✨

Бодит жишээ: Токен үр ашигтай хэрэглэгчийн дэмжлэгийн туслахыг бий болгох

Хувилбар

Жижиг онлайн тавилгын жижиглэн худалдаа эрхлэгч нь хүргэлтийн гомдол, буцаан олголтын хүсэлт, гэмтсэн барааны тайланд хариу бичихдээ хиймэл оюун ухааны туслахыг ашигладаг.

Эхний хувилбарт туслах нь хэн нэгэн тасалбар нээх бүрт буцаалтын гарын авлагыг бүхэлд нь, үйлчлүүлэгчийн бүрэн мессежийн түүх, захиалгын дэлгэрэнгүй мэдээлэл, хэд хэдэн жишээ хариулт, бичих дүрмийн урт багцыг хүлээн авдаг. Энэ нь ихэвчлэн үйлчилгээ үзүүлэх боломжтой хариулт өгдөг боловч хүсэлт нь хөөрч, хүсэлтийг боловсруулахад удаан хугацаа шаардагдах бөгөөд чухал мэдээлэл нь хамааралгүй бодлогын текстийн дор нуугдаж болно.

Дэмжлэгийн менежер нь ажлын урсгалыг хүсэлт бүр нь зөвхөн тасалбартай холбоотой бодлогын хэсгүүдийг агуулахаар дахин зохион бүтээдэг. Хуучин мессежүүдийг товч баримтын хураангуйгаар сольж, үйлчлүүлэгчийн одоогийн мессежийг өөрчлөхгүй хэвээр үлдээдэг. Энэ нь даалгавар болон түүний үр дүнд хариу өгөх контекст цонхны илүү хэсгийг ашиглах боломжтой болгодог.

Туслахад юу хэрэгтэй вэ

• Үйлчлүүлэгчийн хамгийн сүүлийн үеийн мессеж болон захиалгын дэлгэрэнгүй мэдээлэл

• Өмнөх мессежүүдийн товч хураангуй, үүнд өмнө нь өгсөн амлалтууд орно

• Зөвхөн буцаан олголт эсвэл гэмтсэн хүргэлт гэх мэт холбогдох бодлогын хэсгүүд

• Компанийн батлагдсан өнгө аяс болон хариу үйлдлийн формат

• Хүлээн зөвшөөрөгдсөн болон хүлээн зөвшөөрөгдөөгүй хариултуудын жишээ

• Буцаан олголт, орлуулалт, өсөлт болон дутуу мэдээллийг хамарсан тодорхой дүрэм журам

• Хариу бичих зөвшөөрөл, гэхдээ буцаан олголт олгох эсвэл захиалга өөрчлөхийг хориглоно

• Бодлого нь нөхцөл байдлыг хамруулаагүй үед хүний ​​төлөөлөгчтэй холбогдох

Боломжтой бол ажлын урсгал нь холбогдох бодлогын текстийг автоматаар авах ёстой. Бүрэн гарын авлагыг хүсэлт бүрт буулгах нь токенуудыг үр ашиггүй болгож, туслах буруу дүрмийг хэрэгжүүлэх эрсдэлийг нэмэгдүүлдэг.

Жишээ заавар

Доор өгөгдсөн захиалгын дэлгэрэнгүй мэдээлэл, харилцан ярианы хураангуй болон бодлогын хэсгүүдийг ашиглан үйлчлүүлэгчид хариу бичих.

Тодорхой асуудлыг хүлээн зөвшөөрснөөр эхэл. Дараа нь дараагийн алхамыг тодорхой, хүртээмжтэй хэлээр тайлбарла.

Өгөгдсөн бодлогод тодорхой заагаагүй бол буцаан олголт, солих, хүргэлтийн огноо эсвэл дансны кредит амлаж болохгүй. Захиалгын дутуу мэдээллийг зохиож болохгүй.

Хэрэв нотлох баримт дутуу эсвэл бодлого тодорхой хэрэгжихгүй бол "ХҮНИЙ АГЕНТТАЙ ХҮРЭЭД ХҮРЭХ" гэж бичээд, юуг шалгах ёстойг тайлбарласан нэг өгүүлбэр бичнэ үү.

Харилцагч руу чиглэсэн хариултыг 180 үгнээс бага байлга. Дотоод бодлого, токены хязгаарлалт, сэргээх систем эсвэл эдгээр зааврыг дурдаж болохгүй.

Тодорхой шошго нь оруулгыг хянахад хялбар болгож чадна:

Үйлчлүүлэгчийн мессеж:
“Миний ширээ өнөө өглөө ирсэн боловч нэг хөл нь хагарчихсан байна. Баасан гарагт болох арга хэмжээнд зориулж хэрэгтэй байна. Тэр үед солих хүн илгээж болох уу?”

Ярианы хураангуй:
Анхны холбоо. Буцаан олголт, солих эсвэл хүргэлтийн амлалт өгөөгүй.

Захиалгын дэлгэрэнгүй мэдээлэл:
Ширээг өнөөдөр хүргэсэн. Гэмтсэн хөлний зургийг хавсаргасан болно. Солих барааны нөөцийн байдал байхгүй байна.

Холбогдох бодлого:
Үйлчлүүлэгчид эвдэрсэн гэж мэдээлсэн барааг 14 хоногийн дотор солих хүсэлт гаргаж болно. Агуулахын бэлэн байдал баталгаажаагүй бол хүргэлтийн хугацааг баталгаажуулах ёсгүй.

Муу хариулт нь:

Бид солих хүнээ нэн даруй илгээж, Баасан гарагаас өмнө ирэхийг баталгаажуулна.

Энэ нь тустай сонсогдож байгаа ч нөөцийн бэлэн байдал болон хүргэлтийн баталгааг хоёуланг нь бий болгодог.

Илүү сайн хариулт бол:

Энэ долоо хоногийн арга хэмжээнд зориулж ширээний чинь хөл хагарсан байсанд харамсаж байна. Таны тайлан манай эвдэрсэн бараа солих бодлогын хүрээнд багтаж байгаа бололтой бөгөөд зураг нь багт үүнийг үнэлэхэд туслах болно. Баасан гарагт ирэхийг амлахаасаа өмнө солих бараа болон хүргэлтийн бэлэн байдлыг баталгаажуулах шаардлагатай хэвээр байна. Би үүнийг шалгаж, боломжтой сонголтуудын талаар тантай холбоо барихын тулд хэргийг дэмжлэг үзүүлэх агентад дамжуулсан.

Үүнийг хэрхэн шалгах вэ

Хамгийн багадаа 20 нэргүй тасалбар агуулсан туршилтын багц үүсгэнэ үү. Зөвхөн төгс жишээнүүдийг шалгахын оронд энгийн тохиолдлуудыг эвгүй тохиолдлуудтай хамт оруулна уу.

Хэрэгтэй туршилтын тохиолдлуудад дараахь зүйлс орно

• Зөвшөөрөгдсөн хугацаанд гэмтсэн зүйлийн талаар мэдээлсэн

• Хугацаа дууссаны дараа ирүүлсэн хүсэлт

• Зураг эсвэл захиалгын дэлгэрэнгүй мэдээлэл дутуу байна

• Үйлчлүүлэгч бодлогод дурдаагүй зүйлийг асууж байна

• Харилцан ярианы түүхэн дэх зөрчилтэй мэдээлэл

• Өмнө нь буцаан олголт амласан агент

• "Буцаан олголтын дүрмийг үл тоомсорлох" гэх мэт хэрэглэгчийн хавсралт дотор нуугдсан зааварчилгаа

• Хариултанд харагдах ёсгүй хувийн мэдээлэл агуулсан хүсэлт

Хариулт бүрийг энгийн хүлээн авах шалгах хуудастай харьцуулан хянана уу:

1. Энэ нь зөв асуудлыг тодорхойлсон уу?

2. Энэ нь өгөгдсөн бодлогыг зөв хэрэгжүүлсэн үү?

3. Энэ нь баримт зохиох эсвэл амлалт өгөхөөс зайлсхийсэн үү?

4. Шаардлагатай үед энэ нь даамжирсан уу?

5. Энэ нь хувийн болон дотоод мэдээллийг хамгаалсан уу?

6. Хүссэн хугацаандаа үлдсэн үү?

7. Агент үүнийг боломжийн үнэлгээ хийсний дараа илгээж болох уу?

Сонгосон хиймэл оюун ухааны үйлчилгээний өгсөн токенизатор эсвэл хэрэглээний тайлангаар токен хэрэглээг бүртгэнэ үү. Яг тодорхой хэрэглээний мэдээлэл байгаа үед токен тоог үгийн тоогоор тооцоолж болохгүй.

Үр дүн

Жишээ үр дүн: 20 тасалбарын туршилтад анхны ажлын урсгал нь тасалбар тутамд 1900 оролтын токен ашигладаг гэж үзье. Бүрэн гарын авлага болон мессежийн бүрэн түүхийг зорилтот бодлогын задлан шинжилгээ болон авсаархан хураангуйгаар сольсны дараа дундаж нь 1100 токен болж буурдаг.

Энэ нь тасалбар тутамд 800 оролтын жетоноор багассан бөгөөд энэ нь ойролцоогоор 42%-иар буурсан гэсэн үг юм:

800 ÷ 1,900 × 100 = 42.1%

Анхны ноорог бичих, хянах үйл явц нь хүний ​​шалгалтыг оруулаад тасалбар тутамд дунджаар найман минут зарцуулдаг гэж үзье. Шинэчилсэн үйл явц нь таван минут үргэлжилнэ: бэлтгэл хийх, ноороглоход хоёр минут, дараа нь гурван минут хянах. Тиймээс жишээ нь тасалбар тутамд гурван минут буюу 20 тасалбарын шалгалтын туршид 60 минут хэмнэнэ.

Чанарыг хурдтай хамт хэмжих ёстой. Жишээлбэл, анхны ажлын урсгалын дагуу 20-ийн 16-тай харьцуулахад 20 шинэчилсэн нооргийн 18 нь анхны хяналт шалгалтын үеэр долоон хүлээн авах шалгалтыг бүгдийг нь хангаж байж магадгүй юм. Амжилтгүй болсон хоёр шинэчилсэн нооргийг чимээгүйхэн хаяхын оронд үр дүнд нь үлдээж, шалгах хэрэгтэй.

Эдгээр тоо баримт нь компанийн нийтэлсэн үр дүн биш, харин заасан туршилтын загвар дээр үндэслэсэн жишээ хэмжилт юм. Жижиг тестийн багц, тасалбарын хүндрэлийн зөрүү, шүүмжлэгчдийн субъектив шийдвэрүүд нь бүгд үр дүнд нөлөөлж болно.

Юу буруу болж болох вэ

Токенуудыг хэт түрэмгий байдлаар багасгах нь зөв хариултыг өөрчлөх мэдээллийг арилгаж болзошгүй. Жишээлбэл, "үйлчлүүлэгч буцаан олголт хүссэн" гэсэн товч агуулга нь өмнөх агент үүнийг аль хэдийн зөвшөөрсөн гэсэн баримтыг орхигдуулж болно.

Мөн сэргээх нь буруу бодлогын хэсгийг сонгож болно. Дараа нь туслах нь хамааралгүй дүрмүүд дээр үндэслэн өнгөлсөн хариулт гаргаж болно. Тиймээс чухал эх сурвалжийн текстийг хянаж буй агентад харагдахуйц хэвээр байх ёстой.

Бусад нийтлэг алдаануудад хуучирсан бодлого, бүртгэлд гарч буй хэрэглэгчийн мэдээлэл, байршуулсан баримт бичиг доторх далд зааварчилгаа, тодорхойгүй өргөтгөлийн дүрэм, туслах нь зүгээр л хариулт бичсэн байхад үйлдэл хийсэн гэж мэдэгдэх зэрэг орно.

Зорилго нь аль болох богино хугацааны даалгавар үүсгэх биш, харин аюулгүй шийдвэр гаргахад шаардлагатай бүх баримт, дүрэм, үл хамаарах зүйлийг хадгалахын зэрэгцээ давталтыг арилгах явдал юм.

Практик хоол

Токен үр ашиг нь зөвхөн үгсийг устгахаас гадна илүү сайн контекст сонгохоос үүдэлтэй. Туслахад одоогийн хүсэлт, холбогдох нотлох баримт, холбогдох дүрэм журам, тодорхойгүй байдлын тодорхой хил хязгаарыг өг. Бусад бүх зүйл түүний эзэлж буй орон зайг зөвтгөх ёстой.

Түгээмэл асуултууд

Энгийнээр хэлбэл хиймэл оюун ухаанд токен гэж юу вэ?

Хиймэл оюун ухаан дахь токен гэдэг нь загвар боловсруулдаг текст эсвэл өгөгдлийн жижиг нэгж юм. Энэ нь бүтэн үг, үгийн хэсэг, цэг таслал, зай эсвэл тэмдэг байж болно. Хиймэл оюун ухааны системүүд нь өдөөлтийг токен болгон хувааж, тоон дүрслэл болгон хувиргаж, хариу үйлдэл дэх дараагийн токеныг урьдчилан таамаглахын тулд сурсан хэв маягийг ашигладаг.

Нэг хиймэл оюун ухааны токен нь нэг үгтэй адил уу?

Үгүй ээ, нэг тэмдэг нь үргэлж нэг үгтэй тохирч байдаггүй. Түгээмэл үгс нь нэг тэмдэг үүсгэж болох бол урт, ер бусын эсвэл техникийн нэр томьёог хэд хэдэн дэд үгэнд хувааж болно. Цэг тэмдэг, эможи, зай, формат нь тэмдэгтийн тоонд нөлөөлж болно. Нарийн хуваарилалт нь хиймэл оюун ухааны загварт ашигладаг тэмдэгтээс хамаарна.

Хиймэл оюун ухааны загварууд хариулт үүсгэхийн тулд токенуудыг хэрхэн ашигладаг вэ?

Хиймэл оюун ухааны загвар нь эхлээд таны хүсэлтийг жетон болгон хувааж, тоон дүрслэл болгон хувиргадаг. Дараа нь эдгээр жетонуудын хоорондын хамаарлыг шинжилж, дараа нь хамгийн их магадлалтай тэмдгийг урьдчилан таамагладаг. Энэ үйл явц нь хариу дуустал үргэлжилнэ. Таамаглал бүрийг хүсэлт, харилцан ярианы контекст, загварын тохиргоо болон аль хэдийн үүсгэсэн жетонуудаар хэлбэржүүлдэг.

Токенууд яагаад хиймэл оюун ухааныг ашиглах өртөгт нөлөөлдөг вэ?

Олон хиймэл оюун ухааны үйлчилгээнүүд боловсруулсан токены тоогоор хэрэглээг тооцдог. Оролтын токен нь таны мөр болон дэмжих контекстээс ирдэг бол гаралтын токен нь загварын хариултаас ирдэг. Тиймээс урт баримт бичиг, давтагдсан зааварчилгаа, урт хариулт нь хэрэглээг нэмэгдүүлдэг. Олон тооны API хүсэлтийг хариуцдаг бизнесийн хувьд шаардлагагүй текстийг хасах нь зардлыг хяналтанд байлгахад тусалдаг.

Хиймэл оюун ухааны контекст цонх гэж юу вэ, токенууд үүнд хэрхэн нөлөөлдөг вэ?

Контекст цонх гэдэг нь хиймэл оюун ухааны загвар хүсэлтийн явцад авч үзэж болох токенжуулсан мэдээллийн хамгийн их хэмжээ юм. Үүнд системийн заавар, таны хүсэлт, байршуулсан баримт бичиг, өмнөх мессежүүд болон үүсгэсэн хариулт орж болно. Боломжтой цонх дүүрэх тусам хуучин эсвэл ач холбогдол багатай мэдээлэлд бага анхаарал хандуулж магадгүй юм. Тодорхой, хамааралтай контекст нь төвлөрсөн дүн шинжилгээ, гаралтад илүү их зай эзэлдэг.

Хиймэл оюун ухааны хүсэлт нь токены хязгаараас хэтэрсэн үед юу болох вэ?

Хүсэлт нь боломжтой контекст цонхонд хэтэрхий том байх үед систем нь зарим агуулгыг таслах, нэгтгэх, хуваах эсвэл хасах боломжтой. Яг тодорхой үйлдэл нь хэрэгслээс хамаарна. Чухал мэдээллийг орхигдуулсан хэсгүүдэд гарч ирэхэд орхигдуулж болно. Нийтлэг арга бол урт баримт бичгүүдийг логик хэсгүүдэд хувааж, тус бүрийг нь шинжилж, дараа нь үр дүнг нэгтгэх явдал юм.

Би мөрүүддээ токен хэрэглээг хэрхэн багасгах вэ?

Үндсэн ажлаас эхэлж, хариултад нөлөөлөхгүй суурь мэдээллийг хас. Даалгаврын туршид зааврыг давтахын оронд зорилго, үзэгчид, формат, өнгө аяс, хязгаарлалт гэх мэт тодорхой шошго ашиглаарай. Урт яриандаа гол шийдвэрүүдийн товч тоймыг оруулна уу. Бүтэцлэгдсэн даалгавар нь ерөнхийдөө загварт зайлсхийх боломжтой дүүргэгч зүйлд контекст зарцуулахгүйгээр тэргүүлэх чиглэлийг тодорхойлоход тусалдаг.

Код, форматлах болон цэг таслал яагаад хиймэл оюун ухааны токен ашигладаг вэ?

Хиймэл оюун ухааны загварууд нь ердийн үгсээс илүү ихийг боловсруулдаг. Операторууд, хаалтууд, догол мөр, мөр таслал, цэг таслал болон бусад форматлах элементүүд нь тусдаа жетон эсвэл жетоны хэлтэрхий болж болно. Үүний үр дүнд код ихтэй мөрүүд болон өндөр форматтай баримт бичгүүд нь жетоныг хурдан ашиглаж чаддаг. Холбогдох форматыг хадгалах нь чухал боловч давхардсан код, шаардлагагүй тайлбар эсвэл давтагдсан загварыг арилгах нь хүсэлтийг илүү үр дүнтэй болгож чадна.

Зураг, аудио болон олон горимт загварт зориулсан хиймэл оюун ухаанд токен гэж юу вэ?

Олон горимт хиймэл оюун ухаанд токен гэдэг нэр томьёо нь бичгийн хэлнээс гадна боловсруулж болох нэгжийг хэлж болно. Зургийг нөхөөс эсвэл харааны онцлог шинж чанараар дүрсэлж болох бол аудиог кодлогдсон сегментүүдэд хувааж болно. Техникийн арга нь системүүдийн хооронд ялгаатай боловч үндсэн зарчим нь ижил хэвээр байна: нарийн төвөгтэй мэдээллийг загвар нь харьцуулж, тайлбарлаж, гаралт үүсгэхэд ашиглаж болох жижиг тоон нэгж болгон хувиргадаг.

Илүү олон токен ашиглах нь хиймэл оюун ухааны хариу үйлдлийг илүү сайн болгодог уу?

Автоматаар биш. Нэмэлт токенууд нь холбогдох нөхцөл байдал, жишээ, шаардлага эсвэл эх сурвалжийг өгөхөд тусалдаг. Гэсэн хэдий ч давтагдсан эсвэл зөрчилтэй зааварчилгаа нь загварын анхаарлыг сарниулж, тууштай байдлыг бууруулж болзошгүй юм. Хамгийн үр дүнтэй зааварчилгаа нь ихэвчлэн даалгаврыг хэт их ачаалалгүйгээр тодорхой тодорхойлоход хангалттай дэлгэрэнгүй мэдээллийг агуулдаг. Токенуудын чанар, зохион байгуулалт нь текстийн хэмжээнээс илүү чухал байдаг.

Лавлагаа

1. OpenAI тусламжийн төв - help.openai.com

2. OpenAI платформ - platform.openai.com

3. OpenAI Хөгжүүлэгчид - developers.openai.com

4. Хөгжүүлэгчдэд зориулсан Google - developers.google.com

5. Тэврэлт царай - huggingface.co

6. TensorFlow - tensorflow.org

7. Google Судалгаа - research.google

Албан ёсны хиймэл оюун ухааны туслах дэлгүүрээс хамгийн сүүлийн үеийн хиймэл оюун ухааныг олоорой

Бидний тухай