Ихэнх хүмүүс "хиймэл оюун ухаан" гэдэг үгийг сонсоод мэдрэлийн сүлжээ, гоёмсог алгоритмууд эсвэл магадгүй тэдгээр хачин жигтэй хүн дүрст роботуудыг төсөөлдөг. Анхан шатнаас ховорхон дурдагддаг зүйл бол энэ юм: Хиймэл оюун ухаан нь тооцоолол хийдэг шигээ санах ойг бараг л иддэг . Мөн ямар ч хадгалах объектын хадгалах төхөөрөмж ард чимээгүйхэн суугаад, хэрэгтэй өгөгдлийг загварчлах гэсэн утгагүй боловч зайлшгүй шаардлагатай ажлыг хийдэггүй.
Объект хадгалах нь хиймэл оюун ухаанд юугаараа чухал болохыг, хадгалах системийн "хуучин хамгаалалт"-аас юугаараа ялгаатай болохыг, мөн яагаад энэ нь өргөтгөх чадвар болон гүйцэтгэлийн гол хөшүүргүүдийн нэг болж байгааг авч үзье.
Үүний дараа унших дуртай нийтлэлүүд:
🔗 Бизнест зориулж томоохон хэмжээний генератив хиймэл оюун ухааныг ашиглахын тулд ямар технологиуд байх ёстой вэ?
Генератив хиймэл оюун ухааныг үр дүнтэй өргөжүүлэхийн тулд бизнесүүдэд гол технологиуд хэрэгтэй.
🔗 Таны анхаарах ёстой хиймэл оюун ухааны хэрэгслүүдийн өгөгдлийн менежмент
Хиймэл оюун ухааны гүйцэтгэлийг оновчтой болгохын тулд өгөгдөл боловсруулах шилдэг туршлагууд.
🔗 Хиймэл оюун ухааны бизнесийн стратегид үзүүлэх нөлөө
Хиймэл оюун ухаан бизнесийн стратеги болон урт хугацааны шийдвэр гаргалтад хэрхэн нөлөөлдөг вэ.
Хиймэл оюун ухаанд объект хадгалах систем яагаад чухал вэ? 🌟
Гол санаа: объектын хадгалалт нь хавтас эсвэл хатуу блокийн зохион байгуулалттай холбоотой асуудал үүсгэдэггүй. Энэ нь өгөгдлийг мета өгөгдөл бүхий "объектууд" болгон хуваадаг. Энэ мета өгөгдөл нь системийн түвшний зүйлс (хэмжээ, цагийн тэмдэг, хадгалалтын ангилал) болон хэрэглэгчийн тодорхойлсон key:value шошго [1] байж болно. Үүнийг яг юу болох, хэрхэн бүтээгдсэн, таны дамжуулах хоолойд хаана багтах талаар яг таг хэлж өгдөг наалттай тэмдэглэлийн овоолго бүхий файл бүртэй адил гэж бодоорой.
Хиймэл оюун ухааны багуудын хувьд энэхүү уян хатан байдал нь тоглоомын дүрмийг өөрчилдөг:
-
Мигреньгүй масштаб - Өгөгдлийн нуурууд петабайт хүртэл үргэлжилдэг бөгөөд объектын хадгалалтууд үүнийг хялбархан зохицуулдаг. Эдгээр нь бараг хязгааргүй өсөлт, олон AZ-ийн бат бөх чанарт зориулагдсан (Amazon S3 нь анхдагчаар "11 ес" болон бүс хоорондын хуулбарлалтаар сайрхдаг) [2].
-
Мета өгөгдлийн баялаг байдал - Объект бүртэй хамт контекст дагалдаж явдаг тул илүү хурдан хайлт, илүү цэвэр шүүлтүүр, илүү ухаалаг дамжуулах хоолойнууд бий болсон [1].
-
Үүлэн технологид суурилсан - Өгөгдөл нь HTTP(S)-ээр дамжин ирдэг бөгөөд энэ нь та таталтыг зэрэгцээ холбож, тархсан сургалтыг үргэлжлүүлэн дуугаргаж болно гэсэн үг юм.
-
Уян хатан чанар шингэсэн - Та хэдэн өдрийн турш бэлтгэл хийж байх үед эвдэрсэн хэлтэрхийг алж гэмтэх эрсдэлд орох боломжгүй. Объект хадгалах нь үүнийг зохион байгуулалтаараа зайлсхийдэг [2].
Энэ бол үндсэндээ ёроолгүй үүргэвч юм: дотор нь замбараагүй байж магадгүй ч гараа сунгахад бүх зүйл буцааж авч болох хэвээр байна.
Хиймэл оюун ухааны объект хадгалах хурдан харьцуулах хүснэгт 🗂️
| Хэрэгсэл / Үйлчилгээ | (Үзэгчдэд) хамгийн тохиромжтой | Үнийн хүрээ | Яагаад ажилладаг вэ (Захын захад тэмдэглэл) |
|---|---|---|---|
| Амазон S3 | Аж ахуйн нэгжүүд + Үүлэн технологид суурилсан багууд | Хэрэглэх үедээ төлөх | Маш бат бөх, бүс нутгийн хэмжээнд тэсвэртэй [2] |
| Google Үүлэн Сан | Өгөгдлийн эрдэмтэд ба машины технологи хөгжүүлэгчид | Уян хатан шатлал | Хүчтэй ML интеграцчилал, бүрэн үүлэн технологид суурилсан |
| Azure Blob хадгалах сан | Майкрософтын хүнд дэлгүүрүүд | Давхарласан (халуун/хүйтэн) | Azure-ийн өгөгдөл + ML хэрэгслүүдтэй хамт асуудалгүй |
| МинИО | Нээлттэй эх үүсвэртэй / өөрөө хийх тохиргоо | Үнэгүй/өөрөө зохион байгуулагч | S3-тэй нийцтэй, хөнгөн жинтэй, хаана ч байрлуулж болно 🚀 |
| Васаби халуун үүл | Зардал мэдрэмтгий байгууллагууд | Тогтмол хүүтэй бага $ | Гарах болон API хүсэлтийн хураамж байхгүй (бодлого тус бүрт) [3] |
| IBM Cloud Object Storage | Том аж ахуйн нэгжүүд | Өөр өөр байдаг | Байгууллагын аюулгүй байдлын хүчтэй сонголттой боловсорсон стек |
Үнэ ханшийг бодит хэрэглээтэйгээ, ялангуяа гаралтын хэмжээ, хүсэлтийн хэмжээ болон хадгалах сангийн ангиллын хослолтой харьцуулж үргэлж эрүүл ахуйн шаардлага хангасан эсэхийг шалгаарай.
Хиймэл оюун ухааны сургалт яагаад объект хадгалах дуртай байдаг вэ 🧠
Сургалт гэдэг бол "цөөн хэдэн файл" биш. Энэ бол зэрэгцээ эвдэрсэн сая сая бичлэг юм. Шаталсан файлын системүүд нь хүнд зэрэгцээ байдалд ордог. Объектын хадгалалт нь хавтгай нэрийн зай болон цэвэр API-уудын тусламжтайгаар үүнээс зайлсхийдэг. Объект бүр өвөрмөц түлхүүртэй байдаг; ажилчид зэрэгцээгээр сэнсдэж, татаж авдаг. Хуваагдсан өгөгдлийн багц + зэрэгцээ I/O = GPU-ууд хүлээхийн оронд завгүй байдаг.
Шуудуунаас зөвлөгөө авах: халуун хэсгүүдийг тооцооллын кластерын ойролцоо (ижил бүс эсвэл бүс) байлгаж, SSD дээр идэвхтэй кэш хий. Хэрэв танд GPU руу бараг шууд тэжээл хэрэгтэй бол NVIDIA GPUDirect Storage нь анхаарал татахуйц бөгөөд энэ нь CPU-ийн буцах буферийг багасгаж, хоцрогдолыг бууруулж, хурдасгуур руу шууд зурвасын өргөнийг нэмэгдүүлдэг [4].
Мета өгөгдөл: Дутуу үнэлэгдсэн супер хүч 🪄
Объектын хадгалалт нь тийм ч тодорхой бус байдлаар гэрэлтдэг газар энд байна. Байршуулах үед та өөрчлөн тохируулсан мета өгөгдлийг ( x-amz-meta-… ). Жишээлбэл, харааны өгөгдлийн багц нь зургуудыг lighting=low эсвэл blur=high түүхий файлуудыг дахин сканнердахгүйгээр дамжуулах хоолойг шүүх, тэнцвэржүүлэх эсвэл давхаргажуулах боломжийг олгодог [1].
хувилбарчлал гэж байдаг . Олон объектын хадгалалт нь объектын олон хувилбарыг зэрэгцүүлэн хадгалдаг бөгөөд хуулбарлах боломжтой туршилт эсвэл буцаах шаардлагатай засаглалын бодлогыг төгс болгодог [5].
Объект ба Блок ба Файлын Хадгалалт ⚔️
-
Блок хадгалах : Гүйлгээний өгөгдлийн санд гайхалтай - хурдан бөгөөд нарийвчлалтай - гэхдээ петабайт хэмжээний бүтэцгүй өгөгдлийн хувьд хэтэрхий үнэтэй.
-
Файл хадгалах : Танил, POSIX-д ээлтэй боловч асар их зэрэгцээ ачааллын дор сангууд гацдаг.
-
Объектын хадгалалт : Масштаб, параллелизм болон мета өгөгдөлд суурилсан хандалтад зориулж эхнээс нь зохион бүтээгдсэн [1].
Хэрэв та болхи зүйрлэл хүсч байвал: блок хадгалах сан нь файл хадгалах шүүгээ, файл хадгалах сан нь ширээний хавтас, харин объект хадгалах сан нь ... ямар нэгэн байдлаар ашиглах боломжтой болгодог наалдамхай тэмдэглэл бүхий ёроолгүй нүх юм.
Холимог хиймэл оюун ухааны ажлын урсгал 🔀
Энэ нь үргэлж зөвхөн үүлэн технологитой байдаггүй. Нийтлэг хослол нь дараах байдалтай байна:
-
Мэдрэмтгий эсвэл зохицуулалттай өгөгдөлд зориулсан орон нутгийн объектын хадгалалт
-
Ажлын ачаалал, туршилт эсвэл хамтын ажиллагаанд зориулсан үүлэн объектын хадгалалт
Энэ тэнцвэр нь өртөг, нийцэл, уян хатан байдалд нөлөөлдөг. Би багууд түр зуурын GPU кластерыг асаахын тулд S3 саванд терабайтыг нэг шөнийн дотор хаяж, дараа нь спринт дуусахад бүгдийг нь цөмийн зэвсэгтэй болохыг харсан. Илүү нягт төсвийн хувьд Wasabi-ийн тогтмол хурдтай/гарахгүй загвар [3] нь амьдралыг урьдчилан таамаглахад хялбар болгодог.
Хэний ч сайрхдаггүй хэсэг 😅
Бодит байдлын шалгалт: энэ нь өө сэвгүй биш юм.
-
Хоцрогдол - Тооцоолол болон хадгалалтыг хэт хол байрлуулбал таны GPU мөлхөх болно. GDS тусалдаг ч архитектур чухал хэвээр байна [4].
-
Зардлын гэнэтийн зүйлс - Гарах болон API хүсэлтийн төлбөр хүмүүст сэмхэн илэрдэг. Зарим үйлчилгээ үзүүлэгчид эдгээр төлбөрийг хүчингүй болгодог (Wasabi хийдэг; зарим нь үгүй) [3].
-
Мета өгөгдлийн эмх замбараагүй байдал - Шошго болон хувилбаруудад "үнэн"-ийг хэн тодорхойлдог вэ? Танд гэрээ, бодлого, засаглалын хүч хэрэгтэй болно [5].
Эд зүйлсийн хадгалалт бол дэд бүтцийн сантехник юм: чухал боловч тансаг биш.
Хаашаа чиглэж байна 🚀
-
SQL төст хайлтын давхаргуудаар дамжуулан өгөгдлийг автоматаар шошгож, ил гаргадаг илүү ухаалаг, хиймэл оюун ухаанд суурилсан хадгалалт
-
GPU-ууд I/O-д хэт ачаалалгүй байхын тулд техник хангамжийн интеграцийг илүү ойртуулсан
-
Ил тод, урьдчилан таамаглах боломжтой үнэ (хялбаршуулсан загварууд, гарах хураамжаас чөлөөлөгдсөн) [3].
Хүмүүс тооцооллыг хиймэл оюун ухааны ирээдүй гэж ярьдаг. Гэхдээ бодит байдал дээр үү? Асуудлын гол нь төсвийг үрэлгүйгээр өгөгдлийг загварт хурдан оруулах . Тийм ч учраас объект хадгалах төхөөрөмжийн үүрэг улам бүр нэмэгдэж байна.
Дүгнэлт 📝
Объектын хадгалалт нь тийм ч гял цал биш боловч суурь юм. Өргөтгөх боломжтой, мета өгөгдөлд суурилсан, уян хатан хадгалалтгүйгээр том загваруудыг сургах нь сандаалтай марафон гүйхтэй адил мэдрэмж төрүүлдэг.
Тийм ээ, GPU чухал, фрэймворк чухал. Гэхдээ хэрэв та хиймэл оюун ухааны талаар нухацтай бодож байгаа бол өгөгдлийнхөө байршлыг үл тоомсорлож болохгүй . Магадгүй объектын хадгалалт нь бүхэл бүтэн үйлдлийг чимээгүйхэн зогсоож байгаа байх.
Лавлагаа
[1] AWS S3 – Объектын мета өгөгдөл - систем ба захиалгат мета өгөгдөл
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html
[2] AWS S3 – Хадгалалтын ангилал - бат бөх чанар (“11 ес”) + уян хатан чанар
https://aws.amazon.com/s3/storage-classes/
[3] Wasabi Hot Cloud – Үнэ - тогтмол үнээр, гарах/API төлбөргүй
https://wasabi.com/pricing
[4] NVIDIA GPUDirect Хадгалалт – Баримт бичиг - GPU руу DMA замууд
https://docs.nvidia.com/gpudirect-storage/
[5] AWS S3 – Хувилбаржуулалт - засаглал/хуулбарлах олон хувилбар
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html