CLM-8B саяхан худалдаанд гарлаа: Агентуудад зориулсан Жевээс 9 дахин хурдан гэж мэдэгдэж буй шинэ нээлттэй хиймэл оюун ухааны загвар

Товч хариулт: CLM-8B нь агентуудын хурдан шийдвэр гаргахад чиглэсэн нээлттэй Эсрэг Хэлний Загвар бөгөөд зохиогчдын мэдэгдсэнээр Jev ангиллын үе тэнгийнхнээс 9 дахин бага хоцрогдолтой байна. Эдгээр тоо баримтууд хувилбарын тохиргооноос гадна батлагдаагүй хэвээр байна. Хэрэв та код бичих агентуудыг бүтээвэл графикт итгэхээсээ өмнө өөрийн тохиргоон дээр үндэслэн боловсруул.

Гол дүгнэлтүүд:

Хоцрогдлын нэхэмжлэл: ~9× Жев хурдатгалыг бусад хүмүүс хуулбарлах хүртэл зохиогчийн мэдээлсэн шиг авч үзнэ үү.

Үнэлгээний бэхэлгээ: CLM-8B-г A/B турших үед багаж хэрэгсэл болон зааврыг хөдөлгөөнгүй байлга.

Холимог стек: Халуун давталтуудад CLM ашиглаарай; шинэ даалгавруудад удаан үндэслэлтэй байгаарай.

Нээлттэй жин: Арилжааны сэрээг тээвэрлэхийн өмнө Apache лицензийн файлуудыг баталгаажуулна уу.

Буруу ашиглалтын эрсдэл: Агентууд миллисекундээр шийдвэр гаргах үед буцаах боломжтой хэрэгсэл болон нууцыг хаах.

CLM-8B юу болохыг хичээж байна вэ⚡

Энэхүү уналтыг сурталчилж буй хүмүүсийн тайлбарласнаар харьцуулсан хэлний загварын сургалт нь дараагийн тэмдгийн магадлалыг тусгаарлан нэмэгдүүлэхээс илүүтэй төлөв байдал болон үйлдлүүдийг холбох тухай юм. Тодорхой хэлбэл: загварыг зохиолч гэхээсээ илүү бодлогын удирдагч шиг "нөхцөл байдал энд байна"-г "хөдөлгөөн энд байна" гэж дүрслэхэд түлхдэг. Энэ бол 1-р системийн судлаачид чангаар бодож байхдаа тэмдгийг шатаадаг урт гинжин бодлын 2-р системийн хандлагаас ялгаатай нь хурдан, холбоо хамаарал бүхий, шийдвэр гаргах хэлбэртэй аналог юм.

CLM-8B нь уг шугамын анхны олон нийтийн жин юм. Энэ нь уналттай хамт ирсэн хамрах хүрээний талаар Apache 2.0 лицензтэй нээлттэй судалгааны хувилбар гэж байр сууриа эзэлж байгаа бөгөөд хэрэв та өмгөөлөгчийн зугаалгагүйгээр нарийн тохируулах, тээвэрлэх эсвэл салаалах хүсэлтэй бол энэ нь чухал юм. Жэки Квок уг бүтээлийг танилцуулсан ; Стэнфордтой холбоотой Азалиа Мирхосейни үүнийг бататгасан; мөн өргөн хүрээ нь Стэнфорд болон NVIDIA-тай холбоотой багийн хүчин чармайлтыг харуулж байна. Нэрлэсэн судлаачид, олон нийтийн жин, нээлттэй код - нэргүй алдагдлыг биш. Гуравдагч этгээдийн хуулбарлах нь эрт байна, тиймээс "сонирхолтой" болон "надад бие даасан зөвлөлийг үзүүл" гэсэн хоёрын хооронд эргэлзээтэй байгаарай.

Хэмжээний ангилал нь найман тэрбум параметр бөгөөд энэ нь лаборатори болон бие даасан үйлдвэрлэгчид үүнийг H100 хугацаанд бөөр зарахгүйгээр байршуулах боломжтой хэмжээнд бага юм. Илүү том CLM-35B дараагийн хувилбарын талаар аль хэдийн яриа өрнөж байна. Тэр том ах дүү хоцрогдлын түүхийг хадгалах уу эсвэл хурдыг гүн болгон солилцох уу гэдэг нь тодорхойгүй хэвээр байгаа ч замын зургийн дохио тодорхой байна: энэ нь нэг удаагийн демо карт биш, харин гэр бүл байх ёстой.

•  Фокус: төлөв → эссэ бичих биш, харин агентуудад зориулсан үйл ажиллагааны давталтууд
•  Хувилбарын хамрах хүрээнд Apache 2.0 гэж тодорхойлогдсон лиценз
•  Хэв маяг: Систем 1 / шийдвэрт чиглэсэн сургалтын түүх
•  Үргэлжлэл: төлөвлөгөөнд дурдсан том CLM-35B

Систем 1-ийн хэв маяг ба ердийн токен гүйлтийн зам 

Таны мэдэх ихэнх үйлдвэрлэлийн LLM нь нэг удаад текстийг нэг токеноор үүсгэдэг. Энэ нь үг, кодын дамп, болгоомжтой үндэслэл гаргахад маш сайн ажилладаг. Мөн минутанд хорин бичил шийдвэр гаргах шаардлагатай агент загвар нь "ухаалаг" байсан ч удаан санагдаж болох шалтгаан юм. Алхам бүр авторегрессийн татвар төлдөг.

Эсрэг хэлний загварын танилцуулга нь онцлох зүйлийг өөрчилдөг. Сүлжээнээс хариулт болгон өөрийн замыг өгүүлэхийг хүсэхийн оронд та түүнийг өгөгдсөн төлөвт зөв үйлдлийг илүүд үзэхээр сургадаг - зүгээр л чөлөөтэй үргэлжлэл биш, харин сайн ба муу хөдөлгөөнүүдийн хоорондох эсрэг тэсрэг таталтыг бодоорой. Бүтээгчид аль хэдийн хэв маягийг мэддэг: заримдаа танд мянган үгтэй үндэслэл хэрэггүй; та загварыг rm -rf- ийн оронд pytest гэж бичих хэрэгтэй . Хурдан давталтууд энэ ялгааг анхаарч үздэг.

Энэ бүхэн CLM-8B текст цацаж чадахгүй гэсэн үг биш юм. Энэ нь сургалтын зорилго болон үнэлгээний түүх нь агентын хяналт руу чиглэж байна гэсэн үг юм. Энэ нь "хэрэгсэл ашиглан дуудлага хийж чаддаг чат загвар"-аас өөр бүтээгдэхүүний хэлбэр юм. Салбар нь загваруудыг хэрэгслүүдийн талаар илүү сайн ярихын зэрэгцээ ярианыхаа саадыг даван туулахад олон жил зарцуулсан. Шийдвэр гаргахаас өмнө загвар гэдэг нь эргээд харахад илэрхий харагддаг эсвэл жишиг үзүүлэлтүүд орооцолдсон үед уналтад ордог хажуу тийшээ чиглэсэн хөдөлгөөн юм. Хоёр үр дүн хоёулаа боломжтой.

Нэхэмжлэлийн хурд болон сандлын тоонууд (Нэхэмжлэл гэж үзнэ үү)

Нийгмийн сүлжээний постуудыг хөтөлдөг хэсэг нь энд байна: сурталчлагчид Жев ангиллын загваруудаас 9 дахин хурдан дүгнэлт. Хөнгөн тохируулгын дараа тэд агент кодчилолын хүчтэй үр дүнг мэдээлдэг - DeepSWE ойролцоогоор 81.6% амжилттай, Terminal-Bench 2.1 ойролцоогоор 87.6% амжилттай байна. Зарим үнэлгээнд тэд тэг-shot гүйцэтгэлийг Жевтэй харьцуулах боломжтой гэж тодорхойлсон бол хоцрогдол нь хамаагүй бага хэвээр байна. Хувилбарын яриатай хамт хөвж буй нэг кластерын дүгнэлтэд терминалын бенч тохиргоонд ойролцоогоор 32 мс ангиллын хариу өгөх хугацаа дурдсан байна. Үүнийг болгоомжтой хэлнэ үү: энэ нийтлэлд бие даан аудит хийгээгүй, мэдээлж, мэдэгдсэн.

Хэрэв эдгээр хоцрогдлын тоонуудыг ерөнхийлөн авч үзвэл практик давуу тал нь зэрэгцээ агент тутамд GPU-ийн тоо цөөрөх эсвэл GPU тутамд илүү олон агент байх явдал юм. Бүрхүүлийг эвдэж буй кодлох агентууд нь ханын цаг хүлээлтийн овоолгоос болж онцгой мэдрэмтгий байдаг; 200 мс шийдвэр болон 30 мс шийдвэр нь хэдэн зуун эргэлтийн дараа өөр өөр бүтээгдэхүүн мэт санагддаг. Хэрэглэгчид интерактив хоцрогдол нь илүү хурц өвдөлттэй үед "загвар тэнэг" гэж буруутгадаг.

Гэсэн хэдий ч - энэ бол насанд хүрэгчдийн хяналтын догол мөр юм - зохиогчийн вандан сандлууд нь хэн нэгэн тэдгээрийг хуваалцсан заавраар хуваалцсан техник хангамж дээр хуулбарлах хүртэл маркетинг хийдэг. Хөнгөн нарийн тохируулгын үр дүн нь мөн олон шат дамжлагыг нууж чаддаг. Хүчтэй DeepSWE болон Terminal-Bench тоонууд нь яг сэтгэл хөдөлгөм байдаг, учир нь эдгээр багцууд нь хэврэг бодисуудыг шийтгэдэг боловч сэтгэл хөдлөл нь хуулбарлах биш юм. 9× болон 32 мс-ангийн дүрс дээр CLAIM гэсэн наалттай тэмдэглэл хадгал. 

Харьцуулсан хүснэгт: Токен бүрээр нь LLM-үүд болон CLM маягийн хүрээ

Маркетингийн хэл нь гулгамтгай болоход хүснэгтүүд тусалдаг. Энэ нь судлаачдын тайлбарласнаар LLM-ийн үеийн ердийн зуршлуудыг Харьцуулсан Хэлний Загварын түүхтэй харьцуулдаг. Нүднүүд нь зориудаар бага зэрэг жигд бус байдаг, учир нь тодорхой харьцуулалт үргэлж байдаг.

Хүснэгтийг дүгнэлт биш, харин оюун санааны загвар болгон ашиглаарай. Бүтээгдэхүүний багууд өөрсдийн бэхэлгээг хэмжих шаардлагатай хэвээр байна: багажны схем, дахин оролдох бодлого, орчны чимээ нь слайд тавцангийн хүлээн зөвшөөрснөөс илүү оноог хөдөлгөх болно.

Дуу чимээний ард хэн байна вэ 👤

Нээлттэй хиймэл оюун ухааны хувилбарууд нь лабораторийн нямбай хувилбаруудаас эхлээд нууцлаг торрент хүртэл янз бүр байдаг тул атрибут нь чухал юм. Энэ нь нүүр царайтай. Жэки Квок CLM-ийг нэвтрүүлсэн; Азалиа Мирхосейни үүнийг илүү өргөн хүрээнд хүргэхэд тусалсан; хамрах хүрээ нь Стэнфорд болон NVIDIA-тай холбоотой судалгааны хамтын ажиллагааг байнга хамардаг. Энэ нь бүх тоог ид шидийн мэт үнэн болгодоггүй ч нэр хүндийн арьсыг тоглоомд оруулдаг. Нэрлэгдсэн судлаачийн нээлттэй хувилбарууд нь нэргүй хувилбаруудаас илүү хурдан стрессийн тестэнд хамрагдах хандлагатай байдаг - үе тэнгийнхэн нь олон нийтийн байг хайрладаг.

Барилгачдын хувьд практик ач холбогдол нь хандалт юм. Нээлттэй жин болон Apache 2.0 маягийн лиценз (хэвлэлд гарсан тухай дурдсанчлан) нь зөвхөн судалгааны лицензээс цөөн тооны алдаатайгаар арилжааны туршилт хийх боломжтой гэсэн үг юм. Ямар нэгэн зүйл илгээхээсээ өмнө хувилбар дахь бодит лицензийн файлуудыг өөрөө шалгаарай; хамрах хүрээний хураангуй нь гэрээ биш юм. Энэ нь утгагүй сонсогдож магадгүй ч лицензийн утгагүй оролдлого нь стартапуудыг авардаг.

Нийгмийн олшруулалтын хэв маяг танил болсон: судлаачийн пост, нэр хүндтэй өсгөгчийн ишлэл-постууд, дараа нь "агентууд эцэст нь шийдэгдсэн" гэсэн давалгаа эхэлдэг. Хөшүүргийн дэлгэрэнгүй мэдээллийг хуваалцдаг хүмүүст зориулсан шүүлтүүр. Нэг амжилттай кодчилолын гүйлтийн дэлгэцийн агшин нь шинжлэх ухаан биш, харин сэтгэл санааны театр юм. 🛰️

Яагаад төлөвөөс үйлдэл рүү чиглэсэн давталтууд өөрийн гэсэн агент кодчилолтой байдаг вэ? 

Агент кодчилол бол харгис орчин юм. Загвар нь репозиторын агшин зураг, бүрхүүлийн транскрипт, магадгүй бүтэлгүйтсэн тестийг харж, засварлах эсвэл команд сонгох ёстой. Амжилт нь чатаас илүү олон удаа хоёртын системд байдаг. Тест ногоон өнгөтэй болдог эсвэл болдоггүй. Энэхүү шагналын хэлбэр нь үзэсгэлэнтэй бүтэлгүйтлийн эссэ бичдэг загваруудаас илүүтэй үйлдлийг цэвэрхэн сонгодог бодлогыг илүүд үздэг.

Харьцуулсан сургалтын түүхүүд нь тухайн төлөвийн дагуу сүлжээг илүүд үзсэн үйлдлүүд рүү чиглүүлдэг тул энэ ертөнцөд тохирно. Үүнийг залуу инженерт "компрайтерууд яагаад хэцүү байдаг талаар блог нийтлэл бичих"-ийн оронд "энэ алдааны ангиллыг хараад энэ засварын хэв маягийг ол" гэж заахтай адил гэж бодоорой. Залуу инженерт шүүмжлэл хэрэгтэй хэвээр байна; товчлол нь зөвхөн дитерингийг багасгадаг.

Энд саатал нэмэгдэнэ. Агент дунд зэргийн алдаа засахын тулд дунджаар наян хэрэгслийн алхам хийсэн гэж бодъё. Алхам тутамд 150 мс хурдтайгаар хэмжиж, та ханын цагийн арван хоёр секундыг сэргээж байна - энэ нь урсгалын төлөв болон хэрэглэгч имэйлийг шалгахын тулд alt таб хийх хоёрын хоорондох зөрүү юм. Агентуудын флотыг ажиллуулдаг багууд үүлэн дэх математикийн төлбөрийг ч бас мэдэрдэг. Jev ангиллын үе тэнгийнхний эсрэг магнитудын дарааллын дүгнэлтийн хурд нь зэрлэг байгальд "ердөө" 4x гэж газардсан ч гэсэн хүчин чадлын төлөвлөлтийг дахин зохион байгуулдаг.

Би уулзалтууд дээр байнга ашигладаг нэг тогтворгүй зүйрлэл байдаг: токен бүрээр нь чатын загварууд нь уулзвар бүрт маршрутын талаар мэтгэлцэхтэй адил байдаг бол Систем 1 маягийн хянагч нь хотын жолоодлогын булчингийн санах ойтой илүү төстэй байдаг. Шинэ хотод булчингийн санах ой бүтэлгүйтдэг. Репозиторын соёл өвөрмөц байх үед нарийн тохируулсан үйлдлийн загвар ч мөн адил бүтэлгүйтдэг. Та шинэ архитектурын сонголтуудын хувьд хэлэлцүүлгийн горимуудыг хүсч байгаа хэвээр байна; та тавь дахь "импортыг засах, дахин ажиллуулах" рефлексийг хүсч байна. Эрлийз стекүүд - хурдан CLM шиг хянагч болон хатуу мөчир дээрх илүү хүнд үндэслэл - хөөргөх постууд ганц баатрын загвар зарсан ч гэсэн ноцтой системүүд буух газар байх магадлалтай. 🚦

Мөн чангаар хэлэх нь зүйтэй: DeepSWE болон Terminal-Bench шагналын шат зэрэг агентлаг код бичих системүүд. Бэхэлгээний чанар, багаж хэрэгслийн зөвшөөрөгдсөн жагсаалт, сэргээх заавар нь амжилтын түвшинг хоёр оронтой тоогоор өөрчилж чадна. Гэрлийг нарийн тохируулсны дараа ~81.6% эсвэл ~87.6% байгааг харвал жингийн эргэн тойронд ямар боодол байгааг сайтар судлаарай. Энэ бол сүүдэр биш; энэ бол талбай хэрхэн ажилладаг вэ гэдэг юм.

Нээлттэй жин, нарийн тохируулга болон 35B сүүдэр 

Нээлттэй жин нь нэхэмжлэлийн нийгмийн динамикийг өөрчилдөг. Хаалттай API загварууд нь графикийг анивчуулж, бохирдол, декодлох заль мэх эсвэл системийн нууц хүсэлтийн талаар таахад хүргэж болзошгүй. Татаж авах боломжтой параметрүүдийн тусламжтайгаар та ядаж л зүйлийг нэвт норгож болно. CLM-8B-г дотоод код бичих орчиндоо - хөвөнгийн дүрэм, байршуулах CLI, монорепо топологид зориулж нарийн тохируулах нь эхний өдөр тэг цохилттой ид шид биш, харин гялалзсан лангуун тоонуудад хүрэх бодит зам юм.

Apache 2.0 хүрээ (хамрах хүрээний дагуу) нь бүтээгчдэд ээлтэй: патентын олголтын хэл, тодорхой дахин хуваарилалтын норм, "зөвхөн судалгаа" гэсэн цөөн тооны урхи. Дахин хэлэхэд: файлуудыг уншина уу. Хамрах хүрээний зохиогчид нэгтгэн дүгнэж, хуульчид мэргэшсэн.

Төлөвлөсөн CLM-35B нь замын зураг дээрх гол түлхүүр юм. Том загварууд нь ихэвчлэн хэлэлцэх чадвараа эргүүлэн олж авч, нэрэлт эсвэл таамаглалын заль мэх нь хоцрогдолыг хянахгүй бол "жижигхэн бөгөөд маш хурдан" сэтгэл татам байдлаа алддаг. Хэрэв найман тэрбумын хувилбар нь спорт машин, гучин таван тэрбумын хувилбар нь аялал жуулчлалын седан бол багууд хоёуланг нь хадгалж магадгүй: халуун эргэлтийн хувьд 8B, хатуу төлөвлөлтийн хувьд 35B. Эсвэл тоног төхөөрөмж хямд хэвээр байвал том загвар нь зүгээр л давамгайлж магадгүй юм. Аль ирээдүй ирэх нь тодорхойгүй хэвээр байна; ирээдүйн хувилбарын тэмдэглэлүүд шийдэх болно, энэ догол мөр биш.

Нээлттэй агент загваруудтай холбоотой нэг нарийн эрсдэл: хүмүүс тэдгээрийг хурдны хязгаарлалтгүйгээр CI руу холбож, хортой README-ээр дамжуулан шуурхай тарилгыг илрүүлэх болно. Хурдан загварууд нь практик үнэ цэнийг нэмэгдүүлдэгтэй адил буруу хэрэглээг нэмэгдүүлдэг. Хашлага нь заавал хийх косплей биш; тэдгээр нь бүтээгдэхүүн юм. 

• Чанарыг нь үнэлэхээсээ өмнө өөрийн ул мөрийг нарийн тохируулаарай
• Шинэ даалгавруудад зориулж удаан ухаалаг гар утсыг зугтах нүх болгон ашигла
• Зөвхөн нарийвчлал төдийгүй, таны бэхэлгээний хэрэгслийн хоцрогдол p50/p95
• 35B нь Паретогийн хил хязгаарыг дахин шилжүүлнэ гэж үзье

Цас орохгүйгээр Жевийн харьцуулалтыг унших нь 

Жев ангиллын загваруудтай харьцуулах нь уран илтгэх ажил хийж байна. Тэд агентын хурдны түвшинд тэнцэгчийг тогтоодог тул "9 дахин хурдан" нь лавлагаатай байдаг. Харьцангуй мэдэгдэлд зангуу хэрэгтэй бөгөөд энэ нь үндэслэлтэй юм. Аюул нь бүхэл бүтэн үнэлгээний стекийг нэг үржүүлэгч болгон задлах явдал юм. Багцын хэмжээ, нарийвчлал, декодчилох тохиргоо, контекстийн урт, хэрэгслийн дуудлагын цуваажуулалт нь "илүү хурдан" гэсэн үгийн утгыг өөрчилдөг бөгөөд эдгээр товчлуурууд нь нэг слайд дээр ховор гарч ирдэг.

Кластерын хураангуй нь терминалын вандан тохиргоонд ~32 ms-class хариултыг иш татсан үед хэн нэгэн нь эхний токен, бүрэн үйлдэлтэй JSON эсвэл кэшлэгдсэн угтвар гэсэн утгатай эсэхийг тодруулах хүртэл "хариу үйлдэл"-ийг хоёрдмол утгатай шошго гэж үз. Эдгээр ялгаа нь маркетингийн миллисекундыг инженерчлэлийн цаг болгон хувиргадаг. Бага хоцрогдолтой харьцуулж болох тэг цохилтын чанар нь мөрөөдлийн хослол юм; хэрэв бие даасан бүлгүүд энэ мөрөөдлийн талыг ч баталж чадвал CLM маягийн сургалт нь архитектурын уулзалтуудад байнгын суудал авдаг.

Тэр болтол Жевийг тогтсон тэргүүлэгчдийн самбараас илүү өрсөлдөөний өгүүлэмж гэж үз. Өрсөлдөөн нь бичлэгүүдийг зардаг. Таны үйлдвэрлэлийн KPI нь өгүүлэмжийг тоодоггүй. Даалгаврын амжилт, шийдэгдсэн тасалбар тутамд ногдох доллар, хүний ​​оролцооны түвшинг хэмж. Хэрэв Эсрэг тэсрэг хэлний загварын салаа эдгээрийг хожвол баярлаарай. Хэрэв энэ нь зөвхөн Твиттерийг хожвол алхсаар байгаарай. 🚶

Бага зэрэг зөрчилдөөнтэй цаг үе: өрсөлдөөний тухай өгүүлэмжүүд одоо хүртэл жингээ барьсаар байна. Тэд лабораториудыг агаартай уур амьсгалын оронд тоо нийтлэхийг албаддаг. Зүгээр л онооны самбарыг спорттой андуурч болохгүй.

Энэ хувилбарыг зөв болгохын тулд юу хэрэгтэй вэ 

CLM-8B нь мэдээллийн мөчлөгөөс цааш чухал болохын тулд дараах хэдэн зүйлийг анхаарах хэрэгтэй

• Хуулбарлалт: гадны бүлгүүд гарчгийн хоцрогдол болон код бичих амжилтын түвшинг баримтжуулсан жоруудтай тохируулж чаддаг байх ёстой.
• Бэхэлгээний ил тод байдал: DeepSWE болон Terminal-Bench оноог гаргасан агентын боодлын дэлгэрэнгүй мэдээллийг хуваалцах.
• Лабораторийн телепати гэж үздэггүй баримт бичиг: тодорхой нарийн тохируулгын скриптүүд, үнэлгээний командууд болон техник хангамжийн тэмдэглэлүүд.
• Алдаатай горимууд: Системийн 1-р хэлбэрийн шийдвэрүүд хаана нурж байгааг харуулна - шинэ API, тодорхойгүй тасалбарууд, аюулгүй байдалд мэдрэмтгий үйлдлүүд.
• Шинэчлэх зам: багууд 8B-ийн төгсгөлд хэт их ачаалал өгөхгүйн тулд CLM-35B хэрхэн холбогдож байгааг тодруулах.

Хэрэв эдгээр хайрцагнууд хоосон хэвээр байвал загвар нь өөр нэгэн сонирхолтой цаасан жин болж хувирна. Хэрэв тэд дүүрвэл агентын платформууд нь тодорхой бүрэлдэхүүн хэсгийн сонголтыг авах болно: хатуу бодолд зориулсан зөвлөлдөх LLM, татвалзах гарт зориулсан харьцуулсан хурдан загвар. Хөдөлмөрийн энэ хуваагдал нь нэг мега модель бүх ажлыг хоцрогдол бүрийн төсөвт хийх ёстой гэж дүр эсгэхээс илүү насанд хүрсэн мэт санагддаг.

Агентуудыг тээвэрлэдэг барилгачдад зориулсан практик зөвлөмжүүд 

Та маргааш стекээ дахин бичих шаардлагагүй. Танд шийдвэр гаргахад хурдан загваруудыг үнэлэх төлөвлөгөө хэрэгтэй. Агентынхаа хоцрогдолтой чухал хэсгийг сийлж эхэл - магадгүй терминалын микро давталт эсвэл "дараагийн grep-ийг сонгох" алхам - мөн одоогийн ажлын мориныхоо дагуу CLM-8B-г нарийн тохируул. Модон бэхэлгээний утгыг тогтмол байлга. Бүх зүйлийг бүртгэ.

Чимээгүй чанарын регрессийг ажиглаарай: өөртөө итгэлтэй буруу үйлдлээр шууд хариулдаг загварууд нь өндөр эрсдэлтэй репозиторуудад удаан зөв загваруудаас муу байдаг. Баталгаажуулалтын алхмуудыг нэмээрэй. Буцаах боломжтой хэрэгслүүдийг илүүд үзээрэй. Итгэл багатай үед хоёр дахь загварын дуудлагыг төлөвлө - тийм ээ, энэ нь хурдны хожлын зарим хэсгийг иддэг, энэ нь зүгээр. Тоормосгүй хурд нь демо хэрхэн тасалдал болдог вэ гэдэг юм.

Байгууллагын тал дээр, багтаамжийн хуудсыг зөвхөн секундэд ногдох токенуудын оронд "GPU тутамд секундэд ногдох үйлдэл" гэсэн баганаар шинэчилнэ үү. Агентын ажлын ачаалал нь яруу найргийн дамжуулалт биш харин шийдвэрийг чухалчилдаг. Хэрэв зохиогчдын ~9× мэдэгдэл таны техник хангамжтай хэсэгчлэн харьцвал таны хүснэгт өөр харагдах болно. Хэрэв үгүй ​​бол та хямдхан сурсан.

Мөн үйл ажиллагааны хайрын үүднээс загвар нь "аюулгүй" мэт санагдаж байсан тул үйлдвэрлэлийн нууцыг туршилтын агентад буулгаж болохгүй. Хурдан нээгддэг загварууд нь хэн ч хянадаггүй сүүдрийн системийг ажиллуулахад хялбар болгодог. Үйл явц чухал хэвээр байна. 

Нээлттэй утаснууд өлгөөтэй хэвээр байна 

Шийдвэрлэгдээгүй хэдэн сэдэв намайг бүрэн сурталчилгааны горимоос холдуулж байна:

• Кодчилолын амжилтын мэдээлэгдсэн хэмжээ нь жин ба нарийн тохируулгын өгөгдөл болон бүрхүүлтэй холбоотой эсэх нь тодорхойгүй хэвээр байна.
• Даалгаврууд орон нутгийн рефлексийн оронд урт хугацааны төлөвлөлт шаарддаг үед Систем 1-ийн хүрээ нимгэрч магадгүй юм.
• CLM-35B нь хоцролтын түүхийг хадгалах эсвэл өөр нэг хүчирхэг дунд хэмжээний LLM болж хувирч магадгүй юм.
• Эсрэг тэсрэг үйлдлийн сонголтууд нь тархалтын шилжилтийн үед хэврэг болж хувирдаг - шинэ хэл, шинэ үүлэн CLI, өрсөлдөгч репозиторууд.
• Үйлдлүүд миллисекундээр гүйцэтгэгдэх үед аюулгүй байдлын түүх нь махан биетэй байх шаардлагатай хэвээр байна.

Эдгээр нь багт цохилт өгөх зорилготой алдаа биш юм. Эдгээр нь аливаа ноцтой үрчлэлтийн хяналт шалгалтын үед хийх ёстой шалгалтууд юм. Эрт үеийн нээлттэй хувилбарууд нь анхааралтай хяналт, үрэлтийг шаарддаг бөгөөд сохроор суулгах шаардлагагүй.

Эцсийн дүгнэлт 

CLM-8B нь агентуудын хурдан төлөвөөс үйлдэл хийх зан төлөвт чиглэсэн нээлттэй, Apache-frame-тэй (хамрах хүрээ бүрт) Эсрэг тэмдгийн хэлний загвар бөгөөд Жеки Квок Азалиа Мирхосейнигийн олшруулалттайгаар олон нийтэд танилцуулж, Стэнфорд/NVIDIA-тай холбоотой судалгаа гэж ангилсан. Гарчиг нь Jev ангиллын дүгнэлтээс 9 дахин хурдан, гэрлийн нарийн тохируулгын дараах хүчтэй DeepSWE болон Terminal-Bench үр дүн, ~32 мс ангиллын терминалын хариу үйлдлийн талаарх яриа зэрэг хамаагүй бага хоцрогдолтой харьцуулах боломжтой тэг цохилтын чанар зэрэг нь зохиогчийн мэдээлсэн бөгөөд гуравдагч этгээдийн өргөн хүрээтэй баталгаажуулалтыг хүлээж байна. Илүү том CLM-35B нь тэнгэрийн хаяанд байна.

Хэрэв та агент код бичих систем бүтээвэл энэ нь шашин биш, харин төвлөрсөн үнэлгээ хийхэд үнэтэй юм. Үүнийг эрлийз стек дэх 1-р системийн хянагч гэж үзэж, өөрийн бэхэлгээний хэрэгслийг хэмжиж, бие даасан гүйлтүүд гарах хүртэл CLAIM наалтыг хүснэгт бүрт хадгалаарай. Сонирхолтой хэсэг нь шинэ логотой өөр нэг чатын загвар биш юм. Сонирхолтой хэсэг нь шийдвэр хэлбэрийн сургалт нь агентуудыг болгоомжгүй алдаа гаргахгүйгээр тэднийг шууд мэдрэхэд хүргэж чадах эсэх юм.

Практик жишээ: CLM-8B-д зориулсан хоцрогдол-чухал агентын бичил давталтын үнэлгээг бий болгох

тухай зохиогчийн графикууд : Агентуудад зориулсан Жевээс 9 дахин хурдан гэж мэдэгдэж буй шинэ нээлттэй хиймэл оюун ухааны загвар нь үнэмшилтэй харагдаж болно; таны бэхэлгээ бол чухал цорын ганц санал юм. Их Британийн бие даасан хэрэгслийн баг CLM-8B-г чат орлуулагч биш харин нэр дэвшигч Системийн 1 хянагч гэж хэрхэн авч үзсэнийг энд харуулав. Үүнийг өөрсдийн терминалын микро давталт дээр хэмжсэн.

Хувилбар

Сэм олон файлын рефакторуудад илүү хүнд кодчилолын агент ашигладаг жижиг бүтээгдэхүүн ажиллуулдаг. Хамгийн хэцүү хэсэг нь халуун гогцоо юм: амжилтгүй болсон тестийн бичвэрийг унших, дараагийн бүрхүүлийг сонгох эсвэл үйлдлийг засах, ажиллуулах, давтах. Хэрэглэгчид өвлийн бээлийтэй тоглоомын тавин алхамын хоцрогдол гэхээсээ илүү уйтгартай хариултын талаар гомдоллохоос бага гомдоллодог. Сошиал постууд нь Эсрэг тэсрэг хэлний загварын жин болон Жев ангиллын үе тэнгийнхнээсээ ~9 дахин хурдтай байгааг, мөн гэрлийн нарийн тохируулгын дараа DeepSWE / Terminal-Bench-ийн хүчтэй үзүүлэлтүүдийг нэмэгдүүлж байна. Сэм хэвлэлийн график дээр үйлдвэрлэлийг дахин бичихээс татгалздаг.

Тэд нэг хоцрогдолтой холбоотой чухал бичил давталт үүсгэдэг: өөрсдийн монорепогоос хорин алдааны засварын ул мөрийг засдаг. Одоогийн ажлын морь нь шинэ архитектурын тасалбаруудын талаарх хэлэлцүүлгийн зам хэвээр байна. CLM-8B - хэрэв байршуулж, ул мөрөө бага зэрэг сайжруулсан бол - зөвхөн "дараагийн буцаах үйлдлийг сонгох" алхам дээр өрсөлдөхийг зөвшөөрдөг бөгөөд итгэл багатай үед удаан шалтгаан нь зугтах нүх болгон ашигладаг.

Зорилго нь бэхэлгээг тогтмол байлгадаг A/B юм: ижил хэрэгслүүд, ижил зөвшөөрөгдсөн жагсаалт, ижил дахин оролдох бодлого. Секунд тутамд үйлдлүүдийг бүртгэх, p50/p95 хоцрогдол, даалгаврын амжилт, хүний ​​оролцоо - дараа нь нээлттэй жингүүд суудал авах эсэхийг шийднэ.

Туслахад юу хэрэгтэй вэ

• Бодит ажлаас авсан нэрээ нууцалсан хорин бүтэлгүйтлийн ул мөр (оруулга + зөвхөн зөвшөөрөгдсөн хэрэгслүүд)
• Тогтмол агентын ороомог: хэрэгслийн схем, зөвшөөрөгдсөн жагсаалт, хамгийн их алхамууд болон “удаан шалтгааныг дуудах” салбар
• Одоогийн загвар дээрх ижил хорин даалгаврын суурь оноо
• CLM-8B хостод зориулсан техник хангамжийн тэмдэглэл (GPU ангилал, нарийвчлал, багц), тиймээс "илүү хурдан" нь лавлагаатай байна
• НЭХЭМЖЛИЙН стикерийн дүрэм: зохиогч DeepSWE / Terminal-Bench / ~9× / ~32 мс дүрсүүд нь энэ бэхэлгээ ямар нэгэн зүйлийг хуулбарлах хүртэл шошготой хэвээр байна
• Аливаа CI холболтын өмнө буруу боловч хурдан үйлдлүүдийг хянадаг хүний ​​​​эзэмшигч

Жишээ заавар

Та надад кодчилолын агент дотор хурдан төлөв → үйлдлийн хянагч болгон CLM-8B-д зориулсан шударга A/B зохион бүтээхэд тусалж байна. Зөвхөн миний буулгасан бэхэлгээний баримтуудыг ашиглаарай. Хоцрогдлын үржүүлэгч, DeepSWE оноо, эсвэл лицензийн нөхцөлийг зохиож болохгүй.

Даалгавар: Миний хорин даалгаврын нэр болон одоогийн суурь тэмдэглэлээс (1) Даалгавар / Загвар / Алхамууд / Ханын цаг / Амжилт (тэнцсэн/бүтэлгүйтсэн) / Хүний оролцоо (тэмдэглэл) / Тэмдэглэл гэсэн багана бүхий онооны хуудас, (2) загваруудын хооронд ороомгийг ижил байлгадаг зургаан сумтай протокол, (3) CLM-8B хэзээ микро давталтыг эзэмшиж болох, харин удаан үндэслэл рүү шилжих үед тодорхой өдөр тутмын үг хэллэгээр шийдвэр гаргах дүрмийг боловсруул.

Хязгаарлалтууд: Их Британийн Англи хэл. Зохиогчийн мэдээлсэн тоо бүрийг гарч ирвэл НЭХЭМЖЛЭЛ гэж тэмдэглэнэ үү. Буцаах боломжтой хэрэгслүүдийг илүүд үзнэ үү. "Агентууд эцэст нь шийдсэн" гэсэн хэлийг хориглоно уу. Хэрэв миний буулгалтаас хэмжүүр байхгүй бол таах гэж бичихийн оронд [ХЭМЖИЛТ ХЭРЭГТЭЙ] гэж бичнэ үү.

Гаралт: онооны хуудасны толгой хэсэг болон орлуулагч ашиглан нэг дүүргэсэн жишээ мөр, протоколын сум, дараа нь өргөжүүлэх/хадгалах дүрэм. Оршил байхгүй.

Үүнийг хэрхэн шалгах вэ

• Одоогийн ажлын морин дээр болон ижил ороомогтой CLM-8B нарийн тохируулга дээр ижил арван мөрийг ажиллуул. Зөвхөн ханын цаг болон амжилт нь ялгаатай эсэхийг баталгаажуул - багажны жагсаалт биш.
• “Энэ долоо хоногт аль зохиогчийн график бүтээмжийг өөрчилж болох вэ?” гэж асуу. Сайн хариулт: энэ холбоос амжилт болон хоцрогдлын талаарх давуу талыг харуулах хүртэл өөрчлөгддөггүй.
• Захын тохиолдол: CLM-8B нь хор хөнөөлтэй командын саналтайгаар ~30 мс-ийн дотор хариулдаг - зөвшөөрөгдсөн жагсаалтыг баталгаажуулж, CI-ээс өмнө хүний ​​хяналтаар үүнийг олж мэднэ.
• Ирмэгийн тохиолдол: хорин мөрөөс гадуурх шинэ API тасалбар - рефлекс загвар биш, харин удаан сэтгэгч үүнийг эзэмшдэг болохыг баталгаажуулна уу.
• Хүлээн авах шалгалтууд: (1) хэмжсэн үр дүнд зохиомол 9× гэсэн мэдэгдэл байхгүй, (2) p50 ба p95 хоцрогдол бүртгэгдсэн, (3) амжилтын хуваарь нь хорин даалгавар, (4) буруу хурдан үйлдлүүдийг тоолсон, (5) Apache/лицензийн шалгалт нь аливаа арилжааны хөлөг онгоцны төлөвлөгөөний өмнө офлайнаар хийгддэг.

Үр дүн

Жишээ үр дүн (зохиогчдын лабораторийн бие даасан давталт биш, харин хорин тогтмол монорепо мөр дээр гурван хүний ​​​​багаж хэрэгслийн багийн жишээ тооцоолол): Суурь ажлын морь нь 20 мөрийн 14-ийг хүний ​​​​тусламжгүйгээр дуусгасан; дундаж алхамын хоцрогдол нь ойролцоогоор 180 мс; буруу засвар хийсний дараа хоёр мөрийг хүн ашиглах шаардлагатай болсон. Дотоод мөрүүд дээр (ижил боодолтой) CLM-8B-ийг бага зэрэг нарийн тохируулсны дараа 20 мөрийн 15 нь тусламжгүйгээр өнгөрсөн; тэдний дан GPU хост дээр дундаж алхамын хоцрогдол нь ойролцоогоор 45 мс; хэрэглэхээс өмнө нэг нэмэлт буруу хурдан үйлдлийг зөвшөөрөгдсөн жагсаалтад илрүүлсэн. Хорин мөрийн багцын ханын цаг нь баталгаажуулалтын алхмуудыг оруулаад 38 минутаас 22 минут болж буурсан. Эрүүл ахуйн шалгах хуудсан дээр (бэхэлгээг тогтмол байлгасан, CLAIM шошгыг зохиогчийн график дээр хадгалсан, шинэ тасалбаруудад удаан үндэслэл ашигласан, туршилтын агентад үйлдвэрлэлийн нууц байхгүй), 5 тойм зүйлийн 5 нь тэнцсэн. Хязгаарлалтууд: жижиг даалгаврын багц, нэг техник хангамжийн ангилал, нарийн тохируулгын өгөгдлийн чанар давамгайлсан; энэ нь зохиогчдын энэхүү холбоосоос гадуурх ~9× эсвэл DeepSWE тоонуудыг баталгаажуулахгүй байна.

Өөрийн хувилбарыг хэмжихийн тулд: хорин ул мөрийг царцаах; одоогийн загварыг эхлээд оноо авах; CLM-8B-г баримтжуулсан нарийвчлал/тохиргоотойгоор байршуулах; ижил ороомогтой дахин ажиллуулах; амжилт/n, p50/p95, оролцоо, мөн ямар нэгэн НЭХЭМЖЛИЙН дугаарыг баримт гэж үзсэн эсэхийг мэдээлэх.

Юу буруу болж болох вэ

• Диаграмм мөргөл: Өөрийн гэсэн p95-гүйгээр ~9× хэмжээтэй слайд дээр тээвэрлэлт.
• Буруу-хурдан үйлдэл: Өндөр бооцоотой репозиторуудад удаан зөв алдаануудыг шууд өөртөө итгэлтэйгээр ялдаг.
• Модны бэхэлгээний шилжилт: Загваруудын хооронд багажны зааврыг сольж, үүнийг загварын ялалт гэж нэрлэх.
• Ганц баатрын стек: Шинэ архитектурын бүтээлийн талаарх зөвлөлдөх үндэслэлийг орхих.
• Лицензийг гараар даллах: Жингийн репозиторын лицензийн файлуудын оронд хамрах хүрээний хураангуйд итгэх.
• Сүүдрийн CI: Хурдны хязгаарлалт эсвэл тарилгын хяналтгүйгээр хурдан онгойдог бодисыг дамжуулах хоолой руу боолтоор бэхлэх.

Практик хоол

CLM-8B нь агент кодчилолд зориулсан 1-р системийн хянагч болох нээлттэй жин, шийдвэр хэлбэрийн түүх, зохиогчийн мэдээлсэн хурдны мэдэгдлүүдэд чиглэсэн үнэлгээ хийхэд үнэтэй юм. Энэ нь итгэл үнэмшил биш бөгөөд таны бэхэлгээ хэлэх хүртэл таны стекийн хувьд батлагдсан 9x биш юм. Боодлыг тогтмол барьж, секундэд үйлдлүүд болон буруу хурдыг бүртгэж, зугтах нүхийг удаан байлгаж, бие даасан гүйлтүүд (таныхийг оруулаад) эхлэх хүртэл хэвлэлийн хүснэгт бүрт CLAIM наалтыг үлдээгээрэй.

Түгээмэл асуултууд

CLM-8B гэж юу вэ, яагаад агент бүтээгчид үүний талаар ярьж байна вэ?

CLM-8B нь Эсрэг тэмдгийн хэлний загварын шугамд тогтоосон анхны олон нийтийн жин юм - зүгээр л нэг чат тархи биш, харин агентуудын хувьд хурдан шийдвэр гаргах давталт болгон танилцуулсан нээлттэй судалгааны хувилбар юм. Сургалтын түүх нь мужуудыг удаан дараагийн тэмдгийн эссэ гэхээсээ илүү Системийн 1-р рефлекстэй төстэй үйлдлүүдтэй холбодог. Найман тэрбум параметрийн хувьд энэ нь олон лаборатори болон бие даасан бүтээгчдэд байрлуулахад хангалттай жижиг бөгөөд Apache 2.0 лиценз нь уналтын эргэн тойронд хамрах хүрээнд багтсан болно. Нээлтийн бичлэгүүд дэх тоонууд нь зохиогчийн мэдээлсэн мэдэгдэл болохоос бие даасан лабораторийн дахин боловсруулалт биш юм.

CLM-8B нь агентуудын хувьд Жевээс 9 дахин хурдан гэж хэрхэн мэдэгддэг вэ?

Сурталчлагчид Jev ангиллын загваруудаас 9 дахин хурдан дүгнэлт хийдэг гэж мэдэгдэж байгаа бөгөөд терминалын лангуун тохиргоонд ойролцоогоор 32 мс ангиллын хариу үйлдэл үзүүлдэг гэж ярьдаг. Хөнгөн тохируулгын дараа тэд мөн хүчтэй агент кодчилолын үр дүнг мэдээлдэг - DeepSWE ойролцоогоор 81.6%, Terminal-Bench 2.1 ойролцоогоор 87.6% - мөн Jev-тэй харьцуулахад хамаагүй бага хоцрогдолтой тэг цохилтын чанар. 9× болон миллисекундын тоонуудыг гуравдагч этгээдүүд хуваалцсан техник хангамж дээр хуулбарлах хүртэл мэдэгдэл гэж үздэг. Харьцангуй хурд нь багцын хэмжээ, нарийвчлал, декодчилолын тохиргоог тодорхой зааж өгөх шаардлагатай хэвээр байна.

Харьцуулсан хэлний загварын сургалт нь ердийн LLM-ээс юугаараа ялгаатай вэ?

Ихэнх үйлдвэрлэлийн LLM-үүд нэг удаад нэг токен үүсгэдэг бөгөөд энэ нь зохиол болон урт үндэслэлд тохиромжтой боловч агентын гаргасан бичил шийдвэр бүрийг татварладаг. Сурталчлагчдын тайлбарласнаар Харьцуулсан Хэлний Загварын Сургалт нь сүлжээг нөхцөл байдлыг илүүд үзсэн алхамууд руу чиглүүлдэг - энэ нь зохиолч гэхээсээ илүү бодлогын удирдагчтай адил юм. Систем 1-ийн энэхүү хүрээ нь хэрэгслийн дуудлагын хооронд үүрд өгүүлэхээс илүү хурдан төлөвөөс үйлдэл рүү шилжих давталтуудыг илүүд үздэг. CLM-8B нь текстийг ялгаруулж чаддаг хэвээр байна; зорилго болон үнэлгээний түүх нь агентын хяналт руу чиглэдэг.

CLM-8B-г хэн гаргасан бэ, үнэхээр нээлттэй юу?

Жэки Квок уг бүтээлийг танилцуулсан; Азалиа Мирхосейни үүнийг бататгасан; хамрах хүрээ нь нэрлэгдсэн судлаачид, олон нийтийн жин, нээлттэй код бүхий Стэнфорд болон NVIDIA-тай холбоотой багийн хүчин чармайлтыг хамардаг. Хувилбарын лицензийг Apache 2.0 гэж ангилсан бөгөөд энэ нь нарийн тохируулга болон тээвэрлэлтэд чухал ач холбогдолтой - гэхдээ хамрах хүрээний хураангуйд найдахаасаа өмнө репозитор дахь лицензийн файлуудыг уншина уу. Нэрлэгдсэн нээлттэй хувилбарууд нь нэргүй дампуудаас илүү хурдан стрессийн тестэнд хамрагдах хандлагатай байдаг. Өргөн хүрээтэй гуравдагч талын хуулбарлахад хараахан эрт байна.

Агент код бичихэд төлөвөөс үйлдэл рүү шилжих давталт яагаад тийм чухал вэ?

Агент кодчилол нь ихэвчлэн хоёртын кодчилолтой байдаг: тест нь ногоон өнгөтэй болдог эсвэл болдоггүй тул цэвэр үйлдлийн сонголтууд нь үзэсгэлэнтэй бүтэлгүйтлийн эссэүүдийг давдаг. Хэдэн арван хэрэгслийн алхам дахь хоцрогдол нэгдлүүд - алхам тутамд хусах хугацаа, ханын цаг болон үүлэн төлбөр хоёулаа хөдөлдөг. Жев ангиллын үе тэнгийнхний эсрэг хурдны дарааллын мэдэгдсэн хурд нь зэрлэг байгальд "ердөө" 4x гэж буусан ч гэсэн багтаамжийн төлөвлөлтийг дахин зохион байгуулдаг. Эрлийз стекүүд - хурдан CLM төст хянагч болон хатуу мөчир дээрх илүү хүнд үндэслэлтэй - бодит урт хугацааны хэлбэр юм.

CLM-8B-ийн DeepSWE болон Terminal-Bench оноонд итгэх ёстой юу?

Эдгээр багцууд нь хэврэг бодисуудыг шийтгэдэг тул гэрлийн нарийн тохируулгын дараа ~81.6% DeepSWE болон ~87.6% Terminal-Bench 2.1 нь сонирхолтой харагдаж байна. Агентлаг вандан сандал нь мөн шатыг шагнана: бэхэлгээний чанар, багаж хэрэгслийн зөвшөөрөгдсөн жагсаалт, сэргээх заавар нь амжилтыг хоёр оронтой тоогоор өөрчилж чадна. Хүснэгтийг тогтсон шинжлэх ухаан гэж үзэхээсээ өмнө жингийн эргэн тойронд ямар боодол байгааг сайтар судлаарай. Зохиогчийн вандан сандал нь өөр хэн нэгэн баримтжуулсан жороор хуулбарлах хүртэл сурталчилдаг.

CLM-35B болон 8B загварыг нарийн тохируулах талаар би юу мэдэх ёстой вэ?

CLM-35B-ийн дараагийн том хувилбарыг төлөвлөгөө болгон дурдсан; энэ нь хоцрогдлын түүхийг хадгалах уу эсвэл хурдыг гүн рүү солих уу гэдэг нь тодорхойгүй байна. CLM-8B-г өөрийн хөвөнгийн дүрмээр нарийн тохируулах, CLI байршуулах, монорепо мөрүүдийг ашиглах нь эхний өдөр тэг цохилтын ид шид биш харин хүчтэй тоонд хүрэх бодит зам юм. Багууд буувал хоёр хэмжээгээ хадгалж магадгүй: халуун гогцоонд 8B, хатуу төлөвлөлтөд 35B. Нээлттэй жин нь буруу ашиглахыг хялбар болгодог тул хашлага болон хурдны хязгаарлалт нь бүтээгдэхүүн болохоос сонголтгүй косплей биш юм.

Жевийн харьцуулалтыг цасанд дарагдахгүйгээр хэрхэн унших вэ?

Jev ангиллын харьцуулалтууд нь "9 дахин хурдан" үе тэнгийн зангуу өгдөг бөгөөд энэ нь саналыг гаргахад тусалдаг. Аюул нь багцын хэмжээ, нарийвчлал, контекстийн урт, хэрэгслийн дуудлагын цуваажуулалтыг нэг үржүүлэгч болгон задлах явдал юм. Чаттер ~32 ms ангиллын хариултыг иш татах үед энэ нь эхний токен, бүрэн үйлдэлтэй JSON эсвэл кэшлэгдсэн угтвар гэсэн үг үү гэж асуугаарай. Даалгаврын амжилт, шийдэгдсэн тасалбар тутамд ногдох доллар, стек дээрх хүний ​​оролцооны түвшинг хэмжинэ. Өрсөлдөөний түүхүүд нь лабораториудыг тоо нийтлэхэд хүргэдэг; таны үйлдвэрлэлийн KPI-ууд шийдсээр байдаг.

Барилгачид CLM-8B-г үйлдвэрлэлийн бодист оруулахаасаа өмнө юу хийх ёстой вэ?

Терминал микро давталт гэх мэт хоцрогдолтой чухал зүсмэлийг гаргаж, бэхэлгээг тогтмол байлгаж, одоогийн ажлын мориныхоо эсрэг A/B-г нарийн тохируул. Буруу боловч хурдан үйлдлүүдийг ажигла; баталгаажуулалт нэмж, буцаах боломжтой хэрэгслүүдийг илүүд үзэж, итгэл багатай үед удаан үндэслэлийг төсөвлө. Зөвхөн секундэд токенуудыг биш, GPU тутамд секунд тутамд үйлдлийг хяна. Үйлдвэрлэлийн нууцыг туршилтын агентуудад буулгаж болохгүй бөгөөд өөрийн гүйлтүүд гарах хүртэл хэвлэлийн график бүрт CLAIM наалт үлдээ.

CLM-8B Just Dropped мэдэгдлүүдийн хувьд шударга хоцрогдлын бичил давталтын үнэлгээг хэрхэн бий болгох вэ?

Бодит бүтэлгүйтлийн туршилтын ул мөрийн жижиг багцыг хөлдөөж, загваруудын хооронд ижил хэрэгслийн схем болон зөвшөөрөгдсөн жагсаалтыг хадгалж, алхмууд, ханын цаг, амжилт болон хүний ​​оролцоог бүртгэ. Хэрэв та шинэ тасалбаруудад зориулж хэлэлцсэн зугтах нүх хадгалдаг бол CLM-8B-г зөвхөн "дараагийн буцаах боломжтой үйлдлийг сонгох" алхам дээр ашиглаарай. Зохиогч ~9×, DeepSWE болон миллисекундын тоонуудыг энэ бэхэлгээ амжилт болон хоцрогдлын талаар хамтдаа ялалт байгуулах хүртэл НЭХЭМЖЛЭЛ гэж тэмдэглэнэ үү. Төвлөрсөн үнэлгээ нь слайд тавцан дээр үйлдвэрлэлийг дахин бичихээс илүү давуу талтай.

Лавлагаа

1. Тэврэлтийн царай — Эсрэг тэмүүллийн хэлний загвар (CLM-v0.1-8B) — huggingface.co
2. GitHub — Contrastive-LM / CLM — github.com
3. Стэнфордын их сургууль — Азалиа Мирхосейни — cs.stanford.edu
4. Жэки Квок — jackyk02.github.io
5. X — Жэки Квокийн танилцуулга — x.com
6. DeepSWE — deepswe.datacurve.ai
7. Шумбах хиймэл оюун ухаан — Терминал-Бенч 2.1 — шумбах.ai
8. Жэв — jevtypesafeai.com