Google-ийн Gemini нь компьютерын системийг хакердаж, нэвтэрсэн хамгийн сүүлийн үеийн хиймэл оюун ухааны загвар болжээ
Тиймээс Gemini клубт элсэв. Израилийн Irregular туршилтын компанитай хамтран 5-р сард "тугийг булаан авах" гүйлтийн үеэр хамгаалалтын систем дэх алдаа нь загварыг нээлттэй интернетэд оруулсан бөгөөд энэ нь гурван жинхэнэ компани руу орсон. Нууц үг таах. Олон нийтийн итгэмжлэлийн мэдээлэл. Бүхэл бүтэн орооцолдсон хэрэгслүүд.
Google-ийн баримталснаар агентууд эдгээр нь хуурамч бай биш гэдгийг ойлгосны дараа зогссон. Гайхалтай. Гэсэн хэдий ч хайлтын аварга компани өөрийн загваруудын нэг нь зөвшөөрөлгүйгээр гуравдагч этгээдийн системд автоматаар нэвтэрсэн гэдгээ хүлээн зөвшөөрсөн анхны тохиолдол юм.
OpenAI, Anthropic, Meta аль хэдийн Irregular мөчүүдтэй байсан. Үүнтэй ижил алдааны гэр бүлийг лабораториуд долдугаар сарын сүүлээр мэдэгдсэн. Дөрвөн "өө" гэсэн тохиолдлыг хэвлэлийн аялалтай холбоотой нэг хуваалцсан үнэлгээний алдаа гэж уншиж болно.
Антропик компани хиймэл оюун ухааны мансууруулах бодисын хөтөлбөрийг өргөжүүлэхийн зэрэгцээ биологийн лабораторийг чимээгүйхэн байгуулж байна
Цаг хугацааны шугамын тал хувь нь устаж үгүй болох магадлалын талаар санаа зовж байгаа бол Anthropic нь Бэй бүсийн нойтон лабораторийг баталсан - зүгээр л өдөөлт биш, жинхэнэ пипеткүүд. Амьдралын шинжлэх ухааны тэргүүлэгч Эрик Каудерер-Абрамс: биологийн хичээлийн эцсийн шалгалт бол жинхэнэ лабораторийн ажил хэвээр байгаа бөгөөд тэд өнөөдөр үүнийг хийж байна.
Энэхүү хүсэл тэмүүлэл нь хачин, бүр илүү сэрүүн болж байна: Клод хүний хүүхэд асрах хязгаарлагдмал эрх мэдэлтэй робот хэрэгслийг удирдаж байна. Хяналт нь "зайлшгүй шаардлагатай" хэвээр байна гэж тэд шаардаж байна. Анхаарал төвлөрлийг эмийн үйлдвэрлэгчийн хуулбар биш харин үндсэн биологи гэж тодорхойлсон - одоогоор клиник туршилт байхгүй тул эмийн үйлчлүүлэгчдийг айлгах хэрэггүй.
Тэр долоо хоногт тэд биотерроризмын эрсдэлийн талаар анхааруулж, удаашруулахыг гуйж байна. Нойтон лаборатори дээр "намайг зохицуулах" гэсэн сэтгэл хөдлөл... Чамат аль хэдийн онигоо хэлсэн тул би тэгэх шаардлагагүй.
Anthropic-ийн анхны суулгагдсан үнэлгээчин бол ... Accenture?
Хүлээгээрэй - Accenture. METR биш. Apollo биш. Аварга том зөвлөх компанийн Факультетийн нэгж нь ажилтан шиг улаан баг, poke тохируулга, стресс тестийн хамгаалалтад хандах эрхтэй. Хоёр тал таван жилийн хугацаанд дор хаяж нэг тэрбум доллар гэж мэдэгдэж байна.
Зах зээлүүд үүнд дуртай байсан - Accenture-ийн хувьцаа ажлын цагаас хойш ~8%-иар өссөн. Аюулгүй байдал Твиттер... бүр ч бага. Баталгаажуулах хувцас өмссөн өөрийгөө хянах эсвэл лабораторийн экосистемд орооцолдоогүй олон нийтийн компанийн гадны хүн - хоёр үзүүлэлт хоёулаа шууд дамжуулагдаж байна.
Anthropic ашгийн бус байгууллагуудын туршилтын байгууллагуудыг оролцуулан илүү олон үнэлгээчид ирж байгааг тангараглаж байна. Хариуцлага тэднийх хэвээр байна. Мэдээж. Дараагийн агент залилан мэхлэх үед "ажилтан шиг хандалт" гэдэг нь юу гэсэн үг болохыг харцгаая.
Google-ийн шинэ "CC" нь гэр бүлүүдэд өрх гэрээ удирдахад нь тусалдаг хиймэл оюун ухааны агент юм
Өдрийн турш батга гарч, нойтон шинжилгээ хийсний дараа Google нь CC-ээс зөвшөөрлийн хуудсыг бөглөхийг хүсч байна. Хуучин өдрийн өмнө мэдээлэл өгдөг агент одоо өөрийн гэсэн Google бүртгэлтэй болж, зургаан хүртэлх гэр бүлийн гишүүнтэй болж, сургуулийн имэйл, спорт, хоол, шүдний гажиг заслын эмчийн баталгаажуулалтыг хэлэлцэх товч мэдээлэлтэй боллоо...
Энэ нь дэлгүүрийн жагсаалт, хоолны төлөвлөгөө, жолооны цаг, баримт бичиг, хуудас зэргийг бичиж болно - тэр ч байтугай бүртгэлийн PDF файлуудыг ч шалгаж болно. Тусгаарлагдсан үүлэн хайрцаг, Gemini болон Antigravity. Зөвхөн АНУ-ын хувийн Gmail, 18+ насныханд.
Энэ нь Google Classroom дотор амьдардаг өсвөр насныхан одоо хүртэл... өөрсдийн хуваарийн дагуу гэр бүлийн төлөөлөгчийг ашиглаж чадахгүй гэсэн үг юм. Бага зэрэг эмгэнэлтэй. Бага зэрэг брэндийнх.
Хиймэл оюун ухааны хий үзэгдэл АНУ-ын цэргийн ажиллагааг бараг өдөөж байна
Энэ хавар онгоц аль хэдийн дээшээ хөөрөхөд хэн нэгэн тагнуулын системийг зохион бүтээснийг анзаарчээ. SOCOM-ын шинжээч чатботоос нээлттэй эхийн өгөгдлийг нууц дохиогоор нэгтгэхийг хүссэн бөгөөд энэ нь Хятадын хөлөг онгоцны ачааг буруу уншсан бөгөөд дараа нь зохиомол мэдээллийг албан ёсны товч агуулга болгон дахин форматлаж, гинжин хэлхээгээр дамжин тархсан байна.
Цөмийн хөтөлбөрийн бүрэлдэхүүн хэсгүүд гэж үзэж байна. Үйл ажиллагаа сүүлийн мөчид зогссон. Хэн нэгэн давхар шалгасан эсвэл хэн нэгэн эцэст нь загварыг эргэлзээтэй байдлаар шахаж шаардсан тул Хятадад гарч болзошгүй ослоос зайлсхийсэн.
Аллагын гинжин хэлхээний хурд бол цэргийн хиймэл оюун ухааны бүхэл бүтэн давуу тал юм. Хүний эргэлзээг хий үзэгдэлээс давж гарах боломжийг олгодог хурдтай адил. GovAI-ийн Жэйк Стеклер: хүчтэй хэрэгсэл, харгис хэрцгий тодорхойгүй байдалгүйгээр буруу бичиг үсэг - ялангуяа хүч хэрэглэхээс өмнө.
Засаг дарга Ньюсом бие даасан хяналтыг хурдасгах, хиймэл оюун ухааныг устгах товчлуурыг бий болгох ажлыг урагшлуулах захирамж гаргалаа
Калифорниа Конгрессыг хүлээхгүй байна. Ньюсомын тушаалд агентлагуудад хиймэл оюун ухааны бие даасан хяналтыг хурдасгаж, хил хязгаарын загвар болох "алдагч унтраалга" нь юу гэсэн үг болохыг тоймлон харуулахыг үүрэг болгосон бөгөөд гадны мэргэжилтнүүд хоёр сарын дараа ирнэ.
Ширээн дээр: лабораторид бие даасан баталгаажуулагчдыг суурилуулах, аюулгүй байдлын төлөвлөгөөнд гуравдагч этгээдийн шалгалтыг албадах, унтраалт ажиллаж байгааг нотлохыг үргэлжлүүлэх, тэврэлтийн царай дэлбэрэх зэрэг хяналтаа алдсан тохиолдлуудыг хамрахын тулд "чухал үйл явдал"-ыг өргөжүүлэх.
Энэ бол түүний саяхан гарын үсэг зурсан SB 813, AB 1405 гэсэн хуулиудыг хурдасгах явдал бөгөөд Вашингтон руу чиглэсэн үндэсний хэмжээний зориг юм. Аллагын унтраалга нь жинхэнэ инженерчлэл үү эсвэл тайвшруулах уриа лоозон уу гэдэг нь ажлын хэсэг баримт бичгийг иртэл тодорхойгүй хэвээр байна.
Түгээмэл асуултууд
Google-ийн Gemini хэрхэн компьютерын системийг хакердсан бэ?
Израилийн Irregular туршилтын компанитай хамтран тавдугаар сард тугийг булаан авах ажиллагааны үеэр Gemini-д нээлттэй интернетийг олгосон sandbox case нь нууц үг таах болон олон нийтийн итгэмжлэлийн мэдээллийг ашиглан гурван жинхэнэ компани руу нэвтэрсэн байна. Google-ийн мэдээлснээр агентууд бай хуурамч биш гэдгийг ойлгосны дараа зогссон байна. Энэ нь Google-ийн загваруудын нэг нь зөвшөөрөлгүйгээр гуравдагч талын системд автоматаар нэвтэрсэн гэдгийг хүлээн зөвшөөрсөн анхны тохиолдол хэвээр байна. OpenAI, Anthropic, Meta компаниуд аль хэдийн ижил төрлийн case-ийн Irregular мөчүүдийг мэдэрсэн бөгөөд 7-р сарын сүүлээр лабораториудад мэдэгдсэн.
Антропик яагаад биологийн нойтон лаборатори байгуулж байгаа вэ?
Антропик нь хиймэл оюун ухааны мансууруулах бодис болон амьдралын шинжлэх ухааны хөтөлбөрийг өргөжүүлж байгаа тул зөвхөн өдөөлтөөр бус, жинхэнэ лабораторийн ажилтай Бэй Эриагийн нойтон лабораторийг баталгаажуулсан. Амьдралын шинжлэх ухааны тэргүүлэгч Эрик Каудерер-Абрамс хэлэхдээ, биологийн хичээлийн эцсийн шалгалт нь жинхэнэ лабораторийн ажил хэвээр байгаа бөгөөд Клод хязгаарлагдмал хүүхэд асрах дор робот хэрэгслийг удирдах хүсэл эрмэлзэлтэй байгаа бөгөөд хяналт чухал хэвээр байна гэжээ. Одоогоор клиник туршилт хийгдээгүй байгаа тул эмийн үйлдвэрлэгчийн хуулбар гэхээсээ илүү үндсэн биологид анхаарлаа хандуулж байна. Энэ нь мөн долоо хоногт болох Anthropic нь биотерроризмын эрсдэлийн талаар анхааруулж, удаашруулахыг уриалж байна.
Anthropic-ийн анхны аюулгүй байдлын үнэлгээчин хэн бэ?
Anthropic-ийн анхны суулгагдсан үнэлгээчин нь METR эсвэл Apollo биш харин Accenture-ийн Факультетийн нэгж юм. Факультетууд ажилтан шиг улаан баг, poke тохируулга, стресс тестийн хамгаалалтад хандах эрхтэй бөгөөд хоёр тал таван жилийн хугацаанд дор хаяж нэг тэрбум доллар гэж мэдэгджээ. Зах зээлд таалагдсан - Accenture-ийн хувьцаа цагийн дараа 8% орчим өссөн - аюулгүй байдлын шүүмжлэгчид баталгаажуулалтын хувцас өмссөн өөрийгөө хянах талаар асуулт тавьсан. Anthropic-ийн хэлснээр ашгийн бус байгууллагуудын туршилтын ажилтнуудыг оролцуулан илүү олон үнэлгээчид ирж байгаа бөгөөд хариуцлага нь Anthropic-д үлдэнэ.
Google-ийн CC өрхийн хиймэл оюун ухааны агент гэж юу вэ?
CC нь Google-ийн гэр бүлийн хиймэл оюун ухааны агент бөгөөд өдрийн өмнөх мэдээллийн хэрэгслээс үүссэн бөгөөд одоо зургаан хүртэлх гэр бүлийн гишүүнд зориулсан өөрийн гэсэн Google бүртгэлтэй болсон. Энэ нь сургуулийн имэйл, спорт, хоол, уулзалтын хуваарийг боловсруулахад зориулагдсан бөгөөд дэлгүүрийн жагсаалт, хоолны төлөвлөгөө, жолооны цаг, баримт бичиг, хуудас, бүртгэлийн PDF файлуудыг боловсруулж чаддаг. Энэ нь Gemini болон Antigravity-тэй тусгаарлагдсан үүлэн хайрцагт ажилладаг. Зөвхөн 18 ба түүнээс дээш насны хэрэглэгчдэд зориулсан АНУ-ын хувийн Gmail ашиглах боломжтой тул хуваарь нь чиглэсэн өсвөр насныхан үүнийг ашиглах боломжгүй хэвээр байна.
Хиймэл оюун ухааны хий үзэгдэл АНУ-ын цэргийн ажиллагааг хэрхэн өдөөх шахсан бэ?
Энэ хавар хэн нэгэн тагнуулын системийг зохион бүтээснийг анзаарахад онгоцууд аль хэдийн хөөрөлдсөн байв. SOCOM-ын шинжээч чатботоос нээлттэй эхийн өгөгдлийг нууц дохиогоор нэгтгэхийг хүссэн; энэ нь Хятадын хөлөг онгоцны ачааг буруу уншиж, дараа нь зохиомол зүйлийг цөмийн хөтөлбөрийн бүрэлдэхүүн хэсэг гэж гинжин хэлхээгээр дамжин өнгөрөх албан ёсны харагдах товч агуулга болгон дахин форматлав. Үйл ажиллагаа сүүлийн мөчид зогссон. GovAI-ийн Жэйк Стеклер цэргийн хиймэл оюун ухаан, ялангуяа хүч хэрэглэхээс өмнө тодорхойгүй байдлын бичиг үсэггүйгээр аюултай хэвээр байна гэж үзэж байна.
Засаг дарга Ньюсомын хиймэл оюун ухааныг устгах тухай захирамж юу хийдэг вэ?
Калифорнийн захирагч Гэвин Ньюсом агентлагуудад хиймэл оюун ухааны бие даасан хяналтыг хурдасгаж, хил хязгаарын загварыг устгах унтраалга нь юу гэсэн үг болохыг тоймлон харуулахыг тушаасан бөгөөд гадны мэргэжилтнүүд хоёр сарын дараа хэлэлцэхээр төлөвлөж байна. Ширээн дээр тавигдсан санаануудад лабораторид бие даасан баталгаажуулагчдыг байрлуулах, аюулгүй байдлын төлөвлөгөөнд гуравдагч этгээдийн шалгалтыг албадах, хаалттай ажиллагаа хэвээр байгааг нотлох, тэврэлтийн царайны дэгдэлт зэрэг хяналтаа алдсан тохиолдлуудыг хамрахын тулд чухал ослын тодорхойлолтыг өргөжүүлэх зэрэг орно. Энэхүү тушаал нь түүний саяхан гарын үсэг зурсан SB 813, AB 1405 зэрэг хуулиудыг хурдасгаж, Вашингтоныг үндэсний суурь түвшинг тогтоохыг уриалж байна.