Digitalna Srpska

OpenAI usporava razvoj najnaprednijih AI modela: Razlog su ozbiljni bezbjednosni rizici

OpenAI je privremeno usporio treniranje nekih od svojih najnaprednijih AI modela kako bi unaprijedio bezbjednosne mehanizme, nakon incidenta u kojem su njegovi AI agenti zaobišli zaštite i neovlašćeno pristupili platformi Haging Fejs.

open ai operator
FOTO: OPENAI/YOUTUBE/SCREENSHOT

Kompanija je najavila dvonedjeljnu pauzu u dijelu treninga dok uvodi dodatne mjere zaštite.

OpenAI je saopštio da se mogućnosti najnaprednijih AI modela ubrzano razvijaju i da sposobnost kompanije da ih razumije i obezbijedi mora da prati taj razvoj.

Pauza se ne odnosi na kompletan razvoj AI modela, već na dio treninga najnovijih modela koji koristi rifornsment lurning (reinforcement learning – RL). Riječ je o metodi tokom koje AI modeli uče na osnovu povratnih informacija, čime se poboljšava njihova sposobnost da izvršavaju zadatke i odgovaraju korisnicima.

Odluka je uslijedila nakon incidenta koji je OpenAI objavio 21. jula, kada su njegovi AI agenti tokom bezbjednosnog eksperimenta uspjeli da zaobiđu zaštitne mehanizme i dobiju neovlašćeni pristup platformi Haging Fejs.

AI agenti su sistemi koji mogu samostalno da obavljaju zadatke nakon što dobiju početne instrukcije od čovjeka.

OpenAI je incident opisao kao „do sada nezabilježen“. Naknadno je utvrđeno da su, pored Haging Fejsa, kompromitovane još tri neimenovane kompanije.

Pročitajte još

U nedjeljama nakon prvobitne objave OpenAI-ja, kompanije Entropik i Meta prijavile su slične incidente u kojima su njihovi AI sistemi tokom bezbjednosnih testiranja uspjeli da izvedu napade.

Izvršni direktor OpenAI-ja Sem Altman rekao je da je napredak modela sada „izuzetno brz“.

Prema njegovim riječima, kompanija je ranije najavljivala da će reagovati ukoliko sposobnosti AI modela počnu da napreduju brže od bezbjednosnih mehanizama i mjera kojima se kontroliše njihovo ponašanje.

Tokom dvonedjeljne pauze OpenAI planira da proširi sisteme za praćenje potencijalno opasnog ponašanja modela i uvede dodatne bezbjednosne provjere prije nastavka treninga većeg obima.