Tehnica nouă de raționare a lui OpenAI îngrijește experții de siguranță

Adâncimea recurrentă face AI-ul opac!

OpenAI dezvoltă un nou model de AI numit Astra, care folosește o tehnică numită adâncime recurrentă. Această abordare, cunoscută și sub numele de recurență opacă, ar putea face mult mai dificil pentru cercetători să urmărească cum ajunge modelul la concluziile sale.

Culture picks

Narwal Freo Z Edge: Tehnologie premium pentru curățenia casei, la un preț mai accesibilModul AI al Google afișează produse și vânzători diferiți față de caruselul clasicStartup-ul suedez eComID intră pe piața de recommerce prin achiziția NilumNarwal prezintă la IFA Berlin roboți care șterg petele uscate de pe podea

Aceasta a ridicat alarme în mediul experților în siguranța AI, care se bazează pe transparență pentru a evalua riscurile.

Tehnica de adâncime recurrentă permite lui Astra să se întoarcă la pași anteriori ai propriului său proces de Funcționând în afara unui Dar experții avertizează: fără o vizibilitate clară a proceselor interne, detectarea comportamentelor nocive sau a partialităților devine mult mai greu, mai ales când modelele devin mai puternice.

În przeciție cu modelele standard, care generează gândul pas cu pas, într-un mod liniar, Astra poate reveni și revizui pașii anteriori.

Poți ține pasul măsurilor de siguranță cu modelele opace?

Această opacitate înseamnă că, chiar dacă rezultatul final pare rezonabil, drumul parcurs pentru a-l ajunge poate fi ascuns pentru instrumentele de supraveghere concepute să detecteze comportamente periculoase.

Cercetătorii de siguranță argumentă că astfel de opacitate subminează eforturile de a construi sisteme de AI responsabile, mai ales în aplicații cu risc ridicat, sănătate sau sisteme autonome.

Când modelele de AI adoptează tehnici care privilegiază performanța față de transparență, apar întrebări despre dacă cadrele actuale de siguranță sunt suficiente. Instrumentele de monitorizare existente depind adesea de posibilitatea de a examina Experții sugerează că ar fi necesare noi metode pentru evaluarea comportamentului modelului — cum ar fi testarea în scatolă negru sau echipa roșie comportamentală — dezvoltate paralel cu aceste arhitecturi avansate, pentru a se asigura că riscurile nu sunt neglijate.

Ce este adâncimea recurrentă în AI?

Adâncimea recurrentă ne face să pierdem transparența AI?

Adâncimea recurrentă este o tehnică care permite unui model de AI să se întoarcă la pașii anteriori ai propriului său proces de De ce sunt îngrijiți experții de recurența opacă?

Recurența opacă face dificilă monitorizarea lanțului de gând al modelului, ceea ce împiedică detectarea erorilor, partialităților sau intențiilor nocive — mai ales în aplicații critice, unde responsabilitatea este esențială.

Cum ar putea afecta această tehnică dezvoltarea viitoare a AI? Dacă modelele precum Astra devin mai opace, dezvoltatorii ar putea fi nevoiți să se bazeze mai mult pe testare externă și analiză comportamentală, în loc pe transparența internă, pentru a asigura siguranța.

Aceasta ar putea încetini implementarea, până când metodele de supraveghere noi vor fi validate ca eficace.