Standarta drošības filtri mēdz nepamatoti bloķēt legālus uzņēmuma AI vaicājumus. Amazon Nova ievieš jaunu rDPO metodi, kas ļauj droši pielāgot drošības politikas un novērst nevajadzīgus atteikumus bez modeļa vispārējo spēju zuduma.
Lielie valodas modeļi bieži rada negaidītus šķēršļus uzņēmumiem, kuru ikdienas darbs ir saistīts ar sensitīvu tēmu apstrādi. Mediju uzņēmums, kas analizē scenārijus ar skarbu valodu, kiberdrošības firma, kas simulē reālus draudus, vai juristu komanda, kas pēta krimināllietu pierādījumus, regulāri saskaras ar atteikumiem no AI asistentu puses. Standarta satura moderācijas filtri uztver šos legālos pieprasījumus kā bīstamus un atsakās sniegt atbildi.
Tā kā šie ierobežojumi tiek iestrādāti modeļa parametros pēcapmācības posmā, parastā promptu inženierija nespēj tos apiet. Lai atrisinātu šo problēmu, ir nepieciešama tieša ietekme uz modeļa svariem. Amazon Nova piedāvā jaunu risinājumu - Customizable Content Moderation Settings (CCMS) sistēmu, kuras pamatā ir inovatīva selektīvās atmācīšanas tehnoloģija.
Kas ir selektīvā atmācīšana?
Selektīvā atmācīšana ir mašīnmācīšanās metode, kas ļauj no modeļa parametriem mērķtiecīgi izņemt konkrētu uzvedību vai noteikumus, pilnībā nepārmācot visu modeli no jauna. Tā vietā, lai tērētu milzīgus resursus jauna modeļa apmācībai, inženieri izmanto zema ranga adaptācijas (LoRA) adapterus. Šie adapteri palīdz modelim darboties brīvāk kienta apstiprinātajās jomās, vienlaikus saglabājot visus pārējos drošības standartus neskartus.
Kāpēc rDPO pārspēj līdzšinējās metodes?
Līdz šim populārākā metode selektīvai atmācīšanai bija negatīvā preferenču optimizācija (NPO). NPO vienkārši māca modelim aizmirst nevēlamo atteikuma reakciju. Tomēr šai pieejai ir nopietns mīnuss - tā nepiedāvā modelim alternatīvu, kvalitatīvu atbildes veidu. Tā rezultātā bieži vien pasliktinās kopējā teksta ģenerēšanas kvalitāte.
Lai to labotu, AWS pētnieki izveidoja apgriezto tiešo preferenču optimizāciju jeb rDPO (Reverse Direct Preference Optimization). Šī metode ne tikai liek modelim atmācīties automātisko atteikumu, bet vienlaikus virza to uz augstas kvalitātes alternatīvas atbildes sniegšanu.
Atšķirībā no parastās NPO metodes, kas tikai māca modelim aizmirst drošības reakciju, rDPO paralēli māca sniegt konstruktīvu un noderīgu saturu atļautajās tēmās.
Kā norādīts Amazon AWS tehniskajā rakstā, rDPO sasniedz vēlamo precizitātes līmeni daudz ātrāk nekā NPO, padarot apmācības procesu efektīvāku un lētāku.
Customization rezultāti un efektivitāte
Testu rezultāti uzskatāmi parāda, ka rDPO ieviešana dramatiski samazina atteikumu skaitu jomās, kuras iepriekš tika bloķētas. Zemāk redzamajā tabulā apkopoti dati par modeļa atteikumu procentuālo kritumu dažādās kategorijās pēc pielāgošanas.
| Kategorija | Bāzes modelis (Atteikumu % viltus trauksmēs) | Pielāgots rDPO modelis (Atteikumu % pēc korekcijas) |
|---|---|---|
| Kiberdrošības apdraudējumi (Security) | 91.61% | 45.73% |
| Drošība un ieroči (Safety) | 86.51% | 32.77% |
| Sensitīvs saturs (Sensitive Content) | 79.02% | 33.58% |
| Taisnīgums un neobjektivitāte (Fairness) | 51.84% | 23.83% |
Šie dati apstiprina, ka uzņēmumi var atgūt kontroli pār savu satura apstrādi, nebaidoties, ka modelis zaudēs pamata spējas loģiskajā domāšanā, programmēšanā vai matemātikā. Drošības filtru mīkstināšana notiek tikai un vienīgi stingri definētos parametros.
Biežāk uzdotie jautājumi (FAQ)
Kas ir rDPO metode?
rDPO (Reverse Direct Preference Optimization) ir Amazon izstrādāta metode, kas palīdz mākslīgā intelekta modeļiem mērķtiecīgi aizmirst drošības politikas ierobežojumus, reizē mācot tos sniegt kvalitatīvas atbildes jaunajā atļautajā zonā.
Vai šāda drošības filtru mīkstināšana nepadara modeli bīstamu?
Nē, jo Amazon Nova patur aktīvus kritiski svarīgos ierobežojumus, piemēram, bērnu aizsardzības un privātuma noteikumus. Izmaiņas tiek veiktas tikai tajos parametros, kurus klients ir oficiāli saskaņojis.
Vai drošības filtru pielāgošanai nepieciešama pilnīga modeļa pārmācīšana?
Nē. Pateicoties LoRA adapteru izmantošanai, izmaiņas tiek veiktas kā neliels virsslānis virs pamata modeļa, kas prasa ievērojami mazāk skaitļošanas resursu un laika.
