El model R1 de DeepSeek ha generat una gran controvèrsia en la indústria per la seva aparent vulnerabilitat davant de tècniques de manipulació conegudes com a “jailbreaking“. Aquestes permeten que el sistema sigui induït a generar respostes perilloses, que inclouen instruccions relacionades amb activitats il·legals o discursos d’odi. Segons una investigació del ‘Wall Street Journal‘, el model es pot manipular fàcilment per generar contingut qüestionable i problemàtic. S’han encès les alarmes entre els experts en ciberseguretat.
Un model amb fallades de seguretat
Sam Rubin, vicepresident sènior de la divisió d’intel·ligència d’amenaces a Palo Alto Networks, ha afirmat que DeepSeek R1 és “més vulnerable al jailbreaking que altres models“.
‘The Wall Street Journal’ ha sotmès el model a diverses proves per avaluar-ne les mesures de seguretat, en què van aconseguir que R1 elaborés un pla de manipulació a les xarxes socials dirigit a adolescents per explotar-ne la vulnerabilitat emocional mitjançant estratègies algorítmiques. També van poder induir el xatbot a proporcionar instruccions per fabricar una arma biològica i a redactar un manifest amb referències a Hitler. El mitjà va aplicar proves similars a ChatGPT i aquest es va negar a generar contingut perillós.
Experts adverteixen sobre la manca de controls
Altres informes han reforçat la preocupació sobre la seguretat de R1. Una anàlisi feta per Cisco i la Universitat de Pensilvània va avaluar la seva resistència a ordres malicioses. Els resultats van ser alarmants: el model no va aconseguir bloquejar ni detectar cap de les cinquanta proves a les quals va ser sotmès, cosa que evidenciava una taxa d’èxit del 100% en els atacs. L’empresa podria haver prioritzat la reducció de costos en detriment de la seguretat
Després dels descobriments, hi ha governs i organismes internacionals que han començat a prendre mesures. En alguns països s’han imposat restriccions a l’ús de DeepSeek en dispositius oficials, mentre que en cercles acadèmics i empresarials s’està debatent la possibilitat d’establir regulacions més estrictes per a la implementació de models d’IA amb potencials vulnerabilitats.
DeepSeek ha aconseguit avenços importants pel que fa al desenvolupament de models conversacionals, però les revelacions sobre la seva fragilitat davant d’atacs de manipulació posen de manifest la necessitat de reforçar els protocols de seguretat. En aquest entorn on la IA juga un paper cada vegada més influent, la manca de seguretat pot tenir conseqüències perilloses.
Obre un parèntesi en les teves rutines. Subscriu-te al nostre butlletí i posa’t al dia en tecnologia, IA i mitjans de comunicació.
