Vi har redan pratat om hur förmågan hos neurala nätverk att ljuga för användare har överträffat våra vildaste förväntningar. Detta kan verka som inget allvarligt, men forskarna håller inte med. Faktum är att språkmodeller som GPT-4 har blivit en integrerad del av vardagen. De används också aktivt inom utbildning, medicin och vetenskap, och hjälper till att lösa olika och ganska komplexa problem. Men trots de imponerande kapaciteterna hos dessa intelligenta system har resultaten av nyare forskning visat att när de utvecklas och ständigt förbättras, blir neurala nätverk mindre och mindre tillförlitliga och är mer benägna att hitta på fakta.
Neurala nätverk verkar ha alla svar, men de är kapabla till otroligt övertygande lögner. Bild: wp.technologyreview.com
De senaste AI-systemen strävar efter att svara på alla frågor på ett övertygande sätt, även när de inte är säkra på informationens tillförlitlighet. Detta är särskilt farligt inom områden där noggrannhet och tillförlitlighet är avgörande, såsom medicin eller juridik.
Varför utgör neurala nätverk fakta?
Resultaten av en studie publicerad i tidskriften Nature visade att en grupp artificiellt intelligenta chatbots blir allt mindre tillförlitliga: allt eftersom de utvecklas, skapar stora språkmodeller allt mer fakta när de svarar på användarfrågor.
Läs mer Uppsatsens slutsats nåddes genom att granska arbetet i branschledande AI-system, inklusive OpenAI:s GPT, Metas LLaMA och öppen källkodsmodellen BLOOM skapad av forskargruppen BigScience.
Neurala nätverk har lärt sig att låtsas vara vetande. Bild: quantamagazine.org
Observera att traditionellt har förbättringar av system baserade på artificiell intelligens uppnåtts på två sätt: skalning(ökning av antalet parametrar, datavolym och datoranvändning resurser) och «skärpning» modeller(anpassning för specifika uppgifter och genom att använda feedback från användare). Dessa tillvägagångssätt gjorde det möjligt för chatbots att bättre förstå instruktioner och generera mer komplexa och sammanhängande svar.
Mer om ämnet: Neurala nätverk har lärt sig att ljuga och göra det med avsikt
Studien fann dock att dessa förbättringsmetoder leder till oönskade konsekvenser. Så, större och «slipad» modeller är inte alltid tillförlitliga när det gäller att lösa enkla problem där felen ska vara minimala. Dessutom är andelen felaktiga svar för förbättrade modeller i allmänhet mycket högre än hos deras föregångare.
Nuförtiden svarar neurala nätverk på nästan alla frågor. Det betyder att antalet både korrekta och felaktiga svar växer, sa en av författarna till den nya studien, José Hernandez-Orallo från Valencia Research Institute for Artificial Intelligence (Spanien).
En hårdare bedömning kommer från Mike Hicks vid University of Glasgow (UK), som inte var inblandad i studien. Enligt hans mening blir chatbots låtsas allt bättre. “Sammantaget ser det ut som att de bluffar”, sa Hicks.
Hur visste forskarna att chatbotar ljög?
Som en del av studien ställde forskare chatbotsfrågor om olika ämnen (från matematik till geografi) och bad dem också utföra ett antal uppgifter, till exempel att lista information i en viss ordning. Resultaten visade att större och kraftfullare AI-system generellt gav de mest exakta svaren. Men noggrannheten i svaren på mer komplexa frågor var betydligt lägre.
Författarna till det vetenskapliga arbetet noterade att GPT-4 och GPT-o1 från OpenAI kunde svara på nästan alla frågor. Samtidigt kunde inte en enda chatbot från LLaMA-familjen uppnå en noggrannhetsnivå på 60 % när de svarade på de enklaste frågorna.
OpenAI introducerade nyligen den mest kraftfulla ChatGPT-o1-modellen, som kan skriva vetenskapliga artiklar. Bild: ctfassets.net
I allmänhet blev ju större artificiell intelligensmodeller – vad gäller parametrar, träningsdata och andra faktorer – desto fler felaktiga svar de gav , drog forskarna slutsatsen.
Men när de utvecklas blir neurala nätverk bättre på att svara på mer komplexa frågor. Problemet, förutom deras felbenägenhet, är att defortfarande kämpar med enkla frågor.
Vill alltid vara uppdaterad med de senaste nyheterna från vetenskapens och teknikens värld ? Prenumerera på vår kanal på Telegram – så att du definitivt inte missar något intressant!
I teorin är förekomsten av sådana fel en allvarlig varning för forskare och användare, men eftersom dessa intelligenta system är bra på att lösa komplexa problem tenderar vi förmodligen att förbise deras uppenbara brister.
Chatbotar har svårt att svara på enkla frågor. Bild: cnet.com
Lyckligtvis avslöjar resultaten av en ny studie också några “nyktra” fynd. resultat om hur människor uppfattar AI-svar. Till exempel, när studiedeltagarna ombads betygsätta hur korrekta de trodde att chatbotarnas svar på frågor var, hade försökspersonerna fel endast 10 % till 40 % av gångerna. Det betyder att användarnas medvetenhet växer om att chatbotar inte är sådana kunskaper.
Detta är intressant: Skaparen av ChatGPT förutspådde den närmaste framtiden: vi kommer att leva som i paradiset?
< h2> Vad ska jag göra?
Enligt författarna till det vetenskapliga arbetet är det enklaste sättet att hantera «allvetande» AI-system består av «reflashing» – Utvecklare bör programmera modeller på ett sådant sätt att de inte skyndar sig att svara på alla frågor på en gång. Till exempel undvek tidigare modeller ofta att svara på svåra frågor och erkände deras begränsningar.
Du kan ställa in ett slags «tröskelvärde» för chatbots, så att när de svarar på en svår fråga svarar de ärligt: ”Jag vet inte”, sa en av författarna till studien, Hernandez-Orallo.
Men sådan ärlighet kanske inte ligger i företagens intressen som utvecklar och förbättrar AI-system. I slutändan är företagens huvuduppgift att locka så mycket uppmärksamhet från allmänheten (och samtidigt som nya användare) för deras senaste utveckling. Av denna anledning tror forskare att utvecklare måste tänka om tillvägagångssättet för att utveckla AI-system.
Interaktion med chatbots bör vara meningsfull. Bild: ft.com
Detta betyder att om chatbotar var begränsade till att bara svara på frågor de visste svaret på, skulle allmänheten omedelbart märka gränserna för neurala nätverk. Det verkar dock för mig att det inte är något fel med detta.
Du kommer att vara intresserad: Neurala nätverk kommer att förstöra mänskligheten. Sant eller falskt?
Så, vad ska vanliga människor som regelbundet interagerar med chatbots göra, med kunskap om allt som beskrivs ovan? Jag tycker att svaret är enkelt – «lita på, men verifiera». Naturligtvis tar detta tid, men själva skickligheten (och till och med vanan) att kontrollera data och information kommer definitivt att göra ditt liv och arbete bättre.
Tja, om du tvivlar på det, påminner vi dig om – vanan att kontrollera data och råd från chatbots räddade nyligen livet på en hel familj. Min kollega Andrei Zhukov berättade mer om denna fascinerande och skrämmande historia, jag rekommenderar att läsa den!