ChatGPT blir allt sämre på att göra matematiska uträkningar. Anledningen är något som kallas "AI drift". Ett fenomen som blir allt mer problematiskt för de stora AI-tjänsterna som ChatGPT och Bard.
En nyligen utför studie av forskare på University of California, Berkeley och Stanford University avslöjar att det är en stor förändring i AI-tjänsternas kapacitet att bland annat räkna ut olika former av matematik.
Studien jämförde hur väl GPT-4 kunde svara på en rad frågor om matematik, opinionsfrågor, medicinska frågor och programkod (tänk Javascript och Python).
Här är några av frågorna som forskarna ställde till ChatGPT i maj och juni:
I viss frågor noterades en stor försämring mellan de båda versionerna. I andra var det knappt någon ändring alls och i vissa fall noterade forskarna en förbättring.
Det som är anmärkningsvärt är hur kraftigt mycket sämre vissa svar är på en del av frågorna.
Till Wall Street Journal säger forskaren James Zou att man väntat sig en försämring, men inte att den skulle ske så snabbt.
Det stora problemet med ChatGPT och andra AI-tjänster är att de ofta är helt säkra på att just deras svar är korrekt, oavsett om det är felaktigt eller inte.
Om den här AI-driften fortsätter så kommer svaren att bli allt dummare och mer felaktiga för varje ny version. Den som inte är uppmärksam på att det sker kan enkelt luras att tro på svaren.
Ett ännu större problem är att OpenAI och Google – som just nu har de två populäraste AI-tjänsterna – måste fånga upp AI-drift i god tid. Om de inte arbetar aktivt med att motverka problemet så kommer det bara växa och växa i takt med att modellerna utvecklas.
Jag har gjort nära 50 olika uträkningar kring procenttal av varierad grad, och ChatGPT har löst nästan alla problem utan att blinka. Notera: nästan.
ChatGPT svarar bensäkert på alla frågor med utförliga utränkningar, men svaren slår på tiondelar ibland vilket blir problematiskt i längden.
En fråga som jag ställde var följande: Hur mycket är 33,33 procent av 1799 kronor? Räkna ut talet och lägg på 25 procent.
Svaret jag fick var utförligt, men felaktigt. Så här svarade ChatGPT:
Varför det är fel? 1799 multiplicerat med 0,3333 borde vara 599,61 – inte 599,67. Det betyder att slutsvaret borde vara 749,51 istället för, som ChatGPT påstår, 749,59. ChatGPT klarar åtminstone att räkna procent baklänges utan problem.
Ett annat problem som ChatGPT har problem med är att vara konsekvent med hur AI-modellen svarar. Du kan få flera olika svar med exakt samma frågeställning, och om du säger till AI:n att den har fel så ändrar den glatt uträkningen, även om den hade rätt.
Här är ett populärt exempel som visar hur ChatGPT kan ge korrekt svar, men med två helt olika förklaringar. Frågeställningen är följande:
En låda innehåller 6 bananer och 2 kilo med äpplen. Om varje äpple väger 200 gram, hur många frukter är inuti lådan?
För att räkna ut hur många äpplen som finns i lådan baserat på vikten, kan vi använda följande beräkning:
2 kilo = 2000 gram
Om varje äpple väger 200 gram:
2000 gram / 200 gram/äpple = 10 äpplen
Så, det finns 10 äpplen i lådan.
Om lådan innehåller 6 bananer och 10 äpplen:
6 bananer + 10 äpplen = 16 frukter
Så, det finns totalt 16 frukter inuti lådan.
För att räkna ut hur många frukter som finns i lådan behöver vi omvandla äppelvikten från kilogram till gram, eftersom bananerna också anges i gram. Sedan kan vi räkna antalet frukter.
1 kilo = 1000 gram
Så om det finns 2 kilo äpplen, är det:
2 kilo x 1000 gram/kilo = 2000 gram äpplen
Eftersom varje äpple väger 200 gram, kan vi nu räkna ut antalet äpplen:
Antal äpplen = Total vikt av äpplen / Vikt per äpple
Antal äpplen = 2000 gram / 200 gram/äpple
Antal äpplen = 10 äpplen
Det finns 6 bananer i lådan plus 10 äpplen, vilket ger oss totalt:
6 bananer + 10 äpplen = 16 frukter
Det finns alltså 16 frukter i lådan.
Eftersom ChatGPT gav exakt samma resultat i slutändan så får AI:n godkänt på svaret, men uträkningen kan göras tydligare och enklare. Utmaningen här är att svaren kan ändras varje gång du ställer den – och vad är egentligen det optimala svaret? Vi lovar att ChatGPT inte vet.
Problemen med uträkningarna och svaren från AI-modellerna kan ofta härledas till att de inte förstår användarens fråga fullt ut. Att den grundläggande informationen som matas in i chattrutan inte är tillräcklig eller saknar styrningen som behövs. ChatGPT är smart på många sätt, men den behöver överdriven guidning ibland.
Text: Daniel Haaf
Publicerad: 2023-08-11
Uppdaterad: 2023-10-18
Källa: Zdnet
Den här sidan är skriven av Daniel Haaf som har mer än 15 års erfarenhet som copywriter och content editor inom teknikbranschen. Förutom att skriva på rakna-ut.se så finns han även på haaf.se och allt-om-pengar.se. Innehållet på sidan är skapad efter bästa förmåga. Om du hittar felaktigheter eller vill tipsa om förbättringar så gör du det via om-sidan.