En ny undersøgelse kaster lys over udfordringerne ved at bruge generative AI-modeller som ChatGPT til privatøkonomisk rådgivning. Blandt 100 testede finansspørgsmål vurderede fire uafhængige danske eksperter, at kun 55 procent af svarene var korrekte. Resten var enten ufuldstændige, misvisende eller direkte forkerte.
Teknologiske begrænsninger bag fejlene
AI-modeller som ChatGPT bygger på store sprogmodeller (LLM’er), der er trænet på enorme mængder tekstdata. De kan generere plausible svar, men har ingen reel forståelse af regler eller lovgivning – og de kan ikke i sig selv verificere, om informationen er opdateret.
Fejlene i undersøgelsen optrådte især på områder som skat, pension og investering – felter, hvor både jura og praksis ændrer sig løbende, og hvor præcision er afgørende.
Ekspert: AI kan bruges til overblik – men ikke til beslutninger
Louise Aggerstrøm Hansen, chefanalytiker i Danske Bank og en af eksperterne bag vurderingen, advarer mod at bruge ChatGPT som beslutningsgrundlag:
– Jeg ville virkelig være tilbageholdende med at bruge den til at træffe meget konkrete beslutninger, men jeg synes helt sikkert, den kan noget i forhold til at give overblik, og jeg er generelt positivt overrasket over svarenes kvalitet.
Kræver domænespecifikke AI-løsninger
Undersøgelsen peger på et bredere teknologisk problem: general purpose AI-modeller er ikke specialiserede nok til domæner som finans, hvor regler og beregningsmodeller kræver præcision.
Fremtidens løsning kan ifølge eksperter være at koble sprogmodeller sammen med:
- Domænespecifikke databaser (fx officielle skattelove eller pensionsregler)
- Verificerbare beregningsmotorer
- Løbende dataopdatering, så AI’en ikke bygger på forældet viden
AI’s rolle i fremtidens rådgivning
Undersøgelsen rejser spørgsmålet om, hvilken rolle AI bør spille i privatøkonomisk rådgivning. Teknologien kan give overblik og fungere som første skridt i informationssøgning, men kræver stadig menneskelig ekspertise for at sikre kvalitet og korrekthed.
Faktaboks: ChatGPT og finansundersøgelsen
- 100 finansrelaterede spørgsmål testet
- 55 % af svarene vurderet som korrekte
- 45 % var ufuldstændige, misvisende eller forkerte
- Største fejlområder: skat, pension, investering
- Vurderet af fire uafhængige danske økonomiske eksperter
Hele analysen og samtlige ekspertcitater kan læses her: https://modeva.dk/blog/chatgpt-finans-undersoegelse/
