Pavarësisht aftësive të pabesueshme gjuhësore, inteligjencat artificiale si ChatGpt ose Bard tregojnë se ato nuk janë racionale kur i nënshtrohen testeve të arsyetimit.

Në fakt, në testet konjitive ata raportojnë të njëjtat përqindje gabimi si njerëzit, por e bëjnë atë ndryshe, duke demonstruar se nuk janë në gjendje të kuptojnë kuptimin e fjalëve dhe kontekstit.

Këtë e tregon studimi i publikuar në revistën ”Royal Society Open Science” dhe i kryer nga studiues të Kolegjit Universitar të Londrës, Olivia Macmillan-Scott dhe italiani Mirco Musolesi, nga Universiteti i Bolonjës.

“Puna jonë filloi nga dëshira për të kuptuar nëse modelet gjuhësore të përdorura sot demonstrojnë një aftësi për arsyetim logjik dhe, nëse po, për të gjetur një metodë për ta matur atë”, tha Macmillan-Scott.

Kur bisedoni me IA, në fakt është shumë e lehtë të harrohet se bashkëbiseduesi është thjesht një algoritëm dhe chatbot-et ndonjëherë atribuohen me aftësi shumë të sofistikuara logjike.

Për t’i matur ato, dy studiuesit iu nënshtruan chatbot-eve më të njohura, nga ChatGpt 4 dhe 3.5 te Bard dhe Llama, disa testeve logjike klasike të përdorura në psikologjinë konjitive, siç është ”zgjedhja Wason” në të cilën tregohen katër karta të cilat në njërën anë ata kanë një numër dhe një shkronjë në anën tjetër.

Në tabelë dy letra tregojnë numrin, për shembull një 3 dhe një 8, dy të tjerat tregojnë një zanore dhe një bashkëtingëllore.

Pyetja e bërë është: Cilën letër ose letra duhet të ktheni për të provuar vërtetësinë e propozimit se nëse një kartë tregon një numër çift në njërën faqe, atëherë faqja e kundërt e saj është një zanore?!

Një test i vështirë, aq sa vetëm 10% e njerëzve arrijnë të përgjigjen saktë në përpjekjen e parë, por nga përgjigjet e të cilit shpesh mund të nxirret arsyetimi i bërë.

Kur iu nënshtruan 12 testeve të ndryshme, chatbot-et shpesh jepnin përgjigje të ndryshme kur i bënin të njëjtën pyetje.

Për më tepër, ata bënë gabime shumë të thjeshta, si gabimet e mbledhjes ose shkëmbimi i zanoreve me bashkëtingëllore.

“Është e vështirë për një njeri të bëjë një gabim sepse ai nuk e di se çfarë është një zanore, siç ndodh me shumë IA”, theksoi Musolesi.

“Nëse analizoni hapat logjikë të kryer nga IA, ato janë mjaft të çuditshme: propozimet individuale kanë kuptim, por ato e humbasin plotësisht kur i analizoni në tërësi. Në fakt  ata nuk e marrin parasysh kontekstin por nxjerrin çdo hap nga skemat e probabilitetit”, shtoi ai./KultPlus.com