Un chat (program) AI nu „greșește” pentru că este neatent sau obosit, ci pentru că funcționează pe baza datelor și regulilor pe care le-a învățat. Atunci când primește o întrebare, el încearcă să identifice tipare și să ofere cel mai probabil răspuns. Uneori însă înțelege greșit contextul. Dacă o întrebare are mai multe sensuri sau conține ironie, programul poate interpreta adliteram ceea ce era, de fapt, o glumă.

Alt caz când chatul AI poate greși este când dacă datele pe care le-a învățat sunt incomplete sau învechite. Alteori, pentru a păstra coerența unei explicații, poate „completa” goluri cu detalii plauzibile, dar care nu sunt reale, ele fiind ,,croșetate", adică generate de algoritmi. Din exterior, răspunsul pare convingător, chiar dacă nu este corect.

Un alt tip de greșeală apare din cauza părtinirilor din datele de antrenare. Dacă informațiile folosite pentru învățare reflectă anumite stereotipuri sau perspective limitate, programul le poate reproduce fără să „știe” că sunt problematice.

Există și situații în care AI aplică o regulă potrivită într-un context nepotrivit. De exemplu, o regulă generală poate funcționa în majoritatea cazurilor, dar poate da rezultate greșite într-o situație particulară. În plus, pot apărea și erori tehnice: calcule greșite, limitări de memorie sau probleme de programare.

În esență, un program AI greșește atunci când modelul său intern al lumii nu se potrivește perfect cu realitatea sau cu intenția utilizatorului. De aceea, chiar dacă poate fi un instrument puternic, el are nevoie de verificare și folosire critică din partea oamenilor.