Halucinácia AI

Prečo halucinácie vznikajú

Jazykový model nevie, čo je pravda. Predpovedá text, ktorý najlepšie sedí na otázku. Keď nemá dostatok informácií alebo je otázka nejasná, aj tak vygeneruje odpoveď, a niekedy je presvedčivo nesprávna. Problém je, že znie rovnako isto ako správna odpoveď.

Ako riziko znížiť

• Vlastné dáta: nechať AI odpovedať len z vašich overených podkladov, nie z celého internetu.
• Odovzdanie človeku: pri neistote radšej presmerovať na živého človeka.
• Kontrola: dôležité výstupy si overiť, hlavne čísla, ceny a fakty.

Prečo to majiteľa firmy zaujíma

Ak nasadzujete AI smerom k zákazníkom, halucinácia môže poškodiť dôveru alebo dať mylný sľub. Preto sa AI riešenia nemajú púšťať naslepo. Správne postavená AI je bezpečná, lebo pracuje s vašimi dátami a vie, kedy má mlčať a odovzdať to človeku.

Kedy je riziko najvyššie

Halucinácie hrozia najviac tam, kde model nemá dosť informácií alebo je otázka nejasná, napríklad pri detailných faktoch, číslach, dátumoch či pri veciach mimo jeho znalostí. Naopak, keď pracuje s jasne zadanými, vlastnými podkladmi, riziko je oveľa nižšie. Preto sa firemná AI stavia tak, aby čerpala z overených zdrojov. Prečo k halucináciám dochádza a ako sa proti nim brániť, je zhrnuté v prehľade IBM.

Pre firmu je najcitlivejší prípad halucinácie ten, ktorý sa jej priamo týka. Keď sa niekto spýta AI nástroja na vaše otváracie hodiny, ceny alebo rozsah služieb a model nemá istý zdroj, doplní odpoveď podľa toho, čo je bežné v odbore. Zákazník potom príde s nesprávnym očakávaním a nevie, že chyba nebola vaša. Najlepšia obrana je mať tieto fakty na webe napísané jasne a vo viditeľnom texte, nielen v obrázku alebo v PDF.

Časté otázky