شرکت OpenAI دلیل توهم زدن هوش مصنوعی را کشف کرده و راهکاری برای رفع آن پیشنهاد داده است

چت‌بات‌های هوش مصنوعی حالا در کلاس‌های درس، محل‌های کار و زندگی روزمره نقش فعالی دارند، اما این محصولات همچنان از یک نقص آزاردهنده رنج می‌برند. این چت‌بات‌ها گاهی مطالب نادرست می‌سازند، پدیده‌ای که به آن «توهم» گفته می‌شود این مدل نتایج ارائه شده توسط هوش مصنوعی می‌توانند کاملاً قانع‌کننده به نظر برسند، اما در واقعیت کاملاً اشتباه هستند.

به گفته محققان، توهمات لزوماً ناشی از طراحی ضعیف مدل نیستند، بلکه به نحوه آزمون و رتبه‌بندی سیستم‌های هوش مصنوعی مربوط می‌شوند. براساس معیارهای فعلی، یک چت‌بات در صورت پاسخ‌دادن به یک سؤال، حتی اگر به این سؤال پاسخ اشتباه بدهد، پاداش دریافت می‌کند. این درحالی است که این معیارها مدل‌هایی را که در صورت عدم اطمینان کافی به یک سؤال پاسخ نمی‌دهند را تنبیه می‌کنند.