تحقیقات جدید نشان می‌دهد که دقت این مدل‌ها هنگام تعامل با بیماران شبیه‌سازی‌شده به شدت کاهش می‌یابد.

چت‌بات‌های هوش مصنوعی با وجود موفقیت در آزمون‌های حرفه‌ای پزشکی، همچنان در انجام یکی از مهم‌ترین وظایف پزشکان، یعنی تشخیص بیماری از طریق گفتگو با بیماران، با مشکل مواجه هستند.

تحقیقات جدید نشان می‌دهد که دقت این مدل‌ها هنگام تعامل با بیماران شبیه‌سازی‌شده به شدت کاهش می‌یابد.

بر اساس مطالعه‌ای که توسط پژوهشگران دانشگاه هاروارد انجام شده است، مدل‌های هوش مصنوعی مانند جی‌پی‌تی ۴ از اوپن ای آی در آزمون‌های چندگزینه‌ای پزشکی عملکردی قابل توجه با دقت ۸۲ درصد داشتند، اما در تشخیص بیماری از طریق مکالمه با بیماران شبیه‌سازی‌شده، دقت آن‌ها به ۲۶ درصد کاهش یافت.

پژوهشگران برای ارزیابی این مدل‌ها از ۲۰۰۰ پرونده پزشکی استفاده کردند که بیشتر از آزمون‌های هیئت پزشکی آمریکا استخراج شده بود. در این فرآیند، مدل جی‌پی‌تی ۴ نقش بیمار شبیه‌سازی‌شده را ایفا کرد و با مدل‌های هوش مصنوعی دیگر که در نقش پزشک بودند، گفتگو کرد. نتایج این گفتگوها توسط کارشناسان پزشکی نیز بررسی شد.