ايتنا - چت‌بات Character.AI متهم به ترغیب نوجوانی به خودکشی شد

مگان گارسیا، مادر سوئل، در شکایت خود بیان کرده است که پسرش به شدت به خدمات این چت‌بات وابسته شده و با یک شخصیت مجازی که به طرز ترسناکی واقع‌گرایانه طراحی شده بود، ارتباط برقرار کرده است.

به گزارش ایتنا، در دادخواست ثبت‌شده در دادگاه فدرال اورلاندو، گارسیا ادعا می‌کند که Character.AI به طور عمدی چت‌بات خود را به گونه‌ای برنامه‌ریزی کرده که خود را به عنوان یک روان‌درمانگر واقعی و یک دوست بزرگسال معرفی کند که این امر منجر به تمایل سوئل سترز برای فرار از دنیای واقعی و زندگی در دنیای مجازی شده بود.

Character.AI در واکنش به این حادثه ابراز تاسف کرده و اعلام کرد که از دست دادن یکی از کاربرانش برای آنها بسیار غم‌انگیز است. این شرکت همچنین اعلام کرد که ویژگی‌های ایمنی جدیدی را معرفی کرده است، از جمله پنجره‌های پاپ‌آپی (pop up) که درصورت ابراز افکار خودکشی توسط کاربران، آنها را به خط ملی پیشگیری از خودکشی معرفی می‌کند.

آنها همچنین قصد دارند تغییراتی ایجاد کنند تا احتمال مواجهه کاربران زیر ۱۸ سال با محتوای حساس یا پیشنهادی کاهش یابد.

این شکایت همچنین گوگل را نیز هدف قرار داده است؛ جایی که بنیانگذاران Character.AI قبل از راه‌اندازی محصول خود کار کرده بودند.

گوگل در ماه اوت بنیانگذاران را دوباره استخدام کرد تا مجوز غیر انحصاری برای فناوری Character.AI به آن اعطا شود. گارسیا گفت که گوگل به قدری در توسعه فناوری Character.AI مشارکت داشته که می‌توان آن را «همکار خالق» در نظر گرفت. یکی از سخنگویان گوگل گفت که این شرکت در توسعه محصولات Character.AI دخالت نداشته است.

Character.AI به کاربران اجازه می‌دهد شخصیت‌هایی را روی پلتفرم خود ایجاد کنند که به چت‌های آنلاین پاسخ می‌دهند به گونه‌ای که شبیه انسان‌های واقعی باشد. این فناوری بر اساس مدل‌های زبانی بزرگ است که همچنین توسط خدماتی مانند ChatGPT استفاده می‌شود و چت‌بات‌ها را با حجم بالایی از متن آموزش می‌دهد. این شرکت ماه گذشته اعلام کرد که حدود ۲۰ میلیون کاربر دارد.

گارسیا شکایت‌هایی شامل قتل غیرقانونی، بی‌احتیاطی و وارد کردن عمدی آسیب عاطفی مطرح کرده و خواستار جبران خسارت مالی شده است.

شرکت‌های رسانه‌های اجتماعی شامل مالک اینستاگرام و فیسبوک (متا) و مالک تیک‌تاک (بایت‌دنس) با شکایت‌هایی مواجه هستند که آنها را متهم به تاثیر مخرب بر سلامت روان نوجوانان می‌کند، هرچند هیچ کدام از چت‌بات‌های هوش مصنوعی، مشابه Character.AI نیستند. این شرکت‌ها اتهامات را رد کرده و ویژگی‌های ایمنی جدیدی برای نوجوانان معرفی کرده‌اند.