ایتنا - فایل robots.txt حاوی دستورالعمل‌هایی برای خزنده‌های وب است که بدانند مجازند به چه صفحه‌هایی دسترسی پیدا کنند و به چه صفحه‌هایی نه.

شرکت پرپلیکسیتی (Perplexity)، که محصول خود را به عنوان یک «موتور جستجوی رایگان هوش مصنوعی» توصیف کرده است، طی چند روز گذشته تحت انتقادات شدیدی قرار گرفته است.
 
به گزارش ایتنا و به نقل از انگجت، اندکی پس از آنکه فوربس این شرکت را به سرقت خبرش و بازنشر آن در پلتفرم‌های مختلف متهم کرد، وایرد گزارش داد که پرپلیکسیتی «پروتکل عدم‌شمول روبات‌ها»، یا Robots.txt، را نادیده گرفته است و به جمع‌آوری غیرمجاز اطلاعات (اسکرپینگ) از وب‌سایت آن و سایر رسانه‌های شرکت Condé Nast پرداخته است. وب‌سایت فناوری The Shortcut نیز این شرکت را متهم کرد که به طور غیرمجاز از مطالب آن اطلاعات جمع‌آوری کرده است.
 
اکنون، رویترز گزارش داده است که پرپلیکسیتی تنها شرکت هوش مصنوعی نیست که در حال دور زدن فایل‌های Robots.txt است و به اسکرپینگ وب‌سایت‌ها برای دریافت محتوا برای آموزش فناوری‌هایش می‌پردازد.