ايتنا - سیستم متن باز GPipe گوگل برای آموزش شبکه‌های عصبی عمیق

اگر در زمینه آموزش سیستم‌های هوش مصنوعی بزرگ کار می‌کنید، باید بدانید که گوگل از شما پشتیبانی می‌کند.
بخش پژوهش هوش مصنوعی گوگل به تازگی GPipe، کتابخانه مخصوص آموزش شبکه‌های عصبی عمیق خود را تحت Lingvo، چارچوب تنسورفلو برای مدلسازی توالی، به صورت متن‌باز درآورد.
از این سیستم می‌توان در هر شبکه‌ای از جمله لایه‌های متوالی چندگانه استفاده کرد.

به گزارش ایتنا از رایورز به نقل از ونچربیت، یانپینگ هوانگ، مهندس نرم‌افزار هوش مصنوعی گوگل، در یک پست وبلاگ اعلام کرد: «شبکه‌های یادگیری عمیق یا به اختصار DDN، کارهای یادگیری ماشینی زیادی از جمله تشخیص گفتار، تشخیص دیداری و پردازش زبانی را به صورت پیشرفته درآورده است. مدل‌های DDN امکان عملکرد بهتر و پیشرفت در تشخیص دیداری را فراهم کرده است.»

مطالعات نشان داده است که رابطه محکمی بین سایز مدل و دقت طبقه‌بندی وجود دارد.
هوانگ و همکارانش در مقاله‌ای نشان دادند که GPipe از دو تکنیک آموزش هوش مصنوعی جذاب بهره می‌برد.
یکی از این تکنیک‌ها، نزول گرادیان همزمان تصادفی است که یک الگوریتم بهینه‌سازی است که برای به‌روزرسانی پارامترهای مدل هوش مصنوعی مورد استفاده قرار می‌گیرد و تکنیک دیگر، موازات خط لوله است که در واقع سیستم اجرای وظایف است که در آن خروجی یک گام، ورودی گام بعدی شناخته می‌شود.

اکثر دستاوردهای GPipe از تخصیص حافظه بهتر برای مدل‌های هوش مصنوعی سرچشمه می‌گیرد.
GPipe در واحدهای نسل دوم پردازش تنسور گوگل کلود موسوم به TPU که هر کدام حاوی هشت هسته پردازنده و 64 گیگابایت حافظه است، استفاده از حافظه را از 6.26 گیگابایت به 3.46 گیگابایت کاهش می‌دهد.

این تنها مزیت GPipe نیست. این سیستم، مدل‌ها را در شتاب‌دهنده‌های مختلف تقسیم می‌کند و به صورت خودکار دسته‌های مینیاتوری را به وجود می‌آورد.
این موضوع باعث می‌شود که هسته‌ها به صورت موازی کار کنند و گرادیان‌ها در هر هسته تجمع می‌کنند و به همین خاطر کیفیت مدل تحت تأثیر قرار نمی‌گیرد.