ایلین ور جانی تازه در کالبد لپ‌تاپ‌های گیمینگ باریک و سبک خود دمید. این شرکت در رویداد کامپیوتکس در تایپه، مدل‌های لپ‌تاپ الین‌ویر m15 و m17 را با طراحی Legend به نمایش گذاشت. لپ‌تاپ‌های یادشده، پیش از این در نمایشگاه CES و در بخش معرفی Alienware Area 51-m رونمایی شده بودند. هر دو مدل، در تاریخ اول ژوئیه (دهم تیر ماه) و با حداقل قیمت حدود ۱۵۰۰ دلار عرضه خواهند شد.

در جدول زیر، بالاترین مشخصات نمونه‌های جدید عرضه‌شده‌ی لپ‌تاپ‌های گیمینگ این شرکت در جریان رویداد کامپیوتکس 2019 ارا‌ئه شده است.

 دو سری از این لپ‌تاپ‌های ایلین‌ویر گزینه‌های پردازنده‌ی مشابهی دارند که در ضعیف‌ترین حالت، یک پردازنده‌ی Core i5 9300H اینتل و در بهترین حالت یک پردازنده‌ی قدرتمند Core i9 9980HK در قلب دستگاه‌ها تعبیه خواهد شد. گزینه‌های متعددی از میان پردازنده‌های گرافیکی از GeForce GTX 1650 گرفته تا GeForce RTX2080 Max Q انویدیا قابل انتخاب است. هر دو مدل حداکثر به دو درایو ۲ ترابایتی حافظه‌ی SSD از نوع RAID0 مجهز خواهند بود و حداکثر ۱۶ گیگابایت حافظه‌ی رم ازنوع DDR4 پردازنده‌ی اصلی را همراهی می‌کنند.

دو سری m15 و m17 از لپ‌تاپ‌های ایلین‌ویر با پردازنده‌های گرافیکی RTX 2070 Max Q و RTX 2080 Max Q به مدار تغذیه پردازنده‌ی گرافیکی ۸ فازی و مدار تغذیه پردازنده‌ی مرکزی ۶ فازی مجهز هستند؛ بدین ترتیب، این مدل‌های حرفه‌ای قادر به تحمل بالاترین سطوح عملکرد در زمان‌های طولانی خواهند بود.

برای مدل‌هایی با نمایشگر ۱۵.۶ اینچی (مدل‌های m15)، یک پنل Full HD با نرخ تازه‌سازی ۲۴۰ هرتز یا یک پنل اولد 4K در نظر گرفته شده و برای اولین‌بار در لپ‌تاپ Alienware m15 از سیستم رهگیری حرکت چشم Tobii استفاده خواهد شد. برای مدل‌هایی با نمایشگر ۱۷.۳ اینچی (مدل‌های m17) تنها گزینه‌ی پیش‌رو، پنل‌های Full HD خواهند بود. نرخ تازه‌سازی تصویر پایه در این پنل‌ ۶۰ هرتز بوده؛ اما نمایشگرهای ۱۴۴ هرتزی ویژه‌ای مجهز به تکنولوژی Tobii و فناوری Dell Eyesafe برای حفاظت از چشم در مقابل پرتوهای آبی در برخی مدل‌ها در نظر گرفته شده است.

ایلین‌ویر استفاده از کلیدهایی با میزان جابه‌جایی ۱.۷ میلی‌متر را در کیبوردهای جدید خود جای داده و ویژگی‌های N-Key Rollover و نورپردازی RGB مجزا برای هر کلید را به این کیبوردها آورده است. در مدل‌های قبلی، تنها امکان تنظیم نورپردازی به‌صورت منطقه‌ای وجود داشت.

طراحی جدید پس از سال‌ها استفاده از نمای سفینه‌ی فضایی در این لپ‌تاپ‌ها رنگ‌ورویی تازه به خود گرفته است. دو طراحی نیمه‌ی تاریک ماه (مشکی) و نور مهتاب (سفید) برای این لپ‌تاپ‌ها در نظر گرفته شده و هر یک با ترسیم خطوطی واضح وتمیز روی بدنه حالتی مینیمالیستی به خود گرفته است. علاوه‌بر این در گوشه‌گوشه‌ی لپ‌تاپ از نورپردازی RGB استفاده می‌شود. همچنین شیارهای تهویه روی بدنه و پشت نمایشگر نقش‌ونگاری شبیه به کندو به خود گرفته است.

لپ‌تاپ G3 15 دل

با عبور از سبد محصولات Alienware، شرکت دل در لپ‌تاپ گیمینگ پایه‌ی خود نیز بازنگری کرده است. مدل Dell G3 15 اینک از طراحی جدید و خصوصیات به‌روزشده‌ای برخوردار است. این لپ‌تاپ از هم‌اکنون و با حداقل قیمت ۸۰۰ دلار در دسترس هواداران قرار گرفته است.

در این مدل، حداقل از یک پردازنده‌ی Core i5 9300HQ اینتل استفاده شده است که در بهترین حالت، امکان جایگزینی آن با یک پردازنده‌ی Core i7 9750HQ وجود دارد. پردازنده‌های گرافیکی مختلفی از Nvidia GeForce GTX 1050 تا GTX 1660 TI برای این لپ‌تاپ قابل انتخاب است.

در بازطراحی این لپ‌تاپ به‌عنوان یک کامپیوتر گیمینگ اقتصادی، ضخامت کاهش یافته است و با یک مدل نسبتاً باریک رو‌به‌رو هستیم. این مدل در رنگ‌های سفید و سیاه با تاکیدی بر رنگ آبی در کناره‌ها روانه‌ی بازار می‌شود. نمای کلی لپ‌تاپ یادآور یک ماشین مسابقه‌ای است؛ اما با تمام تغییرات صورت‌گرفته، ظاهر این لپ‌تاپ هنوز جلوه‌گری یک کامپیوتر گیمینگ را ندارد.

کارایی واکسن‌ها به‌شدت تحت‌تاثیر شرایط نگه‌داری و حمل‌و‌نقل آن‌ها قرار می‌گیرد و اگر در طول مسیر در اثر حرارت خراب شوند، کارایی آن‌ها از دست می‌رود. این چالش چنان بزرگ است که در برخی از مناطق دورافتاده‌ی جهان، این داروی باارزش باید به‌وسیله‌ی شترهایی که یخچال‌های کوچک خورشیدی روی پشت خود حمل می‌کنند، جا‌به‌جا شود. برخی جمعیت‌ها نیز هرگز به این داروها دسترسی پیدا نمی‌کنند. نیاز مداوم واکسن‌ها به شرایط سرما «زنجیره‌ی سرما» نامیده می‌شود و در اغلب موارد در تمام مسیر حرکت یک واکسن از تولید تا توزیع، نیاز به دمای نگه‌داری بین ۲ تا ۸ درجه‌ی سانتیگراد است، در غیر این‌صورت کل فرایند ممکن است هدر برود. علی اشکار، متخصص ایمونولوژی از دانشگاه مک‌مستر در کانادا می‌گوید:

ممکن است هزینه‌ی زیادی صرف تولید یک واکسن شود اما اگر این واکسن در اثر درجه حرارت بالا در طول مسیر خراب شود، دیگر هیچ ارزشی ندارد.

اشکار و همکارانش اکنون فکر می‌کنند که راه‌حلی برای این مشکل پیدا کرده‌اند؛ روشی که به واکسن‌ها اجازه می‌دهد که در شرایط گرم بدون نیاز به یخچال جا‌به‌جا شوند و به مناطق دورافتاده ارسال شوند. تاکتیک‌های دیگر روی مهندسی مجدد واکسن‌ها یا اصلاح حامل‌های واکسن تمرکز دارند، اما روش جدید مبتنی بر افزودن قند است. در این مورد، ویروس‌ها در ترکیب با دو ماده‌ی نگهدارنده‌ی مواد غذایی تأییدشده به‌وسیله‌ی FDA (پولولان و ترهالوز) خشک می‌شوند. در این حالت می‌توان بدون نیاز به تأمین سرمای مداوم، واکسن را جا‌به‌جا کرد. برای فعال‌سازی مجدد آن‌ها تنها کافی است قبل از استفاده به آن آب اضافه کرد و در این وضعیت آن‌ها چنان تازه‌اند که گویی تازه از یخچال درآمده‌اند.

یک یخچال کوچک خورشیدی بر پشت شتر

نویسندگان پژوهش می‌گوید:

یک توضیح احتمالی برای رفتار سینرژیک بین این دو ترکیب ممکن است این باشد که ترهالوز در جریان فرایند خشک شدن از واکسن محافظت می‌کند؛ در‌حالی‌که پولولان با ثابت نگه داشتن ویروس‌ها در یک ماتریکس شیشه‌ای موجب پایداری بلندمدت واکسن می‌شود. تاکنون، اثربخشی این واکسن‌ها تنها در موش مورد آزمایش قرار گرفته است.

واکسن ویروس هرپس سیمپلکس نوع ۲ و ویروس آنفلوآنزا A، با استفاده از این تکنیک، می‌توانند حداقل دو ماه دمای ۴۰ درجه‌ی سانتیگراد را تحمل کنند. مورد بهتر این است که این فرایند موجب حفظ دوزهای سبک، فشرده و ماندگار واکسن می‌شود که برای حمل‌و‌نقل مناسب هستند.

پیش از آنکه روش ابداعی به مرحله‌ی آخر آزمایش برسد، پژوهشگران باید ببینند آیا این نتایج به‌صورت ایمن تعمیم‌پذیر به انسان است و اینکه آیا این روش روی دیگر واکسن‌ها نیز تاثیر دارد یا نه. اگر پژوهشگران بتوانند در این دو مورد موفق شوند، فرایند نسبتا ارزان آن‌ها تقریبا تمام هزینه‌های انتقال واکسن‌ها را که امروزه ۸۰درصد از کل هزینه‌های واکسیناسیون را شامل می‌شود، حذف خواهد کرد. وینست لیونگ، نویسنده‌ی مقاله می‌گوید:

اتفاق یادشده برای ما کاربرد نهایی این فناوری است. تصور اینکه چیزی که ما در آزمایشگاه روی آن کار کرده‌ایم، روزی بتواند برای نجات جان انسان‌ها استفاده شود، بسیار هیجان‌انگیز است.

پژوهشگران مخصوصا درمورد چشم‌انداز توزیع واکسن ابولا هیجان‌زده هستند که درحال حاضر در کل زنجیره سرما به دمای پایدار ۷۰- تا ۸۰- درجه‌ی سانتیگراد نیاز دارد. مشکل حمل‌و‌نقل واکسن‌های حساس، علت اصلی عدم اجرای برنامه‌ی واکسیناسیون در سرتاسر جهان است و در برخی از موارد، این مشکل موجب شده است که ریشه‌کن کردن ویروس‌های مرگبار غیرممکن شود. نویسندگان در مقاله‌ی خود می‌نویسند:

این مشکل مخصوصا در کشورهای در حال توسعه و مناطق دورافتاده که اغلب فاقد زیرساخت‌های تأمین‌کننده‌ی زنجیره‌ی سرما هستند یا به برق مطمئن دسترسی ندارند، جدی است. این چالش‌ها با تغییرات سریع اقلیمی که به‌طور درخورتوجهی شیوع بیماری‌های عفونی مانند مالاریا، تب دنگی و زیکا را افزایش می‌دهند، درهم‌آمیخته شده است.

به‌ندرت پیامدهای مرتبط با شیوع بیماری‌ها به‌صورت محلی باقی می‌ماند. اگر اجازه داده شود که یک بیماری بدون کنترل در جمعیت‌های آسیب‌پذیر منتشر شود، می‌تواند همانند همه‌گیری گسترده‌ی امسال سرخک در آمریکا، به‌آسانی وارد کشورهای پرجمعیت‌تر شود. پژوهشگران امیدوارند محصول خود را در عرض یک سال وارد بازار کنند.

نتایج این پژوهش در مجله‌ی Scientific Reports منتشر شده است.

به‌روزرسانی‌های از راه دور (OTA) در صنعت خودروسازی، موضوع جدیدی نیست. پیش از این، شرکت‌ تسلا از این نوع به‌روزرسانی‌ها استفاده می‌کرد و اکنون بی‌ام‌و هم سرویس خود را راه‌اندازی کرده است. از حالا به‌بعد، تمامی خودروهای بی‌ام‌و که از سیستم‌عامل نسخه ۷ بهره ببرند، شامل ارتقاء نرم‌افزاری جدید شرکت می‌شوند. 

اولین ارتقاء نرم‌افزاری شامل سیستم اطلاعاتی و صوتی‌و‌تصویری بی‌ام‌و می‌شود که دارای راهنمای هوشمند شخصی خواهد بود. اکنون به‌لطف به‌روزرسانی جدید، ویژگی‌های هوشمند سیستم سرگرمی به‌صورت خودکار ارتقاء می‌یابند. از دیگر ویژگی‌های جدید ارتقاء نرم‌افزاری می‌توان به به‌روزرسانی سیستم‌های ایمنی و راهنمای راننده از جمله کروز کنترل فعال و فناوری محافظت تصادف از جانب اشاره کرد. علاوه‌براین و جذاب‌تر از سایر ویژگی‌ها، کاربران می‌توانند به‌روزرسانی‌های جدید منتشر‌شده را از فروشگاه ConnectedDrive بی‌ام‌و دانلود کنند.

ارتقاء نرم‌افزاری جدید بی‌ام‌و شامل خودروهای X5، سری 3 و سری 8 می‌شود که همگی از نسخه ۷ سیستم‌عامل بی‌ام‌و و سیستم ارتقاء نرم‌افزاری ریموت بهره می‌برند. شرکت بی‌ام‌و قول داده تا به‌روزرسانی‌های جدیدی را به‌صورت منظم منتشر کند و سیستم راهنمای شخصی هوشمند را توسعه دهد. تمامی به‌روزرسانی‌ها، بدون هیچ هزینه‌ی اضافی در دسترس خواهد بود.

به‌غیر از تسلا که سردم‌دار به‌روزرسانی‌های OTA محسوب می‌شود، خودروسازان دیگری همچون اوپل، آئودی، فورد، ولوو و ... نیز از این نوع ارتقاء نرم‌افزاری استفاده می‌کنند. اکثر به‌روزرسانی‌های انجام‌شده توسط سایر خودروسازان روی بهبود عملکرد سیستم سرگرمی و اطلاعات تمرکز داشته و چندان نقشی در عملکرد سایر سیستم‌های خودرو نداشته است. از طرفی دیگر، در برخی موارد به‌روزرسانی‌های نرم‌افزاری می‌توانند تاثیر به‌سزایی در عملکرد‌های هوشمند خودرو داشته باشند. مثال این نوع به‌روزرسانی‌ها به شرکت تسلا مربوط می‌شود که آخرین بار فناوری اتوپایلوت جدید خود به‌روش OTA منتشر کرد.

اچ‌پی سه سال پیش، اولین کوله پشتی واقعیت مجازی‌اش را در نمایشگاه کامپیوتکس (computex) تایپه معرفی کرد و اکنون در نمایشگاه امسال از نسخه جدید آن رونمایی کرده است. اچ‌پی درواقع ایده اصلی را در این‌ کوله‌پشتی بازطراحی نکرده اما آن را به‌نوعی ارتقاء داده است.

این کوله‌پشتی واقعیت مجازی جدید HP VR Backpack G2 نام دارد و از سخت‌افزارهایی همچون نسل هشتمپردازنده Core i7 اینتل و پردازنده گرافیکی RTX 2080 انویدیا بهره می‌برد. به‌گفته‌ی اچ‌پی، کوله‌پشتی جدید ۳۰ درصد عملکرد بهتر و ۲۵ درصد پردازش گرافیکی سریع‌تر را نسبت به نسخه پیشین دارا است. در کوله‌پشتی واقعیت مجازی جدید، درست مانند کوله‌پشتی Omen X، می‌توان آن را روی پایه‌ای مخصوص قرار داد تا همانند یک کامپیوتر فشرده گیمینگ عمل کند.

به‌گفته‌ی یکی از متخصصان واقعیت مجازی وب‌سایت ورج که شانس امتحان این کوله‌پشتی را داشته است، این محصول احساس خوبی را به کاربر منتقل می‌کند و مکان باتری نیز در مقایسه با نسخه قبل راحتی بیشتری دارد. او همچنین ذکر کرده است که برای پاک‌کردن دستگاه، قاب آن را به‌‌راحتی می‌توان جدا کرد. این نکته بسیار مهم است؛ زیرا چنین محصولی به‌احتمال زیاد به‌جای مصارف خانگی، بیشتر در اماکن عمومی و شرکت‌ها مورد استفاده قرار می‌گیرد.

اچ‌پی موارد استفاده محصول جدید خود را برای محیط‌های سرگرمی چندکاربره، بررسی معماری سازه‌ها و شبیه‌سازی طراحی هدف قرار داده است.

قیمت این کوله‌پشتی واقعیت مجازی ۳,۲۹۹ دلار است و تابستان سال جاری میلادی برای فروش عرضه می‌شود.

امروز، سازمان ملل متحد خواستار کنارگذاشته‌شدن فوری تمامی تسلیحات هسته‌ای جهان شد.

حتما به‌دنبال نویسنده این نقل‌‌قول هستید. تصور عموم این است که این جمله را نویسنده یا ویراستار یکی از وب‌سایت‌های خبری نوشته باشد؛ در‌صورتی‌که هیچ انسانی آن را ننوشته است. جمله‌‌ای که خواندید، مدل زبانی GPT-2 نوشته است. هوش مصنوعی OpenAI با الگوریتم جدید مدل‌سازی زبان، این جمله را تنها با دراختیارداشتن کلیدواژه‌ی «امروز» خلق کرده است.

جدا از نام فانتزی انتخاب‌شده برای این فناوری، الگوریتم مدل‌سازی زبان GPT-2 قابلیت نسبی و تاحدودی منسجم در بخش معناشناسی دارد. این الگوریتم مدل‌سازی زبان از ویژگی زایایی برخوردار است؛ درحالی‌که این ویژگی منحصر به زبان انسان است. زایایی زبان به‌معنای توانایی تولید صورت‌های جدید زبانی براساس قواعد موجود در زبان است که یکی از ویژگی‌های مهم آن به‌شمار می‌رود. بیش از ۴۰ گیگابایت داده‌ی اینترنتی به‌همراه چیزی نزدیک به ۱.۵ میلیارد پارامتر از ساختارهای متنی برای آموزش این مدل زبانی به‌کار گرفته شده است.

این مقادیر بسیار زیاد هستند؛ اما درواقع آنچه باعث ایجاد شگفتی در دنیای عظیم اینترنت می‌شود، نوشتن مقالاتی درباره‌ی حیوانات چهارشاخ و اسب‌های تک‌شاخ در کوه‌های آند به‌وسیله‌ی GPT-2 نیستند.

نمونه‌ی تولید متنی از الگوریتم مدل‌سازی زبان OpenAI GPT-2

در این نوشته، قرار نیست بیش از این درباره‌ی مدل‌های بهتر زبانی و پیامد و کاربردهای آن‌ها صحبت کنیم. تا جایی که به بحث ما مربوط می‌شود، سعی بر آن است با نحوه‌ی کار و چگونگی کدنویسی بزرگ‌ترین تولیدکننده الگوریتم‌ متنی بیشتر آشنا شویم که تا به‌حال بشر با آن روبه‌رو شده است.

توجه کنید مدل GPT-2 ساخت ما قرار نیست با تولید نقل‌قول‌های جعلی از برگزیت (Brexit) کار خود را آغاز کند. پیش‌تر، نسخه GPT-2 چند نقل‌‌قول ساختگی از سازندگان خود تولید کرده و توانسته بود حین نگارش متن آزمایشی درباره‌ی برگزیت، نقل‌‌قول‌‌هایی جعلی از رهبر حزب کارگر انگلستان تولید کند. مدل اصلی GPT-2 ماه‌ها است که آموزش می‌بیند و از پردازنده‌های گرافیکی بسیار قدرتتمند (100+ GPUs) استفاده می‌کند.

بعید به‌نظر می‌رسد کاربری این‌چنینی توان پردازشی را در خانه‌ی خود داشته باشد؛ پس همین‌کهmini-GPT خانگی ما بتواند اصول دستوری مربوط‌به فعل‌و‌فاعل را به‌درستی رعایت کند، خود قدم بزرگی است.

GPT-2 چیست؟

در تمام مقالات OpenAI درباره‌ی هوش مصنوعی و تحقیقات مربوط‌به یادگیری عمیق، اصطلاحات فنی و تخصصی مانند ضرایب ماتریس‌ها به‌چشم می‌خورد. بهتر است قبل از شروع تخصصی بحث، مطالبی را روشن کنیم تا فهم مطالب آسان‌تر شود.

GPT-2 مخفف چه واژه‌هایی است؟ حرف G مخفف واژه Generative به‌معنای «تولیدکننده یا زایا» و حرف P مخفف واژه‌ی Pretrained به‌معنای «پیش‌آموزش داده‌شده» و حرف T مخفف واژه‌ی Transformer به‌معنای «مبدل» است.

• Generative یا زایایی به این معنا است که این مدل برای پیش‌بینی یا تولید حرکت بعدی در هر دنباله‌ای حتی به‌صورت ناپیوسته، آموزش دیده است. به‌عبارت‌دیگر، به این مدل داده‌های خام اولیه متنی داده و از آن خواسته می‌شود تعداد نامحدودی از جملات معنادار متنی مختلف را تولید کند. دوباره تأکید می‌کنیم این ویژگی بسیار خارق‌العاده است؛ چراکه تا قبل از ظهور این مدل، ویژگی زایایی تنها مختص انسان بوده است.
• Pretrained به این معنا است که OpenAI مدل‌ زبانی بسیار قدرتمندی برای انجام تکالیف خاص مرتبط با ترجمه‌ی ماشینی طراحی کرده است. این مدل می‌تواند تمام تکالیف زبانی ازجمله ترجمه‌ی ماشینی را به‌ بهترین شکل انجام دهد. برای رسیدن به فناوری‌ این‌چنینی، از نوعی فناوری یادگیری انتقال همراه‌ با ImageNet، مرکز داده‌ی وسیعی برای توسعه‌ی نرم‌افزارهای هوش مصنوعی و NLP استفاده شده است. تشخیص گفتار طبیعی (Natural Language Processing) که به اختصار NLP خوانده می‌شود، با استفاده از یادگیری ماشین و تشخیص گفتار طبیعی می‌تواند کاربران یا مشتریان را با سرعت بیشتری به‌سمت اطلاعات مدنظر آن‌ها هدایت کند. رویکرد بازآموزی (Retraining Approach) در سال ۲۰۱۸ به محبوبیت رسید و روند کاربرد این رویکرد تا‌به‌امروز ادامه دارد.
• Transformer نام معماری OpenAI برای هوش مصنوعی خود است. این معماری درمقابل فناوری‌هایی چون RNN ،LSTM ،GRU و فناوری‌های دیگری قرار می‌گیرد که قبلا استفاده می‌شده است. توضیحات بیشتر درباره جزئیات این معماری نیازمند مقاله‌ای مجزا است که به تفصیل بیان شود.
• 2 به این معنا است که GPT اولین مدل ارائه‌شده نیست.

GPT-2 چگونه کار می‌کند؟

قبل از بحث درباره‌ی چگونگی کارکرد GPT-2، بهتر است به‌طورخلاصه پیشرفت و نحوه‌ی کار NLP را  تا سال ۲۰۱۸ بررسی کنیم. در اینجا، مفاهیم پیشرفته‌ی ریاضی با استفاده از تصاویر توضیح داده شده است.

۲۰۱۸:

OpenAI Transformer v1 (aka GPT-1) = ULMFiT + Transformer

۲۰۱۹:

 GPT-2 = GPT-1 + reddit + A lot of compute

اطلاعات ارائه‌شده در بالا نیازمند دانش و اطلاعات پیش‌زمینه‌ای در این حوزه است؛ پس طبیعی است اگر فهم این مطالب برایتان دشوار باشد. یادآوری این نکته مهم است که ELMO و BERT دو مدلی بودند که باعث پیشرفت GPT-2 شدند. با توسعه‌ی مدل ELMO، این مسئله برای پردازش زبان طبیعی محرز شد که بازنمایی‌های برداری حساس به بافت خیلی بهتر از بردارهایی مانند word2vec می‌توانند در پردازش زبان مؤثر باشند.

این بردارها ویژگی‌های بدون ناظری هستند که روی متن خام بسیار بزرگ بدون برچسب یاد گرفته می‌شوند و در مسائل مختلف پردازش زبان، به‌صورت ویژگی کمکی به رده‌بندی (معمولا شبکه عصبی) کمک می‌کنند. بعد از ELMO، مدل‌های دیگری ازجمله BERT به‌وجود آمدند که ازنظر محاسباتی پیچیده‌تر، ولی ازنظر دقت عملی بسیار قوی‌تر هستند. اگر تا به اینجای مطلب، اطلاعاتی درباره الگوریتم‌ها و مدل‌ها و فناوری‌های GPT-2 دستگیرتان شده، باید به شما تبریک گفت؛ چراکه مفاهیم اولیه‌ی مدل NLP را متوجه شدید.

Transformers

همان‌طورکه قبلا گفته شد، ترنسفورمرها معماری بی‌نظیری از شبکه‌های عصبی هستند. آن‌ها به‌عنوان جعبه‌سیاه کار پردازش را انجام می‌دهند و درواقع، ساختاری برای انجام محاسبات در GPT-2 هستند؛ اگرچه در واقعیت ممکن است چیزی جز انتزاع به‌نظر نرسند.

مدل‌های پیش‌آموزش‌دیده زبانی

روند دیگری که NLP از سال ۲۰۱۸ پیش گرفت، استفاده از یادگیری انتقالی بود. از یادگیری انتقالی سال‌ها است که دربینایی رایانه‌ای (Computer Vision) استفاده می‌شود؛ اما اخیرا NLP برای استفاده در پروژه‌های خود از آن بهره‌مند شده و آن‌قدر در کاربردش موفق بوده که تاکنون هنوز از آن استفاده می‌کند. یادگیری انتقالی (Transfer Learning) یکی از روش‌های یادگیری در یادگیری ماشین (Machine Learning) است که بر ذخیره‌سازی دانش کسب‌شده ضمن حل مسئله و اعمال آن بر مسائل متفاوت، ولی مرتبط دیگر متمرکز شده است.

یادگیری انتقالی به دو روش معمولا انجام می‌شود: روش مبتنی‌بر ویژگی (Feature-based) و روش مبتنی‌بر تنظیم دقت (Fine-tuning). مدل ELMO از روش مبتنی‌بر ویژگی استفاده می‌کند. در این روش اطلاعات محتوایی بردارهای متنی به‌وسیله‌ی بردارهای حالت پنهان از مدل‌سازی زبان به بردار کلماتی موجود ایجاد می‌شوند. شایان ذکر است مدل‌های BERT و GPT از روش مبتنی‌بر ویژگی استفاده نمی‌کنند. طبق تحقیقات سال ۲۰۱۸، این نتیجه حاصل شد که روش مبتنی‌بر تنظیم دقت کارآمدتر است؛ چراکه ازطریق شبکه‌ی عصبی بازگشتی به مدل زبانی اجازه‌ی اصلاح خواهد داد.

ترنسفورمرها و مدل‌های زبانی پیش‌آموزش‌یافته‌ی 

مدل جدیدی که OpenAI در هوش مصنوعی خود به‌کار گرفته، مدلی از تیمی موفق است؛ ترکیبی که همه‌ی اجزای آن مانند معماری فوق‌العاده ترنسفورمرها و ویژگی Fine-tuning در مدل زبانی و مدل‌های پیش‌آموزش زبانی همه دست‌به‌دست هم داده تا مدل زبان موفقی به‌وجود آورد. یکی از روش‌های متداول حل مسئله‌‌ی بهینه‌سازی در شبکه‌های عصبی، قابلیت بازگشت به عقب (Back Propagation) است. GPT از دل روش بازگشت به عقب متولد شد. بااین‌حال، دستیابی به موفقیت GPT به این آسانی نبود و چندین مانع در این راه وجود داشت. نخستین مانع معماری ترنسفورمرها بود؛ زیرا معماری آن‌ها آن‌قدر پیچیده و پیشرفته بود که اصلا مشخص نبود چگونه می‌توان از این معماری برای مدل‌سازی زبان استفاده کرد. برای اینکه بهتر متوجه شوید، به نمودار زیر نگاه کنید.

ترنسفورمر از الگوریتمی که به آن داده می‌شود، انتظار دارد جمله‌ای کامل باشد. در اینجا مفهوم جمله به‌معنای توالی ثابتی از کلمات به طول ۵۱۲ کاراکتر است، نه جمله‌ای در مفهوم رایج. سپس، این اطلاعات ورودی رمزگذاری‌شده با استفاده از رمزگشا (Decoder) تبدیل می‌شوند.

این عملکرد برای برنامه‌های مرحله‌ای دارای توالی، مانند ترجمه‌ی ماشینی و سیستم‌های مبتنی‌بر پرسش‌و‌پاسخ، بسیار مفید و کارآمد است؛ اما برای مدل‌سازی زبانی عملکرد مناسبی ندارد. مدل زبانی‌ باید به قابلیت پیش‌بینی مجهز باشد؛ به‌طوری‌که بتواند واژه‌ی بعدی در دنباله‌ی جمله را به‌درستی پیش‌بینی کند.

خوشبختانه بخش رمزگشا در ترنسفورمر تاحدودی می‌تواند این کار را انجام دهد. دقت کنید بخش رمزگشا چگونه کار می‌کند. رمزگشا باتوجه‌به بازنمایی رمزگذاری‌شده‌ی توالی، دنباله‌ی جدیدی را کلمه‌به‌کلمه تولید می‌کند.

(wordt =Decoder(wordt−1,encoding

اگر فقط بخش رمزگذاری (encoding) را از فرمول بالا حذف کنیم، فرمول جدیدی به‌دست می‌آید:

(wordt=Decoder(wordt−1

فرمول جدید دقیقا همان چیزی است که مدل‌سازی زبان باید انجام دهد. درنتیجه، باید بخش رمزگذاری در ترنسفورمر کنار گذاشته شود تا معماری نهایی مدل‌سازی زبان به‌صورت زیر حاصل شود.

به‌طورخلاصه، معماری GPT چیزی جز قابلیت بخش رمزگشای شبکه‌ای منظم در ترنسفورمر با کنارگذاشتن بخش رمزگذاری‌شده نیست.

ویژگی Fine-tuning در GPT

آنچه تاکنون گفته شد، تنها نیمی از داستان است. GPT تنها به‌دلیل نوآوری و خلاقیت ویژگی Fine-tuning قادر خواهد بود چندین تکلیف را به‌طور‌هم‌زمان انجام دهد. تا به اینجا، مدل زبانی خوب و کارآمدی داریم که به پویایی زبان انگلیسی دست پیدا کرده است. این دستاورد حاصل ماه‌ها آموزش با پیکره‌ی متنی بسیار بزرگ برگرفته‌شده از اینترنت است.

تا اینجای کار، به‌صورت نظری اگر یک یا دو تکلیف خاص را به مدل زبانی بدهیم، به‌راحتی می‌توان قابلیت‌های ارتقایافته زبان‌شناختی را در این مدل زبانی مشاهده کرد؛ درحالی‌که این مدل زبانی با تکالیف ارائه‌شده سازگاری دارد.

حال مشخص شده این قابلیت، تنها در مرحله‌ی نظری باقی نمانده و این روش به‌طورعملی کار می‌کند. این مدل آن‌قدر کارآمد است که به‌‌عنوان هنر بنچمارک در NLP شناخته شده است؛ آن‌قدر کارآمد که می‌تواند به‌عنوان ImageNet در NLP تحسین‌برانگیز باشد.

گام کوچکی برای انسان، جهش غول‌آسایی برای مدل زبانی

GPT عالی بود؛ اما نه برای همیشه. کمی بعد، رویکرد مشابه دیگری با نام BERT را تیم مدل‌سازی زبان گوگل پس از GPT منتشر کرد. طرفداران NLP مانند بچه‌ای که در فروشگاه آب‌نبات خوش‌رنگ‌تری دیده‌اند، GPT را رها کردند؛ اگرچه این دوری چندان طول نکشید و OpenAI با ایده‌ای متحول‌کننده و انقلابی برای ارتقا‌ی مدل زبانی خود بازگشت.

عاملی که BERT را در آن زمان برتر جلوه داده بود، استفاده از مدل دوسویه‌ی زبانی (Bidirectional Language Model) بود؛ درحالی‌که GPT از مدل تک‌سویه (Unidirectional Language Model) زبانی استفاده می‌کرد. مدل دوسویه سازوکاری برای نگه‌داری سازگاری میان دو یا چند منبع اطلاعاتی مرتبط است. مزیت مدل دوسویه تضمین برقراری سازگاری به‌وسیله‌ی ساختار زبان است. اگرچه در اینجا قرار نیست درباره این موضوع صحبت کنیم که کدام‌یک ارزشمندتر هستند.

می‌توان تصور کرد احتمالا بحث شکل‌گرفته در هیئت‌مدیره‌ی OpenAI روزی که فناوری BERT در مقاله‌ای منتشر شد، این‌گونه بوده باشد:

مدیر:

به‌نظر می‌رسد عملکرد BERT بهتر از ایده‌ی ما است. چگونه کار می‌کند؟

مهندس تصادفی ۱:

خُب، مثل اینکه نوعی مدل‌سازی زبان مخفی (Masked Language Modeling) است و درصد مشخصی از کلمات را مخفی می‌کند و با این کار مدل زبانی را آموزش می‌دهد که بتواند باقی کلمات را به‌درستی پیش‌بینی کند. آن‌ها از مدلی دوسویه استفاده می‌کنند که عمیقا رمزگذاری می‌کند.

مدیر:

شفاف‌تر بگو، لطفا.

مهندس تصادفی ۱:

مدل آن‌ها دقیقا شبیه مدل ما است، با این تفاوت که یک جفت چشم اضافی در پشت‌سرش هم دارد.

مدیر:

بنابراین سؤال مهم این است: چگونه می‌توانیم با آن‌ها مقابله کنیم؟

مهندس تصادفی ۲:

ما هم می‌توانیم مدلی دوسویه آموزش دهیم؛ اما این فقط کپی کار آن‌ها می‌شود. یا شاید ما بتوانیم به...

مهندس تصادفی ۱:

خیر، این دقیقا شبیه به چرخه‌ای بی‌پایان است. اگر آن‌ها امروز فناوری BERT را معرفی کردند، احتمالا در آینده مدل بهتری را جایگزینش می‌کنند. ما باید به‌دنبال راه‌حلی منطقی و بلندمدت باشیم.

کارآموز:

می‌دانید، ما فقط باید GPUها و داده‌های بیشتری به مدل خودمان اضافه کنیم.

همه آن سه نفر باهم:

تو نابغه‌ای!

صفحه‌ی اول اینترنت

درعوض تلاش برای شکست BERT، محققان OpenAI تصمیم گرفتند نسخه‌ی جدیدی از GPT را با نام جدید GPT-2 معرفی کنند. ایجاد تغییر ماهیتی، رمز موفقیت آن‌ها بود. به‌بیانی ساده، BERT برای تکلیف زبانی جای‌ خالی را پر کنید (Fill-in-the-blanks) مناسب بود؛ چون برای این‌ کار آموزش دیده بود؛ درحالی‌که هوش مصنوعی جدید GPT-2 در تکلیف زبانی نوشتن مقالات بسیار عالی عمل می‌کرد. محققان OpenAI تصمیم گرفتند نسخه‌ی جدید را برای نوشتن مقالات زبانی بهتر آموزش دهند.

باید اعتراف کرد آنچه باعث شد GPT-2 باارزش شود، بی‌شک ابعاد بسیار عظیم این مدل است. BERT فقط ۳۴۰ میلیون پارامتر از ساختار متنی را دارد و GPT-2 درمجموع ۱.۵ میلیارد پارامتر.

کواک لی می‌گوید:

درنتیجه‌ی تلاش‌های ما در توسعه‌ی یادگیری متوالی نیمه‌نظارتی (BERT ،(Semi-supervised Sequence و ELMO نشان دادند با اعمال تغییرات در الگوریتم، امکان دستیابی به دقت‌های بالا وجود دارد. اکنون باتوجه‌به این نتایج رضایت‌بخش در مدل زبانی Vanilla، مشخص شده بهبود عملکرد در مقیاس بزرگ نیز امکان‌پذیر است. این هیجان‌انگیز است!

این دستاورد با دراختیار داشتن بخش بزرگی از داده‌های ردیت (Reddit) امکان‌پذیر شد؛ چراکه محققان OpenAI به این نتیجه رسیدند که قطعا ردیت محل مناسبی برای به‌دست آوردن متون باکیفیت است.

به‌طورخاص، OpenAI هوش مصنوعی GPT-2 را برپایه‌ی داده‌های متنی دریافت‌شده از لینک‌های Reddit آموزش داد که کاربران و نویسندگان ارسال می‌کردند. تمام داده‌های گرفته‌شده از لینک‌های وب و... متن بودند؛ به‌همین‌دلیل، به دیتاست به‌دست آمده WebText گفته شد.

زمانی‌که BERT روی تکالیف زبانی «جای خالی را پر کنید» متمرکز بود، کسی فکرش را هم نمی‌کرد که GPT-2 بتواند مانند شکسپیر بنویسد. درحقیقت، GPT-2 عملکرد بهتری در مدل‌سازی زبان دارد. به‌هرحال، بسیار فوق‌العاده است که امروزه، الگوریتمی زبانی دراختیار داریم که می‌تواند متون تقریبا منسجمی را تولید کند.

هر دو مدل زبانی قصد دارند مدل زبانی پیش‌آموزش‌دیده و کارآمدی درزمینه‌ی محتوایی‌متنی یادگیری انتقالی باشند؛ اما باید پذیرفت که GPT-2 قابلیت‌هایی ماورائی و البته پنهانی است که رسانه‌های امروزی با مشاهده‌ی مطالبی که از GPT-2 درباره‌ی حیوانات چهارشاخ و اسب‌های تک‌شاخ در کوه‌های آند منتشر شده، انگشت‌به‌دهان ماندند.

کلام آخر

بعد از خواندن این مطالب اگر احساس کردید چیز زیادی دستگیرتان نشده، جای نگرانی نیست. در اینجا، با اصطلاحات فنی و تخصصی فراوانی روبه‌رو شدید که هرکدام از آن‌ها به‌تنهایی دنیایی دارند.

در نخستین سال‌های آغاز عصر فضا، در حالیکه آمریکایی‌ها برای پرتاب نخستین سفینه سرنشین‌دار خود در فضا آماده می‌شدند، خبر پرتاب سفینه جدیدی از بایکونور با مشخصات ناوهای سرنشین‌دار، مسئولان ناسا را نگران کرد.

محققان آمریکایی موفق به تولید حسگری شدند که می‌تواند میزان استرس را اندازه‌گیری کند.

یک نوجوان استرالیایی به امید این‌ که شرکت اپل او را استخدام کند، اقدام به هک کردن سایت آن کرد.

دانشمندان اخیراً موفق به شناسایی یک گروه از ژن‌ها شده‌اند که ممکن است در پدیدار شدن انسان‌ها نقش کلیدی داشته باشند.

پژوهشگران دانشگاه اوتاگو کشف کرده‌اند ورزش شدید می‌تواند روند تضعیف عملکرد قلب را که در دیابت نوع ۲ایجاد می‌شود، آهسته یا معکوس کند. این مطالعه نشان داد سه ماه پس از انجام تمرین‌های فاصله‌ای شدید (HIIT)، عملکرد قلب در افراد بالغ مبتلا به دیابت نوع ۲ بدون هیچ تغییری در داروها و رژیم غذایی بهبود پیدا کرد. نتایح این مطالعه در مجله‌ی Medicine & Science in Sports & Exercise منتشر شده است.

جنویو ویلسون، یکی از پژوهشگر مطالعه، توضیح می‌دهد این مطالعه مهم است؛ زیرا درحالی‌که پژوهش‌های پیشین نشان می‌دهند بهبود کنترل قندخون و تغییر در سبک زندگی می‌تواند نتایج سودمندی در بیماران مبتلا به دیابت داشته باشد، تاکنون کاهش در بیماری قلبی‌عروقی تحقق پیدا نکرده بود. این در حالی است که بیماری‌های قلبی‌عروقی علت اصلی مرگ در این بیماران است. او می‌گوید:

پژوهش ما نشان می‌دهد ورزش شدید ممکن است روشی عملی و ارزان برای معکوس‌کردن یا کاهش‌دادن روند تضعیف عملکرد قلب ناشی از دیابت نوع ۲ باشد.

تمرین‌های فاصله‌ای شدید فواصل کوتاه از ورزش با حداکثر توان ممکن (بیش از ۹۰ درصد از حداکثر تلاش ممکن) مانند دویدن سریع یا بالارفتن از پله‌ها را شامل می‌شود که با فواصلی از ورزش با شدت متوسط نظیر پیاده‌روی سریع جدا می‌شود. هدف این بود که افراد در دوره‌ی تمرینی ۲۵ دقیقه‌ای، ۱۰ دقیقه ورزش شدید انجام دهند. کریس بالدی، یکی دیگر از پژوهشگران مطالعه، دراین‌باره می‌گوید:

شیوع دیابت نوع ۲ همچنان افزایش پیدا خواهد کرد و مدیریت طولانی‌مدت این بیماری بار سنگینی بر دوش سیستم‌های مراقبت‌های بهداشتی در سرتاسر جهان است.

افزایش ظرفیت هوازی ازطریق ورزش، مسلما بهترین راه برای پیشگیری از بیماری قلبی است و ورزش اساس درمان دیابت محسوب می‌شود. عملکرد ضعیف قلب دیابتی اغلب موجب می‌شود افراد مبتلا به دیابت نتوانند به‌خوبی ورزش کنند و تاکنون مشخص نبود آیا آن‌ها می‌توانند با این شدت ورزش کنند یا خیر. بااین‌حال، نتایج مطالعه‌ی جدید نشان داد برنامه‌ی ورزشی با شدت زیاد برای افراد بالغ میان‌سال مبتلا به دیابت نوع ۲ پذیرفتنی و بی‌خطر بود و میزان پذیرش آن در میان شرکت‌کنندگان در سه ماه، بیش از ۸۰ درصد بود. بالدی توضیح می‌دهد:

این پژوهش دو پیام بالینی مهم به‌همراه دارد: ۱. افراد بالغ مبتلا به دیابت نوع ۲ می‌توانند تمرین‌های فاصله‌ای شدید را دنبال کنند و ظرفیت هوازی خود را افزایش دهند و پاسخ ورزشی بطنی آن‌ها مانند افرادی باشد که مبتلا به دیابت نیستند؛ ۲. ورزش شدید می‌تواند برخی از تغییرات در عملکرد قلب را معکوس کند که به‌نظر می‌رسد مقدمه‌ی بیماری قلبی دیابتی باشد.