محققان MIT و جاهای دیگر ابزاری تعاملی ایجاد کرده اند که برای اولین بار به کاربران اجازه می دهد عملکرد سیستمهای یادگیری خودکار را چگونه مشاهده و کنترل کنند. هدف ، ایجاد اعتماد به نفس در این سیستم ها و یافتن راه هایی برای بهبود آنها است.
طراحی یک مدل یادگیری ماشین برای یک کار خاص - مانند طبقه بندی تصویر ، تشخیص بیماری و پیش بینی بازار سهام - یک فرایند دشوار و زمان بر است. کارشناسان برای اولین بار از میان بسیاری از الگوریتم های مختلف برای ایجاد مدل در اطراف انتخاب می کنند. سپس ، آنها قبل از شروع مدل آموزش "Hyperparameters" را که ساختار کلی مدل را تعیین می کند ، بطور دستی ترسیم می کنند.
سیستمهای یادگیری خودکار (AutoML) که اخیراً توسعه یافته اند ، به طور تکراری الگوریتم ها و آن هایپرپارامترها را آزمایش و اصلاح کرده و مدل های مناسب را انتخاب می کنند. اما سیستم ها به عنوان " جعبه های سیاه " کار می کنند ، به این معنی که تکنیک های انتخاب آنها برای کاربران پنهان است. بنابراین ، کاربران ممکن است به نتایج اعتماد ندارند و می توانند متناسب با نیازهای جستجوی خود سیستم را دشوار کنند.
در مقاله ای که در کنفرانس ACM CHI در مورد عوامل انسانی در سیستم های محاسباتی ارائه شده است ، محققان MIT ، دانشگاه علم و فناوری هنگ کنگ (HKUST) و دانشگاه ژجیانگ ابزاری را توصیف کرده اند که تجزیه و تحلیل ها و کنترل روش های AutoML را در اختیار کاربران قرار می دهد. دست ها. با نام ATMSeer ، این ابزار به عنوان ورودی یک سیستم AutoML ، یک مجموعه داده و برخی اطلاعات در مورد کار کاربر می باشد. سپس ، فرایند جستجو را در یک رابط کاربر پسند تجسم می کند ، که اطلاعات عمیقی از عملکرد مدل ها ارائه می دهد.
کالیان وراماچاننی ، یک دانشمند اصلی پژوهش در آزمایشگاه MIT برای سیستم های اطلاعات و تصمیم گیری (LIDS) ، که هدایت داده ها را به گروه هوش مصنوعی می گوید ، می گوید: "ما به کاربران اجازه می دهیم که سیستم های AutoML را چگونه کار کنند." "شما ممکن است به سادگی مدل عملکرد بالا را انتخاب کنید ، یا ممکن است ملاحظات دیگری داشته باشید یا از تخصص دامنه برای راهنمایی سیستم برای جستجوی برخی از مدلها در مورد سایر استفاده کنید."
در مطالعات موردی با دانشجویان فارغ التحصیل علوم ، که تازه کار AutoML بودند ، محققان دریافتند که حدود 85 درصد از شرکت کنندگان که از ATMSeer استفاده کرده اند ، در مدل های انتخاب شده توسط سیستم اطمینان داشتند. تقریباً همه شرکت کنندگان گفتند که استفاده از این ابزار باعث شده آنها به اندازه کافی راحت باشند که در آینده از سیستم های AutoML استفاده کنند.
میکا اسمیت ، دانشجوی فارغ التحصیل گروه مهندسی برق و علوم کامپیوتر (EECS) می گوید: "ما دریافتیم که افراد به دلیل باز کردن آن جعبه سیاه و دیدن و کنترل نحوه عملکرد سیستم ، از AutoML استفاده می کنند." محقق LIDS.
این ابزار ، ATMSeer ، رابط کاربر پسند ایجاد می کند که اطلاعات عمیق در مورد عملکرد مدل های انتخاب شده و همچنین انتخاب الگوریتم ها و پارامترهایی را که می توان همه آنها را تنظیم کرد ، نشان می دهد. اعتبار: موسسه فناوری ماساچوست
Qianwen Wang از نویسندگان اصلی HKUST می گوید: "تجسم داده ها رویکردی مؤثر در جهت همکاری بهتر بین انسانها و ماشین ها است. ATMSeer این ایده را مثال می زند." "ATMSeer بدون توجه به دامنه آنها ، از متخصصان یادگیری ماشین بهره می برد. [افرادی که سطح خاصی از تخصص را دارند. این می تواند درد انتخاب الگوریتم های یادگیری ماشین و تنظیم پارامترهای فوق العاده را تسکین دهد."
پیوستن به اسمیت ، ویراماچاننی و وانگ روی کاغذ عبارتند از: یائو مینگ ، Qiaomu شن ، دونیو لیو ، و Huamin Qu ، همه HKUST ؛ و Zhihua Jin از دانشگاه ژجیانگ.
تنظیم مدل
در هسته اصلی ابزار جدید یک سیستم AutoML سفارشی به نام "Models-Tuned Models" (ATM) است که در سال 2017 توسط Veeramachaneni و سایر محققان ساخته شده است. به داده ها
دستگاه خودپرداز به عنوان ورودی از هر مجموعه داده و یک کار پیش بینی رمزگذاری شده استفاده می کند. سیستم بطور تصادفی یک کلاس الگوریتم - از قبیل شبکه های عصبی ، درختان تصمیم گیری ، جنگل تصادفی و رگرسیون لجستیک - و هایپارامترهای مدل مانند اندازه درخت تصمیم گیری یا تعداد لایه های شبکه عصبی را انتخاب می کند.
سپس ، سیستم مدل را در برابر مجموعه داده اجرا می کند ، به طور تکراری Hyperparameters را تنظیم می کند و عملکرد را اندازه گیری می کند. از آنچه در مورد عملکرد آن مدل آموخته است برای انتخاب مدل دیگر و موارد دیگر استفاده می کند. در پایان ، سیستم چندین مدل عملکرد بالا را برای یک کار خروجی می کند.
بیشتر بخوانید: پمپ وکیوم کوچک
ترفند این است که هر مدل اساساً می تواند به عنوان یک نقطه داده با چند متغیر رفتار شود: الگوریتم ، هایپرپارامترها و عملکرد. محققان با تکیه بر این کار ، سیستمی را طراحی کردند که نقاط داده ها و متغیرها را در نمودارها و نمودارهای مشخص شده ترسیم کند. از آنجا ، آنها یک تکنیک جداگانه ایجاد کردند که به آنها امکان می دهد آن داده ها را در زمان واقعی پیکربندی کنند. اسمیت می گوید: "ترفند این است که ، با این ابزارها ، هر چیزی را که می توانید تجسم کنید ، می توانید اصلاح کنید."
ابزارهای تجسمی مشابه به تجزیه و تحلیل تنها یک مدل یادگیری ماشین خاص اختصاص داده شده است ، و سفارشی سازی محدود فضای فضای جستجو را امکان پذیر می کند. وانگ می گوید: "بنابراین ، آنها پشتیبانی محدودی از فرآیند AutoML را ارائه می دهند ، که در آن پیکربندی های بسیاری از مدل های جستجو شده نیاز به تجزیه و تحلیل دارند." در مقابل ، ATMSeer از تجزیه و تحلیل مدل های یادگیری ماشین تولید شده با الگوریتم های مختلف پشتیبانی می کند. "
محققان MIT و جاهای دیگر ابزاری تعاملی ایجاد کرده اند که برای اولین بار به کاربران اجازه می دهد عملکرد سیستمهای یادگیری خودکار را چگونه مشاهده و کنترل کنند. هدف ، ایجاد اعتماد به نفس در این سیستم ها و یافتن راه هایی برای بهبود آنها است.
طراحی یک مدل یادگیری ماشین برای یک کار خاص - مانند طبقه بندی تصویر ، تشخیص بیماری و پیش بینی بازار سهام - یک فرایند دشوار و زمان بر است. کارشناسان برای اولین بار از میان بسیاری از الگوریتم های مختلف برای ایجاد مدل در اطراف انتخاب می کنند. سپس ، آنها قبل از شروع مدل آموزش "Hyperparameters" را که ساختار کلی مدل را تعیین می کند ، بطور دستی ترسیم می کنند.
سیستمهای یادگیری خودکار (AutoML) که اخیراً توسعه یافته اند ، به طور تکراری الگوریتم ها و آن هایپرپارامترها را آزمایش و اصلاح کرده و مدل های مناسب را انتخاب می کنند. اما سیستم ها به عنوان " جعبه های سیاه " کار می کنند ، به این معنی که تکنیک های انتخاب آنها برای کاربران پنهان است. بنابراین ، کاربران ممکن است به نتایج اعتماد ندارند و می توانند متناسب با نیازهای جستجوی خود سیستم را دشوار کنند.
در مقاله ای که در کنفرانس ACM CHI در مورد عوامل انسانی در سیستم های محاسباتی ارائه شده است ، محققان MIT ، دانشگاه علم و فناوری هنگ کنگ (HKUST) و دانشگاه ژجیانگ ابزاری را توصیف کرده اند که تجزیه و تحلیل ها و کنترل روش های AutoML را در اختیار کاربران قرار می دهد. دست ها. با نام ATMSeer ، این ابزار به عنوان ورودی یک سیستم AutoML ، یک مجموعه داده و برخی اطلاعات در مورد کار کاربر می باشد. سپس ، فرایند جستجو را در یک رابط کاربر پسند تجسم می کند ، که اطلاعات عمیقی از عملکرد مدل ها ارائه می دهد.
کالیان وراماچاننی ، یک دانشمند اصلی پژوهش در آزمایشگاه MIT برای سیستم های اطلاعات و تصمیم گیری (LIDS) ، که هدایت داده ها را به گروه هوش مصنوعی می گوید ، می گوید: "ما به کاربران اجازه می دهیم که سیستم های AutoML را چگونه کار کنند." "شما ممکن است به سادگی مدل عملکرد بالا را انتخاب کنید ، یا ممکن است ملاحظات دیگری داشته باشید یا از تخصص دامنه برای راهنمایی سیستم برای جستجوی برخی از مدلها در مورد سایر استفاده کنید."
در مطالعات موردی با دانشجویان فارغ التحصیل علوم ، که تازه کار AutoML بودند ، محققان دریافتند که حدود 85 درصد از شرکت کنندگان که از ATMSeer استفاده کرده اند ، در مدل های انتخاب شده توسط سیستم اطمینان داشتند. تقریباً همه شرکت کنندگان گفتند که استفاده از این ابزار باعث شده آنها به اندازه کافی راحت باشند که در آینده از سیستم های AutoML استفاده کنند.
میکا اسمیت ، دانشجوی فارغ التحصیل گروه مهندسی برق و علوم کامپیوتر (EECS) می گوید: "ما دریافتیم که افراد به دلیل باز کردن آن جعبه سیاه و دیدن و کنترل نحوه عملکرد سیستم ، از AutoML استفاده می کنند." محقق LIDS.
این ابزار ، ATMSeer ، رابط کاربر پسند ایجاد می کند که اطلاعات عمیق در مورد عملکرد مدل های انتخاب شده و همچنین انتخاب الگوریتم ها و پارامترهایی را که می توان همه آنها را تنظیم کرد ، نشان می دهد. اعتبار: موسسه فناوری ماساچوست
Qianwen Wang از نویسندگان اصلی HKUST می گوید: "تجسم داده ها رویکردی مؤثر در جهت همکاری بهتر بین انسانها و ماشین ها است. ATMSeer این ایده را مثال می زند." "ATMSeer بدون توجه به دامنه آنها ، از متخصصان یادگیری ماشین بهره می برد. [افرادی که سطح خاصی از تخصص را دارند. این می تواند درد انتخاب الگوریتم های یادگیری ماشین و تنظیم پارامترهای فوق العاده را تسکین دهد."
پیوستن به اسمیت ، ویراماچاننی و وانگ روی کاغذ عبارتند از: یائو مینگ ، Qiaomu شن ، دونیو لیو ، و Huamin Qu ، همه HKUST ؛ و Zhihua Jin از دانشگاه ژجیانگ.
تنظیم مدل
در هسته اصلی ابزار جدید یک سیستم AutoML سفارشی به نام "Models-Tuned Models" (ATM) است که در سال 2017 توسط Veeramachaneni و سایر محققان ساخته شده است. به داده ها
دستگاه خودپرداز به عنوان ورودی از هر مجموعه داده و یک کار پیش بینی رمزگذاری شده استفاده می کند. سیستم بطور تصادفی یک کلاس الگوریتم - از قبیل شبکه های عصبی ، درختان تصمیم گیری ، جنگل تصادفی و رگرسیون لجستیک - و هایپارامترهای مدل مانند اندازه درخت تصمیم گیری یا تعداد لایه های شبکه عصبی را انتخاب می کند.
سپس ، سیستم مدل را در برابر مجموعه داده اجرا می کند ، به طور تکراری Hyperparameters را تنظیم می کند و عملکرد را اندازه گیری می کند. از آنچه در مورد عملکرد آن مدل آموخته است برای انتخاب مدل دیگر و موارد دیگر استفاده می کند. در پایان ، سیستم چندین مدل عملکرد بالا را برای یک کار خروجی می کند.
بیشتر بخوانید: پمپ وکیوم کوچک
ترفند این است که هر مدل اساساً می تواند به عنوان یک نقطه داده با چند متغیر رفتار شود: الگوریتم ، هایپرپارامترها و عملکرد. محققان با تکیه بر این کار ، سیستمی را طراحی کردند که نقاط داده ها و متغیرها را در نمودارها و نمودارهای مشخص شده ترسیم کند. از آنجا ، آنها یک تکنیک جداگانه ایجاد کردند که به آنها امکان می دهد آن داده ها را در زمان واقعی پیکربندی کنند. اسمیت می گوید: "ترفند این است که ، با این ابزارها ، هر چیزی را که می توانید تجسم کنید ، می توانید اصلاح کنید."
ابزارهای تجسمی مشابه به تجزیه و تحلیل تنها یک مدل یادگیری ماشین خاص اختصاص داده شده است ، و سفارشی سازی محدود فضای فضای جستجو را امکان پذیر می کند. وانگ می گوید: "بنابراین ، آنها پشتیبانی محدودی از فرآیند AutoML را ارائه می دهند ، که در آن پیکربندی های بسیاری از مدل های جستجو شده نیاز به تجزیه و تحلیل دارند." در مقابل ، ATMSeer از تجزیه و تحلیل مدل های یادگیری ماشین تولید شده با الگوریتم های مختلف پشتیبانی می کند. "
تعویض توربین های بادی در دانمارک تمرکز خود را به ابررساناها معطوف می کند