یک رویکرد کاربر محور برای تشخیص احساسات با سنسورهای کم هزینه

تشخیص احساسات در بسیاری از زمینه ها ، از مراقبت های بهداشتی گرفته تا تعامل انسان و رایانه بسیار مفید است. در این مقاله ، ما یک روش تکراری کاربر محور برای حمایت از توسعه یک سیستم تشخیص احساسات بر اساس سنسورهای کم هزینه پیشنهاد می کنیم. تکنیک های هوش مصنوعی برای طبقه بندی احساسات اتخاذ شده است. نوع مختلفی از طبقه بندی کننده های یادگیری ماشین به صورت تجربی بر روی داده های بیومتریک کاربران ، مانند نرخ قلب ، حرکت و صدا ، آموزش دیده اند. این سیستم در دو تکرار توسعه یافته است و در پایان هر یک از آنها ، عملکرد طبقه بندی کننده ها (MLP ، CNN ، LSTM ، دو طرفه-LSTM و درخت تصمیم گیری) مقایسه شده است. پس از آزمایش ، پرسشنامه SAM برای ارزیابی وضعیت عاطفی کاربر هنگام استفاده از سیستم پیشنهاد می شود. در آزمایش اول ما داده ها را از 47 شرکت کننده جمع آوری کردیم ، در نسخه دوم نسخه بهبود یافته سیستم توسط 107 نفر آموزش دیده و تأیید شده است. تجزیه و تحلیل عاطفی انجام شده در پایان هر تکرار نشان می دهد که کاهش تهاجمی دستگاه ممکن است بر درک کاربر تأثیر بگذارد و همچنین عملکرد طبقه بندی را بهبود بخشد.

روی نسخه خطی کار می کنید؟

معرفی

اخیراً ، بسیاری از تلاشهای تحقیقاتی به شناخت احساسات انسانی اختصاص یافته است. این علاقه عمدتاً به این دلیل است که احساسات در واکنش ها و رفتارهای کاربردی تأثیر می گذارد و درک آنها ممکن است در زمینه های مختلف مانند تعامل انسان و رایانه ، مهندسی نرم افزار [11] ، بازی ، بازاریابی و چندرسانه ای مفید باشد. در مراقبت های بهداشتی ، به ویژه برای انواع خاصی از بیماران ، مانند افراد اوتیسم یا افرادی که قادر به بیان احساسات خود نیستند ، مفید است: تشخیص احساسات آنها ممکن است برای مراقبان برای جلوگیری از حملات وحشت یا درک بهتر نیازهای آنها مفید باشد.

احساسات مربوط به حال و هوای یک شخص است و برای چند مورد چند برابر است ، بنابراین تشخیص آنها دشوار است. بسیاری از رویکردهای تشخیص احساسات مبتنی بر تجزیه و تحلیل بیان چهره ، صدا و حرکات کاربر است ، حتی اگر این رفتارهای کاربر ممکن است عمداً کنترل شود یا احساسات دیگر را پنهان کند. علاوه بر این ، عبارات کاربر نیز ممکن است تحت تأثیر قومیت و فرهنگ باشد. این مشکلات ممکن است با اتخاذ رویکردهای تشخیص احساسات بر اساس سیگنال های فیزیولوژیکی برطرف شود ، که در چشم انسان قابل مشاهده نیست و بلافاصله تغییرات عاطفی را منعکس می کند. این نوع سیگنال ها ممکن است توسط سنسورها تشخیص داده شوند.

استفاده از سنسورهای کم هزینه یک چالش اضافی مرتبط برای اجازه دادن به این فناوری برای همه [13] است. علاوه بر این ، ممکن است ارزیابی شود که آیا دستگاه برای دستیابی به احساسات به خوبی توسط کاربر پذیرفته شده است و این امر بر وضعیت عاطفی وی تأثیر نمی گذارد. در واقع ، یک دستگاه تهاجمی می تواند بر احساسات کاربر تأثیر بگذارد. به همین دلیل ، تجزیه و تحلیل عاطفی ممکن است برای جمع آوری برداشت کاربر در مورد استفاده از دستگاه اتخاذ شود.

این مقاله سهم اصلی زیر را ارائه می دهد: یک رویکرد طراحی کاربر محور برای توسعه یک سیستم تشخیص احساسات با استفاده از: i) سنسورهای غیر تهاجمی ، پوشیدنی ، کم هزینه ، ب) مدل های هوش مصنوعی برای طبقه بندی احساسات و iii) تجزیه و تحلیل عاطفی از طریق خود-سنجش مانیکین (SAM) [4] پرسشنامه برای ارزیابی تأثیر سیستم بر وضعیت عاطفی کاربر.

ما فرایندی را که برای توسعه سیستم تشخیص احساسات خود دنبال می کنیم ، به تفصیل شرح می دهیم. این کار در دو تکرار پیاپی انجام شده است. در پایان هر تکرار ، همراه با ارزیابی عملکرد و مقایسه بین رویکردهای مختلف طبقه بندی یادگیری ماشین ، ما با هدف جمع آوری احساسات کاربر در دستگاه تشخیص ، یک تحلیل عاطفی انجام دادیم. رویکردهای طبقه بندی در نظر گرفته شده شامل شبکه عصبی چند لایه Perceptron (MLP) ، شبکه عصبی حلقوی (CNN) ، شبکه عصبی کوتاه مدت (LSTM) ، حافظه کوتاه مدت دو طرفه (دو طرفه LSTM) شبکه عصبی و درخت تصمیم است.

مقاله به شرح زیر ساختار یافته است. بخش 2 در مورد کار مربوط به تشخیص احساسات مبتنی بر سنسور بحث می کند. بخش 3 فرآیند توسعه کاربر محور پیشنهادی را بر اساس چرخه طراحی محرک و چرخه طراحی سیستم ارائه می دهد. بخش 4 در مورد تهدیدهای مربوط به اعتبار بحث می کند. سرانجام ، بخش 5 مقاله را نتیجه می گیرد و کارهای آینده را پیشنهاد می کند.

زمینه و کار مرتبط با آن

بگذارید بررسی کنیم که چگونه جنبه های مربوط به تشخیص احساسات با استفاده از سنسورها در ادبیات ، با در نظر گرفتن عناصر کلیدی زیر رفتار شده است.

احساسات انتخاب شدهبسیاری از رویکردهای طبقه بندی احساسات توسط روانشناسان ارائه شده است. در حال حاضر ، معتبرترین موارد زیر است:

اکمان و همکاران.[10] احساسات را به عنوان یک پدیده گسسته در نظر بگیرید و مجموعه ای از احساسات اساسی را تعریف کنید (شش): شادی ، انزجار ، عصبانیت ، ترس ، تعجب و غم و اندوه.

یک رویکرد (مستمر) که در آن احساسات بر حسب یک عملکرد پیوسته در دو یا چند بعد طبقه بندی می شوند. دو مدل معتبر پیوسته توسط Plutchik [26] و توسط Russel [30] پیشنهاد شده اند. در مدل دایره ای تأثیر راسل، فضای عاطفی توسط محورهای ظرفیت و برانگیختگی به چهار ربع تقسیم می شود. با در نظر گرفتن این طبقه بندی، احساسات را می توان در چهار طبقه دسته بندی کرد که هر یک به یکی از چهار ربع مربوط می شود.

محرک ها و مجموعه داده هامکانیسم محرک برای بررسی های تجربی احساسات اتخاذ شده برای راه اندازی یک سیستم طبقه بندی احساسات ممکن است ماهیت های مختلفی داشته باشد:

تصاویر. سیستم بین المللی عکس عاطفی (IAPS) مجموعه ای از تصاویر از عکس های رنگی طبیعی زندگی روزمره است که صحنه های پیچیده را به تصویر می کشد. انواع احساسات زیر را القا می کند: غم، ترس، انزجار، هیجان، شهوانی و خنثی [20]. این شرایط طیف ظرفیت را از منفی (نور، ترس، انزجار) تا مثبت (شهوانی، هیجان) پوشش می دهد. استفاده از این مجموعه داده عمومی نیست. ممکن است برای اهداف تحقیقاتی درخواست شود.

یک مجموعه داده باز testImages_artphoto پانوشت 1 است. تصاویر با جستجو در سایت اشتراک گذاری هنر از اینترنت گرفته شده و دسته بندی احساسات آنها توسط شخصی که عکس را آپلود کرده است تعیین شده است. با توجه به [21]، هیچ تفاوت واضحی در نتایج در نتایج طبقه بندی برای IAPS و مجموعه عکس های هنری وجود ندارد.

مجموعه تصویر استاندارد شده عاطفی باز (OASIS) [19] برای غلبه بر دشواری استفاده از IAPS متولد شد و باز است. این شامل 900 تصویر رنگی است که طیف وسیعی از موضوعات، از جمله انسان، حیوانات، اشیاء و صحنه ها را به همراه رتبه بندی هنجاری در دو بعد عاطفی: ظرفیت و برانگیختگی به تصویر می کشد.

صدا . مجموعه داده های سیستم صدای دیجیتالی بین المللی تاثیرگذار (IADS) مجموعه ای از صداهای زندگی روزمره است [33].

ویدئو. مجموعه داده DEAP شامل ویدئوهایی است که از نظر ظرفیت و ارزش برانگیختگی در مقیاس 1 تا 9 طبقه بندی شده اند [18].

مجموعه داده دیگری که با استفاده از ویدئوها به عنوان محرک ایجاد می شود، مجموعه داده AMIGOS [8] است که خلق و خو، عاطفه و شخصیت 40 شرکت کننده را از طریق سنسورهای EEG، ECG و GSR جمع آوری می کند.

بازی ها . احساسات بازیکنان تا حد زیادی در ادبیات مورد بررسی قرار گرفته است [6] زیرا می توان از آنها برای افزایش درگیری بازیکن با القاء حالات عاطفی خاص ، با تغییر سطح دشواری یا با ارائه محتوای خاص استفاده کرد. در بازی ها ، احساسات به دو دلیل ممکن است تحت تأثیر قرار گیرد: i) مشکل هنگام پیشروی به سطح بعدی افزایش می یابد. ب) صلاحیت بازیکن با تجربه افزایش می یابد.

سنسورهااحساسات بر فعالیت سیستم عصبی خودمختار (ANS) تأثیر می گذارد که به نوبه خود بر پارامترهای مختلف بدن تأثیر می گذارد. بسیاری از سیگنال های فیزیولوژیکی از قسمت های مختلف بدن انسان سرچشمه گرفته اند و به طور کلی برای اهداف تشخیصی مورد استفاده قرار می گیرند ، اما ممکن است برای دریافت اطلاعات در مورد احساسات کاربر نیز مورد سوء استفاده قرار گیرند [1]. این سیگنال ها شامل پالس حجم خون (BVP) و سیگنال های الکتروکاردیوگرام (ECG) هستند که هر دو دارای منشأ قلبی عروقی هستند ، در حالی که سنسور الکترومیوگرافی (EMG) پتانسیل الکتریکی عضلانی را اندازه گیری می کند. سیگنال های دیگر ضربان قلب (HR) یا تغییرپذیری ضربان قلب (HRV) ، سنسور تنفس (RS) و الکتروانسفالوگرام (EEG) است. اقدامات مربوط به پوست پاسخ به پوست گالوانیک (GSR) است که فعالیت الکتریکی پوست را در هنگام تعریق بدن متفاوت می کند ، هدایت پوست (SC) ، رطوبت پوست (SH) و دما اندازه گیری می کند. مشاهده شده است که هنگامی که تغییرات عاطفی با برانگیختگی زیاد وجود داشته باشد ، GSR به میزان قابل توجهی متفاوت است [5].

تکنیک های طبقه بندی. به طور کلی ، آنها مبتنی بر رویکردهای یادگیری ماشین ، مانند ماشین های بردار پشتیبانی یا درخت تصمیم گیری هستند. همچنین رویکردهای یادگیری عمیق مانند CNN و LSTM اتخاذ شده است. بازیابی اطلاعات ممکن است برای همبستگی داده ها نیز استفاده شود [25].

معیارهای. عملکرد طبقه بندی کننده چگونه اندازه گیری می شود؟دقت یکی از معیارهای اتخاذ شده است [9].

تهاجمیاین مربوط به قسمت هایی از بدن است که تحت تأثیر سنسورها مانند بازوها ، سر ، کمربند و پا و مانع حرکت قرار می گیرد.

ارزیابی عاطفی. دستگاه تشخیص احساسات ممکن است بر احساسات کاربر تأثیر بگذارد. بنابراین ، یک ارزیابی عاطفی ممکن است برای شناسایی این نوع مشکل مفید باشد.

روش شناسیشرح روند کلی که در طول توسعه سیستم تشخیص احساسات دنبال می شود.

در ادامه، ما توجه خود را بر تحقیقات مبتنی بر داده های بیومتریک، ارائه شده توسط یک یا چند حسگر متمرکز می کنیم. آنها در جدول 1 طبقه بندی شده اند، جایی که برای هر کار مدل احساسی اتخاذ شده، احساسات جمع آوری شده، نوع محرک ها، سیگنال های فیزیکی شناسایی شده، فناوری انتخاب شده، تهاجمی، تکنیک های طبقه بندی اتخاذ شده، نوع آزمایش، ارزیابی هیجانی را فهرست کرده ایم.(یعنی چگونه احساسات شناسایی شده تأیید می شوند)، نتایج به دست آمده و پیشنهاد یک روش توسعه. هنگامی که طبقه بندی کننده های بیشتری استفاده می شوند، طبقه بندی کننده ای که به بهترین نتایج رسیده است با پررنگ گزارش می شود.

در [17]، چند حالت احساسی (به عنوان مثال، غمگین، دوست نداشتن، شادی، استرس، عادی، بدون ایده، مثبت و منفی) با استفاده از طبقه بندی درخت تصمیم شناسایی می شوند. چهار حسگر فیزیولوژیکی، BVP، EMG، GSR، و دمای پوست به تصویب رسید. محرک های ورودی 100 تصویر IAPS بود که به صورت اسلاید نشان داده شد (5 ثانیه برای هر تصویر). پنج تصویر مختلف از هر گروه نشان داده می شود و سپس برنامه با استفاده از مقیاس لیکرت از شرکت کنندگان در مورد وضعیت احساسی فعلی آنها می پرسد. دقت 98 درصد بود.

گونگ و همکاران[14] پیشنهاد استفاده از ویژگی های همجوشی از سیگنال های فیزیولوژیکی متعدد: ECG، EMG، تغییرات تنفسی (RSP) و هدایت پوست (SC). با استفاده از روش تجزیه EEMD برای هر سیگنال، آنها چهار نوع ویژگی را استخراج می کنند: ویژگی های حوزه زمان، فرکانس زمانی، ویژگی های تابع حالت غیرخطی و ذاتی (IMF). آنها همچنین از طبقه بندی درخت تصمیم برای انتخاب ویژگی هایی که تا حد زیادی به عملکرد طبقه بندی کمک می کنند، استفاده می کنند. این ویژگی ها به عنوان ورودی به طبقه بندی کننده دیگری برای تشخیص احساسات ارائه می شوند.

میرونیو و همکاران[24] برای جمع آوری داده های عاطفی کاربر، اتصال سنسورهای ضربان قلب، دمای بدن و پاسخ گالوانیکی پوست به میکروکنترلر آردوینو یون. یک روش تقسیم بندی مبتنی بر پنجره کشویی، داده ها و ویژگی های کاندید را از بخش ها استخراج می کند. برای طبقه بندی ویژگی های استخراج شده، شش الگوریتم طبقه بندی آموزش داده شده است: درخت تصادفی، J48، Nave Bayes، SVM، KNN و MLP. دقت تشخیص بالای 97. 31 درصد به دست آمده است.

پرسشنامه خود ارزیابی مانیکین (SAM) در [28] برای ارزیابی احساسات شرکت کنندگان برای آموزش طبقه بندی کننده احساسات به تصویب رسیده است. احساسات منتخب عبارتند از: نارضایتی ، خنثی ، لذت ، آرامش ، متوسط و هیجان زده در مدل Valence-Arousal اندازه گیری می شود. عملکرد سه روش طبقه بندی مورد بررسی قرار گرفته است (یعنی ANN ، SVM و درخت تصمیم گیری). بهترین نتایج دقت توسط SVM حاصل شده است. نمونه از 23 داوطلب تشکیل شده است. تهاجمی متوسط است: کاربر باید کمربند و سنسورها را روی بازو و روی پای خود قرار دهد.

جیراردی و همکاران.[13] سنسورهای کم هزینه EEG ، EMG و GSR را برای تشخیص افزایش ارزش عاطفی و برانگیختگی بالا در مقابل پایین ، اتخاذ کنید. آنها همچنین ارزیابی می کنند که مهمترین اقدامات فیزیولوژیکی چیست. برای این منظور یک مطالعه تجربی در مورد 19 شرکت کننده انجام شده است. هشت فیلم از مجموعه داده های DEAP انتخاب شده است ، دو مورد برای هر ربع مدل Circumpflex از تأثیر. عملکرد از نظر دقت و فراخوان اندازه گیری شده و سه روش طبقه بندی در حالی که از سنسورهای مختلف استفاده می شود مقایسه می شود. بهترین نتایج با SVM و هر سه داده سنسور حاصل شده است.

چائو و همکاران.[7] شبکه عصبی LSTM را برای به رسمیت شناختن احساسات از نظر برانگیختگی و ظرفیت پذیرفت. این شبکه در مجموعه داده های موجود ، Recola ، حاوی داده های عاطفی از موضوعاتی که توسط AUDIO ، VIDEL ، ECG و فعالیت های الکترو درمانگر (EDA) ضبط می شوند ، آموزش داده می شود. مجموعه داده ها با توجه به مقادیر برانگیختگی و ظرفیت حاشیه نویسی می شود. این رویکرد از نظر میانگین خطای مربع ریشه (RMSE) و ضریب همبستگی شخص (PCC) در برابر یک پایه مقایسه می شود.

از CNN برای تشخیص احساسات در [31] استفاده شده است. مدل Russel برای طبقه بندی احساسات انتخاب شده است و مجموعه داده های اتخاذ شده Amigos بود که از 16 فیلم کوتاه و چهار طولانی مربوط به طبقه بندی برانگیختگی و Valence تشکیل شده است. این آزمایش شامل 40 شرکت کننده بود و نتایج CNN را با توجه به الگوریتم های یادگیری ماشین کلاسیک ، از جمله Bayes ساده لوح ، Adaboost ، جنگل تصادفی مقایسه کرد. بهترین نتایج توسط CNN با هر دو سیگنال ECG و GRS حاصل شد. به طور خاص ، اولی برای تشخیص برانگیختگی بهتر عمل می کند ، در حالی که دومی برای ارزش.

تشخیص احساسات بر اساس سیگنال های الکتروانسفالوگرافی (EEG) در [22] برای انتخاب ترکیب بهینه این ویژگی ها برای شناخت ارائه شده است. این نمونه از 21 شرکت کننده تشکیل شده است که توسط چهار نوع محرک عاطفی (شاد ، آرام ، غمگین یا ترسیده) درخواست شده اند. ANOVA یک طرفه متعادل برای شناسایی پس از محاسبه پارامترهای HJorth برای محدوده فرکانس های مختلف اتخاذ شده است. ویژگی های انتخاب شده توسط این روش آماری از ویژگی های تک متغیره و چند متغیره بهتر عمل می کند. ویژگی های بهینه برای طبقه بندی احساسات با استفاده از دستگاه بردار پشتیبانی ، همسایه K-Nearest ، تجزیه و تحلیل تبعیض آمیز خطی ، خلیج های ساده لوح ، جنگل تصادفی و یادگیری عمیق پردازش شد.

ساعتهای هوشمند نیز برای تشخیص احساسات به تصویب رسیده اند. رویکرد ارائه شده در [27] با استفاده از EDA ، SKT و HR ارائه شده توسط دستگاه پوشیدنی ، احساسات را با میزان موفقیت 65 ٪ مشخص می کند. طبقه بندی از طریق یک درخت تصمیم گیری انجام می شود. شو و همکاران.[32] از ضربان قلب برای تشخیص سه حالت عاطفی استفاده کنید: خنثی ، شاد و غمگین. محرک ها از کتابخانه مواد محرک ویدیویی عاطفی استاندارد چین (CEVS) گرفته شده است. آنها پنج طبقه بندی کننده را ارزیابی می کنند: K-Nearest همسایه (KNN) ، جنگل تصادفی (RF) ، درخت تصمیم گیری ، درخت تصمیم گیری تقویت شیب (GBDT) و تقویت سازگار (Adaboost). Adaboost دقت بالاتری را در حدود 96 ٪ می کند.

در مقاله ما ، ما یک فرایند توسعه کاربر محور تکراری را برای تشخیص احساسات بر اساس سنسورهای کم هزینه پیشنهاد می کنیم. هر مرحله از فرآیند با در نظر گرفتن یک مثال در حال اجرا ، که در آن محرک های آموزش تصاویر از مجموعه داده های themage_artphoto گرفته شده است ، داده های جمع آوری شده توسط سنسورهای HR و HRV ، یک ژیروسکوپ برای تشخیص حرکات کاربر ، همراه با داده های صوتی ، پس از پیش از پیش. پردازش به عنوان ورودی برای طبقه بندی های مختلف ارائه می شود: MLP ، CNN ، LSTM ، دو طرفه-LSTM و درخت تصمیم گیری. پس از آزمایش ، پرسشنامه SAM برای جمع آوری احساسات کاربر مربوط به استفاده از سیستم تشخیص ما پیشنهاد شده است تا تأیید کند که آیا دستگاه اتخاذ شده ممکن است بر نتایج آزمایش تأثیر بگذارد. این امر مهم است زیرا این احساسات ممکن است با آنهایی که توسط محرکهای ارائه شده در طول آزمایشات ارائه شده اند ، تداخل داشته باشد. این روند تا زمانی که عملکرد و حالت های عاطفی کاربران رضایت بخش باشد تکرار می شود.

روش پیشنهادی

در این بخش ، ما سیستم تشخیص احساسات و فرآیند تکراری کاربر محور را که برای توسعه آن اتخاذ کردیم ، توصیف می کنیم ، که در نمودار فعالیت UML با جریان شیء در شکل 1 نشان داده شده است. این شامل دو چرخه تحقیقاتی است: چرخه طراحی محرک و چرخه طراحی سیستم.