你懂他/她嗎？他/她懂你嗎？你是否經(jīng)常因為無(wú)法共情他人，或者被共情而苦惱？

人類(lèi)情感是一種復雜而多變的心理狀態(tài)，常常隱藏在“面具”之下，難以被他人準確理解。盡管面部表情、語(yǔ)言語(yǔ)調等非語(yǔ)言信號提供了一些線(xiàn)索，但仍然存在著(zhù)許多挑戰，使得人類(lèi)之間的情感交流變得復雜而模糊。

隨著(zhù)科技的不斷進(jìn)步和人類(lèi)對于智能化系統的需求日益增長(cháng)，情感識別技術(shù)作為人機交互領(lǐng)域的重要組成部分，正受到越來(lái)越多的關(guān)注。

傳統的情感識別技術(shù)主要基于面部表情、語(yǔ)音語(yǔ)調等人類(lèi)非語(yǔ)言交流方式進(jìn)行分析，然而，這些方法往往受到環(huán)境條件、個(gè)體差異等因素的限制，難以實(shí)現準確而高效的情感識別。

由于情緒、心情和感覺(jué)等人類(lèi)情感的抽象性和模糊性，理解和準確提取情感信息一直是個(gè)難題。

因此，尋求一種能夠在各種環(huán)境下實(shí)現準確情感識別的新途徑已然成為當前研究的重點(diǎn)之一。

近日，來(lái)自蔚山科學(xué)技術(shù)院、南洋理工大學(xué)的研究團隊，提出了全球首個(gè)實(shí)時(shí)可穿戴人類(lèi)情感識別技術(shù)，并開(kāi)發(fā)了一種多模態(tài)人類(lèi)情感識別系統，該系統結合了語(yǔ)言和非語(yǔ)言表達數據，可有效利用全面的情緒信息。

相關(guān)研究論文以“Encoding of multi-modal emotional information via personalized skin-integrated wireless facial interface”為題，已發(fā)表在科學(xué)期刊 Nature Communications 上。

據介紹，該系統的核心是個(gè)性化皮膚集成面部界面（Self-powered Skin-interfaced Facial and Vocal Emotion Recognition Interface，PSiFI）系統，該技術(shù)基于自供電的摩擦電原理，通過(guò)特制的傳感器單元，能夠同時(shí)感知面部和聲音表達所產(chǎn)生的信號，從而實(shí)現對人類(lèi)情感的準確識別。

該論文的第一作者 Jin Pyo Lee 表示：“有了這個(gè)系統，只需幾個(gè)學(xué)習步驟，無(wú)需復雜的測量設備，就能實(shí)現實(shí)時(shí)情感識別。這為未來(lái)的便攜式情感識別設備和下一代基于情感的數字平臺服務(wù)提供了可能性?！?/p>

此外，研究團隊還將該系統應用于 VR 環(huán)境（智能家居、私人影院和智能辦公室等），通過(guò)識別個(gè)人在不同情況下的情緒，提供個(gè)性化的音樂(lè )、電影和書(shū)籍推薦。

準確識別面部表情和聲音

PSiFI 技術(shù)是一種基于生理信號的面部和聲音表情感知界面。該技術(shù)利用 PDMS 和 PEDOT:PSS 等柔性、透明、可加工的材料構建傳感器單元，用于捕捉人體面部和聲音等生理信號，實(shí)現對情感狀態(tài)的識別和監測。

其中，PDMS 具有出色的柔軟性和透明性，PEDOT:PSS 導電層可提供良好的電導性，這兩者是構建 PSiFI 系統的關(guān)鍵材料。利用這些材料的可加工性和可調制性，可以實(shí)現 PSiFI 技術(shù)的構建和制備。

圖｜PSiFI 系統概述。A. PSiFI 包括摩擦電傳感器（TES）、用于無(wú)線(xiàn)通信的數據處理電路以及用于面部表情和語(yǔ)音識別的深度學(xué)習分類(lèi)器。B. 可穿戴面罩的 PSiFI 二維布局，并在面部緊張和聲音振動(dòng)等感官刺激方面描繪了兩種不同類(lèi)型的 TES。C. 由電極層和介電層等簡(jiǎn)單兩層結構組成的 TES 示意圖以及 TES 組件的照片。比例尺：1 cm。D. TES 制造組件示意圖。PEDOT:PSS 基電極是由半固化工藝制成的（左圖）?？紤]到應變和振動(dòng)等傳感刺激，介電層進(jìn)行了不同的設計，以實(shí)現最佳的傳感性能。中間的插圖為應變型介電層的納米結構表面的 SEM 圖像，右側插圖顯示作為振動(dòng)型介電層的聲孔的沖孔的照片。比例尺：2 μm 和 1 mm。

PSiFI 系統由 PDMS 基底、PEDOT:PSS 導電層和聲學(xué)孔組成。PDMS 提供柔軟性和舒適性，PEDOT:PSS 導電層用于傳輸信號，聲學(xué)孔用于增強傳感器的靈敏度和性能。

將 PDMS 的基礎材料與固化劑按照一定比例混合，并在真空脫氣后在基板上涂覆形成所需薄膜。通過(guò)混合 PEDOT:PSS 的水性分散液和添加劑，然后在基板上涂覆和固化形成導電層。

圖｜應變傳感單元的工作機理及表征。A. 應變傳感單元的示意圖。插圖：檢測面部應變的傳感單元的放大視圖。B. 應變傳感單元在屈曲和拉伸狀態(tài)下的電位分布。

圖｜用于輸出測量的實(shí)驗裝置的真實(shí)圖像。比例尺：1 cm。

通過(guò)特定的涂覆和固化方法將 PDMS 和 PEDOT:PSS 層結合形成傳感器單元。利用激光切割技術(shù)在 PDMS 基底上制備聲學(xué)孔，從而增強傳感器的靈敏度和響應性。

圖｜振動(dòng)傳感單元的工作機制和表征。A. 振動(dòng)傳感單元的示意圖。插圖：檢測聲帶振動(dòng)的傳感單元的放大視圖。B. 工作循環(huán)期間傳感單元的電勢分布。C. 用于聲音振動(dòng)傳感器的孔圖案配置示意圖以及 32 孔配置中孔的 SEM 圖像。比例尺：2 mm（插圖：顯示聲孔的放大視圖。比例尺：400 μm）。

在搭建好 PSiFI 系統之后，為確保其性能，研究團隊進(jìn)行了一系列測試。

首先，研究人員使用光譜儀對 PSiFI 系統的透明性進(jìn)行測試。結果顯示，PSiFI 系統在可見(jiàn)光范圍內具有良好的透明性，允許光線(xiàn)穿透，使得用戶(hù)能夠舒適地佩戴 PSiFI 設備而不感到遮擋或阻礙。

然后，研究人員對此進(jìn)行了拉伸實(shí)驗和彎曲實(shí)驗，以驗證 PSiFI 系統在各種形變下的柔韌性和穩定性。實(shí)驗結果表明，即使在受到拉伸或彎曲時(shí)，PSiFI 系統仍能保持其結構完整性和性能穩定性，表現出優(yōu)異的柔韌性。

隨后，研究團隊又開(kāi)展了情感識別實(shí)驗。

他們使用 PSiFI 傳感器對面部運動(dòng)信號進(jìn)行采集，并利用先進(jìn)的算法進(jìn)行處理和分析。結果表明，通過(guò)監測面部肌肉的微小運動(dòng)變化，PSiFI 系統能夠準確捕捉和記錄不同情感狀態(tài)下的面部表情特征。

此外，研究團隊還利用 PSiFI 技術(shù)對聲音信號進(jìn)行采集，并通過(guò)聲學(xué)分析方法進(jìn)行情感識別。結果顯示，PSiFI 系統能夠有效地捕捉和分析聲音的頻率、振幅和其他特征，從而識別出言語(yǔ)中所蘊含的情感信息。

未來(lái)，也許機器比人更懂你

研究團隊表示，在未來(lái)，PSiFI 技術(shù)可以應用于情感識別領(lǐng)域，通過(guò)監測面部和聲音信號，識別出個(gè)體的情感狀態(tài)，為智能醫療系統提供情感健康監測和診斷服務(wù)。

在人機交互領(lǐng)域，PSiFI 技術(shù)也可以與智能設備集成，實(shí)現人機自然交互。例如，在虛擬現實(shí)環(huán)境中，PSiFI 技術(shù)可以用于感知用戶(hù)的情感狀態(tài)，從而實(shí)現更加智能化和個(gè)性化的用戶(hù)體驗。

在機器人方面，PSiFI 技術(shù)則可應用于情感智能機器人領(lǐng)域，使機器人能夠識別和理解人類(lèi)的情感表達，從而更好地與人類(lèi)交流和互動(dòng)。

必須說(shuō)明的是，這項技術(shù)并非十全十美，目前還存在一些局限性。

首先，PSiFI 技術(shù)的傳感器需要具備高靈敏度，從而準確捕捉和分析微弱的面部和聲音信號，但目前傳感器的靈敏度還有待進(jìn)一步提高。這可以通過(guò)優(yōu)化傳感器的結構和材料選擇，提高傳感器的靈敏度和穩定性，使其更適用于不同情境和環(huán)境下的情感識別任務(wù)。

此外，PSiFI 技術(shù)需要處理大量的生理信號數據，并進(jìn)行復雜的數據分析和算法處理，這對數據處理能力提出了挑戰，需要更加高效和智能的算法和處理平臺。在未來(lái)，可以開(kāi)發(fā)更加高效和精確的數據處理算法，提高 PSiFI 技術(shù)對生理信號的分析和識別能力，從而提升情感識別的準確性和可靠性。

當然，這項技術(shù)結合了生物醫學(xué)、工程學(xué)、心理學(xué)等領(lǐng)域的專(zhuān)業(yè)知識和技術(shù)，需要更多的跨學(xué)科合作，來(lái)共同推動(dòng) PSiFI 技術(shù)的發(fā)展和應用，拓展其在智能醫療、人機交互等領(lǐng)域的應用前景。

近年來(lái)，情感識別技術(shù)在人機交互、醫療健康等領(lǐng)域得到了廣泛關(guān)注和研究。除了 PSiFI 技術(shù)，還有許多其他相關(guān)研究取得了重要進(jìn)展。

例如，基于圖像處理和深度學(xué)習的面部表情識別技術(shù)，以及基于聲音信號處理和模式識別的語(yǔ)音情感識別技術(shù)等。這些研究成果為情感識別技術(shù)的發(fā)展提供了豐富的技術(shù)手段和方法。

隨著(zhù) PSiFI 等創(chuàng )新技術(shù)的不斷出現和應用場(chǎng)景的不斷擴展，在不久的將來(lái)，人們或許能夠更加智能、更加自然地與智能設備和系統進(jìn)行交互，醫療健康管理也將變得更加個(gè)性化和精準。

到那時(shí)，也許機器比人更懂你。

參考鏈接：

https://www.nature.com/articles/s41467-023-44673-2

https://www.mdpi.com/1424-8220/23/5/2455

歡迎掃碼關(guān)注深i科普！

我們將定期推出

公益、免費、優(yōu)惠的科普活動(dòng)和科普好物！