版權歸原作者所有，如有侵權，請聯(lián)系我們

ChatGPT 等大型語(yǔ)言模型（LLM）的出現，讓機器人具備了如同人類(lèi)一般的語(yǔ)言表達能力。然而，機器人在與人類(lèi)交談時(shí)，其面部表情卻依然顯得很不自然，甚至充滿(mǎn)了恐懼感。

這無(wú)疑會(huì )阻礙人與機器溝通的意愿，讓兩者的溝通變得十分困難。

因此，在未來(lái)人機共存的時(shí)代，設計一個(gè)不僅能做出各種面部表情，而且知道何時(shí)使用這些表情的機器人，至關(guān)重要。

如今，來(lái)自哥倫比亞大學(xué)的研究團隊及其合作者便邁出了重要一步——制造了一個(gè)披著(zhù)硅片、能夠預測人類(lèi)面部表情并同步執行表情的機器人 Emo。它甚至可以在人類(lèi)微笑前約 840 毫秒（約 0.9 秒）預測即將出現的微笑。

據介紹，它能與人進(jìn)行眼神交流，并利用兩個(gè)人工智能（AI）模型在人微笑之前預測并“復制”人的微笑。研究團隊表示，這是機器人在準確預測人類(lèi)面部表情、改善互動(dòng)以及建立人類(lèi)與機器人之間信任方面的一大進(jìn)步。

相關(guān)研究論文以“Human-robot facial coexpression”為題，已于今天發(fā)表在科學(xué)期刊 Science Robotics 上。哥倫比亞大學(xué)機械工程系博士?Yuhang Hu?為該論文的第一作者和共同通訊作者，他的導師、哥倫比亞大學(xué)教授?Hod Lipson?為該論文的共同通訊作者。

圖｜Yuhang Hu 與 Emo 面對面。（來(lái)源：Creative Machines Lab）

在一篇同期發(fā)表在 Science Robotics 的 FOCUS 文章中，格拉斯哥大學(xué)計算社會(huì )認知教授 Rachael Jack 評價(jià)道：

“人類(lèi)社交互動(dòng)本質(zhì)上是多模式的，涉及視覺(jué)和聽(tīng)覺(jué)信號的復雜組合，雖然 Hu 及其同事的研究集中在單一模式——面部表情上，但他們的成果在為開(kāi)發(fā)更復雜的多模態(tài)信號的社交同步技能方面做出了巨大的貢獻?！?/p>

在她看來(lái)，盡管這是一個(gè)復雜的跨學(xué)科工作，但“真正使社交機器人融入人類(lèi)社交世界是可能的”。

Emo 微笑了，但也不僅僅是“微笑”

如果你走到一個(gè)長(cháng)著(zhù)人類(lèi)腦袋的機器人面前，它先對你微笑，你會(huì )怎么做？你很可能會(huì )回以微笑，也許會(huì )覺(jué)得你們兩個(gè)在真誠地交流。

但是，機器人怎么知道如何做到這一點(diǎn)呢？或者更好的問(wèn)題是，它怎么知道如何讓你回以微笑？

為此，Yuhang Hu 及其同事需要解決兩大難題：一是如何以機械方式設計一個(gè)表情豐富的機器人面部，這涉及復雜的硬件和執行機制；二是知道該生成哪種表情，以使它們看起來(lái)自然、及時(shí)和真實(shí)。

據論文描述，Emo 配備了 26 個(gè)致動(dòng)器，頭部覆蓋有柔軟的硅膠皮膚，并配有磁性連接系統，從而便于定制和快速維護。為了實(shí)現更逼真的互動(dòng)，研究團隊在 Emo 每只眼睛的瞳孔中都集成了高分辨率攝像頭，使其能夠進(jìn)行眼神交流，這對非語(yǔ)言交流至關(guān)重要。

圖｜Robot face 平臺

另外，他們還開(kāi)發(fā)了兩個(gè)人工智能模型：其中一個(gè)通過(guò)分析目標面部的細微變化預測人類(lèi)面部表情，另一個(gè)則利用相應的面部表情生成運動(dòng)指令。第一個(gè)模型是通過(guò)觀(guān)看網(wǎng)絡(luò )視頻進(jìn)行訓練的，而第二個(gè)模型則是通過(guò)讓機器人觀(guān)看自己在實(shí)時(shí)攝像機畫(huà)面上的表情來(lái)訓練的。他們通過(guò)與其他基線(xiàn)進(jìn)行定量評估，證明了這兩個(gè)模型的有效性。

圖｜模型架構。逆向模型（A）和預測模型（B）

為了訓練 Emo 學(xué)會(huì )做出面部表情，研究團隊把 Emo 放在攝像頭前，讓它做隨機動(dòng)作。幾個(gè)小時(shí)后，Emo 就學(xué)會(huì )了面部表情與運動(dòng)指令之間的關(guān)系——就像人類(lèi)通過(guò)照鏡子練習面部表情一樣。他們將其稱(chēng)為“自我建?！薄?lèi)似于人類(lèi)想象自己做出特定表情時(shí)的樣子。

然后，研究團隊播放人類(lèi)面部表情的視頻，讓 Emo 逐幀觀(guān)察。經(jīng)過(guò)幾個(gè)小時(shí)的訓練后，Emo 便可以通過(guò)觀(guān)察人們面部的微小變化來(lái)預測他們的面部表情。

在 Yuhang Hu 看來(lái)，準確預測人類(lèi)的面部表情是人機交互技術(shù)的重要突破，“當機器人與人進(jìn)行實(shí)時(shí)表情交互時(shí)，不僅能提高交互質(zhì)量，還有助于建立人與機器人之間的信任。未來(lái)，在與機器人互動(dòng)時(shí)，機器人會(huì )像真人一樣觀(guān)察和解讀你的面部表情?！?/p>

值得一提的是，這項研究的潛在影響或許已經(jīng)超越機器人學(xué)，擴展到神經(jīng)科學(xué)和實(shí)驗心理學(xué)等領(lǐng)域。

例如，一個(gè)可以預測和同步面部表情的機器人系統可以作為研究鏡像神經(jīng)元系統的工具。通過(guò)在測量大腦活動(dòng)的同時(shí)與參與者互動(dòng)，研究人員可以深入了解社會(huì )互動(dòng)和交流的神經(jīng)相關(guān)性。

在心理學(xué)領(lǐng)域，具有預測和同步面部表情能力的機器人可用作教育工具，幫助自閉癥患者發(fā)展更好的社交溝通技能。已有研究表明，機器人可以有效地吸引患有自閉癥譜系障礙（ASD）的兒童，促進(jìn)他們的社交互動(dòng)。

不足與展望

盡管 Emo 已經(jīng)可以預測人類(lèi)面部表情并同步快速回應，但遠不具備完全捕捉到人類(lèi)的面部交流能力，甚至在由成人模樣的機器人進(jìn)行模仿時(shí)，可能會(huì )讓人感覺(jué)厭惡。

然而，研究團隊認為，就像嬰兒在學(xué)會(huì )模仿父母之后才能獨立做出面部表情一樣，機器人必須先學(xué)會(huì )預測和模仿人類(lèi)的表情，然后才能成熟地進(jìn)行更加自發(fā)和自我驅動(dòng)的表情交流。

在未來(lái)的工作中，他們希望擴大 Emo 的表情范圍，并希望訓練 Emo 根據人類(lèi)所說(shuō)的話(huà)做出表情。他們正在努力將語(yǔ)言交流整合到 Emo 中，并接入類(lèi)似 ChatGPT 的大型語(yǔ)言模型。

然而，他們也表示，必須謹慎選擇機器人模仿的面部表情。例如，某些面部姿態(tài)，如微笑、點(diǎn)頭和保持眼神接觸，通常會(huì )自然地得到回應，并且在人類(lèi)交流中會(huì )被積極地看待。相反，對于噘嘴或皺眉等表情的模仿則應謹慎，因為這些表情有可能被誤解為嘲諷或傳達非預期的情緒。

另外，人類(lèi)用戶(hù)如何感知這些表情才是衡量成功與否的最終標準。未來(lái)的一個(gè)重要步驟是驗證這些表情在現實(shí)世界中人與機器人在各種情境下互動(dòng)時(shí)的情感效果，以確定其心理有效性。

此外，該研究也存在一定的局限性，其中之一為“模型的預測和表情模仿可能缺乏文化敏感性”。

眾所周知，不同的文化可能會(huì )對某些面部表情有不同的規范和含義。例如，雖然在許多文化中，微笑通常被認為是快樂(lè )或友好的標志，但它也可能是尷尬或不確定的標志。同樣，直接的目光接觸在某些文化中可能被視為自信和誠實(shí)的表現，但在其他文化中卻可能被視為粗魯或對抗。

未來(lái)的工作可以探索將文化背景融入到模型中，一個(gè)可能的方法是納入來(lái)自不同文化背景的數據集，并在算法中融入對文化規范的理解。

圖｜Yuhang Hu 在 Hod Lipson 的實(shí)驗室工作。（來(lái)源：John Abbott/哥倫比亞工程學(xué)院）

最后，一個(gè)不能逃避的話(huà)題是，隨著(zhù)機器人的行為能力越來(lái)越像人類(lèi)，研究團隊必須考慮與這項技術(shù)相關(guān)的倫理問(wèn)題。杜絕可能的技術(shù)濫用（如欺騙或操縱），需要強有力的倫理框架和管理。

盡管如此，這一研究也著(zhù)實(shí)令人十分興奮。正如研究團隊所言：

“我們正逐步接近這樣一個(gè)未來(lái)——機器人可以無(wú)縫融入我們的日常生活，為我們提供陪伴、幫助，甚至是共鳴。想象一下，在這個(gè)世界上，與機器人互動(dòng)就像與朋友交談一樣自然和舒適?！?/p>

參考鏈接：

https://www.science.org/doi/10.1126/scirobotics.adi4724

https://www.science.org/doi/10.1126/scirobotics.ado5755

https://www.engineering.columbia.edu/news/robot-can-you-say-cheese

https://www.creativemachineslab.com/

歡迎掃碼關(guān)注深i科普！

我們將定期推出

公益、免費、優(yōu)惠的科普活動(dòng)和科普好物！