導師資訊

澳門城市大學

澳門城市大學-數據科學學院

無

https://fds.cityu.edu.mo/members/340

基於多模態智能的情緒解碼機制與識別系統設計與研究

Research on Emotion Decoding Mechanism and Recognition System Via Multimodal Intelligence

0812 计算机科学与技术

0701 数学,0809 电子科学与技术,0812 计算机科学与技术,0831 生物医学工程,0836 生物工程,1005 中医学,1006 中西医结合,1007 药学,1008 中药学

研究基礎好，程式設計能力強，有獨立進行科研工作和創新能力，在人工智慧或醫學相關研究領域有深厚積累或技術專長, 在國際頂級期刊或會議上至少發表論文2篇；2）具備誠實的科研態度，和良好的溝通能力、團隊協作精神; 3）對具有高品質的學術研究經驗、代碼工程實現經驗和中醫學相關背景的申請人，會優先予以考慮。

澳門大學, 軟件工程博士 （2018）

IEEE Senior Member、 美国加州伯克利大学访问学者、澳门电机及电子工程师学会 (IEEE MACAU) 理事、中国自动化学会计算智能及其应用专业委员会副主任、广东省大数据协同育人与应用创新工程技术研究中心副主任；装备预研教育部联合基金青年人才项目獲得者、澳門科學技術發展基金和廣東省科技廳聯合科研資助計劃（FDCT-GDST）負責人、国家重点研发计划子课题项目负责人、国家自然科学基金专项子课题项目负责人、广东省自然科学基金面上项目负责人，主持各类科研项目共 10余项；以第一作者或通讯作者身份发表国际顶级期刊及会议学术论文 60 余篇；曾參與並榮獲全国船舶与海洋工程学科高等教育教学成果奖、广东省本科课程教学竞赛团队三等奖、多次指導學生獲國家級競賽獎項等。

本項目旨在建立一套完整、精細且高可信度的多模態情緒研究框架，首先將構建涵蓋多類型信號的高品質多模態情緒數據集。數據來源將包括面部表情影像、語音語調特徵、生理信號（如心率、皮膚電反應等）、語言文本語義等多個模態，以最大程度捕捉情緒狀態的外顯行為與內在生理反應。基於此，項目將採用深度學習驅動的多模態融合技術，研究不同模態訊息之間的耦合機制、互補性以及時間動態特徵，從而揭示情緒解碼過程的關鍵規律與作用路徑。 在模型構建的同時，項目亦將重視可解釋性研究，引入可解釋人工智慧（XAI）方法，對情緒識別模型中的關鍵特徵、權重分佈與決策依據進行數學層面的規律挖掘。例如，將分析不同模態對情緒判斷的貢獻程度、情緒演化的時間序列模式，以及模型識別錯誤的原因，從而提高系統的透明度、可信度與可控性。 最終，本項目將基於上述研究成果構建一套智能化、多模態的情緒識別與預警系統，具備即時監測、分析與反饋能力。該系統可應用於心理健康輔助診斷、教育場域中的學習情緒監測、智慧客服與機器人交互、公共安全場景中的風險預警等領域，具有重要的科研價值與廣泛的應用前景。

6

0

1

澳門科學技術發展基金和廣東省科技廳聯合科研資助計劃（FDCT-GDST）, 澳門科學技術發展基金, 0178/2024/AGT, 龍門式光伏清潔機器人自主作業基礎理論及管件技術研究，在研，2025.06-2027.06
科研及創新資助計劃 - 基礎研究類, 澳門科學技術發展基金, 基於多模態智能的情緒解碼機制與識別系統設計與研究, 2026-2028, 申請中。