大连工业大学团队研发AI多模态+AR穿戴式沉浸互动体验系统

近日，大连工业大学教授单鹏带领研究生团队研发了一款 AI 多模态+AR 穿戴式沉浸互动体验系统。

用户只需佩戴上一副 AR 眼镜，并连接一个便携的终端设备，即可瞬间进入一个充满奇幻与知识的元宇宙空间。例如，在“星幻红山”主题中，红山 C 形玉龙仿佛就在眼前，伴随着专业的讲解声，用户可以 360 度全方位地观赏其精美细节。只需低头，用户就能“亲临”C 形玉龙的考古现场，感受历史的厚重与神秘。

除了“星幻红山”，该系统还提供了多个引人入胜的主题模块。在“航空之光”模块中，用户只需握拳再张开手掌，就能在掌心看到飞机模型的精彩展示，每次握拳都能带来不同的惊喜。而“引擎画卷”模块则允许用户通过手指的凌空触碰，轻松拆解飞机引擎发动机，了解其内部构造。至于“宇宙加特林”模块，更是将娱乐性与科技感完美结合，用户只需以手臂为“枪”，手掌一收一放，就能在空中绽放出绚丽的“加特林”烟花。

据介绍，这款 AI 多模态+AR 穿戴式沉浸互动体验系统融合了计算机视觉、语音识别、大空间识别、检索增强生成（RAG）等前沿技术，能够精准捕捉用户的手势、语音和空间信息，并实时生成个性化的互动体验。

据悉，该系统已经吸引了多家企业的关注，并成功签署了框架协议。未来，这些企业可以借助先进的 AI 算法与元宇宙构建技术，创建出逼真且交互性强的虚拟工作空间和产品展示平台。对于工业制造企业而言，这意味着他们可以构建自己的元宇宙产品中心，让用户在虚拟环境中与 AI 智能导师互动，完成复杂机械产品的装配培训，从而提高展示效率和体验效果。