复旦大学研发“听见世界”App,助力视障者感知多彩世界 您所在的位置:网站首页 听见配音官网app 复旦大学研发“听见世界”App,助力视障者感知多彩世界

复旦大学研发“听见世界”App,助力视障者感知多彩世界

2024-07-14 04:25| 来源: 网络整理| 查看: 265

复旦大学自然语言处理实验室(FudanNLP)的师生们经过不懈努力,成功推出了一款名为“听见世界”的创新App。这款App基于多模态大模型“复旦・眸思”(MouSi),为视障者带来了全新的感知世界的方式。

6de48a77-69fb-4e55-9793-30855e229a6b

“听见世界”App仅需一枚摄像头和一对耳机,就能将画面转化为生动的语言描述,帮助视障者更好地理解和感知周围环境。该App不仅具备描绘场景的功能,还能实时提示潜在风险,确保视障者的安全。

eef5d523-aea9-4e6f-9c98-17990a549183

为了满足视障者日常生活的多样化需求,“听见世界”App设计了三种实用模式:

街道行走模式:该模式下,App通过细致扫描道路情况,为视障者提供准确的路况信息和潜在风险提示,确保行走安全。自由问答模式:这一模式使视障者能够轻松走进博物馆、艺术馆、公园等场所,捕捉四周景象的每个细节。通过声音构建丰富的生活场景,让视障者也能享受到多彩的世界。官方演示图显示,该App还能实现转述电视画面内容等高级功能。寻物模式:这一模式为视障者提供了日常物件的寻觅功能,帮助他们快速找到所需物品。官方称之为“可靠管家”,让视障者的生活更加便捷。

据悉,“听见世界”App预计于今年3月完成第一轮测试,并在中国的一、二线城市和地区同步开启试点。根据算力部署情况,该App将逐步推广至更多地区,为更多视障者带来福音。这一创新成果不仅展现了复旦大学在自然语言处理领域的领先实力,也为社会贡献了一份温暖与关爱。

文章来源:https://www.ithome.com/0/753/295.htm


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有