复旦大学研发“听见世界”App,助力视障者感知多彩世界 | 您所在的位置:网站首页 › 听见配音官网app › 复旦大学研发“听见世界”App,助力视障者感知多彩世界 |
复旦大学自然语言处理实验室(FudanNLP)的师生们经过不懈努力,成功推出了一款名为“听见世界”的创新App。这款App基于多模态大模型“复旦・眸思”(MouSi),为视障者带来了全新的感知世界的方式。 “听见世界”App仅需一枚摄像头和一对耳机,就能将画面转化为生动的语言描述,帮助视障者更好地理解和感知周围环境。该App不仅具备描绘场景的功能,还能实时提示潜在风险,确保视障者的安全。 为了满足视障者日常生活的多样化需求,“听见世界”App设计了三种实用模式: 街道行走模式:该模式下,App通过细致扫描道路情况,为视障者提供准确的路况信息和潜在风险提示,确保行走安全。自由问答模式:这一模式使视障者能够轻松走进博物馆、艺术馆、公园等场所,捕捉四周景象的每个细节。通过声音构建丰富的生活场景,让视障者也能享受到多彩的世界。官方演示图显示,该App还能实现转述电视画面内容等高级功能。寻物模式:这一模式为视障者提供了日常物件的寻觅功能,帮助他们快速找到所需物品。官方称之为“可靠管家”,让视障者的生活更加便捷。据悉,“听见世界”App预计于今年3月完成第一轮测试,并在中国的一、二线城市和地区同步开启试点。根据算力部署情况,该App将逐步推广至更多地区,为更多视障者带来福音。这一创新成果不仅展现了复旦大学在自然语言处理领域的领先实力,也为社会贡献了一份温暖与关爱。 文章来源:https://www.ithome.com/0/753/295.htm |
CopyRight 2018-2019 实验室设备网 版权所有 |