我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果 | 您所在的位置:网站首页 › 模型参数辨识 › 我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果 |
克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 跑大语言模型的门槛,已经降低到一部iPhone了。 当然安卓版本也有,只要手机RAM够6G,听上去是不是比用2060还要震撼? 而且这次还是开箱即用的版本! ![]() 这个项目名为MLC LLM,与之前的WebLLM同出自知名学者陈天奇团队。 截止目前已在GitHub上斩获超6800星。 ![]() 目前可以测试的模型有羊驼家族(基于LLaMA)的RedPajama和Vicuna。 可选模型参数分别为30亿和70亿,与很多在线Demo规模也相当了。 ![]() RedPajama团队表示,这一成果打开了大模型私有化部署的可能性。 ![]() 话不多说,快来看看体验如何。 文字功底尚可,但理科是短板 我们选择了其中的Vicuna模型进行测试。 首先测试一下它的文学造诣,于是让它为四个季节分别写了一首诗。 韵律吗,基本上是两三句一押。 ![]() 除了诗歌,故事也能创作,甚至还能写出内心戏来。 ![]() 不只是爱情,其他类型的故事也难不倒它。 ![]() 除了文学上的应用,我们不妨再来试试它的实用功能。 我们让它生成了一道夏威夷披萨的菜谱,看上去还蛮不错。 ![]() 旅游计划也可以让它来安排。 ![]() 我们再来看看它在理工科上的表现怎么样。 首当其冲的是代码,我们让它尝试用Python写了一段寻找最大数的代码。 ![]() 想不到上来就是一通枚举……不过结果倒也是符合要求。 def max_of_three(num1, num2, num3): if num1 > num2 and num1 > num3: return num1 elif num2 > num1 and num2 > num3: return num2 elif num3 > num1 and num3 > num2: return num3 return None num1 = 11 num2 = 45 num3 = 14 max_value = max_of_three(num1, num2, num3) print("The maximum value is: ", max_value) ![]() 不过遇到稍难的问题,它的编程能力就有些捉襟见肘了。 ![]() 至于数学和逻辑推理则一言难尽,不过毕竟为适配手机参数有限,倒也情有可原。 ![]() 我们还试了试用中文进行提问,但发现目前对中文的适配还有些问题。 ![]() 另外,移动APP目前还不具有保存聊天记录功能,切出界面时一定要小心小心再小心。 虽然目前能在手机上跑的大模型能力还有限,但团队也展示了未来更多发展方向。 比如为用户定制模型并与云端公共基础模型交互、提供离线支持、App嵌入、去中心化等等。 ![]() — 完 — 科技前沿进展日日相见 ~ 原标题:《我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果》 阅读原文 |
今日新闻 |
推荐新闻 |
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 |