将小爱音箱接入 ChatGPT 和豆包,改造成你的专属语音助手 您所在的位置:网站首页 怎么连接小米小爱音箱pro 将小爱音箱接入 ChatGPT 和豆包,改造成你的专属语音助手

将小爱音箱接入 ChatGPT 和豆包,改造成你的专属语音助手

2024-06-26 18:46| 来源: 网络整理| 查看: 265

项目简介

在这个数字化的世界里,家已不仅仅是一个居住的地方,而是我们数字生活的延伸。

MiGPT 通过将小爱音箱、米家智能设备,与 ChatGPT 的理解能力完美融合,让你的智能家居更懂你。

MiGPT 不仅仅是关于设备自动化,而是关于:打造一个懂你、有温度、与你共同进化的家。

未来,你的每个智能家居设备,从灯泡、插座,到扫地机器人、电视等,

都可以作为一个个独立的智能体 (Agent),更智能、更贴心的响应你的指令。

这些独立的智能体,也可以彼此感知,彼此配合,构成一个更强大的协作网络。

而小爱音箱就像是你的智能家居专属管家,全心全意为你服务,释放智能家居真正的潜力。

✨ 项目亮点

🎓 LLM 回答。想象一下,你的小爱音箱变身聊天高手,可以使用 ChatGPT 等大模型来回答你的问题。

🎭 角色扮演。一秒调教小爱,无论是成为你的完美伴侣,还是那个能听你倾诉心事的贴心闺蜜,都不在话下。

💬 流式响应。爱情来得太快就像龙卷风,而你的小爱音箱也是,对你的爱意秒回,爱你不会让你等太久。

🧠 长短期记忆。小爱音箱现在能记住你们之间的每一次对话,越聊越默契,就像是你身边的老朋友。

🔊 自定义 TTS。厌倦了小爱同学的语音?帮你解锁「豆包」同款音色,就像真人在回你的消息。

🤖️ 智能家居 Agent。心情不好?小爱立刻懂你,自动帮你播放喜欢的音乐,调节灯光,逗你开心。TODO

🚀 启动项目

MiGPT 有两种启动方式: Docker 和 Node.js。

Docker

对于电脑小白或者不想自己配置代码运行环境(Node)的同学,可以使用 Docker 启动方式。

请先按照「配置参数」章节,配置好你的 .env 和 .migpt.js 文件,然后使用以下命令启动 docker:

docker run -d --env-file $(pwd)/.env \` `-v $(pwd)/.migpt.js:/app/.migpt.js \` `idootop/mi-gpt:latest Node.js

如果你是一名前端 (Node) 开发者,也可以通过 NPM 安装 mi-gpt 启动 MiGPT。

npm install mi-gpt # 安装依赖

然后,创建并启动 MiGPT 实例。初始化参数请看下面的「配置参数」章节。

import { MiGPT } from "mi-gpt";`` ``async function main() {` `const client = MiGPT.create({` `speaker: {` `userId: "944123456", // 注意:不是手机号或邮箱,请在「个人信息」-「小米 ID」查看` `password: "123456", // 账号密码` `did: "小爱音箱Pro", // 小爱音箱 ID 或在米家中设置的名称` `},` `});` `await client.start();``}`` ``main(); 配置参数 .migpt.js

重命名本项目根目录下的 .migpt.example.js 文件为 .migpt.js。

然后,将里面的配置参数修改成你自己的,参数含义如下:

参数名称描述示例botname对方名称(小爱音箱)"傻妞"profile对方的个人简介/人设"性别女,性格乖巧可爱,喜欢搞怪,爱吃醋。"mastername主人名称(我自己)"陆小千"profile主人的个人简介/人设"性别男,善良正直,总是舍己为人,是傻妞的主人。"roomname会话群名称"魔幻手机"description会话群简介"傻妞和陆小千的私聊"speakeruserId小米 ID(注意:不是手机号或邮箱)"944123456"password账户密码"123456"did小爱音箱 ID 或名称"小爱音箱 Pro"ttsCommand小爱音箱 TTS 指令(可在此查询)[5, 1]wakeUpCommand小爱音箱唤醒指令(可在此查询)[5, 3]playingCommand小爱音箱是否在播放中指令(可在此查询)[3, 1, 1]speaker 其他参数(可选)callAIKeywords当消息以关键词开头时,会调用 AI 来响应用户消息["请", "傻妞"]wakeUpKeywords当消息以关键词开头时,会进入 AI 唤醒状态["召唤傻妞", "打开傻妞"]exitKeywords当消息以关键词开头时,会退出 AI 唤醒状态["退出傻妞", "关闭傻妞"]onEnterAI进入 AI 模式的欢迎语["你好,我是傻妞,很高兴认识你"]onExitAI退出 AI 模式的提示语["傻妞已退出"]onAIAskingAI 开始回答时的提示语["让我先想想", "请稍等"]onAIRepliedAI 结束回答时的提示语["我说完了", "还有其他问题吗"]onAIErrorAI 回答异常时的提示语["出错了,请稍后再试吧!"]exitKeepAliveAfter无响应一段时间后,多久自动退出唤醒模式(单位秒,默认 30 秒)30 环境变量

重命名本项目根目录下的 .env.example 文件为 .env。

然后,将里面的环境变量修改成你自己的,参数含义如下:

环境变量名称描述示例OpenAIOPENAI_API_KEYOpenAI API 密钥abc123OPENAI_MODEL使用的 OpenAI 模型gpt-4oAZURE_OPENAI_API_KEY可选,Microsoft Azure OpenAIabc123OPENAI_BASE_URL可选,OpenAI API BaseURLhttps://api.openai.com/v1提示音效(可选)AUDIO_SILENT静音音频链接"https://example.com/slient.wav"AUDIO_BEEP默认提示音链接"https://example.com/beep.wav"AUDIO_ACTIVE唤醒提示音链接"https://example.com/active.wav"AUDIO_ERROR出错提示音链接"https://example.com/error.wav"豆包 TTS(可选)TTS_DOUBAO豆包 TTS 接口"https://example.com/tts.wav"SPEAKERS_DOUBAO豆包 TTS 音色列表接口"https://example.com/tts-speakers" 💬 常见问题 Q:支持哪些型号的小爱音箱?

大部分型号的小爱音箱都支持,推荐小爱音箱 Pro(完美运行)。部分机型的 MioT 接口开放能力并不完整,比如小米音箱 Play 增强版(L05C),将会导致 MiGPT 部分功能异常,相关 issue。

Q:除了 OpenAI 还支持哪些模型,如何设置?

理论上兼容 OpenAI SDK 的模型都支持,只需修改环境变量即可接入到 MiGPT。

比如:通义千问、零一万物、Moonshot、DeepSeek 等,以 Moonshot 为例:

OPENAI_BASE_URL=https://api.moonshot.cn/v1``OPENAI_MODEL=moonshot-v1-8k``OPENAI_API_KEY=$MOONSHOT_API_KEY

Q:登录小米账号失败,提示 401

账号密码不正确:小米 ID 并非手机号或邮箱,请在「个人信息」-「小米 ID」查看。

网络异常:如果你的账号密码确认配置正确,出现 401 登录异常大概率是因为网络异常,或当前 IP 小米账号登录被风控。请尝试切换代理或等待一段时间(2-24 小时)后再试。issue#10

Q:小爱音箱收到消息后,没有调用 AI 进行回复

MiGPT 收到消息默认不会调用 AI 进行回复,只会回复以唤醒词(callAIKeywords)开头的消息,比如:“请问 xxx”、“你 xxx” 等,你也可以自定义唤醒词列表。

Q:小爱音箱没有播放 AI 的回答,但控制台有打印 AI 的回复

不同型号的小爱音箱 TTS 指令不同: https://github.com/idootop/mi-gpt/issues/5

请到 https://home.miot-spec.com 查询具体指令,并修改配置文件中的 ttsCommand 参数。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

大模型 AI 能干什么?大模型是怎样获得「智能」的?用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例:向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范… 第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示(Embeddings)向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署… 第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

为什么要做 RAG什么是模型什么是模型训练求解器 & 损失函数简介小实验2:手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建… 第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身:基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例:如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有