2.2 调用星火大模型的API

项目仓库地址：https://github.com/datawhalechina/llm-universe

讯飞星火认知大模型，由科大讯飞于2023年5月推出的中文大模型，也是国内大模型的代表产品之一。同样，受限于中文语境与算力资源，星火在使用体验上与 ChatGPT 还存在差异，但是，作为与文心不分伯仲的国内中文大模型，仍然值得期待与尝试。相较于存在显著资源、技术优势的百度，科大讯飞想要杀出重围，成为国内大模型的佼佼者，需要充分利用相对优势，至少目前来看，星火并未掉队。同时，不知道是否因为讯飞 API 还没有全面开放，讯飞 API 的测试使用效果比文心更好，值得期待。 目前，讯飞星火大模型 API 已进入 β 测试阶段，每一个讯飞账户都可以申请若干 token 的试用。但是，相对于文心与 GPT 几乎完全一致的 API 调用方式，星火 API 需要使用 WebSocket 来进行调用，对企业友好，但对初学者、新手开发者来说调用难度较大。本章节将指导开发者如何将星火 API 封装为可直接通过 request 调用的 API 接口从而和其他大模型保持一致，也将介绍如何将其封装成个性化 LLM 嵌入 LangChain 使用。

首先，申请API的调用权限，可以使用Datawhale提供的专属连接：通过该链接进入可以获得更多的免费额度，点击“免费试用”： https://xinghuo.xfyun.cn/sparkapi?ch=dwKeloHY

如果是没有领取过免费试用包的用户，可以领取到 100000 token 的试用量；如果已领取过，就会自动跳转到下方购买产品的页面。完成领取后，点击上文中的“服务管理”即可进入控制台：

在该界面，我们就可以看到我们获取到的 APPID、APISecret 和 APIKey 了。

星火 API 需要通过 WebSocket 进行连接，相对来说配置较为复杂，讯飞给出了配置示例 SparkApi.py 和连接示例 test.py，此处我们仅讲解 test.py 里的调用逻辑，配置示例代码直接使用即可。 注意，需要在环境中安装配置示例中的所需第三方库。

在使用第三方的spark 库之前，需要使用pip 方式进行安装：

如果你使用pycharm 进行调用测试：你可以在 notebook/ C2 调用大模型 API 文件夹下创建 ： ifly_api_test.py文件，在里面输入代码进行测试：

首先我们需要配置秘钥信息：

将下面的 APPID、APISecret 和 APIKey；填入上述对应部分：

星火的调用传参和文心类似，也需要传入一个列表，列表中包括 role 和 prompt，我们首先定义一个从用户输入 prompt 生成传入参数的函数：

接着，我们将一个用户输入 prompt 封装为这样一个传入参数列表：

然后再调用 SparkApi.py 中封装的 main 函数即可：

由于星火使用了 WebSocket 连接，不能直接使用** request **来进行访问，同其他大模型 API 访问方式具有一定差异。我们可以通过 FastAPI 将星火 API 封装成本地 API，从而实现统一的模型调用方式。

在我们完成本地 API 的封装后（spark_api.py），我们可以通过 uvicorn 命令启动： 在这里，使用anaconda prompt命令行来进行启动： 首先， cd 到 F:\python_project\LLM\llm-universe-main\notebook\C2 调用大模型 API 文件夹下： 可以看到 文件spark_api.py ：

在 prompt 命令行里面输入：

可以看到，已经启动： 启动之后，默认会在本地 8000 端口开启 API 服务。 启动 API 之后，我们可以向本地 8000 端口发起 Request 请求来访问 API：

运行输出：报错: 只输出了 “”：

原因： 改： spark_api.py 的get_spark函数： 原始的get_spark函数里没有 个人控制台 信息；

填上个人信息之后，然后重新启动：

可以按 ctrl + c可以终止进程： 然后运行测试代码： 成功

出现问题1： 我在pycharm里的 terminal 里输入指令 uvicorn spark_api:app 启动的时候，出现了报错;

但是我已经安装了websocket, 而且我在prompt里面import websocket 也能成功：

在pycharm里面无法加载，但是在anaconda prompt里面可以加载： 所以我直接使用anaconda prompt到spark_api.py目录下，直接输入指令：uvicorn spark_api:app 进行启动：