大语言模型下的JSON数据格式交互

插： AI时代，程序员或多或少要了解些人工智能，前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家(前言 – 人工智能教程 )

坚持不懈，越努力越幸运，大家一起学习鸭~~~

随着大语言模型能力的增强，传统应用不可避免的需要调用LLM接口，提升应用的智能程度和用户体验，但是一般来说大语言模型的输出都是字符串，除了个别厂商支持JSON Mode，或者使用function call强制大语言模型输出json格式，大部分情况下，还是需要业务放自己去处理JSON格式，下面我来总结一下在解析JSON过程中遇到的一些问题和解决方案。

一、如何让大语言模型返回JSON格式？

其实LLM对Markdown和JSON格式还是比较友好的，在指令中指定返回JSON格式，基本都会遵循，

返回结果:

这个时候，我们可以使用正则表达式，提取出Markdown格式下的JSON内容：

但是返回一个稳定的JSON格式，也不是那么容易，如果模型能力不强，可以会返回以下内容：

即使返回了正确的JSON格式，但是属性名和属性值对应的格式（可能嵌套数组、对象），也不定每次都正确，特别是在复杂场景下，目前有以下几种方案，可以确保返回的内容一定是遵循JSON格式。

1.1 JSON mode

在调用 Openai 的 gpt-4-turbo-preview 或 gpt-3.5-turbo-0125 模型时，可以将 response_format 设置为 { "type": "json_object" } 以启用 JSON 模式。启用后，模型仅限于生成解析为有效 JSON 对象的字符串。具体可查看：

​​https://platform.openai.com/docs/guides/text-generation/json-mode​​。

示例代码：

返回响应：

值得注意的是：除了Openai，其他厂商基本都不支持JSON mode 。

1.2 function call

function call 其实本身不是解决JSON格式的，主要是解决将大型语言模型连接到外部工具的问题。可以在对话时描述函数，并让模型智能地选择输出包含调用一个或多个函数的参数的 JSON 对象。聊天完成 API 不会调用该函数，模型会生成 JSON，然后使用它来调用代码中的函数。

返回：

在这里我们就可以利用tools的function parameters来定义希望返回的JSON格式，parameters遵循了JSON chema的规范，​​https://json-schema.org/learn/getting-started-step-by-step​​。这个时候，返回的tool_calls的arguments就是一个标准的JSON字符串。

注意：也不是所有模型都支持function call的能力。

1.3 langchain结合Zod

Zod是一个TypeScript优先的模式声明和验证库。

​​https://github.com/colinhacks/zod/blob/HEAD/README_ZH.md​​

在StructuredOutputParser.fromZodSchema中传入你想要声明的JSON格式，使用parser.getFormatInstructions()就可以得到一段prompt，描述了什么是"JSON Schema"，以及举例，最后描述希望返回的"JSON Schema"格式。把这一段prompt放在最终调用大语言模型的prompt后面，就可以严格要求大语言模型返回这个JSON格式。

把format_instructions拼入到完整的prompt，执行chain.invoke会自动parse返回结果为一个JSON对象。

如果返回的格式不符合answer、sources的数据类型，会直接报错。也可以利用Auto-fixing parser来重试与修复：

​​https://js.langchain.com/docs/modules/model_io/output_parsers/types/output_fixing​​。

注意：在模型能力不怎么强的情况下，parser.getFormatInstructions()返回的那一大段prompt，可能会导致返回结果不正确，大段的prompt反而影响了结果：

比如prompt如下：

结果返回：

在这里，误将JSON schema的定义重新输出了一次，导致解析报错，虽然概率很小大概不到5%，但调用次数多了，还是会遇到。

1.4 TypeChat结合Typescript

如果只是声明返回的JSON格式，除了zod，会发现Typescript的interface非常适合描述JSON格式:

返回的JSON数据会符合Response定义。

TypeChat就是这个思路，通过编写TypeScript类型定义，而不是自然语言提示来指导语言模型提供类型良好的结构化的响应数据，用schema替代prompt，​​https://github.com/microsoft/TypeChat​​。

举一个简单的例子：

实际使用的时候会稍微复杂一点，会涉及到类型校验、纠错与重试：



更多示例参考：​​https://github.com/microsoft/TypeChat/blob/main/typescript/examples/math/src/main.ts​​

1.5 few shot

实践下来，会发现这么多方案，各有优劣：

‒JSON mode大部分模型不支持；

‒function call模型支持度不高，对话也不一定会命中function；

‒langchain 结合 Zod 会产生一大段prompt，占用大量token，同时有一定概率误导了返回结果；

‒Typechat需要提前声明ts定义，同时和框架也比较耦合，不适合单独使用；

特别是在一些复杂场景，比如返回的JSON格式是由入参决定的，举个例子：

期望返回以下内容：

这种情况下，我们没法提前定义返回的JSON格式定义，最多只能定义外层属性，让返回内容变成一个字符串：

但是这样返回是及其不稳定的，有两种返回：

这种情况下，使用few shot也是一个不错的选择，举几个例子，然后从返回的结果中，直接提取出json内容：

返回内容：

这个时候使用正则表达式，直接提取出JSON，相对比较稳定，唯一的缺点是除了返回JSON之外，还会啰嗦的输出一些描述中文，需要反复强调 只返回mock数据，不要返回其他内容。

二、模板语法结合JSON格式

有时候并不一定需要每次都去调用AI接口，生成数据，AI接口也可以生成一些JSON模板，比如合成一张卡片模板，用一些占位符和循环语句去挖一些坑位，运行的时候再使用真实数据结合渲染出真实JSON数据。

前端可以使用EJS 、nunjucks等模板渲染引擎，让大语言模型生成模板代码。

实验下来，使用nunjucks相对比较友好：

然后使用nunjucks去渲染模板和数据，生成完整JSON字符串。

三、JSON格式的解析

JSON格式有不同的解析规范：

‒IETF JSON RFC (8259及以前的版本)：这是互联网工程任务组（IETF）的官方规范。

‒ECMAScript标准：对JSON的更改是与RFC版本同步发布的，该标准参考了RFC关于JSON的指导。然而，JavaScript解释器提供的不合规范的便利性，如无引号字符串和注释，则激发了许多解析器的“创造”灵感。

‒JSON5：这个超集规范通过明确地添加便利性特征（如注释、备选引号、无引号字符串、尾部逗号）来增强官方规范。

‒HJSON：HJSON在思想上与JSON5类似，但在设计上则具有不同的选择。

3.1 JSON.parse

一个标准的JSON字符串，可以直接使用JSON.parse来解析成json格式，这个字符串需要严格符合JSON标准。

与 JavaScript 语法相比，JSON 语法受到限制，因此许多有效的 JavaScript 文本不会解析为 JSON。例如，JSON 中不允许使用尾随逗号，并且对象文本中的属性名称（键）必须用引号引起来。引号、注释、逗号、数字都必须符合规范，多了少了一点都会报错，特别是value是一个JSON字符串的时候，双引号需要转义，及其容易出错，最好避免这种返回格式。

3.2 json5

JSON5 是对 JSON 的一种推荐扩展，旨在使人类更易于手动编写和维护。它通过直接从 ECMAScript 5 添加一些最小的语法功能来实现这一点，​​https://www.npmjs.com/package/json5​​。

对象

‒对象的 key 可以跟 JavaScript 中对象 key 完全一致

‒末尾可以有一个逗号

数组

‒末尾可以有一个逗号

字符串

‒字符串可以用单引号

‒字符串可以用反引号

‒字符串可以用转义字符

数字

‒数字可以是 16 进制

‒数字可以用点开头或结尾

‒数字可以表示正无穷、负无穷和NaN.

‒数字可以用加号开头

评论

‒支持单行和多行注释

空格

‒允许多余的空格

使用json5可以极大的提高JSON字符串的兼容性。

四、流式输出JSON数据

一次大语言模型对话，如果返回几百的Token，可能需要10几秒才能返回，转10几秒的圈圈让用户一直等待，肯定不是一个好的用户体验，但是返回JSON格式的数据如果使用流式输出，中间是缺失截断的，直接解析肯定会报错。

总不能先显示JSON字符串，等流式结果完全返回，再parse一下吧。你还别说，真有人是这么干的！

​，时长00:20

虽然奇怪了一点，但好像确实比干等着转圈圈要好一点，那有没有更优雅一点的方式呢？

4.1 编译原理

参考JSON的解析过程，​​https://www.json.org/json-zh.html​​，魔改一下编译AST的过程，可以对中间截断状态的JSON字符串进行补全。

具体参考：​​https://juejin.cn/post/7063413421298941983​​