工作原理#

CJSON 会分析输入数据，自动识别出不同的对象类型，并生成模板：

1
{
2
  "f": "cjson",
3
  "t": [
4
    [0, "x", "y"],
5
    [1, "width", "height"]
6
  ],
7
  "v": [
8
    { "": [1, 100, 100] },
9
    { "": [2, 100, 100, 200, 150] },
10
    { "": [1, 50, 50] }
11
  ]
12
}

• t (templates)：模板数组，每个模板的第一个数字表示继承自哪个模板
• v (values)：值数组，第一个数字是模板索引

模板 [0, "x", "y"] 表示从空模板开始，添加 x 和 y 字段。模板 [1, "width", "height"] 表示继承第 1 个模板，再添加 width 和 height。

类型提取算法#

CJSON 使用树结构来识别共享键集的对象类型：

1. 遍历所有对象，按遇到键的顺序构建树
2. 树的节点代表键，路径代表键的组合
3. 叶子节点和分支节点都成为模板候选

这种方法的压缩效果取决于数据结构的规律性。对于大量相似对象，压缩率非常可观。

核心优势#

• 小整数编码为单字节
• 短字符串只需额外 1 字节存储长度
• 无需引号和分隔符

1
import { pack, unpack } from "msgpackr";
2

3
const data = { name: "hello", count: 42 };
4
const encoded = pack(data); // 二进制 Buffer
5
const decoded = unpack(encoded);

msgpackr 的 useRecordId 优化#

msgpackr 库提供了 useRecordId 选项，类似于 CJSON 的模板机制。启用后，重复的结构会被记录并复用：

1
import { Packr } from "msgpackr";
2

3
const packr = new Packr({ useRecords: true });
4

5
const data = [
6
  { id: 1, name: "Alice" },
7
  { id: 2, name: "Bob" },
8
  { id: 3, name: "Charlie" },
9
];
10

11
const encoded = packr.pack(data);

第一次遇到某个结构时，会记录其键序列；后续相同结构的对象只需引用记录 ID，大幅减少重复。

Varint 编码#

Protobuf 使用 Varint 编码整数，小整数只需 1 字节：

1
// int32 值 1 的常规表示（4 字节）
2
00000000 00000000 00000000 00000001
3

4
// Varint 编码（1 字节）
5
00000001

Wire Type#

每个字段编码为 <tag><type>[<length>]<data>：

Protobuf vs JSON#

Protobuf 适合：内部服务通信、高性能场景、数据存储

JSON 适合：公开 API、配置文件、调试场景

Content-Encoding#

服务器可以通过 Content-Encoding 响应头告知客户端数据已被压缩：

1
Content-Encoding: gzip
2
Content-Encoding: br
3
Content-Encoding: deflate

协商流程#

1. 客户端发送 Accept-Encoding: gzip, deflate, br
2. 服务器选择支持的压缩算法
3. 服务器压缩响应体，设置 Content-Encoding 头
4. 客户端自动解压

压缩算法对比#

注意：HTTP 压缩是传输层优化，浏览器无法预知服务器是否支持压缩，所以浏览器发送请求时无法使用 HTTP 压缩。这就是为什么客户端到服务器的 JSON 压缩特别重要。

CBOR#

CBOR (Concise Binary Object Representation) 是 JSON 的二进制替代品，设计目标是：

• 无需 Schema
• 自描述
• 支持所有 JSON 类型

BSON#

MongoDB 使用的二进制格式，增加了日期、二进制数据等类型支持。

Avro#

Hadoop 生态的序列化格式，Schema 在数据中内嵌，适合大数据场景。

FlatBuffers#

Google 出品，零拷贝反序列化，适合游戏和实时应用。

设计思路#

Colson 采用类似 CJSON 的模板机制，但增加了 TypeScript 的类型推导信息：

1
import { decodeColsonRow, encodeColsonRow } from "@hexzii/colson";
2

3
interface User {
4
  id: number;
5
  name: string;
6
  email: string;
7
}
8

9
const users: User[] = [
10
  { id: 1, name: "Alice", email: "alice@example.com" },
11
  { id: 2, name: "Bob", email: "bob@example.com" },
12
];
13

14
const encoded = encodeColsonRow(users);
15
const decoded = decodeColsonRow(encoded);