Z85 与 RFC 1924 Base85 实战指南:四个字节、五个字符、两套字母表,决定你的载荷能否安然过线

Base85 编码示意图:四个字节进,五个字符出

Base85 家族把四个字节装进五个可打印字符,而你选哪套字母表,决定了结果能被正确解码,还是悄无声息地吐出垃圾。Z85 是 ZeroMQ 的那一支,用固定的 85 个字符;RFC 1924 Base85 是与 Ascii85 相邻的标准,同样是 85 个字符,但字形和顺序都不同。两者编码同样的字节,得到完全不同的字符串。字母表选错一次,一段合法的载荷就变成读不懂的噪声;而输出仍是格式规整的可打印文本,下游不会有任何组件报错。本文介绍的工具把这个选择摆到明面上、可检查,不再托付给库的默认值。

4 进 5 出的那个块,就是全部契约

所有 Base85 变体共用同一个原语:取四个字节,当作一个大端 32 位无符号整数,再把这个整数写成 85 进制、补齐到恰好五位。四个字节有 2^32 种取值;五位 85 进制能覆盖 85^5,即 4.437e9,比 2^32 = 4.295e9 宽裕得多。这份余量正是映射双向无损的原因:没有残缺位,没有进位,也没有歧义。

由此得到一条贯穿全文的硬性结构规则:合法的 Z85 字符串长度永远是五的倍数。它没有填充字符,因为块长固定,32 位整数能取的每个 85^5 值都有独一无二的五位写法。载荷若不是四字节的整数倍,剩下的一、二或三个字节就没法编成完整的块。

把算式算一遍,取舍就具体了。把 00010203 编成 Z85 得到 009c6。官方清单里的示例给出的正是这个值,你也能手算复现:字节 00 01 02 03 组成整数 66051,66051 写成五位 85 进制就是 009c6。再把 009c6 送进 RFC 1924 解码器,回来的仍是 00010203,闭环成立。

Z85 与 RFC 1924 共的是形状,不是字母表

多数人踩的坑,是以为 Base85 只有一种。常用的至少有两种,彼此不兼容,而且在每一个字符位置上都分道扬镳。

同样四个字节,在 Z85 与 RFC 1924 两套字母表下编成两个不同的字符串

ZeroMQ 的 Z85 字母表依次交错数字、小写、大写,最后是一段标点。RFC 1924 的字母表是数字、大写、小写,再接另一段标点。字母 A 在 Z85 里排第 36 位,在 RFC 1924 里排第 10 位。字母 a 恰好镜像:Z85 里第 10 位,RFC 1924 里第 36 位。这不是换了个好看点的顺序,这是另一套记数系统。

拿四个字节 DE AD BE EF 试。按 Z85 编码得 ?MsJX,同样这四个字节按 RFC 1924 编码得 -mSjx。都是五个字符,都完全合法,交给对方的字母表都解不出来。你若在 ZeroMQ 的链路抓包里看到 ?MsJX,却拿 RFC 1924 去解,得到的那四个字节几乎肯定不是发送方想传的。

最快看清字母表选错这类 bug 长什么样的办法,是把同一个块送进两套字母表各跑一遍。好的往返工具会把两个字符串并排摆出来,让你逐个回解,Z85 / RFC 1924 Base85 流式编解码器 切换变体选择器时做的就是这件事。

密度上的便宜,究竟从哪来

Base85 能在协议里占一席之地,靠的是它把载荷压得比替代方案更小。按字节算一遍:

每字节字符数对比:十六进制 2.00,Base64 1.33,Base85 1.25
  • 十六进制把每个字节写成两个字符,合每字节两个字符。可读,也彻底浪费。
  • Base64 每字符承载六位,每 3 个字节花 4 个字符,即每字节 1.333 个字符。
  • Base85 每个字符塞进超过六位,每 4 个字节正好花 5 个字符,即每字节 1.25 个字符。

相对十六进制,这是 37.5% 的缩减。相对 Base64 只有百分之六上下,真实,但不算多。诚实的说法是:Base85 是十六进制的替代品,不是 Base64 的终结者。在 ZeroMQ 的 CURVE 及与 WireGuard 相近的设计里,它带来的是:一个定长的二进制密钥字段变成短小、可打印、能进日志、能直接粘贴的令牌,而且没有填充字符去糊弄下游解析器。

如果你做的是文本编码之间的互转,而不是打包二进制密钥,那该比的是适用场景而非密度。互换用的文本交给 Base64转换器;URL 安全的场合需要 Base64URL 编解码 这类变体,因为 + 和 / 在 URL 里要转义。Base85 绕开了这一整摊事,它的标点集合当初就是照「不用再套一层转义也能粘贴」挑的。

真正的故障出在尾部残块

Base85 的运行问题几乎都出在流的最后几个字节,而不是中段。长度为 23 的 Z85 载荷含四个完整的块,还剩三个字节无法表示。

办法一:用有文档记载的哨兵值补齐。有些协议在后面补零字节,另记真实长度。固定长度的令牌正是这么来的,代价是多出一条旁路信息。

办法二:改用流式变体。Ascii85 一类的编码器处理尾部残块时,输出不足五位,并记住一共输出了几个字符。输出长度因此不再是五的倍数,解码器按残缺位数反推原始字节数。

办法三:直接拒收。字段既然是定长密钥,就要求四字节整数倍,其余一律拒绝,这是最诚实的做法。它让 bug 在修起来还便宜的地方就暴露。

Z85 / RFC 1924 Base85 流式编解码器 通过「严格块长」复选框配合按行批处理模式,把三条路都摆出来。严格模式下,长度不是五的倍数直接拒收;流模式下,尾部残块会被编码,结果带上标注。读懂那条标注,还是靠猜,差别是五分钟修好,还是耗掉一个下午。

需要亲眼看原始字节、而不愿信标注时,十六进制查看器 会把同一份载荷按偏移量和字节摆出来,尾部是零、是垃圾,还是真值,一眼分明。

批量模式才让编码 bug 现身

单个 4 字节块,手编几乎不会错,肉眼也几乎查不出对错。编一条流就两样都不是了。块数上千之后,字符写错反而少见,麻烦都出在结构上:末块被截断、粘贴时带进来一个多余换行、只有空白的一行解出空值,以及一条混合字母表的流,其中某一行出自另一个库。

按行批处理模式存在的意义,正是把最后那种故障揪出来。把「一行一块」的载荷流喂进去,每一行都按选定的字母表独立校验。某行含字母表之外的字符,就在那一行被抓,并指出问题所在的行号,而不是整块数据在下游某处一起失败。

这也正是 URL编码解码 在转义看起来很简单时仍然值得一用的原因。两个工具做的是同一件事:把隐含的假设变成一个显式的、被检查的步骤。批量校验把「载荷解出来了,但我不知道对不对」变成逐行的结论。

自定义字母表,先验证再信任

Z85 和 RFC 1924 是固定的。有些系统自定 85 个字符的字母表,编码 bug 在那里就不再含蓄,而是直接炸响。

合法的自定义字母表必须同时满足三条约束,Z85 / RFC 1924 Base85 流式编解码器 在编码任何东西之前会把三条都查一遍:

  • 恰好 85 个字符。不是 84,也不是 86。字母表长度就是记数系统的底数,长度错了,每一位的含义都会悄悄改变。
  • 字符互不重复。重复字符意味着两个位值映射到同一个字形。解码随即产生歧义,某些字节串变成取不到的值。
  • 全部是可打印 ASCII。不能有控制字符,不能有非 ASCII 字节。字母表里混进一个不可打印字形,输出就会弄坏终端、日志管道和复制粘贴。

重复这条最容易抓到真 bug。一张 36 字符的字母表,粘贴时不小心带进几个重复字符,看上去像回事,运气好时还能正确解出部分输入,只在恰好用到撞车字形的那些字节模式上失败。这种失败在接收端浮现,往往是几小时后,在另一台机器上。

可打印 ASCII 这条,是令牌能穿过邮件、聊天和 shell 历史而无需第二层转义的前提。破了它,你和接收方之间的每一套传输系统都成了潜在的损坏点。

字母表只选一次,然后记录选了哪一套

随 Base85 载荷一起带走的最有价值的东西,不是载荷本身,而是字母表的名字。没有标注的 Base85 字符串是歧义数据,两套完全不同的解码器都会接受它,然后返回不同的字节。

一份能长期使用的记录需要三个字段。变体名,让接收方知道每一位对应 85 个字符中的哪一个。编码前的字节数,让接收方核对是否收全。载荷的原始长度,让尾部残块能被核对,而不是靠猜。

这三样与编码文本放在一起,一个不透明的令牌就变成了能自我说明的令牌。半年后解码器拒收时,变体字段立刻回答第一个问题,字节数回答第二个。

把字母表当作一个显式对象、而不是库里的常量,推理会轻松很多。编解码器把 Z85 字母表与 RFC 1924 字母表作为同一界面下的两个具名变体,切换是改一次选择器,不是改代码。更多工具见 elysiatools.com。

Base85 载荷上线前该查什么

Base85 字段跨越服务边界之前,按顺序走一遍这份清单。先确认变体,因为把 Z85 载荷按 RFC 1924 解码是 Base85 最常见的一个 bug,它不报错,只给错字节。再确认块长,严格编码器会拒收尾部残块,流式编码器必须给它加标注。然后确认字母表,检查输出里每个字符都属于声明的那套 85 字符集。接着确认字节数,把解码长度与发送方打算发送的长度比一比。最后确认往返,解码后再重新编码,看原字符串是否一字不差地回来。

Base85 的块契约,以及每张自定义字母表都必须满足的三条约束

最后一项最便宜,还能顺带兜住其他所有问题。往返若能逐字节返回输入,就证明变体、字母表、块长三者彼此一致;往返若不能,它会告诉你三者之中该先看哪一个。

值得养成的习惯,正是本文一路示范的这个:把字母表当成具名、经过校验、可检查的对象,而不是埋在库里的常量。算式本身很简单,四字节进、五字符出,而正是这份简单,让你把字母表弄错时故障毫无声息。跑一遍往返,读一眼变体名,整个 Base85 家族的问题就不再是需要提心吊胆的一类麻烦。

1 Comment

Leave a Reply

Your email address will not be published. Required fields are marked *