Posted in未分类
一次标点清洗,把 3.14 变成 3. 14
句号在成为小数点之前,只是个标点。1,204 里那个逗号、日期戳里的连字符、查询字符串开头那个问号,都是一样的道理。标点符号规范化器的用途是让引号、逗号和括号在整份语料里保持一致,这件事它做得不错。但它还带了个默认开着的开关,标签写着「Normalize Spaces」,我实测了这个开关的效果:3.14159 传进去,出来变成 3. 14159。 这个发现最扎痛的是把规范化当成安全前置步骤的人。对散文而言,这确实成立;对标识符不成立,而真实文本里两者往往同时存在。 同一个字形,在散文里和在数据里各有各的职责 句号在句子里当之无愧。在 3.14159 里它是小数点,在 example.com 里它分隔域名标签,在 v2.5.1 里它承担版本结构,它还能分隔…