CSV转换器实战指南:六种定型操作如何决定一份 CSV 能否进入数据仓库

大多数 CSV 管道都栽在第三步转换上。 一次干净的重命名顺利过关,一次类型转换把下一列收拾妥当,然后 add_column 的公式引用了上一步刚刚改过形态的东西:你正要送去仪表盘的那一行,模型期待整数的地方现在是个字符串。解决办法是把这些操作串成一个有序列表,而不是为每个缺陷单独写一个脚本。CSV转换器 走的正是这条路:一个由定型操作组成的 JSON 数组,从左到右依次执行,handleErrors 决定某一行无法强制转换时怎么办。 有四个操作听起来像同一件事,实际行为差得很远,初次上手的人最容易在这里栽跟头。rename 改写表头;convert_type 改写该表头下的每一个单元格;calculate 写入一个已存在的列,覆盖原值;add_column 写入一个新列,源列原样保留。把这四个操作叠进同一个转换数组,一个能用的…

CSV 表头别名解析器实战指南:四道关卡如何把一行乱糟糟的表头收进一份干净的表结构

四道关卡,一次处理一行,你没写过的表头终于和你写好的表结构对上了。每条数据管道都会撞上同一面墙:源 CSV 里叫 CUST_ID,目标表结构要 customerId,JOIN 直接断掉。CSV 表头别名解析器把每个源表头依次过精确、字典、规范化、模糊编辑距离四道关卡,给出每一列命中的方式与置信度,并返回一张覆盖率表,在下游加载报错之前就告诉你是哪几个表结构槽位还空着。 本文按执行顺序拆开这四道关卡,再用一个把杂乱门店导出映射到干净 CRM 表结构的实例走一遍。读完你应该知道阈值怎么选、什么时候该补别名字典,以及为什么只靠模糊匹配也能救回一个差两个错字的表头。 表头漂移为什么会打断 ETL 加载 关系型数仓里的每个 join…

空白单元格并不空:在 CSV 转换器眼里,那是一次删除

每张 Markdown 表格里都藏着某个空白单元格:你始终没要到的电话号码,没人用的中间名。这些格子是你有意留空的,转换却把这些格子删掉了。我实测了代价:一张 41 行的表里,8 行少了一列,13 个值待在了错误的表头下面。 四十一行进,四十一行出 我做了一张六列的通讯录,四十行,就是 README 或支持文档里常见的那种样子。五行没有电话号码,三行没有备注。然后我把它喂进与工具完全相同的那套转换逻辑。 实测结果:41 条记录进,41 条记录出。行这一层什么都没丢,所以这份输出扫一眼完全正常。接着我数了每条记录有几个字段。 33…