音频旋律轮廓提取器实战指南:五个旋钮决定和弦里哪个声部变成 MIDI 旋律线

锁对了音高轮廓,八秒的复音吉他音频就能压成一个含四十八个事件的 MIDI 文件。 每条音频转 MIDI 的流水线都会给出一条旋律路径,但多数给出的是错的那条:八度错、和弦上取错音、乐句边界错,或者轮廓在不同遍次之间漂移。音频旋律轮廓提取器(Audio Melody Contour Extractor)接收一段复音录音,返回一个 ZIP:MIDI 文件、音符事件、采样音高轮廓、SVG 旋律图,以及 JSON 事件日志。真正有意思的不是产出哪些文件,而是五个控制旋钮,它们决定和弦里几个互相竞争的声音中,哪一个会成为你本来想转写的那条旋律线。

音频旋律轮廓提取器实战指南封面

音频转 MIDI 为什么比看上去难

单音音频的音高检测很直接:找到最响分音的基频(f0),对齐到最近的半音,每次对齐后的值变化就发一个音符事件。复音音频把这三步全打乱。一个 Cmaj7 和弦同时叠了四个音高,模型得挑一个当旋律,把另外三个当和声或伴奏。不同听众想要的选择并不相同:爵士转写要最高声部,节奏组转写要贝斯线,人声主旋律要的是落在 200 至 800 Hz 区间里的那个声部,那正是歌手通常所在的位置。

Basic Pitch 模型(Spotify 开源的转写引擎,MIT 许可)输出一个多声部音符激活矩阵。后处理阶段要从这些声部里挑一个当作主导轮廓,各家转写工具的性格就在这里定型。阈值决定一个音符要被保留需要多强的激活;最短长度参数决定一个八分音符的颤音是发成一个持续音还是八个独立事件;旋律偏好标志告诉后处理器是往最高声部爬,还是往最低声部沉。每个旋钮的默认值都为一般的流行乐混音调过,也每个旋钮都至少有一种真实录音会被它坑。

决定哪个声部胜出的五个旋钮

提取器的选项面板把五项设置归成三类:起音灵敏度、音符时长、声部选择。

在复音音频转 MIDI 中决定主导声部的五个旋钮

起音阈值(默认 0.5,范围 0.05 至 0.95)把控音符起音检测的第一关。值低会把更轻的起音也拉进来;值高能挡掉呼吸噪声和低于真实起音水平的拨弦杂音。帧阈值(默认 0.3,范围 0.05 至 0.95)管的是每一个短时帧要有多少置信度才能给持续音贡献。两个阈值会相互作用:起音 0.5 配帧阈值 0.3,意思是音符要有一个足够确信的激活才能起头,但可以靠较弱的帧维持下去。两个都推到 0.7,只有最响、最干净的旋律能活下来;帧阈值压到 0.2 以下,输出就会捡进低音弦的余响,那本来不是一条独立旋律线。

模型最短音符长度(默认 5 帧,范围 2 至 30)和最短选中音符(默认 80 ms,范围 40 至 500 ms)构成两级时长闸门。模型层面的过滤先丢掉短于帧阈值的激活,后处理再丢掉短于毫秒阈值的已发出音符。两者合起来决定一段快速颤音是拆成一个个音符,还是并成一个装饰音。120 BPM 的钢琴用 8 帧和 120 ms 比较合适;鼓机的踩镲两个都调小,持续的人声线两个都调大。

旋律偏好(默认 balanced,可选 balanced / higher / lower)最接近一个音乐解释旋钮。higher 会沿和弦堆往上爬到最高声部,lower 往下沉到贝斯,balanced 挑的是在局部窗口内激活历史最强的那个声部。合唱录音用 higher 能单独拎出女高音线;巴赫赋格用 lower 能把主题单独拎出,答题则留在和声里。

第五个旋钮包含弯音(默认开启)决定连续的音高运动是发成 MIDI 弯音事件,还是量化到最近的半音。开弯音能保住人声颤音和弦乐滑音;按半音量化得到的转写,任何制谱软件都能直接渲染,不必逐轨设置弯音轮。

ZIP 里到底有什么

输出包里有六个产物:一个 .mid,主导旋律在第 1 通道;一个 .mid,所有检测到的音符激活分布在 2 到 N 通道;一个 .json 事件日志,带以秒为单位的时间戳和 MIDI 音高编号;一个 .csv 音高轮廓,按模型的帧率(约 100 Hz)采样;一个 .svg 图,横轴时间纵轴音高,标出音符边界;还有一份 notes.txt 摘要,列出事件总数、总时长、检测到的 BPM 和平均音高。要找转写错误,SVG 图最快:一条轮廓在乐句中间突然掉两个八度,几乎总是后处理器切换了声部导致。

音频旋律轮廓提取器输出 ZIP 里的六个产物

JSON 事件日志对下游工具最有用。每条记录含 start_s、duration_s、pitch_midi、velocity 和 confidence。置信度低于 0.4 通常意味着这个音符处有两个竞争的激活都强到通过了帧阈值,这类音符当作软建议看,别当既成事件。CSV 音高轮廓补的是音符之间的空白:一条 100 Hz 采样的 f0 轨迹,保留持续音内部的音高运动,而不只是音符边界上的取值。

读 SVG 音高轮廓

SVG 图是输出包里最直观的诊断产物。每个检测到的音符画成一条水平线,纵轴位置对应它的音高;相邻音符之间的连线就是插值后的轮廓。有三种视觉形态对应特定的转写故障。

三种 SVG 音高轮廓故障形态与对应的参数修正

轮廓在一个音符内部跳了两个八度,几乎总是后处理器从一个竞争声部切到了另一个。原录音在跳过去的那个八度上确实有真实音高,模型只是在乐句后半段锁上了另一个激活。把帧阈值调高 0.1 到 0.2 再跑一遍,通常就能锁稳。

轮廓跟对了一个乐句,随后突然静音半秒再接上,这是起音检测漏掉了一段。歌手或乐手有一瞬间掉到起音阈值以下,模型就丢了那个音符激活。把起音阈值降到 0.3 至 0.4,多数情况能找回这个激活;找不回来,那很可能是音频里真有段静音,模型报得没错。

轮廓呈稳定的阶梯形、每级正好一个半音,说明这段录音的音高贴着半音边界,模型在两个相邻音符之间来回弹。把 minNoteMs 提到 120,强制更长的音符输出,弹跳就会减少。

怎么确认转写真的对

三轮检查能抓住大部分转写错误。第一轮,把 MIDI 放进钢琴卷帘窗渲染回放,你听到的就是制谱软件在不做任何编辑的情况下会写出来的东西。第二轮,把 SVG 音高轮廓叠到原音频的频谱图上,轮廓应当跟着每个时间窗里最强的分音走。第三轮,拿检测出的 BPM 和原曲已知的 BPM 比对,偏差超过 5% 通常意味着帧率不匹配,或者模型在一段长静音里失了同步。

复音素材要把 MIDI 和原音一起听。旋律取错了声部,MIDI 听起来会像一条和声线而不是旋律,把 melodyPreference 从 balanced 改成 higher 重新提取。持续和弦上轮廓漂移,就把起音阈值和帧阈值同时调高 0.1。输出里塞满原录音根本没有的十六分音符碎片,就把 minNoteMs 提到 120、minNoteLength 提到 8。

人声素材最麻烦的情况,是歌手的音高和某个乐手贴在同一频段。两者强度接近时,默认的 balanced 会在人声和吉他之间来回跳。设成 higher 并把帧阈值提到 0.4,只要人声比吉他响就能锁住人声;设成 lower 并把帧阈值降到 0.2,就能为贝斯转写流程锁住低音吉他。

一个实例:木吉他伴奏下的人声主旋律

一条人声线叠在弹柱式和弦的木吉他上,这个常见场景能把朴素转写流水线的每个弱点都暴露出来。吉他和人声占着互相重叠的频段,人声旋律在和弦内部游走,人声下面的和弦每两到四小节换一次。Basic Pitch 的多声部激活矩阵在这里长出一片密林,每个和弦音、每个人声音符都是候选。后处理器的旋律偏好决定输出 MIDI 是人声,还是吉他最高的那根弦。

用默认设置在 30 秒样本上跑,得到的 MIDI 通常会在两者之间摆:乐句边界处是人声,长元音上变成吉他最高音。这正是分轨分离器要防的故障,只不过分轨器经常会削掉音高检测器锁住人声所需的那些谐波。把 melodyPreference 设成 higher、帧阈值提到 0.4,同一段音频就能给出稳定的人声旋律,因为帧阈值一旦挡掉低幅度的吉他余响,人声的高频分音就主导了激活矩阵。

同一段音频把 melodyPreference 设成 lower,输出 MIDI 就变成低音吉他线,适合整理成和弦谱的贝斯声部。这时提取器更像个能识别复音的分轨选择器:挑一个声部,丢掉其余,但与分轨分离器不同的是,它不会把下次换一种选择所需的信息扔掉。

什么时候轮廓提取器胜过专用分轨器

常见的条件反射是先跑一个音源分离模型,把主唱或主奏乐器分出来,再转写这轨。这个反射会增加延迟,多一个可能出错的模型,有时还会伤到转写质量:在流行乐上训练的分轨器,可能正好抹掉音高模型判断发声所依赖的那些谐波。轮廓提取器的旋律偏好旋钮通过“在激活之间挑”而不是“把激活删掉”,达到了大致相同的效果。干净的棚内录音,音源分离方案通常小胜一点。有串音、房间混响、台上多个音箱互抢的现场录音,轮廓提取器经常赢,因为它训练的目标就是做出声部选择,而这个决定本来也轮不到分轨器,终究要交给后处理器。

上手前该知道的限制

提取器支持最大 100 MB 的音频,接受 MP3、WAV、FLAC、M4A、AAC、OGG、Opus 和 WebM。它不接受 MIDI 输入,路径是单向的:音频进,结构化结果出。没有批量模式,每个文件单独处理,ZIP 按文件各给一份。模型对笔记本的 CPU 足够友好,但需要至少几秒音频才能给出稳定的音高估计;不足一秒的片段轮廓不可靠。检测假设的是西方十二平均律,非西方的律制(纯律、毕达哥拉斯律、斯连德罗、佩洛格)无论原始音准如何,都会被量化到最近的十二平均律半音。

长录音(音乐会、讲座、播客)先在静音处切开再跑。每个被静音包住的片段产出一份自足的 ZIP;拼接 MIDI 文件是机械工作,拼接 JSON 事件日志只需要加一个分段的时间偏移。轮廓提取器的强项是按段跟踪音高,并不负责长时段里的一致性。

更多工具见 elysiatools.com。

1 Comment

Leave a Reply

Your email address will not be published. Required fields are marked *