Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation
Luo & Mesgarani
第一个在 waveform 域端到端做 speech separation 的方法——直接 beat 之前的 STFT 路线，证明「信号处理预设」未必必要。
arXiv:1809.07454#speech-separation#audio#end-to-end#waveform
核心贡献
- 01学习的 1D-Conv encoder/decoder 替代 STFT/iSTFT，可学习的「audio basis」
- 02TCN (Temporal Convolutional Network) 主干：dilated conv 堆叠捕获长距离依赖
- 03Sigmoid mask + element-wise 乘法在编码域 separate
- 04在 WSJ0-2mix benchmark 上 SI-SNRi 15.3 dB，远超之前所有 STFT 方法
传统 speech separation 流程：
- STFT(mixture) → magnitude spectrogram
- 模型预测 mask（每个 TF bin 多少属于 speaker A vs B）
- mask × magnitude → 分离后 magnitude
- iSTFT 还原波形（但相位用 mixture 的）
- 天花板：相位错乱限制重建上限（即使用 oracle mask 也达不到原声）
Conv-TasNet 三步替代：
- Encoder：学习的 1D-Conv（stride=10，kernel=20）把 waveform → 编码序列 N×L
- Separator：TCN 预测 K 个 mask（K 个 speaker），每个 mask 是 N×L
- Decoder：转置 conv 把"masked 编码" → 分离后 waveform
整个 encoder/decoder 联合优化，绕过相位重建瓶颈，loss 用 SI-SNR（scale-invariant SDR）直接在 waveform 域计算。
Conv-TasNet 为什么能 beat STFT 路线？ 因为 STFT 路线的 mask 只能改 magnitude 不能改 phase，重建时 phase 用 mixture 的 → 上限受限。Conv-TasNet 的 encoder/decoder 自己学，phase 信息隐含在编码里。为什么 SI-SNR 比 MSE 好？ scale-invariant 让模型不去 cheat 放大幅度，专注 separate。TCN vs LSTM？ TCN 用 dilated conv 实现指数感受野扩张，并行训练快很多。后续工作？ DPRNN / SepFormer 把 separator 换成 dual-path RNN / Transformer，效果继续涨。Conv-TasNet 是 waveform 端到端的"信仰证明"，启发了后续 wav2vec、Encodec 等"waveform 也能直接 NN 处理"的工作。