librosa是一个应用广泛的音频处理python库。
在librosa中有一个方法叫做stft,功能是求音频的短时傅里叶变换, librosa.stft 返回是一个矩阵
短时傅立叶变换(STFT),返回一个复数矩阵使得D(f,t)
- 复数的实部:np.abs(D(f,t))频率的振幅
- 复数的虚部:np.angle(D(f,t))频率的相位
librosa.stft(y, n_fft=2048, hop_length=None, win_length=None, window='hann', center=True, pad_mode='reflect')
参数:
-
y:音频时间序列
-
n_fft:FFT窗口大小,n_fft=hop_length+overlapping
-
hop_length:帧移,如果未指定,则默认win_length / 4。
-
win_length:每一帧音频都由window()加窗。窗长win_length,然后用零填充以匹配N_FFT。默认win_length=n_fft。
-
window:字符串,元组,数字,函数 shape =(n_fft, )
窗口(字符串,元组或数字);
窗函数,例如scipy.signal.hanning
长度为n_fft的向量或数组 -
center:bool
如果为True,则填充信号y,以使帧 D [:, t]以y [t * hop_length]为中心。
如果为False,则D [:, t]从y [t * hop_length]开始 -
dtype:D的复数值类型。默认值为64-bit complex复数
-
pad_mode:如果center = True,则在信号的边缘使用填充模式。默认情况下,STFT使用reflection padding。
2. stft的输出帧数返回:
STFT矩阵,shape = (1+ n f f t 2 frac{n_{fft}}{2} 2nfft, t )
音频短时傅里叶变换后,在对音频取幅值,可以得到音频的线性谱。
对线性谱进行mel刻度的加权求和,可以得到语音识别和语音合成中常用的mel谱。
短时傅里叶变换的过程是先对音频分帧,再分别对每一帧傅里叶变换。
在应用stft方法求解短时傅里叶变换时,发现求出的特征帧的数目有点反常。
比如我有一个长度是400个点的音频,如果帧长是100,那么我自然而然的想到,最后应当得到4帧。
但实际不是这个样子的,实际的帧数为5帧。这就有点神奇了。
分析了一下,原因如下。
为了方便讨论,假设帧长为200,帧移为100,fft size是200。
上图中是一条长度为430的音频,在经过stft后,输出5帧。
过程是这样的。
-
在音频的左右两侧padding,padding size是fft size的一半
-
现在音频长度变成了430 + 200 = 630
-
总帧数为(630 - 100) // 100
-
如上图示意,最后得到5帧
所以,librosa求stft的输出帧数,当音频长度在400 <= x < 500之间时,输出帧数为5。
推广开来,音频求stft的输出帧数都是 audio_length // hop_length + 1。
这个东西有什么用呢?在用到帧和原始采样点相对应的场景下,千万别忘了padding 0 到帧数那么多,再去进行其他操作。
如果有兴趣可以写代码自己验证一下。



