栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

librosa 语音库(二)STFT 的实现

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

librosa 语音库(二)STFT 的实现

librosa是一个应用广泛的音频处理python库。

在librosa中有一个方法叫做stft,功能是求音频的短时傅里叶变换, librosa.stft 返回是一个矩阵

短时傅立叶变换(STFT),返回一个复数矩阵使得D(f,t)

  • 复数的实部:np.abs(D(f,t))频率的振幅
  • 复数的虚部:np.angle(D(f,t))频率的相位
1. librosa.stft函数
librosa.stft(y, n_fft=2048, hop_length=None, win_length=None, window='hann', center=True, pad_mode='reflect')

参数:

  • y:音频时间序列

  • n_fft:FFT窗口大小,n_fft=hop_length+overlapping

  • hop_length:帧移,如果未指定,则默认win_length / 4。

  • win_length:每一帧音频都由window()加窗。窗长win_length,然后用零填充以匹配N_FFT。默认win_length=n_fft。

  • window:字符串,元组,数字,函数 shape =(n_fft, )
    窗口(字符串,元组或数字);
    窗函数,例如scipy.signal.hanning
    长度为n_fft的向量或数组

  • center:bool
    如果为True,则填充信号y,以使帧 D [:, t]以y [t * hop_length]为中心。
    如果为False,则D [:, t]从y [t * hop_length]开始

  • dtype:D的复数值类型。默认值为64-bit complex复数

  • pad_mode:如果center = True,则在信号的边缘使用填充模式。默认情况下,STFT使用reflection padding。

返回:
STFT矩阵,shape = (1+ n f f t 2 frac{n_{fft}}{2} 2nfft​​, t )

2. stft的输出帧数

音频短时傅里叶变换后,在对音频取幅值,可以得到音频的线性谱。

对线性谱进行mel刻度的加权求和,可以得到语音识别和语音合成中常用的mel谱。

短时傅里叶变换的过程是先对音频分帧,再分别对每一帧傅里叶变换。

在应用stft方法求解短时傅里叶变换时,发现求出的特征帧的数目有点反常。

比如我有一个长度是400个点的音频,如果帧长是100,那么我自然而然的想到,最后应当得到4帧。

但实际不是这个样子的,实际的帧数为5帧。这就有点神奇了。

分析了一下,原因如下。


为了方便讨论,假设帧长为200,帧移为100,fft size是200。

上图中是一条长度为430的音频,在经过stft后,输出5帧。

过程是这样的。

  1. 在音频的左右两侧padding,padding size是fft size的一半

  2. 现在音频长度变成了430 + 200 = 630

  3. 总帧数为(630 - 100) // 100

  4. 如上图示意,最后得到5帧

所以,librosa求stft的输出帧数,当音频长度在400 <= x < 500之间时,输出帧数为5。

推广开来,音频求stft的输出帧数都是 audio_length // hop_length + 1。

这个东西有什么用呢?在用到帧和原始采样点相对应的场景下,千万别忘了padding 0 到帧数那么多,再去进行其他操作。

如果有兴趣可以写代码自己验证一下。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/918401.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号