19. 音频¶

本章配套视频介绍:

《42-鲁班猫音频播放和录制》

https://www.bilibili.com/video/BV14s4y1r7Ud/

音视频是人类在日常生活里面使用非常广泛的信息获取方式，它的本质就是声音和图像信息的采集、存储和回放。本章我们来介绍音视频播放的相关基础概念，并且给大家演示如何在板卡上进行音视频的播放。

19.1. 声卡设备¶

19.1.1. 获取录音设备¶

#获取录音设备
arecord -l

#例子
root@lubancat:~# arecord -l
**** List of CAPTURE Hardware Devices ****
card 0: rockchipes8388 [rockchip-es8388], device 0: dailink-multicodecs ES8323 HiFi-0 [dailink-multicodecs ES8323 HiFi-0]
   Subdevices: 1/1
   Subdevice #0: subdevice #0
card 1: rockchiphdmi [rockchip-hdmi], device 0: rockchip-hdmi i2s-hifi-0 [rockchip-hdmi i2s-hifi-0]
   Subdevices: 1/1
   Subdevice #0: subdevice #0

card 0 :板载音频处理芯片rockchip-es8388
card 1 :HDMI音频
card 0 和 card 1 是这些设备在Linux里注册的设备，我们可以通过应用程序调用这些接口

19.1.2. 获取播放设备¶

#获取播放设备
aplay -l

root@lubancat:~# aplay -l
**** List of PLAYBACK Hardware Devices ****
card 0: rockchipes8388 [rockchip-es8388], device 0: dailink-multicodecs ES8323 HiFi-0 [dailink-multicodecs ES8323 HiFi-0]
   Subdevices: 1/1
   Subdevice #0: subdevice #0
card 1: rockchiphdmi [rockchip-hdmi], device 0: rockchip-hdmi i2s-hifi-0 [rockchip-hdmi i2s-hifi-0]
   Subdevices: 1/1
   Subdevice #0: subdevice #0
card 2: rockchipdp0 [rockchip-dp0], device 0: rockchip-dp0 spdif-hifi-0 [rockchip-dp0 spdif-hifi-0]
   Subdevices: 1/1
   Subdevice #0: subdevice #0

card 0 :板载音频处理芯片rockchip-es8388
card 1、2 :HDMI和DP音频输出
card 0 、card 1和card 2 是这些设备在Linux里注册的设备，我们可以通过应用程序调用这些接口

19.1.3. 声卡驱动目录¶

查看声卡驱动目录

1	ls /dev/snd/

root@lubancat:~# ls /dev/snd/
by-path    controlC1  pcmC0D0c  pcmC1D0c  pcmC2D0p  timer
controlC0  controlC2  pcmC0D0p  pcmC1D0p  seq
root@lubancat:~#

controlC0：用于声卡控制，C0 表示声卡0，对应上文的es8388音频输出。
controlC1：用于声卡控制，C1 表示声卡1，对应上文的HDMI音频输出。
controlC2：用于声卡控制，C2 表示声卡2，对应上文的DP音频输出。
pcmC0D0p：用于播放的 pcm 设备，最后面的“p”是 playback 的缩写，表示放音。
pcmC1D0c：用于录音的 pcm 设备，最后面的“c”是 capture 的缩写，表示录音
pcmC1D0p：用于播放的 pcm 设备，最后面的“p”是 playback 的缩写，表示放音。
timer ：定时器
by-path: 保存着设备的对应关系

root@lubancat:~# ls -l /dev/snd/by-path/
total 0
lrwxrwxrwx 1 root root 12  1月15日 11:00 platform-dp0-sound -> ../controlC2
lrwxrwxrwx 1 root root 12  1月15日 11:00 platform-es8388-sound -> ../controlC0
lrwxrwxrwx 1 root root 12  1月15日 11:00 platform-hdmi-sound -> ../controlC1
root@lubancat:~#

可以看到每个control之间都有一个对应关系，而这些对应关系正好对应上文的 card 0 , card 1 , card 2

19.2. 配置声卡¶

19.2.1. amixer¶

使用amixer可以获取声卡的详细配置

使用amixer前需要知道你需要的配置的声卡的设备号（card x, 如card 0）

下面以rockchip-es8388（card 0）为例进行配置

#列出可以控制card 0的控制器
amixer controls -c 0

root@lubancat:~# amixer controls -c 0
numid=62,iface=CARD,name='Headphone Jack'
numid=63,iface=CARD,name='Headset Mic Jack'
numid=66,iface=MIXER,name='Headphone Switch'
numid=56,iface=MIXER,name='PCM Volume'
numid=73,iface=MIXER,name='Mono Mux'
numid=61,iface=MIXER,name='ADC Data Select'
numid=50,iface=MIXER,name='Capture Digital Volume'
numid=51,iface=MIXER,name='Capture Mute'
numid=55,iface=MIXER,name='Capture Polarity'
numid=54,iface=MIXER,name='Playback De-emphasis'
numid=37,iface=MIXER,name='3D Mode'
numid=72,iface=MIXER,name='Differential Mux'
numid=69,iface=MIXER,name='Headset Mic Switch'
numid=52,iface=MIXER,name='Left Channel Capture Volume'
numid=74,iface=MIXER,name='Left Line Mux'
numid=77,iface=MIXER,name='Left Mixer Left Bypass Switch'
numid=57,iface=MIXER,name='Left Mixer Left Bypass Volume'
numid=76,iface=MIXER,name='Left Mixer Left Playback Switch'
numid=70,iface=MIXER,name='Left PGA Mux'
numid=68,iface=MIXER,name='Main Mic Switch'
numid=80,iface=MIXER,name='OUT1 Switch'
numid=81,iface=MIXER,name='OUT2 Switch'
numid=59,iface=MIXER,name='Output 1 Playback Volume'
numid=60,iface=MIXER,name='Output 2 Playback Volume'
numid=53,iface=MIXER,name='Right Channel Capture Volume'
numid=75,iface=MIXER,name='Right Line Mux'
numid=79,iface=MIXER,name='Right Mixer Right Bypass Switch'
numid=58,iface=MIXER,name='Right Mixer Right Bypass Volume'
numid=78,iface=MIXER,name='Right Mixer Right Playback Switch'
numid=71,iface=MIXER,name='Right PGA Mux'
......
root@lubancat:~#

Capture Volume :配置录音声音的大小
Playback Volume :配置播放声音的大小

#列出所有card 0控制器能配置的值
amixer contents -c 0

root@lubancat:~# amixer contents -c 0
numid=62,iface=CARD,name='Headphone Jack'
; type=BOOLEAN,access=r-------,values=1
: values=off
numid=63,iface=CARD,name='Headset Mic Jack'
; type=BOOLEAN,access=r-------,values=1
: values=off
numid=66,iface=MIXER,name='Headphone Switch'
; type=BOOLEAN,access=rw------,values=1
: values=off
numid=56,iface=MIXER,name='PCM Volume'
; type=INTEGER,access=rw---R--,values=2,min=0,max=192,step=0
: values=192,192
| dBscale-min=-96.00dB,step=0.50dB,mute=1
numid=73,iface=MIXER,name='Mono Mux'
; type=ENUMERATED,access=rw------,values=1,items=3
; Item #0 'Stereo'
; Item #1 'Mono (Left)'
; Item #2 'Mono (Right)'
: values=0
numid=61,iface=MIXER,name='ADC Data Select'
; type=ENUMERATED,access=rw------,values=1,items=4
; Item #0 'Left Right'
; Item #1 'Left Left'
; Item #2 'Right Right'
; Item #3 'Right Left'
: values=0
numid=50,iface=MIXER,name='Capture Digital Volume'
; type=INTEGER,access=rw---R--,values=2,min=0,max=192,step=0
: values=192,192
| dBscale-min=-96.00dB,step=0.50dB,mute=1
numid=51,iface=MIXER,name='Capture Mute'
; type=BOOLEAN,access=rw------,values=1
: values=off
......
root@lubancat:~#

可以看到列出了每个控制器能配置的值，以及当前的值

#获取对应的控制器配置的值
amixer -c $card_id cget $id
#设置对应的控制器配置的值
amixer -c $card_id 0 cset $id $value

#例：获取card0的声音播放音量大小
root@lubancat:~# amixer -c 0 cget numid=59
numid=59,iface=MIXER,name='Output 1 Playback Volume'
; type=INTEGER,access=rw---R--,values=2,min=0,max=33,step=0
: values=27,27
| dBscale-min=-45.00dB,step=1.50dB,mute=0

1. values=2 : 需要配置两个值
2. min=0 ：可配置的最小值为0
3. max=33 ：可配置的最大值为33
4. values=27,27：当前的值为27,27(左右声道)

#设置card0声音播放音量大小为150,150
root@lubancat:~# amixer -c 0 cset numid=59 "30,30"
numid=59,iface=MIXER,name='Output 1 Playback Volume'
; type=INTEGER,access=rw---R--,values=2,min=0,max=33,step=0
: values=30,30
| dBscale-min=-45.00dB,step=1.50dB,mute=0
root@lubancat:~#

可以看到成功配置完成

19.2.2. alsamixer(推荐)¶

这是一个命令行图形化的配置工具

#打开声卡0配置
alsamixer -Dhw:0

#打开声卡1配置
alsamixer -Dhw:1

打开界面后也可以按 F6 选择自己想要配置的声卡

按 F4 可进入录音设置模式

19.3. 保存声卡设置¶

当我们需要保存当前声卡设置，需要使用如下命令生成声卡配置文件:

1	alsactl store

声卡配置文件默认保存在/var/lib/alsa目录下，名字为asound.state。有了该配置文件，可以使用以下命令来使该配置文件生效：

1	alsactl restore

19.4. 录音与播放¶

19.4.1. 命令行¶

19.4.1.1. 录音¶

录音使用的是arecord命令，在这里列出一下简单的命令

#获取录音设备
arecord -l

#使用声卡0，cd音质，录制10s
arecord -f cd -Dhw:0 -d 10 test.wav

-f 是设置录音质量,cd表示录音质量为 cd 级别
-d 是指定录音时间，单位是 s
-Dhw:0 是使用card 0作为录音设备
test.wav是生成的录音文件名

更多命令需要自己去探索

#获取更多用法
arecord -h

19.4.1.2. 音频播放¶

#获取播放设备
aplay -l

在播放声音前请确认声卡控制器的配置。

#播放上面产出的录音
aplay -Dhw:0 test.wav

aplay命令只能播放wav格式的音频

更多命令需要自己去探索

#获取更多用法
aplay -h

19.4.1.3. 边录音边播放¶

利用arecord和aplay两个工具

#使用card 0录制并使用card 0进行播放
sudo arecord -f cd -Dhw:0 | aplay -Dhw:0

19.4.1.4. 多格式音频播放¶

如果需要播放除wav格式外的比较通用的文件格式（mp3,flac等），可以参照一下方法

SoX是一个跨平台的命令行实用程序，可以将各种格式的音频文件转换为需要的其他格式。 SoX 还可以对输入的音频文件应用各种效果，也支持在大多数平台上播放和录制音频文件。

本小节仅以简单的测试播放，更多使用方式请参考官方说明文档： http://sox.sourceforge.net/

用以下命令安装sox，libsox-fmt-all包含各个格式的解码器。

1	sudo apt install sox libsox-fmt-all

使用方法：

#使用card 0播放mp3音频
play -d hw:0 xxx.mp3

#使用card 0播放wav音频
play -d hw:0 xxx.wav

#使用card 0播放flac音频
play -d hw:0 xxx.flac

19.4.2. 桌面端¶

19.4.2.1. 音频管理¶

打开软件

输出设备配置

输入设备配置

19.4.2.2. 录音¶

安装录音软件

#安装软件
sudo apt install gnome-sound-recorder

打开软件

软件设置

按左上角的record就可以录制了，按done结束录音，录音的路径为/home/cat/Recordings 如果录制的时候波形图没有东西就要检查以下耳机是否插好。

播放录音

当然，你也可以安装其他更专业，更强大的录音软件。

19.4.2.3. 播放音乐¶

默认音乐软件是mpv Media Player，如果想要使用其他的音乐播放器，可自行根据播放器的安装方法安装。

打开方法

然后，可以把文件拖进mpv软件里

播放界面

19.4.2.3.1. ffplay¶

ffplay 是 FFMpeg 自带的播放器，使用了 ffmpeg 解码库和用于视频渲染显示的 sdl 库，也是业界播放器最初参考的设计标准。

ffplay既可以播放音频，又可以播放视频，是从事音视频相关开发的工作人员常用的基础工具之一。

LubanCat-RK3576系列板卡在系统上预装了ffmpeg工具包，因此无需安装即可使用

ffplay 需要使用图形界面播放，如果没有图形界面，或者没有用带X server的图形界面的SSH连接终端连接，是无法正常播放的。（比如：mobaxterm）

这里推荐使用mobaxterm 用SSH连接LubanCat板卡，然后开启X server服务，就能观看，或者播放音乐。

#ffplay兼容多种类型的音频格式
ffplay xxx.mp3

如下图

如果用ssh连接LubanCat-RK3576系列板卡，具有X server服务的远程连接客户端会自动打开播放音乐的频谱图

除了默认的方法打开，还可以通过配置选项

#关闭任何播放图形
ffplay -showmode 0 01.mp3
#播放音乐波形图
ffplay -showmode 1 01.mp3
#播放音乐频谱图
ffplay -showmode 2 01.mp3

波形图如下