由于是局域网直播系统，那么最简单的情况应该也有两部分构成：录制直播和播放直播。
- 录制直播
录制直播使用的是本机的摄像头和麦克风，使用Java自带的JFrame窗口播放，支持音视频的录制。效果如下图：
- 播放直播
播放器这边选择的是由htm+js+css编写的，支持输入播放网址，点击播放按钮播放。大家都知道html页面只要浏览器就可以打开，所以只要在局域网内打开这个播放器输入网址就可以看主机的直播了。效果如下图：
这里我会给大家简单介绍一下我在局域网直播系统中使用到的关键技术，让大家对该系统有一个初步的认识。
使用的技术或协议
一、JavaCV简介Java、JavaCV、maven、Nginx、rtmp、hls、html等
二、RTMP协议javacv开发包是用于支持java多媒体开发的一套开发包，可以适用于本地多媒体（音视频）调用以及音视频，图片等文件后期操作（图片修改，音视频解码剪辑等等功能）。核心组件有四个帧抓取器(FrameGrabber)、帧录制器/推流器(FrameRecorder)、过滤器(FrameFilter)、帧(Frame)。我这里主要是应用，想看原理请参考：JavaCV原理
三、Nginx推流服务器RTMP(Real Time Messaging Protocol)实时消息传送协议是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输 开发的开放协议，也是一种流媒体协议，默认使用端口1935。简单来说，就是可以将抓取的音频流按照这个协议推送出去，是直播系统很常见的一个协议
四、Maven项目构建工具Nginx服务器大家应该也不陌生，它有一个名为nginx-rtmp-module的开源模块。nginx-rtmp-module不仅可以使 Nginx 可以支持 RTMP，用于音视频的点播、直播，而且还可以将RTMP协议变为HLS协议，也就是常见的m3u8文件流。这里我使用Nginx 加上 nginx-rtmp-module 模块作为 RTMP 服务端，FrameGrabber抓取的音视频数据将会推送到Nginx推流服务器中进行转发。
这个不必多说，主要用于构建开发环境，因为JavaCV的包比较大，单独下载jar包很容易漏。
五、前端播放器这个播放器是我从github上down下来的，既简洁又好看，下载地址在下文中会有。
前面简单介绍了一下核心技术，这里我会介绍整个局域网直播系统的环境如何搭建。
一、JDK版本以及操作系统 二、搭建Nginx服务器 1、下载Nginx包2、下载nginx-rtmp-module下载地址（选择后缀为Gryphon）：官网地址
3、解压文件下载地址：代码地址
解压nginx压缩包，将nginx-rtmp-module放到Nginx文件夹中。
将nginx-win.conf文件拷贝出来，改名为nginx.conf，将下面的配置覆盖
#user nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
server {
listen 8080;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
root html;
index index.html index.htm;
}
# 由于使用hls播放，需要在http中添加支持
location /live {
types {
application/vnd.apple.mpegusr m3u8;
video/mp2t ts;
}
# 这里的地址要和下面rtmp中配置的一致，否则访问地址时会出现404
alias D://javacv/flie/hls;
add_header Cache-Control no-cache;
# 跨域处理，否则下发播放器时会打不开
add_header Access-Control-Allow-Origin *;
add_header Access-Control-Allow-Headers "Origin, X-Requested-With, Content-Type, Accept";
add_header Access-Control-Methods "GET, POST, OPTIONS";
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
# proxy the PHP scripts to Apache listening on 127.0.0.1:80
#
#location ~ .php$ {
# proxy_pass http://127.0.0.1;
#}
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
#location ~ .php$ {
# root html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#}
# deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /.ht {
# deny all;
#}
}
# another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
# listen 8000;
# listen somename:8080;
# server_name somename alias another.alias;
# location / {
# root html;
# index index.html index.htm;
# }
#}
# HTTPS server
#
#server {
# listen 443 ssl;
# server_name localhost;
# ssl_certificate cert.pem;
# ssl_certificate_key cert.key;
# ssl_session_cache shared:SSL:1m;
# ssl_session_timeout 5m;
# ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on;
# location / {
# root html;
# index index.html index.htm;
# }
#}
include servers
public static void recordWebcamAndMicrophone(int WEBCAM_DEVICE_INDEX, final int AUDIO_DEVICE_INDEX, String outputFile,
int captureWidth, int captureHeight, final int FRAME_RATE) throws org.bytedeco.javacv.FrameGrabber.Exception {
long startTime = 0;
long videoTS = 0;
OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(WEBCAM_DEVICE_INDEX);
grabber.setImageWidth(captureWidth);
grabber.setImageHeight(captureHeight);
System.out.println("开始抓取摄像头...");
int isTrue = 0;// 摄像头开启状态
try {
grabber.start();
isTrue += 1;
} catch (org.bytedeco.javacv.FrameGrabber.Exception e2) {
if (grabber != null) {
try {
grabber.restart();
isTrue += 1;
} catch (org.bytedeco.javacv.FrameGrabber.Exception e) {
isTrue -= 1;
try {
grabber.stop();
} catch (org.bytedeco.javacv.FrameGrabber.Exception e1) {
isTrue -= 1;
}
}
}
}
if (isTrue < 0) {
System.err.println("摄像头首次开启失败，尝试重启也失败！");
return;
} else if (isTrue < 1) {
System.err.println("摄像头开启失败！");
return;
} else if (isTrue == 1) {
System.err.println("摄像头开启成功！");
} else if (isTrue == 1) {
System.err.println("摄像头首次开启失败，重新启动成功！");
}
final FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, captureWidth, captureHeight, 2);
recorder.setInterleaved(true);
recorder.setVideoOption("tune", "zerolatency");
recorder.setVideoOption("preset", "ultrafast");
recorder.setVideoOption("crf", "25");
// 2000 kb/s, 720P视频的合理比特率范围
recorder.setVideoBitrate(2000000);
// h264编/解码器
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
// 封装格式flv
recorder.setFormat("flv");
// 视频帧率(保证视频质量的情况下最低25，低于25会出现闪屏)
recorder.setFrameRate(FRAME_RATE);
// 关键帧间隔，一般与帧率相同或者是视频帧率的两倍
recorder.setGopSize(FRAME_RATE * 2);
// 不可变(固定)音频比特率
recorder.setAudioOption("crf", "0");
// 最高质量
recorder.setAudioQuality(0);
// 音频比特率
recorder.setAudioBitrate(192000);
// 音频采样率
recorder.setSampleRate(44100);
// 双通道(立体声)
recorder.setAudioChannels(2);
// 音频编/解码器
recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
System.out.println("开始录制...");
try {
recorder.start();
} catch (org.bytedeco.javacv.FrameRecorder.Exception e2) {
if (recorder != null) {
System.out.println("关闭失败，尝试重启");
try {
recorder.stop();
recorder.start();
} catch (org.bytedeco.javacv.FrameRecorder.Exception e) {
try {
System.out.println("开启失败，关闭录制");
recorder.stop();
return;
} catch (org.bytedeco.javacv.FrameRecorder.Exception e1) {
return;
}
}
}
}
// 音频捕获
new Thread(new Runnable() {
@Override
public void run() {
AudioFormat audioFormat = new AudioFormat(44100.0F, 16, 2, true, false);
// 通过AudioSystem获取本地音频混合器信息
Mixer.Info[] minfoSet = AudioSystem.getMixerInfo();
// 通过AudioSystem获取本地音频混合器
Mixer mixer = AudioSystem.getMixer(minfoSet[AUDIO_DEVICE_INDEX]);
// 通过设置好的音频编解码器获取数据线信息
DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);
try {
// 打开并开始捕获音频
// 通过line可以获得更多控制权
// 获取设备：TargetDataLine line
// =(TargetDataLine)mixer.getLine(dataLineInfo);
final TargetDataLine line = (TargetDataLine) AudioSystem.getLine(dataLineInfo);
line.open(audioFormat);
line.start();
// 获得当前音频采样率
final int sampleRate = (int) audioFormat.getSampleRate();
// 获取当前音频通道数量
final int numChannels = audioFormat.getChannels();
// 初始化音频缓冲区(size是音频采样率*通道数)
int audioBufferSize = sampleRate * numChannels;
final byte[] audioBytes = new byte[audioBufferSize];
ScheduledThreadPoolExecutor exec = new ScheduledThreadPoolExecutor(1);
exec.scheduleAtFixedRate(new Runnable() {
@Override
public void run() {
try {
// 非阻塞方式读取
int nBytesRead = line.read(audioBytes, 0, line.available());
// 因为我们设置的是16位音频格式,所以需要将byte[]转成short[]
int nSamplesRead = nBytesRead / 2;
short[] samples = new short[nSamplesRead];
ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);
// 将short[]包装到ShortBuffer
ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);
// 按通道录制shortBuffer
recorder.recordSamples(sampleRate, numChannels, sBuff);
} catch (org.bytedeco.javacv.FrameRecorder.Exception e) {
e.printStackTrace();
}
}
}, 0, (long) 1000 / FRAME_RATE, TimeUnit.MILLISECONDS);
} catch (LineUnavailableException e1) {
e1.printStackTrace();
}
}
}).start();
// javaCV提供了优化非常好的硬件加速组件来帮助显示我们抓取的摄像头视频
CanvasFrame cFrame = new CanvasFrame("Capture Preview", CanvasFrame.getDefaultGamma() / grabber.getGamma());
Frame capturedFrame = null;
// 执行抓取（capture）过程
while ((capturedFrame = grabber.grab()) != null) {
if (cFrame.isVisible()) {
//本机预览要发送的帧
cFrame.showImage(capturedFrame);
}
//定义我们的开始时间，当开始时需要先初始化时间戳
if (startTime == 0)
startTime = System.currentTimeMillis();
// 创建一个 timestamp用来写入帧中
videoTS = 1000 * (System.currentTimeMillis() - startTime);
//检查偏移量
if (videoTS > recorder.getTimestamp()) {
//告诉录制器写入这个timestamp
recorder.setTimestamp(videoTS);
}
// 发送帧
try {
recorder.record(capturedFrame);
} catch (org.bytedeco.javacv.FrameRecorder.Exception e) {
System.out.println("录制帧发生异常，什么都不做");
}
}
cFrame.dispose();
try {
if (recorder != null) {
recorder.stop();
}
} catch (org.bytedeco.javacv.FrameRecorder.Exception e) {
System.out.println("关闭录制器失败");
try {
if (recorder != null) {
grabber.stop();
}
} catch (org.bytedeco.javacv.FrameGrabber.Exception e1) {
System.out.println("关闭摄像头失败");
return;
}
}
try {
if (recorder != null) {
grabber.stop();
}
} catch (org.bytedeco.javacv.FrameGrabber.Exception e) {
System.out.println("关闭摄像头失败");
}
}
}
前端代码
常见问题 1、录制的只有视频没有声音下载地址：GitHub项目地址
2、Java启动出现Exception in thread “main” java.lang.UnsatisfiedLinkError: no jniopenblas_nolapack in java.library.path有些机器的采样率、采样率位数、通道都不太一样，如果设置的不对，就可能没有声音，这里我教大家如何找到系统麦克风的参数。
Win10：控制面板—>声音—>录制—>麦克风—>属性—>高级
Mac：关于本机—>系统报告—>音频—>麦克风
3、访问播放地址出现404检查一下javacv的版本，我使用的是javacv-platform：1.4.4。开始以为是系统或者jdk版本的问题，后来发现不是这样的，大概率是因为导入的版本依赖问题。
首先看一下ts文件有没有产生
如果没有ts文件的话，一般是推流问题，说明Java代码中推流的地址不对，或者nginx没有正常启动；
如果有ts文件的话，一般是配置问题，看一下nginx.conf配置文件，两个alias对应的目录位置是不是同一个。
我在代码中都有详细的注释，出现问题可以先仔细看看代码，看看是不是没注意到。 最后，希望尝试的同学可以一次成功！
