在开发直播系统时，需要用到的技术非常多，例如：音视频采集与处理、音视频压缩、CDN分发等，每一个技术都够学好久了，下面就给大家介绍下一些常见的直播系统开发技术。

一、采集:包括图像采集和音频采集。

图像采集设置前置摄像头和后置摄像头，并配置采集参数、图像数据的长度和宽度、fps、输出方向、水平屏幕和垂直屏幕等。，然后从回调中获取数据。音频采集和编码面临的主要挑战是:噪声消除、回声消除算法等。当前期不需要音频数据处理时，只需要配置音频采集的采样频率、采样精度和频道。

二、预处理。

现在美颜已是标配，80%的主播没有美颜根本不能看。

美容算法需要GPU编程，需要懂图像处理算法的人，没有好的开源实现，需要参考论文进行研究。难点不在于美容效果，而在于GPU占用和美容效果之间的平衡。GPU虽然性能好，但也有功耗。GPU占用过高会导致手机烫伤，手机烫伤会导致摄像机采集掉帧，可能是因为过热会导致CPU降低主频。

三、代码。

一定要使用硬码，软码720p完全没有希望，勉强能够编码也会导致CPU过热烫到摄像机。

硬码兼容又是一个大坑，android上要有人填写。在分辨率、帧速率、码速率、GOP等参数设计中，编码应找到最佳平衡。

四、传输。

封包最重要的一点是时间戳。

由于使用的AVPacket封包，每一个封包都会有一个DST(DecodeTimeStamp),PST(PresentationTimeStamp)参数，从字面上可以理解，即解码时间和显示时间，在没有B帧的情况下，DTS的顺序和PTS的顺序应该是相同的。此块还涉及到重连和丢帧，当用户的网络波动断开时，将进行重连。如果不想卡顿，必须增加缓冲，会导致高延迟，高延迟会影响交互性，权衡。

五、解码和渲染。

获得封装视频数据后，必须通过解码器解码、渲染后才能在播放器上播放。

这是编码的逆过程，是指从音视频数据中提取原始数据。上述H.264和H.265编码格式都是有损压缩的，因此提取的原始数据，并非原始采样数据，而是存在一定的信息丢失。

六、推流。

为了推流，还必须使用传输协议将音视频数据封装成流数据。

常用的传输协议包括RTSP、RTMP、HLS等。用RTMP传输的延迟通常为1~3秒，在手机转播这一实时性非常高的情况下，RTMP也成为手机转播中最常用的传输协议。

七、拉流。

拉流其实是推流的逆过程。

先从播放端获取码流，标准的拉流格式有RTMP,HLS,FLV等。RTMP是Adobe的专利协议，开放源码软件和开放源码库都支持得比较好，比如开放源码的librtmp库，播放端只要支持flashPlayer，就可以非常简单地播放RTMP直播，直播延迟一般为1-3秒。Apple提出了基于HTTP的流媒体传输协议，HTML5可以直接打开播放，通过微信、QQ等软件共享，用户也可以直接观看直播，可以说手机直播app，HLS拉流协议是必须支持的。

八、录像直播连麦。

直播期间，直播者通过麦克风、摄像头等工具与观众交流。

协助双方进行更有效的沟通，也能给更多的行业场景带来极大的体验提升。而且连麦技术的创新更是的多人连麦互动成为可能。

上述就是媒体模块，其他的直播系统开发技术还有信令控制，登录，鉴权，权限管理，状态管理等，各种应用服务，信息推送，聊天，礼品系统，支付系统，操作支持系统。还有数据库，缓存，分布式文件存储，信息队列，运行系统等。

每一个技术都不是一两天能掌握的，所以想拥有自己的直播系统除了找有经验的人来帮忙，最好的办法还是找第三方来开发，因为不管是在技术、CDN、带宽上都是有很高门槛的。直播系统开发技术不过关，后期一旦出现问题，将会导致所有努力付之东流。