短视频源码开发技术主要涉及短视频拍摄、合成、上传、转码、分发、加速、播放等。首先，以短视频拍摄的五大功能为例，分析短视频拍摄SDK的技术要点。

1、断点续拍：是指在拍摄过程中可以分段拍摄，最终拍摄的所有内容都可以合成视频的功能。不同的视频内容可以通过断点续拍功能轻松拼接，视频拼接功能可以快速创建，平台高质量的内容输出可以进一步加强。

技术实现：在拍摄断点时，需要直接调用系统API或第三方相机库，将每个mov格式的视频片段作为临时文件保存存储在沙盒目录中。然后维护视频片段地址列表，拍摄结束后合成地址列表中指向的每个视频片段(如果不需要实现回删功能，就不需要维护视频地址列表，只需阅读单次录制时存储的所有临时视频片段即可合成)，最后生成一个完整的短视频。

2、重新拍摄(回删)：指对拍摄的短视频内容不满意时，可以直接剪掉这部分内容进行重拍。短视频可以通过重拍功能和断点续拍进行多次编辑和拍摄，增强了视频制作的灵活性和便利性。

技术实现：短视频重拍需要在断点续拍功能的基础上实现。根据断点续拍的实现方式，我们来谈谈实现回删功能的方式。重拍功能需要维护一个视频片段地址列表，只需要删除视频列表中对应的视频片段地址即可进行回删操作。最后只有合成地址列表中指向的视频片段，合成后才能删除录制的所有临时视频片段。

3、定制背景音乐：是指用户可以在短视频编辑功能中自由添加自己喜欢的背景音乐，通常定制背景音乐支持自己录制或选择App中现有的音乐。

实现自定义背景音乐功能的技术，首先要把视频源分成两条轨道：音频轨道和视频轨道。将背景音乐材料剥离出音频轨道，将背景音乐音频轨道插入原声音频轨道。原声和背景音乐的音量可通过AVMutableAudioMixInputParameters进行调整。在成功插入背景音乐之后，通过调用AVMutableComposition相关类别，将获得的音频轨道与之前的视频轨道合成，最终导出为短视频。

4、贴纸：贴纸是指短视频拍摄完成后，可自由选择添加不同的贴纸，贴纸有场景贴纸和人脸贴纸两种。

技术实现：贴纸功能需要使用人脸检测功能，实现人脸检测的方法有两种：1、人脸识别由第三方数据库OpenCV开源的跨平台计算机视觉和机器学习库进行；2、CoreImage库由系统自带，因为CoreImage库已经提供了CIDetector，所以它非常适合人脸检测。这两种方法更推荐OpenCV，因为CoreImage库只能定位五官位置，如人脸、鼻子、嘴巴、眼睛等。OpenCV不仅可以定位人脸和五官，还可以识别和定位眉毛、侧脸和头发，从而支持不同部位的贴纸。最终在成功定位贴纸后，可以进行视频图像处理。在一些实现中，将上述两种方法结合起来，首先借用CIDetector优秀的性能来框定人脸位置，然后将这个小区域交给OpenCV识别模型，以标记具体的人脸结构和轮廓位置。作为短视频美化的核心功能，滤镜、水印这两个功能，因为它们的实现方式相似，所以将它们整合在一起。

5、滤镜：是指拍摄的短视频可以选择不同的场景滤镜，调整美化程度；水印是指短视频拍摄完成后，可以在短视频上添加不同的水印，保护短视频的版权。

技术实现：这两个功能的本质是处理视频图像。大多数短视频SDK过滤器和水印使用第三方图像处理库-GPUImage库。GPU用于处理图像，并且自带大量高质量的图像处理过滤器。GPUImage还支持定制过滤器，因为这些基本功能不能满足实际开发的需要。

6、美颜滤镜：它是一种滤镜组合，可组合亮度（GPUImageBrightnessFilter）和双边滤波（GPUImageBilateralFilter）两种滤镜都能达到美容效果。若要达到更好的效果，可添加所需的滤镜或调整滤镜参数。

7、水印：水印主要是通过GPUImageUIElement将水印转换为图像数据，然后通过BlenderFilter()将两个图像数据合并，其中View可以通过setFrameProcessingCompletionBlock回调动态调整，从而达到水印动态变化的效果。

8、定制界面布局和UI风格：在保持两者实时性的同时，将UI与SDK高度分离，细分SDK的功能逻辑和UI逻辑。这就需要将UI代码的一部分放入Demo中，并将功能逻辑放入SDK中。确保SDK提供完善的API和UI层交互，使UI层能够根据SDK的回调及时调整UI风格。此外，还需要合成、上传、转码、分发、加速和播放短视频源码的短视频内容。国内大部分厂商都依靠现有的CDN和云处理技术，整个链路都不能集中。