直播的整个流程

• 直播技术点
• 1.采集视频、音频
  • 1.摄像头/麦克风
  • 摄像头: CCD CMOS
  • 麦克风：拾音器
  • 2.iOS 采集音视频数据
  • 1.导入 AVFoundation.Framework 框架
  • 2.从 captureSessions 会话的回调中获取音频，视频数据
• 2.视频处理
  • 美颜
  • 水印
  • 使用 GPUImage 美颜、水印
• 3.视频、音频编码压缩
  • 硬编码
  • 视频：VideoToolbox 框架
  • 音频：AudioToolbox 框架
  • 软编码
  • 视频压缩
  • 视频编码：MPEG，H.264
  • X264 把视频元数据 YUV/RGB 编码 H.264
  • 音频压缩
  • 音频编码：mp3，AAC
  • fdk_aac 把音频数据 PCM 转 AAC
• 4.推流
  • 什么是推流？将采集到的音频，视频数据通过流媒体协议发送到流媒体服务器
  • muxing 封装
  • 音视频封包成 FLV 或者 TS
  • 推流技术
  • 流媒体协议：RTMP、RTSP、HLS、FLV
  • 视频封装格式：TS,FLV
  • 音频封装格式：mp3、AAC
  • librtmp 把数据推送到流媒体服务器（基于 RTMP 协议）
  • HLS：直接用 HTTP 协议上传
• 5.流媒体服务器处理数据
  • 数据分发 CDN
  • 截屏
  • 录制
  • 实时转码
• 6.拉流
  • 什么是拉流？从流媒体服务器获取音频，视频数据
  • 流媒体协议：RTMP，RTSP，HLS，FLV
• 7.视频、音频解码
  • demuxing 解封装
  • 把 FLV，TS 文件分离出音视频
  • 视频解码
  • 硬解码 VideoToolbox
  • 软解码 x264
  • 音频解码
  • 硬解码 AudioToolbox
  • 软解码 fdk_aac
• 8.播放
  • Ijkplayer: 播放器
• 9.聊天互动
  • IM 及时通讯
  • 聊天室功能
  • 第三方及时通讯 SDK：融云，腾讯云