欢迎访问 生活随笔!

生活随笔

当前位置: 首页 >

视音频数据处理入门

发布时间:2024/4/11 54 豆豆
生活随笔 收集整理的这篇文章主要介绍了 视音频数据处理入门 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

视音频数据处理入门


目录

  • 视频播放器原理
  • RGB、YUV像素数据处理
  • PCM音频采样数据处理
  • H.264视频码流解析
  • AAC音频码流解析
  • FLV封装格式解析
  • UDP-RTP协议解析
  • 转载自:CSDN博主「雷霄骅」
    原文链接:https://blog.csdn.net/leixiaohua1020/article/details/18893769


    1. 视频播放器原理

  • 视频播放器播放一个互联网上的视频文件,需要经过以下几个步骤:解协议,解封装,解码视音频,视音频同步。

  • 如果播放本地文件则不需要解协议,为以下几个步骤:解封装,解码视音频,视音频同步。它们的过程如图所示。

  • 解协议的作用,就是将流媒体协议的数据,解析为标准的相应的封装格式数据。音视频在网络上传播的时候,常常采用各种流媒体协议,例如HTTP,TRMP,或是MMS等等。这些协议在传输视音频数据的同时,也会传输一些信令数据。这些信令数据包括对播放的控制(播放,暂停,停止),或者对网络状态的描述等。解协议的过程中会去除信令数据而只保留视音频数据。例如,采用TRMP协议传输的数据,经过解协议操作后,输出FLV格式的数据。

  • 解封装的作用,就是将输入的封装格式的数据,分离称为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多,例如MP4,MKV,RMVB,TS,FLV,AVI等等,它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如,FLV格式的数据,经过解封装操作后,输出H.264编码的视频码流和AAC编码的音频码流。

  • 解码的作用,就是将视频/音频压缩编码数据,解码成为非压缩的视频/音频原始数据。音频压缩编码标准包含AAC,MP3,AC-3等等,视频的压缩编码标准包含H.264,MPEG2,VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码,压缩编码的视频数据输出成为非压缩的颜色数据,例如YUV420P,RGB等等。压缩编码的音频数据输出为非压缩的音频抽样数据,例如PCM数据。

  • 视音频同步的作用,就是根据解封装模块处理过程中获取到的参数信息,同步解码出来的视频和音频数据,并将视频音频数据送至系统的显卡和声卡播放出来。

  • 接下来对设计到的协议数据,封装格式数据,视频编码数据,音频编码数据,视频像素数据,音频采样数据进行分析。


  • 2. RGB、YUV像素数据处理

    RGB、YUV像素数据处理


    3. PCM音频采样数据处理

    PCM音频采样数据处理


    4. H.264视频码流解析

    H.264视频码流解析


    5. AAC音频码流解析

    AAC音频码流解析


    6. FLV封装格式解析

    FLV封装格式解析


    7. UDP-RTP协议解析

    UDP-RTP协议解析

    超强干货来袭 云风专访:近40年码龄,通宵达旦的技术人生

    总结

    以上是生活随笔为你收集整理的视音频数据处理入门的全部内容,希望文章能够帮你解决所遇到的问题。

    如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。