H264 NALU详解

一、H264 NALU概述

H264（又称为AVC）是当今最流行的视频编解码器之一。H264使用网络提供的带宽来传输高质量的视频，同时也允许采用较低的比特率来传输低质量的视频。尽管H264具有优秀的压缩率和视频质量，但它复杂的编码和解码过程需要很高的计算功率。为保证在网络上传输的数据的可靠性，H264采用了一种特殊的数据传输方式——NALU（网络抽象层单元）。 在本节中，我们将学习H264 NALU的概念，以及在实现H264编解码器时这些单元的作用。

二、NALU概述

H264视频流由一个个数据单元组成，这些数据单元被称为NALU。H264视频编码器将视频数据分成数据块，然后将它们打包到NALU中。每个NALU都必须含有一个特别的指示信息，描述了NALU的类型、NALU的首地址、NALU的长度和NALU的类型。H264协议规范定义了一些特殊的NALU类型，如非熵编NALU（非整数倍大小的NALU）、SPS（序列参数集）NALU和PPS（图像参数集）NALU等。

三、NALU类型

H264协议规范定义了多种NALU类型，每种类型具有自己的功能和使用场景。下面是一些重要的NALU类型：

1.非熵编NALU：这是由视频编码器生成的，由几个的视频帧组成，没有经过H264标准化的处理。

2.IDR帧NALU：IDR帧是视频序列中的关键帧，可根据IDR帧来进行解码。当IDR帧NALU被发送并到达解码器时，解码器会重新初始化，以保证视频解码过程顺利进行。

3.SPS和PPS NALU：应用SIP协议的视频呼叫过程中，视频呼叫的发起方在发送空包时，要把SIP消息中携带的SPS和PPS打包到同一波视频数据流中发送给另一方。SPS和PPS描述了视频序列和图像的参数集，这是视频解码器在解码h.264视频流时必须具备的参数。

四、NALU的打包

为了将视频数据打包成NALU，H264编码器使用了“编码器字节流格式”（EBP）协议。编码器字节流格式协议是一种快速、高效的视频数据压缩和打包方式，具有出色的压缩率和视频质量。下面是NALU打包的示例代码：

const uint32_t NALU_START_CODE_LENGTH = 4;
const uint8_t NALU_START_CODE[NALU_START_CODE_LENGTH] = {0x00, 0x00, 0x00, 0x01};

void pack_nalu(const uint8_t* nalu, uint32_t nalu_size, uint8_t* packed_nalu) {
    assert(nalu != nullptr && nalu_size > 0 && packed_nalu != nullptr);
    memcpy(packed_nalu, NALU_START_CODE, NALU_START_CODE_LENGTH);
    memcpy(packed_nalu + NALU_START_CODE_LENGTH, nalu, nalu_size);
}

五、NALU的解包

在解码H264视频流时，需要先将NALU解包成多个视频块。下面是NALU解包的示例代码：

const uint32_t MIN_NALU_SIZE = NALU_START_CODE_LENGTH + 1;

bool extract_nalu(const uint8_t* video_data, uint32_t video_size, uint32_t& pos, uint32_t& nalu_size) {
    assert(video_data != nullptr && video_size > 0 && pos < video_size);
    
    // 查找NALU起始标识符 
    uint32_t start = pos;
    while (pos 

六、总结

本文介绍了H264视频编解码器中的NALU（网络抽象层单元）的概念、类型、打包和解包过程。根据H264协议规范，我们了解了具有重要意义的NALU类型，如IDR帧NALU、SPS NALU和PPS NALU。了解NALU的打包和解包过程对于H264视频编解码器的实现、调试和优化都非常有帮助，同时，也有助于您更好地理解和学习视频编解码器相关知识。