H264 NALU詳解

一、H264 NALU概述

H264（又稱為AVC）是當今最流行的視頻編解碼器之一。H264使用網路提供的帶寬來傳輸高質量的視頻，同時也允許採用較低的比特率來傳輸低質量的視頻。儘管H264具有優秀的壓縮率和視頻質量，但它複雜的編碼和解碼過程需要很高的計算功率。為保證在網路上傳輸的數據的可靠性，H264採用了一種特殊的數據傳輸方式——NALU（網路抽象層單元）。 在本節中，我們將學習H264 NALU的概念，以及在實現H264編解碼器時這些單元的作用。

二、NALU概述

H264視頻流由一個個數據單元組成，這些數據單元被稱為NALU。H264視頻編碼器將視頻數據分成數據塊，然後將它們打包到NALU中。每個NALU都必須含有一個特別的指示信息，描述了NALU的類型、NALU的首地址、NALU的長度和NALU的類型。H264協議規範定義了一些特殊的NALU類型，如非熵編NALU（非整數倍大小的NALU）、SPS（序列參數集）NALU和PPS（圖像參數集）NALU等。

三、NALU類型

H264協議規範定義了多種NALU類型，每種類型具有自己的功能和使用場景。下面是一些重要的NALU類型：

1.非熵編NALU：這是由視頻編碼器生成的，由幾個的視頻幀組成，沒有經過H264標準化的處理。

2.IDR幀NALU：IDR幀是視頻序列中的關鍵幀，可根據IDR幀來進行解碼。當IDR幀NALU被發送併到達解碼器時，解碼器會重新初始化，以保證視頻解碼過程順利進行。

3.SPS和PPS NALU：應用SIP協議的視頻呼叫過程中，視頻呼叫的發起方在發送空包時，要把SIP消息中攜帶的SPS和PPS打包到同一波視頻數據流中發送給另一方。SPS和PPS描述了視頻序列和圖像的參數集，這是視頻解碼器在解碼h.264視頻流時必須具備的參數。

四、NALU的打包

為了將視頻數據打包成NALU，H264編碼器使用了「編碼器位元組流格式」（EBP）協議。編碼器位元組流格式協議是一種快速、高效的視頻數據壓縮和打包方式，具有出色的壓縮率和視頻質量。下面是NALU打包的示例代碼：

const uint32_t NALU_START_CODE_LENGTH = 4;
const uint8_t NALU_START_CODE[NALU_START_CODE_LENGTH] = {0x00, 0x00, 0x00, 0x01};

void pack_nalu(const uint8_t* nalu, uint32_t nalu_size, uint8_t* packed_nalu) {
    assert(nalu != nullptr && nalu_size > 0 && packed_nalu != nullptr);
    memcpy(packed_nalu, NALU_START_CODE, NALU_START_CODE_LENGTH);
    memcpy(packed_nalu + NALU_START_CODE_LENGTH, nalu, nalu_size);
}

五、NALU的解包

在解碼H264視頻流時，需要先將NALU解包成多個視頻塊。下面是NALU解包的示例代碼：

const uint32_t MIN_NALU_SIZE = NALU_START_CODE_LENGTH + 1;

bool extract_nalu(const uint8_t* video_data, uint32_t video_size, uint32_t& pos, uint32_t& nalu_size) {
    assert(video_data != nullptr && video_size > 0 && pos < video_size);
    
    // 查找NALU起始標識符 
    uint32_t start = pos;
    while (pos 

六、總結

本文介紹了H264視頻編解碼器中的NALU（網路抽象層單元）的概念、類型、打包和解包過程。根據H264協議規範，我們了解了具有重要意義的NALU類型，如IDR幀NALU、SPS NALU和PPS NALU。了解NALU的打包和解包過程對於H264視頻編解碼器的實現、調試和優化都非常有幫助，同時，也有助於您更好地理解和學習視頻編解碼器相關知識。