h264sei詳解

一、h264sei的概念

h264sei全稱為H.264 Supplemental Enhancement Information，簡稱SEI。它是H.264/MPEG-4 AVC視頻壓縮標準中的一個重要的輔助數據擴展內容。它包含了一些用於視頻數據傳輸、解碼和顯示的輔助性信息，如字幕、場景信息、附加時間戳等，這些信息可以通過SEI很方便地傳遞到解碼器中解析和使用。

在H.264編碼後,視頻數據是通過rtp/rtsp協議進行傳輸的,而SEI信息就是作為rtp傳輸的負載中的一部分來傳輸，它是在碼流中有規律的插入一些附屬信息，因此也叫插入信息（insertion payload）。

二、h264sei的結構

h264sei是一種比較靈活的結構，它可以包括多個不同的SEI類型，其中每個SEI類型都有自己的具體結構和語法，最大支持16個SEI類型。在H.264碼流中，SEI數據是通過NALU(Network Abstraction Layer Unit)單元進行傳輸的，其中包括一些頭部信息和載荷數據，具體的結構如下：

------------------------------------
| 0                   | 1           |
|---------------------|-------------|
| forbidden_zero_bit  | nal_ref_idc |
|---------------------|-------------|
| nal_unit_type                      |
|                                    |
|               NALU header          |
|                                    |
|-----------------------------------|
|                                   |
|     Supplemental Enhancement      |
|          Information (SEI)        |
|                Data               |
|                                   |
|-----------------------------------|

三、h264sei的應用

在實際的多媒體應用中，h264sei的應用非常廣泛。下面列舉了幾種常見的應用情形：

1、字幕

h264sei最為常用的應用之一就是字幕。因為字幕需要在視頻播放的過程中動態地顯示和關閉，一種有效的方法就是將字幕信息作為SEI進行傳輸。通過解析SEI中的字幕信息，播放器可以在正確的時間將字幕顯示在視頻上，從而有利於提高用戶的觀影體驗。

// 示例代碼
std::vector sei_data = {0x00, 0x00, 0x00, 0x01, 
                                 0x06, 0x05, 0x4D, 0x03, 
                                 0xE2, 0x8F, 0x04, 0x1F,
                                 0xED, 0x7F, 0xFF, 0xE3,
                                 0x42, 0x00, 0x16, 0x92, 
                                 0xB6, 0x06, 0x01, 0x03, 
                                 0x05, 0xFF, 0xFF, 0xFF, 
                                 0xFF};

2、場景信息

在視頻編碼的過程中，有時為了提高視頻質量，需要加入一些額外的場景信息，通過SEI可以將這些場景信息傳輸到解碼端，從而有利於解碼器進行更準確的解碼和渲染。

// 示例代碼
std::vector sei_data = {0x00, 0x00, 0x00, 0x01, 
                                 0x06, 0x01, 0x00, 0x00, 
                                 0x03, 0xE8, 0x00, 0x00};

3、附加時間戳

在視頻傳輸過程中，為了保證視頻數據的同步性，常常需要對視頻幀進行編碼時間戳（PTS）和顯示時間戳（DTS）的標記和傳輸，通過SEI可以完成這個過程。這些信息可以用於視頻的合成、渲染和同步。

// 示例代碼
std::vector sei_data = {0x00, 0x00, 0x00, 0x01, 
                                 0x06, 0x03, 0x31, 0x36,
                                 0x3A, 0x30, 0x39, 0x3A,
                                 0x31, 0x30, 0x2E, 0x31, 
                                 0x35, 0x36, 0x36, 0x30};

四、h264sei的解析

在實際的開發中，需要對傳輸過來的h264sei數據進行解析，可以使用一些現有的開源庫，如FFmpeg、x264、OpenH264等，這些庫都提供了完整的h264sei解析、封裝和傳輸API接口，開發者只需要根據自己的需求選擇和使用即可。

五、小結

h264sei是H.264視頻編碼標準中的一個非常重要的輔助數據擴展內容。它可以在視頻的傳輸、解碼和顯示過程中傳遞一些附加的信息，如字幕、場景信息、附加時間戳等。在實際的多媒體應用開發中，h264sei的應用非常廣泛，可以根據自己的需求選擇和使用。