使用FFmpeg在Android應用中處理音視頻文件

隨着移動設備的發展，使用音視頻媒體已成為移動應用開發的一個重要方向。而對於開發者來說，想要處理音視頻文件，FFmpeg提供了一個強大而有用的工具。在本文中，我們將詳細介紹如何在Android應用中使用FFmpeg庫進行音視頻文件的處理。

一、安裝FFmpeg庫

首先，我們需要下載FFmpeg庫，並將其添加到Android Studio項目中。可以在這裡下載

下載完FFmpeg之後，將其解壓到任意位置，並從解壓目錄中拷貝libffmpeg.so文件到我們的Android Studio項目的jniLibs目錄下。

二、使用FFmpeg庫處理音視頻文件

1. 獲取音視頻文件的基本信息

首先，我們需要獲取我們要處理的音視頻文件的基本信息，例如長度，幀率等等。在FFmpeg中可以使用AVFormatContext結構體來獲取音視頻文件的基本信息。

AVFormatContext *pFormatCtx;
int videoStream, i;
AVCodecContext *pCodecCtxOrig = NULL;
AVCodecContext *pCodecCtx = NULL;
AVCodec *pCodec = NULL;
AVFrame *pFrame = NULL;
AVPacket packet;
int frameFinished;
int numBytes;
uint8_t *buffer = NULL;

// 1. 註冊FFmpeg庫中的所有編解碼器、格式和協議。
av_register_all();

// 2. 打開要處理的音視頻文件，並讀取信息。
if(avformat_open_input(&pFormatCtx, inputFilePath, NULL, NULL) != 0) {
    return;
}

if(avformat_find_stream_info(pFormatCtx, NULL) < 0) {
    return;
}

av_dump_format(pFormatCtx, 0, inputFilePath, 0);

// 3. 遍歷音視頻文件中的所有流，找到第一個視頻流向。
videoStream=-1;

for(i=0; inb_streams; i++) {
    if(pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
        videoStream=i;
        break;
    }
}

if(videoStream==-1) {
    return;
}

// 4. 獲取音視頻編解碼器的上下文，並通過編解碼器ID獲取編解碼器實例。
pCodecCtxOrig=pFormatCtx->streams[videoStream]->codec;

pCodec = avcodec_find_decoder(pCodecCtxOrig->codec_id);

if(pCodec == NULL) {
    return;
}

// 4. 分配編解碼器上下文並將其複製到新的編解碼器上下文中。
pCodecCtx = avcodec_alloc_context3(pCodec);

if(avcodec_copy_context(pCodecCtx, pCodecCtxOrig) != 0) {
    return;
}

// 5. 開始解碼音視頻幀。
if(avcodec_open2(pCodecCtx, pCodec, NULL)=0) {
    if(packet.stream_index == videoStream) {
        avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);
    }

    av_free_packet(&packet);
}

2. 視頻幀的轉換與處理

在獲取到視頻幀之後，我們可以對視頻幀進行轉化和處理。在FFmpeg中，可以使用sws_scale函數來進行視頻幀轉換。例如，將一幀視頻從源格式轉換為目標格式：

// 1. 註冊FFmpeg庫中的所有編解碼器、格式和協議。
av_register_all();

// 2. 創建並初始化源圖像的AVFrame實例。
AVFrame *pFrameSrc = av_frame_alloc();
pFrameSrc->format = AV_PIX_FMT_NV21;
pFrameSrc->width = srcWidth;
pFrameSrc->height = srcHeight;
av_new_packet(&packet, numBytes);

// 3. 將數據填充到源圖像的AVFrame實例中。
avpicture_fill((AVPicture*)pFrameSrc, (uint8_t*)srcData, AV_PIX_FMT_NV21, srcWidth, srcHeight);

// 4. 創建並初始化目標圖像的AVFrame實例。
AVFrame *pFrameDst = av_frame_alloc();
pFrameDst->format = AV_PIX_FMT_RGB24;
pFrameDst->width = dstWidth;
pFrameDst->height = dstHeight;

// 5. 初始化圖像轉換上下文。
struct SwsContext *sws_ctx = sws_getContext(srcWidth, srcHeight, AV_PIX_FMT_NV21,
    dstWidth, dstHeight, AV_PIX_FMT_RGB24, SWS_BILINEAR, NULL, NULL, NULL);

// 6. 轉換圖像數據。
sws_scale(sws_ctx, pFrameSrc->data, pFrameSrc->linesize, 0, srcHeight,
    pFrameDst->data, pFrameDst->linesize);

// 7. 釋放源圖像和目標圖像的AVFrame實例。
av_frame_free(&pFrameSrc);
av_frame_free(&pFrameDst);

3. 視頻幀的編碼和寫入

在對視頻幀進行處理之後，我們可以使用編碼器將其保存為指定格式的視頻文件。需要注意的是，視頻編碼器與解碼器不同。在FFmpeg中，可以使用AVCodecContext結構體來創建視頻編碼器並將其寫入文件。

// 1. 註冊FFmpeg庫中的所有編解碼器、格式和協議。
av_register_all();

// 2. 使用AVCodec結構體獲取編碼器實例。
AVCodec *codec = avcodec_find_encoder(AV_CODEC_ID_H264);
if (!codec) {
    return;
}

// 3. 創建並初始化編碼器上下文。
AVCodecContext *codec_context = avcodec_alloc_context3(codec);
codec_context->bit_rate = bitRate;
codec_context->width = width;
codec_context->height = height;
codec_context->time_base = (AVRational){1, frameRate};
codec_context->gop_size = 10;
codec_context->max_b_frames = 1;
codec_context->pix_fmt = AV_PIX_FMT_YUV420P;

// 4. 打開編碼器。
if (avcodec_open2(codec_context, codec, NULL) < 0) {
    return;
}

// 5. 創建並初始化輸出數據包AVPacket結構體。
AVPacket packet;
av_init_packet(&packet);
packet.data = NULL;
packet.size = 0;

// 6. 打開輸出文件。
FILE *file = fopen(outputFilePath, "wb");
if (!file) {
    return;
}

// 7. 循環編碼並寫入數據。
for (int i = 0; i data, frame->linesize, data, codec_context->pix_fmt, width, height, 1);
    frame->pts = i;

    // 7.2 發送AVFrame結構體到編碼器進行編碼，並檢查編碼器返回的結果。
    int result = avcodec_send_frame(codec_context, frame);
    if (result = 0) {
        result = avcodec_receive_packet(codec_context, &packet);
        if (result == AVERROR(EAGAIN) || result == AVERROR_EOF) {
            break;
        } else if (result < 0) {
            return;
        }

        fwrite(packet.data, 1, packet.size, file);
        av_packet_unref(&packet);
    }

    av_frame_free(&frame);
}

// 8. 寫入每個時間戳的結尾。
av_write_trailer(codec_context);

// 9. 關閉輸出文件。
fclose(file);

三、總結

FFmpeg是一個強大而實用的工具，可以幫助我們輕鬆處理音視頻文件。通過使用FFmpeg庫，我們可以獲取音視頻文件的基本信息，並且將其編碼、轉換和寫入到指定格式的文件。雖然這個過程可能有些複雜，但FFmpeg庫提供的各種函數和結構體為開發人員提供了很大的幫助。