OpenCVFFmpeg詳細解析

一、OpenCVFFmpeg庫

OpenCVFFmpeg是包含FFmpeg命令行工具的OpenCV庫擴展，它可以用於視頻&音頻解碼、編碼以及處理。

FFmpeg是一個開放源代碼的跨平台多媒體解決方案。它可以解碼、轉換、編碼幾乎所有流行的多媒體格式。OpenCV是一個非常流行的計算機視覺和機器學習庫。將兩個庫結合在一起，讓我們能夠處理視頻和音頻，並進行各種操作。

下面是一個用OpenCVFFmpeg庫解碼視頻的簡單示例：

#include 
#include 

int main()
{
    cv::VideoCapture cap;
    if (!cap.open("video.mp4", cv::CAP_FFMPEG))
      return 0;

    cv::Mat frame;
    for (;;)
    {
        cap >> frame;
        if (frame.empty())
            break;
        cv::imshow("Frame", frame);
        cv::waitKey(1);
    }

    return 0;
}

通過上面的示例代碼，我們可以快速地建立一個簡單地視頻解碼工具。

二、OpenCVFFmpeg RTMP 推流

OpenCVFFmpeg庫也可以用來推流，這對於我們需要實時流傳輸應用程序非常有用。下面是一個用OpenCVFFmpeg庫來將本地視頻流推送到遠程服務器的簡單示例：

#include 

int main()
{
  cv::CascadeClassifier face_cascade;
  face_cascade.load( "haarcascade_frontalface_alt.xml" );

  cv::VideoCapture capture;
  capture.open(0);

  cv::Mat frame;
  cv::Size out_size(480, 640);

  cv::VideoWriter writer;
  writer.open("rtmp://localhost:1935/live/test", cv::CAP_FFMPEG,
              cv::VideoWriter::fourcc('F', 'L', 'V', '1'), 25.0, out_size, true);

  for (;;) {
    capture >> frame;
    if (frame.empty()) break;

    cv::Mat gray_frame;
    cv::cvtColor(frame, gray_frame, cv::COLOR_BGR2GRAY);

    std::vector faces;
    face_cascade.detectMultiScale(gray_frame, faces, 1.3, 4);

    for (const auto& face : faces) {
      cv::rectangle(frame, face, cv::Scalar(0, 0, 255), 3);
    }

    writer.write(frame);
  }

  return 0;
}

上面的示例代碼展示了如何使用OpenCVFFmpeg庫來捕獲視頻幀並將其推送到服務器。

三、OpenCVFFmpeg 視頻編碼

OpenCVFFmpeg庫還可以用於編碼視頻。

下面是一個用OpenCVFFmpeg庫將圖像序列轉換為視頻的簡單示例：

#include 

int main()
{
    cv::Mat frame;

    int fps = 30;
    int fourcc = cv::VideoWriter::fourcc('X', '2', '6', '4');
    int width = 1280, height = 720;
    cv::VideoWriter writer("output.mp4", cv::CAP_FFMPEG, fourcc, fps, cv::Size(width, height), true);

    for (int i = 0; i < 300; i++)
    {
        frame.create(height, width, CV_8UC3);
        cv::randu(frame, cv::Scalar(0, 0, 0), cv::Scalar(255, 255, 255));
        writer.write(frame);
    }

    return 0;
}

在上面的示例中，我們先使用cv::VideoWriter創建一個視頻輸出文件，並通過cv::randu生成隨機顏色的圖像幀。再使用writer.write將幀寫入文件。

四、OpenCVFFmpeg 音頻解碼

OpenCVFFmpeg庫還可以用於音頻處理，下面是一個簡單的示例，可以從音頻文件中提取信息：

#include 

int main()
{
    cv::VideoCapture cap;
    cap.open("audio.mp3", cv::CAP_FFMPEG);

    while (true)
    {
        cv::Mat frame;
        cap >> frame;
        if (frame.empty()) break;

        if (frame.rows >= 3 * cap.get(cv::CAP_PROP_FRAME_HEIGHT) / 4)
        {
            int sample_rate = (int)cap.get(cv::CAP_PROP_FPS);
            int channels = frame.channels();
            int bytes_per_sample =
                static_cast(frame.elemSize() / frame.channels());
            int num_samples = cap.get(cv::CAP_PROP_FRAME_WIDTH);
            int num_total_samples = num_samples * channels;

            int num_channels = 2;
            int bytes_per_channel = bytes_per_sample;

            std::vector audio_data(num_total_samples);
            int pos = 0;
            for (int i = 0; i < num_total_samples; i++)
            {
                audio_data[i] = frame.at(0, i);
            }

            // write to file or process audio_data here.
        }
    }

    return 0;
}

在上面的示例中，我們首先從音頻文件中獲取音頻幀，然後根據返回的結果計算每個音頻幀中的樣本數、採樣率和聲道數。然後我們將音頻數據保存到vector中，可以將音頻數據保存在文件中或進行其他處理。