ffmpeg 根据时间获取视频帧

2017-07-08

FLYING

视频帧的排列顺序一般是I、B、B、P、B、B、P、B、B……I、B、B、P……
如果时间戳对应的帧为P帧或者B帧是不能直接获取当前的视频帧的，所以我们的基本思路是：
1，seek到前面最近的一个I帧；
2，解码到离所给时间戳最近的视频帧，返回；

假设所给的时间戳单位为ms,我们需要将它转换为ffmpeg内部的时间戳：

1	int64_t fm_timestamp = input_timestamp/(av_q2d(videoStream->time_base)*AV_TIME_BASE);

seek前面最近的I帧，ffmpeg是有提供seek接口的：

av_seek_frame(qFormatCtx,
              videoStream,
              fm_timestamp  ,
              AVSEEK_FLAG_BACKWARD);

这里有几个选项：

#define AVSEEK_FLAG_BACKWARD 1 ///< seek backward
#define AVSEEK_FLAG_BYTE     2 ///< seeking based on position in bytes
#define AVSEEK_FLAG_ANY      4 ///< seek to any frame, even non-keyframes
#define AVSEEK_FLAG_FRAME    8 ///< seeking based on frame number

适用于时间戳的就只有两个：

1 2	#define AVSEEK_FLAG_BACKWARD 1 ///< seek backward #define AVSEEK_FLAG_ANY 4 ///< seek to any frame, even non-keyframes

AVSEEK_FLAG_BACKWARD:后面最近的I帧，好像不太符合。
AVSEEK_FLAG_ANY：任意帧，简直完美，然而实际结果来看，或者跟AVSEEK_FLAG_BACKWARD结果一致，或者获取的帧是花掉的。
没有其他选项了，怎么办，或许可以换一个思路，先找到前面最近的I帧之前的时间戳，然后使用这个时间戳调用AVSEEK_FLAG_BACKWARD，不就seek到前面最近的I帧了吗。

AVFormatContext *qFormatCtx = NULL;
AVPacket qPacket;
const char *filePath = [m3u8Path UTF8String];
if (filePath == nil) {
    return -1;
}
av_register_all();
if (avformat_open_input(&qFormatCtx, filePath, NULL, NULL) != 0) {
    return -1;
}
if (avformat_find_stream_info(qFormatCtx, NULL) < 0) {
    return -1;
}
av_dump_format(qFormatCtx, 0, filePath, 0);
int videoStream = -1;
for (int i = 0;i < qFormatCtx->nb_streams;i++) {
    if (qFormatCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
        videoStream = i;
        break;
    }
}
if (videoStream == -1) {
    return -1;
}
AVStream *stream=qFormatCtx->streams[videoStream];
int64_t key_frame_timestamp = 0;
int64_t timestamp_per_frame = 0;
int64_t frame_timestamp = 0;
while (av_read_frame(qFormatCtx, &qPacket) >= 0) {
    if (qPacket.stream_index == videoStream) {
        if(qPacket.flags==1){
            if(qPacket.pts>timestamp){
                break;
            }
            key_frame_timestamp = qPacket.pts;
        }
        timestamp_per_frame = qPacket.pts - frame_timestamp;
        frame_timestamp = qPacket.pts;
    }
    av_packet_unref(&qPacket);
}
avformat_close_input(&qFormatCtx);
if(key_frame_timestamp == stream->start_time){
    return -1;
}
return key_frame_timestamp - 2*timestamp_per_frame;

这里获取的为前一个I帧之前两帧的时间戳，之后：

av_seek_frame(qFormatCtx,
              videoStream,
              key_frame_timestamp  ,
              AVSEEK_FLAG_BACKWARD);

这时候再做解码，找到最近的I帧，就可以得到准确的时间戳对应的视频帧了。

int numBytes = av_image_get_buffer_size(AV_PIX_FMT_YUV422P,
                                        qCodeCtx->width,
                                        qCodeCtx->height, 1);
buffer = (uint8_t *)av_malloc(numBytes * sizeof(uint8_t));
av_image_fill_arrays(qFrameYUV->data,
                     qFrameYUV->linesize,
                     buffer,
                     AV_PIX_FMT_YUV422P,
                     qCodeCtx->width,
                     qCodeCtx->height, 1);
qSwsCtx = sws_getContext(qCodeCtx->width,
                         qCodeCtx->height,
                         qCodeCtx->pix_fmt,
                         qCodeCtx->width,
                         qCodeCtx->height,
                         AV_PIX_FMT_YUV422P,
                         SWS_BICUBIC, NULL, NULL, NULL);
while (av_read_frame(qFormatCtx, &qPacket) >= 0) {
    if (qPacket.stream_index == videoStream) {
        int ret = avcodec_send_packet(qCodeCtx, &qPacket);
        if (ret < 0) {
            NSLog(@"avcodec_send_packet");
            return;
        }
        ret = avcodec_receive_frame(qCodeCtx, qFrame);
        
        if (ret ==0) {
            if (qFrame->pts>=[timestamp longLongValue]/(AV_TIME_BASE*av_q2d(stream->time_base))) {
                
                sws_scale(qSwsCtx,
                          (uint8_t const * const *)qFrame->data,
                          qFrame->linesize, 0,
                          qCodeCtx->height,
                          qFrameYUV->data,
                          qFrameYUV->linesize);
                //buffer为目标
                av_packet_unref(&qPacket);
                break;
            }
        }
    }
    av_packet_unref(&qPacket);
}