FFmpeg相机花图问题解决方法
一、问题现象
使用FFmpeg进行进行相机rtsp连接获取相机码流并解码在本地显示，这个过程中有遇见相机花图等问题，排查后发现有花图。正常情况下图像为
出现花图的情况时图像如下：
二、解决方法
1、设置相机参数--将影响网络传输和解码依赖性的参数都调低
拿海康相机为例：网页登陆相机192.168.1.252 输入默认用户名:admin密码:12345之后，登陆相机，选择“配置”->音视频 设置参数
将图像质量调到最低、帧率调低(25修改为12或8)、码率上限(最好为2MB以下)
2、修改rtsp连接方式
rtsp传输有以下几种方式：
UDP传输:Transport:RTP/AVP
TCP传输:Transport:RTP/AVP/TCP
RAW UDP传输：Transport:RAW/RAW/UDP
ffmpeg提供udp和tcp的支持
udp方法如下：
[cpp] view
plaincopy
AVDictionary* options = NULL;
av_dict_set(&options, "rtsp_transport","udp", 0);
avformat_open_input(&m_pRtspFmt, m_szRtspUrl, NULL, &options);
tcp方法如下：
[cpp] view
plaincopy
AVDictionary* options = NULL;
av_dict_set(&options, "rtsp_transport","tcp", 0);
avformat_open_input(&m_pRtspFmt, m_szRtspUrl, NULL, &options);
将连接修改为tcp连接 则能减少花屏，但会有一定程度上的卡顿。
3、增加udp连接方式缓冲区减少丢包
打开ffmpeg源码(我的博客里有怎么编译源码http://blog..net/zhouyongku/article/details/44961447)udp.c,可以做这样的实验
在方法2用udp传输的情况下 将udp.c中的UDP_MAX_PKT_SIZE 缩小10倍，再将编译好的ffmpeg库拿来用，则会发现花屏更加剧烈。于是将UDP_MAX_PKT_SIZE放大10倍，则基本上很难再出现花屏现象。
[cpp] view
plaincopy
#define UDP_TX_BUF_SIZE 32768
#define UDP_MAX_PKT_SIZE (65536*10)
#define UDP_HEADER_SIZE 8
4、多线程处理
测试过av_read_frame的耗时-发现在25帧/秒 4M比特流的情况下，av_read_frame耗时30~40ms，而解码也需要10ms左右，这就决定了1秒以内难以完成读取视频和解码视频的操作，即便是缓冲也不行，因为平均时间=25*(30~40+10)>1000ms。所以需要将读取rtsp码流作为一个线程，解码作为一个线程。下面是我封装好的存储rtsp线程码流的类
[cpp] view
plaincopy
/*******************************************************************
* @版权信息：
* @文件名称：PacketList.h
* @摘 要：AVPacket列表管理类
* @作 者：周勇
* @当前版本：1.0.0
* @日 期：2015年4月2日
* @备 注：动态内存加载和释放
*******************************************************************/
#include "Common.h"
classCPacketList
{
public:
CPacketList();
~CPacketList();
public:
BOOLInputPacket(AVPacket *pktIn);
AVPacketList* GetPacket();
voidFreeAllPacket();
protected:
AVPacketList *m_pHead; //列表头
AVPacketList *m_pLast; //列表尾
UINTm_nItemCnt;//共有多少未读项
UINTm_nInputNum;
UINTm_nOutputNum;
CRITICAL_SECTION m_cs;
};
[cpp] view
plaincopy
#include "PacketList.h"
CPacketList::CPacketList()
{
m_pHead = NULL;
m_pLast = NULL;
m_nItemCnt = 0;
m_nInputNum = 0;
m_nOutputNum = 0;
InitializeCriticalSection(&m_cs);
}
CPacketList::~CPacketList()
{
}
BOOLCPacketList::InputPacket(AVPacket *pktIn)
{
BOOLbRet = TRUE;
EnterCriticalSection(&m_cs);
if(m_nItemCnt <= PKT_QUE_SIZE)
{
AVPacketList *pList = newAVPacketList;
av_copy_packet(&pList->pkt, pktIn);
pList->next = NULL;
m_nItemCnt++;
if(NULL == m_pHead)
{
m_pHead = pList;
}
if(m_pLast)
{
m_pLast->next = pList;
}
m_pLast = pList;
m_nInputNum++;
}
else
{
//FreeAllPacket();
bRet = FALSE;
}
LeaveCriticalSection(&m_cs);
returnbRet;
}
AVPacketList* CPacketList::GetPacket( )
{
AVPacketList *pPkt = NULL;
intnPos = 0;
EnterCriticalSection(&m_cs);
if(m_nItemCnt&&m_pHead)
{
pPkt = m_pHead;
if(pPkt == m_pLast)
{
m_pLast = NULL;
}
m_pHead = pPkt->next;
m_nItemCnt--;
m_nOutputNum++;
}
LeaveCriticalSection(&m_cs);
returnpPkt;
}
voidCPacketList::FreeAllPacket()
{
EnterCriticalSection(&m_cs);
AVPacketList *pNext = NULL;
while(m_pHead)
{
pNext = m_pHead->next;
av_free_packet(&m_pHead->pkt);
deletem_pHead;
m_pHead = pNext;
}
m_pLast = NULL;
m_nItemCnt = 0;
LeaveCriticalSection(&m_cs);
}
用法：
[cpp] view
plaincopy
CPacketList m_pktList;
//读取rtsp码流线程
voidCIPCamera::ReadStream()
{
AVPacket pkt;
av_init_packet(&pkt);
if(0 == av_read_frame(m_pRtspFmt, &pkt))
{
if(m_nInViStreamIdx == pkt.stream_index)
{
//将读取到的视频包存入队列
if(!m_pktList.InputPacket(&pkt))
{
LOG(LOG_ERROR, "Channel[0x%x]CIPCamera::RreadStream to inputpacket failed of buffer buff!",this, m_nChannelID);
}
}
}
av_free_packet(&pkt);
}
//从视频包队列中取包进行解码
voidCIPCamera::DecodeStream()
{
AVPacketList *pList = NULL;
AVPacket *pPkt = NULL;
pList = m_pktList.GetPacket();
if(pList)
{
pPkt = &pList->pkt;
//读取到的是视频包
if(m_nInViStreamIdx == pPkt->stream_index)
{
//解码
if(DecodePacket(pPkt, m_pavfrm))
{
SendToUser();
}
}
//释放packet
av_free_packet(pPkt);
//释放list
deletepList;
}
}
转自：http://blog..net/zhouyongku/article/details/44979159