[FFmpeg] 如何通过实时摄像头帧图片生成 rtmp 直播流?

背景

已经完成用 Python 对摄像头硬件实时提取帧图像并进行一系列机械视觉处理
客户突然提出, 一定要通过 rtml:// 进行远程工作状态的监控

分析

因为硬件驱动的原因
系统中一个 usb camera, 同一时刻, 只能有一个加载进程来读取实时帧图像
如果如客户自己实验通过的:
- 用 FFmpeg -f dshow -i video="... -f mpegts -f flv "rtmp://20878.... 形式
- 从硬件直接拿视频并实时编译为 flv 编码的 rtmp 直播流
- 那么, 原先软件将无法获得合法的帧图像进行业务分析

尝试

知道 FFmpeg 有能力从图片中编译出 avi/mp4/... 视频
那么一定也可以编译为 rtmp 直播流

问题

动态固定图片

尝试将实时帧图像,另外输出到硬盘固定图片文件, 内容动态变化,

命令改变为: ffmpeg -f image2 -loop 1 -i "path/2/frame.png" ...

但是, 无论怎么调整参数,都只能工作十多帧就崩溃了, 报错都是类似:

...
Error while decoding stream #0:0: Invalid data found when processing input
    Last message repeated 1 times
Past duration 0.799995 too large
[flv @ 0x7fabfa001800] Failed to update header with correct duration.34.3kbits/s dup=0 drop=1120 speed=7.25x
[flv @ 0x7fabfa001800] Failed to update header with correct filesize.
frame= 1730 fps=109 q=5.5 Lsize=    3300kB time=00:01:55.40 bitrate= 234.3kbits/s dup=0 drop=1120 speed=7.24x
video:3273kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.832250%

系列静态图片

而将帧图像持续输出为一系列有命名规模的静态图片后, 参考:

ffmpeg Documentation
- ffmpeg -f image2 -framerate 12 -i foo-%03d.jpeg -s WxH foo.avi
- ffmpeg -f image2 -pattern_type glob -framerate 12 -i 'foo-*.jpeg' -s WxH foo.avi
ffmpeg Documentation
- ffmpeg -i frame_%d.jpg -c:v copy rotated.avi
saveVideo: ffmpeg drops frames (use -framerate on input) · Issue #74 · yihui/animation
- ffmpeg -y -framerate 30 -i Rplot%d.png -c:v libx264 30f.mp4
- ffmpeg -y -framerate 30 -r 30 -i Rplot%d.png -c:v libx264 30fr.mp4
- ffmpeg -y -r 30 -i Rplot%d.png -c:v libx264 30r.mp4
...

无论怎么折腾参数, 都无法工作, 报错为:

...

  Metadata:
    encoder         : Lavf57.71.100
    Stream #0:0: Video: flv1 (flv) ([2][0][0][0] / 0x0002), yuv420p, 480x270, q=2-31, 200 kb/s, 25 fps, 1k tbn, 25 tbc
    Metadata:
      encoder         : Lavc57.89.100 flv
    Side data:
      cpb: bitrate max/min/avg: 0/0/200000 buffer size: 0 vbv_delay: -1
[flv @ 0x7ff53d008600] Failed to update header with correct duration.
[flv @ 0x7ff53d008600] Failed to update header with correct filesize.
frame=   20 fps=0.0 q=9.7 Lsize=     173kB time=00:00:00.76 bitrate=1867.3kbits/s speed=10.1x
video:173kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.300397%

所以, 综合以上, 想知道如何能通过动态图片 /实时增长的系列图片实时编译为 rmtp 直播流?

或是说, 思路上还有什么选择?

liu826250634

2018-08-21 19:27:14 +08:00

题主您好。
我也是遇到这样的问题，需要从海康摄像头抓取之后进行人脸识别，对视频进行处理之后进行 rtmp 进行推流。
我的代码:
size = (int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)))
sizeStr = str(size[0]) + 'x' + str(size[1])
fps = cap.get(cv2.CAP_PROP_FPS) # 30p/self
fps = int(fps)
rtmpUrl = 'rtmp://192.168.1.71:1935/live/app'
command = ['ffmpeg',
'-y',
'-f', 'rawvideo',
'-vcodec','rawvideo',
'-pix_fmt', 'bgr24',
'-s', sizeStr,
'-r', str(fps),
'-i', '-',
'-c:v', 'libx264',
'-pix_fmt', 'yuv420p',
'-preset', 'ultrafast',
'-f', 'flv',
rtmpUrl]

while True:
ret, frame = cap.read()
proc = sp.Popen(command, stdin=sp.PIPE, shell=False)
proc.stdin.write(frame.tostring())
if cv2.waitKey(1) & 0xFF == ord('q'):
break

运行是成功了（也不能说成功，有时候会崩溃），但是用 VLC 却是不能拉流观看。
然后再想是否是你说的这个问题，从 numpy.ndarray->cv2.cv.cvmat。
但是在网上查资料说 mat_array = cv2.cv.fromarray(frame)，这个 opencv-python 2.4 之后就没了。
希望题主看到之后能解答一下！