• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com专业计算机教程网站
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • html/xhtml
  • html5
  • CSS
  • XML/XSLT
  • Dreamweaver教程
  • Frontpage教程
  • 心得技巧
  • bootstrap
  • vue
  • AngularJS
  • HBuilder教程
  • css3
  • 浏览器兼容
  • div/css
  • 网页编辑器
  • axure
您的位置:首页 > 网页设计 >html5 > 网络视频直播系统开发需要用到哪方面的知识?

网络视频直播系统开发需要用到哪方面的知识?

作者:匿名 字体:[增加 减小] 来源:互联网 时间:2018-12-03

本文主要包含HTML5等相关知识,匿名希望在学习及工作中可以帮助到您
网络视频直播系统需要用到哪些知识?用什么语言开发?什么开发环境?除了HTML5之外还需要哪些方面的知识?

回复内容:

一、直播的技术架构:
直播视频采集SDK(PC/IOS/Anddroid)——直播CDN

(直播流分发加速)——直播视频播放器SDK(PC/IOS/Android)

二、音视频处理的一般流程:

数据采集→数据编码→数据传输(流媒体服务器) →解码数据→播放显示

1、数据采集:

摄像机及拾音器收集视频及音频数据,此时得到的为原始数据

涉及技术或协议:

摄像机:CCD、CMOS

拾音器:声电转换装置(咪头)、音频放大电路

2、数据编码:

使用相关硬件或软件对音视频原始数据进行编码处理(数字化)及加工(如音视频混合、打包封装等),得到可用的音视频数据

涉及技术或协议:

编码方式:CBR、VBR
编码格式
视频:H.265、H.264、MPEG-4等,封装容器有TS、MKV、AVI、MP4等
音频:G.711μ、AAC、Opus等,封装有MP3、OGG、AAC等

3、数据传输:

将编码完成后的音视频数据进行传输,早期的音视频通过同轴电缆之类的线缆进行传输,IP网络发展后,使用IP网络优传输

涉及技术或协议:

传输协议:RTP与RTCP、RTSP、RTMP、HTTP、HLS(HTTP Live Streaming)等

控制信令:SIP和SDP、SNMP等

4、解码数据:

使用相关硬件或软件对接收到的编码后的音视频数据进行解码,得到可以直接显示的图像/声音

涉及技术或协议:

一般对应的编码器都会带有相应的解码器,也有一些第三方解码插件等

5、播放显示:

在显示器(电视、监视屏等)或扬声器(耳机、喇叭等)里,显示相应的图像画面或声音

涉及技术或协议:

显示器、扬声器、3D眼镜等

三、常见的视频直播相关协议:

1、RTMP(Real Time Messaging Protocol,实时消息传送协议)

RTMP是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议。它有三种变种:

1)、工作在TCP之上的明文协议,使用端口1935;

2)、RTMPT封装在HTTP请求之中,可穿越防火墙;

3)、RTMPS类似RTMPT,但使用的是HTTPS连接;

RTMP协议是被Flash用于对象、视频、音频的传输。这个协议建立在TCP协议或者轮询HTTP协议之上。RTMP协议就像一个用来装数据包的容器,这些数据既可以是AMF格式的数据,也可以是FLV中的视音频数据。一个单一的连接可以通过不同的通道传输多路网络流,这些通道中的包都是按照固定大小的包传输的。

2、RTSP(Real Time Streaming Protocol,实时流传输协议)

RTSP定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接,为选择发送通道如UDP、组播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。

RTSP语法和运作跟HTTP/1.1类似,但并不特别强调时间同步,所以比较能容忍网络延迟。代理服务器的缓存功能也同样适用于RTSP,并且因为RTSP具有重新导向功能,可根据实际负载情况来切换提供服务的服务器,以避免过大的负载集中于同一服务器而造成延迟。

3、RTP(Real-time Transport Protocol,实时传输协议)

RTP是针对多媒体数据流的一种传输层协议,详细说明了在互联网上传递音频和视频的标准数据包格式。RTP协议常用于流媒体系统(配合RTCP协议),视频会议和一键通系统(配合H.323或SIP),使它成为IP电话产业的技术基础。

RTP是建立在UDP协议上的,常与RTCP一起使用,其本身并没有提供按时发送机制或其它服务质量(QoS)保证,它依赖于低层服务去实现这一过程。

RTP 并不保证传送或防止无序传送,也不确定底层网络的可靠性,只管发送,不管传输是否丢包,也不管接收方是否有收到包。RTP 实行有序传送,RTP中的序列号允许接收方重组发送方的包序列,同时序列号也能用于决定适当的包位置,如在视频解码中,就不需要顺序解码。

4、RTCP(Real-time Transport Control Protocol,实时传输控制协议)

RTCP是RTP的配套协议,为RTP媒体流提供信道外的控制。RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。

RTCP的主要功能是为RTP所提供的服务质量(QoS)提供反馈,收集相关媒体连接的统计信息,例如传输字节数,传输分组数,丢失分组数,单向和双向网络延迟等等。网络应用程序可以利用RTCP所提供的信息来提高服务质量,比如限制流量或改用压缩比小的编解码器。

四、利益相关

我们团队是做直播技术的,底层架构都是做好的,开放给开发者sdk和api接口,开发者接入后就可以实现直播的功能。欢迎和我们交流学习。我的qq2479775187

这个知识的范围真的很大,涉及到编程功底、网络、流媒体、CDN、等等等等... 与其说知识不如说需要用到哪些技术,用这些开源的技术你可以在一周之内搭一个完整的网络视频直播系统。然后你再用这些技术反推你需要的知识,这样就不会导致学到没用的知识。

链接:
如何搭建一个完整的视频直播系统? - 网络主播

七牛云移动端推流开源SDK:
GitHub - pili-engineering/PLCameraStreamingKit: Pili RTMP Streaming SDK for iOS, H.264 and AAC hardware encoding supported. Camera and Microphone as input source.

完整的基于IOS手机直播:
GitHub - songsmith/LiveVideoCoreSDK

OBS-PC端主播推流工具,斗鱼等游戏直播都在用
GitHub - jp9000/obs-studio: OBS

RTMP直播可以用nginx-rtmp
GitHub - arut/nginx-rtmp-module: NGINX-based Media Streaming Server

开源播放器也很多,ffplay、jwplayer、ijkplayer等等,我就不一一给你发了,哈哈
其实最难的难点是提高首播时间、服务质量即Qos。要想在技术上把别的直播站PK下去,可以考虑这几种方案:
1. gop缓存,为加快首播时间
2. gop丢帧,为解决延时,为什么会有延时,网络抖动、网络拥塞导致的数据发送不出去,丢完之后所有的时间戳都要修改,切记要不客户端就会卡一个 gop的时间,是由于 dts 和 pts 的原因,或者播放器修正 dts 和 pts 也行(推流端丢gop更复杂,丢 p 帧之前的 p 帧会花屏)
3. 纯音频丢帧,要解决音视频不同步的问题,要让视频的 delta增量到你丢掉音频的delta之后,再发音频,要不就会音视频不同步
4. 源站主备切换和断线重连
5. 根据TCP拥塞窗口做智能调度,当拥塞窗口过大说明节点服务质量不佳,需要切换节点和故障排查
6. 增加上行、下行带宽探测接口,当带宽不满足时降低视频质量,即降低码率
7. 定时获取最优的推流、拉流链路IP,尽可能保证提供最好的服务
8. 监控必须要,监控各个节点的Qos状态,来做整个平台的资源配置优化和调度
9. 如果你家产品从推流端、CDN、播放器都是自家的,保障 Qos 优势非常大.
10. 当直播量非常大时,要加入集群管理和调度,保障 Qos 对于做了腾讯视频多年的表示,如果要全国用户跨平台流畅观看,这个东西复杂到我已经很难在知乎上回答了;对于要简单的看了w3school然后用chrome写个hello world,可以apache搭个服务器,html5设置src就行了,不过这是点播,要模拟直播,把MP4转一个M3U8修改src过去就行了。 实在不行找团队,美丽播视频直播团队搜美丽播 如果是做直播平台,最难的是从摄像头(包括移动端、PC)推流到服务器这一段,各种bug太多了
从直播服务器分发到用户这一段,基本就是把流复制到CDN而已,包括多码流输出都是CDN做。能怎么样取决于CDN的良心
如果还要把视频保存下来,做后续处理。那就是另外一个问题了。 HTML5对直播支持很烂!所以在移动端主要使用APP实现,在PC端需要flash player。
所以HTML5的知识对直播毫无帮助。
假设你只是准备搭一套测试系统。你需要熟悉ffmpeg的使用,对http、HLS、RTMP协议有初步的了解,加上能用google的网络环境,一周之内能够拼凑出一个能用的系统。 这是看到的第N个某某怎么开发出来的问题,,, 没什么难度的东西,只要熟悉HTML5就够了。我认为一个熟悉HTML5的人大约7个工作日内就可以开发出来了。 ucloud能为你解决大部分事情 OK,虽然不是纯技术,这种问题强答一发,行家多多指正
1.编解码-视频相关,不解释
2.流媒体分发-CDN,运维
3.音视频采集
4.数据库
5.安卓和IOS的开发
6.UI
7.测试
H5可以实现直播的功能,但是效果不好,不推荐用H5,但如果在微信推广就得用H5做了。
或者你也可以直接找我们,反正我们有成熟的方案,联调一周即可上线~

您可能想查找下面的文章:

相关文章

  • 2018-12-03使用jQuery控制HTML5视频播放/暂停
  • 2018-12-03HTML5的contenteditable属性解析
  • 2018-12-03Html5 Canvas初探学习笔记(9) -渐变
  • 2018-12-03现阶段用 HTML5 重构网站,力度怎样合适?
  • 2018-12-03像“红杏”这样的HTML立体旋转效果是如何实现的?难度如何?
  • 2018-12-03自己动手打造html5星际迷航的示例代码分享
  • 2018-12-03HTML5 canvas绘图基本详解
  • 2018-12-03html5移动端Meta的设置
  • 2018-12-03移动端实现选中实现高亮全选文本事件
  • 2018-12-03HTML5能否在一定程度上代替移动APP?

文章分类

  • html/xhtml
  • html5
  • CSS
  • XML/XSLT
  • Dreamweaver教程
  • Frontpage教程
  • 心得技巧
  • bootstrap
  • vue
  • AngularJS
  • HBuilder教程
  • css3
  • 浏览器兼容
  • div/css
  • 网页编辑器
  • axure

最近更新的内容

    • HTML5 Canvas 起步(1) - 基本概念_html5教程技巧
    • HTML5 Canvas之测试浏览器是否支持Canvas的方法
    • 小强的HTML5移动开发之路(37)——jqMobi快速入门
    • HTML5实践-图片设置成灰度图_html5教程技巧
    • 目前流行的前端框架有哪些?
    • html5跨域通讯之postMessage的用法总结
    • HTML5新特性之移动设备API
    • HTML5中的hgroup是干啥的?HTML5中的hgroup标签的具体用法在这,点进来看看吧
    • HTML5响应式分步定制商品模板
    • 黑胶唱片风格音频播放器jQuery插件

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有