完整的视频直播系统
链接:https://www.zhihu.com/question/42162310/answer/93858266
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
视频直播,可以分为 采集,前处理,编码,传输,解码,渲染 这几个环节,下面分别说下:
采集,iOS是比较简单的,Android则要做些机型适配工作,PC最麻烦各种奇葩摄像头驱动,出了问题特别不好处理,建议放弃PC只支持手机主播,目前几个新进的直播平台都是这样的。
前处理,现在直播美颜已经是标配了,80%的主播没有美颜根本没法看。美颜算法需要用到GPU编程,需要懂图像处理算法的人,没有好的开源实现,要自己参考论文去研究。难点不在于美颜效果,而在于GPU占用和美颜效果之间找平衡。GPU虽然性能好,但是也是有功耗的,GPU占用太高会导致手机发烫,而手机发烫会导致摄像头采集掉帧,可能原因是过热会导致CPU降低主频。
编码,肯定要采用硬编码,软编码720p完全没希望,勉强能编码也会导致CPU过热烫到摄像头。硬编码兼容性又是一个大坑,android上要有人去填。编码要在分辨率,帧率,码率,GOP等参数设计上找到最佳平衡点。
传输,自己做不现实,交给CDN服务商吧,也就是贵了点,相信有志于做直播平台改变世界的你不差钱。假设2W PCU大约每月带宽费用100万左右,因为清晰流畅的720p要1.5mbps左右。CDN只提供了带宽和服务器间传输,发送和接收端的网络连接抖动缓冲还是要自己写的。不想要卡顿,必然要加大缓冲,会导致延迟高,延迟高影响互动性,要做权衡。
解码,也肯定要硬解码,目前手机普遍支持硬解了,只是android上还是有兼容性大坑要填。
渲染,这个难点不在于绘制,而在于音画同步,目前几个直播做得都不好。
此外音频还有几个坑要填,比如降噪,音频编码器的选择,各种蓝牙耳机,各种播放模式的适配等,如果你想做主播和观众连线聊天,还有个回声消除问题。
以上是媒体模块,还有信令控制,登录、鉴权、权限管理、状态管理等等,各种应用服务,消息推送,聊天,礼物系统,支付系统,运营支持系统,统计系统等。
后台还有数据库,缓存,分布式文件存储,消息队列,运维系统等。
这些显然不是一个程序员能解决的,如果真的有这样的高手,请联系我,无论你现在薪水多少,我都出两倍。
第一期至少要融资2000万RMB,组建至少10人的技术团队,10人的产品运营团队,争取3个月产品上线,半年达到5W在线(2w 根本不够)然后融资1个亿,或许还有希望一搏。
也许有人对带宽问题存疑,请参考欢聚时代15年四季度财报,带宽成本为人民币1.611亿元,折合每月5000+万,当然不能用这个数去推算在线人数,因为YY采购量很大所以带宽平均成本低,而且YY不只是高清直播,还有很大比例的500kbps左右码率的直播,还有相当一部分带宽是靠P2P解决的。总之带宽非常贵。
链接:https://www.zhihu.com/question/42162310/answer/105746193
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
1 、首先内容产生方就是推流端,现在主流的 IOS、安卓,IOS比较简单,就是那个几个机型,基本大家适配都很好。但是安卓的碎片化是非常严重的,大量的精力都需要做对安卓的适配,而且软编耗电量普遍非常高,手机用了一会就会发烫,都担心会不会爆炸。用户体验就是在不同的网络情况下,上传的视频有可能会卡,有可能不连贯,报各种各样的错误,这个是作为一个开发者他自己不可能去适配的。说白了从用户那边提的需求就是推流端不能卡,画质要好,不能太烫,这是我们接触到的客户真正提的问题,是我们从有点偏技术的角度抽取出来的,它背后对应的是哪些事情。
2 、然后是分发网络。分发网络其实躲在一个很后面的地方,用户其实看不见的。真正对分发网络提需求用户也提不出来,所以基本这部分需求都会提给播放端,提的需求也是不能卡,不能花屏,首屏一定要快,一点就要看到,还不能把延时弄的太大。其实这些很多都是和源站分发网络有关系的,只是用户看不到这个需求会跟后面的播放器接在一起。
像首屏时间,就是用户点开就要看,以前那些开源架构就是 rtmp server,它是做不到一点开就能看的,现在一些开源的国内资源写得也比较好了,可以看到。我们是自己开发的,所以也花了一些工作,能保存之前的关键帧的信息,用户一点开就能看,这个就是很细节的东西了。如果这个做不好的话,会黑屏、绿屏,或者是半天看不着图像。
3、在播放器这边也是我们在接业务的时候,遇到用户投诉最多的,因为所有的问题都是在观看的时候体现的,所有的雷都得是播放器的同学去扛。这个需求也是不能卡,不能延迟太高。如果延迟高了,要追回来,追的时候声音不能变,最好是追的策略也能自己控制,这是用户真正提出来的需求。
要满足这些需求,我们需要做好多分辨率的适配,保证好流畅性,保证好我们追赶的策略不会出现任何异常。所以这三个端很多是相互耦合的,像推流和分发在一起,要保障好用户的流畅性和画质,分发和播放器在一起要保证好低延时和播放的流畅。所有的这些需求里共同的一点就是不能卡顿。
<img src=”https://pic3.zhimg.com/305d29e8d0c2d3317d34286f2c75dcba_b.jpg” data-rawwidth=”803″ data-rawheight=”322″ class=”origin_image zh-lightbox-thumb” width=”803″ data-original=”https://pic3.zhimg.com/305d29e8d0c2d3317d34286f2c75dcba_r.jpg”>
这个是我们的系统架构图。最下层是依托金山的云服务,因为我们已经有了很好的平台,提供了我们计算资源,提供了存储,提供了很多自建的节点,当然还不够多,我们还是个融合 CDN,然后提供了数据分析的能力。我们依托它做了橙色的这一层,就是我们自己的核心,流媒体直播,然后围绕这个核心我们在做的回看点播、在线转码、鉴权、内容审核。
1.回看点播:因为这不是一个短视频录播的项目,而是一个直播,直播就决定它的并发不会很高,内容不会很多,热点比较少。如果你不回看的话,用户很难维持它的日活,很难维护用户黏度,所以用户一定会要求做回看的。
2.在线转码:推流端其实做了很多把更好的画质想尽办法传上来的工作,投了很多人力来做。传上来之后,观看也在移动端,它不一定看得了。如果他看不了怎么办?我们就需要在线转,在线转码其实承担的更多更重要的事情。
3.鉴权:用户都不想被盗链,尤其是推流的时候,如果我不鉴权,谁都可以来推。所以这是必须要有的
4.内容审核:现在我们没有办法帮他做到自动审核,技术还不够。现在做到的是截图,按用户指定的时间定期截图,这样的话,用户就可以请一些外包来看是不是有敏感内容,是不是要下线,这个对于现在这种三四秒延迟的直播来说非常重要。你做不到的话,没准政策因素你就做不下去了。
5.数据分析:一部分是依托金山已有的,一部分是我们自己做的,因为我们延迟性,时效性要求更高。客户会经常大半夜突然提出一个主播看起来特别卡,问你为什么,要是像以前那种方式,一个小时生成报表,然后出体验图,告诉他为什么卡了,客户可没有这个耐心。我们现在基本能做到5秒间隔就出之前的各种问题定位,这个定位包括从源站收集的数据画的曲线。还有从端上,如果端上用户允许的话,推流和拉流端我们都会有上报数据,几个曲线一拟合,我们就知道问题出在哪里。
采集是播放环节中的第一环,iOS 系统因为软硬件种类不多,硬件适配性较好,所以比较简单。Android 则不同,市面上硬件机型非常多,难以做到一个库适配所有硬件。PC 端的采集也跟各种摄像头驱动有关,推荐使用目前市面上最好用的 PC 端开源免费软件 OBS: https://obsproject.com/
前期准备:
「80% 的主播没有美颜根本没法看。」不光是美颜,很多其它的视频处理如模糊效果、水印等也都是在这个环节做。目前 iOS 端比较知名的是 GPUImage 这个库,提供了丰富端预处理效果,还可以基于这个库自己写算法实现更丰富端效果:
https://github.com/BradLarson/GPUImage
Android 也有 GPUImage 这个库的移植:https://github.com/CyberAgent/android-gpuimage
同时,Google 官方开源了一个伟大的库,覆盖了 Android 上面很多多媒体和图形图像相关的处理:
https://github.com/google/grafika
链接:https://www.zhihu.com/question/42162310/answer/122869096
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
目测题主的朋友是创业公司,在预算方面还是比较紧的,就不要考虑传统CDN从后两种之间选择好了。建议是去这几家公司的官网对比一下价格。我这里截了几张图,从上到下分别是七牛云,Upyun和星域。
<img src=”https://pic3.zhimg.com/3af23c2e2d98136dc95f90dee19fce9a_b.png” data-rawwidth=”425″ data-rawheight=”143″ class=”origin_image zh-lightbox-thumb” width=”425″ data-original=”https://pic3.zhimg.com/3af23c2e2d98136dc95f90dee19fce9a_r.jpg”>
七牛云
<img src=”https://pic4.zhimg.com/91496f4cc60d13564597f261b57b355b_b.png” data-rawwidth=”557″ data-rawheight=”132″ class=”origin_image zh-lightbox-thumb” width=”557″ data-original=”https://pic4.zhimg.com/91496f4cc60d13564597f261b57b355b_r.jpg”>
Upyun
<img src=”https://pic2.zhimg.com/d59c24f4e6505a5b02f3a171fe536649_b.png” data-rawwidth=”558″ data-rawheight=”174″ class=”origin_image zh-lightbox-thumb” width=”558″ data-original=”https://pic2.zhimg.com/d59c24f4e6505a5b02f3a171fe536649_r.jpg”>
星域CDN直播
不同的CDN厂商,根据不同流量区间价格不一样,按流量计费和按带宽计费也是不一样的。
直播平台的带宽成本比较高,这时价格之间的差异对选择天平的倾斜影响还是相当大的。或者,也可以找一些免费送流量的公司体验一下,这样可以无需充值就能感受到服务的效果。比如说:七牛0-10GB就是完全免费的,星域注册也会送100G。另外,如果数据量够大的话,星域的单价比起其他家明显会低很多。
另外,可以通过观察CDN企业服务的直播平台来认识他们的实力。毕竟,大公司在采购时会有很严格的要求,基本上能通过的也都是经过九九八十一难,“剩者为王”。自己列了一张表,不一定全,仅供参考。
<img data-rawheight=”554″ data-rawwidth=”2082″ src=”https://pic3.zhimg.com/796f64a730685cd5afdd0a81b7f4a502_b.jpg” class=”origin_image zh-lightbox-thumb” width=”2082″ data-original=”https://pic3.zhimg.com/796f64a730685cd5afdd0a81b7f4a502_r.jpg”>
从CDN说回直播本身,在拉流之后就是视频的解码、渲染等等,这一块对于硬件的要求比编码会低一些,技术上难度也会小一点。这里边也有一些细节,比如软硬码自动切换,连麦互动,H.265解码,动态追帧,播录一体化这些。每一个细节,都有可能带来用户体验上的差距。
当然,以上说的只是直播平台技术里视频的一部分,楼上
老师说的很好,音频、礼物、数据库甚至支付都是不得不考虑的事情。至于技术准备和资金门槛,只能说:以一个创业公司的资金和资源从零做起的话,很多问题其实确实是不太容易解决的。一个好的直播平台,光是技术的解决方案上百万就是杯水车薪,而且要找到靠谱的人才能画好这笔钱。尤其是赶上这轮资本寒冬,直播平台里边老大老二基本分出来了,如果现在想融到两千万然后拿出上千万搞技术——未必可行。
好在国内市场足够大,允许各种各样的竞争者同时出现,所以最近有一些做云计算和CDN的厂商,干脆把直播的技术解决方案整合成了SDK,卖给创业公司。
<img src=”https://pic4.zhimg.com/a005993bad653d9d3c243287959ddf8f_b.png” data-rawwidth=”558″ data-rawheight=”418″ class=”origin_image zh-lightbox-thumb” width=”558″ data-original=”https://pic4.zhimg.com/a005993bad653d9d3c243287959ddf8f_r.jpg”>
这类SDK能做的事情,还是比较多的,网上找来了张图,题主和大家也可以参考一下。而且,这一类解决方案因为相对标准化,所以成本相当低,价格也不高。当然,做这种事情的门槛不低,基本上都是比较大的CDN厂商在做。
比如文章上边提到的星域,就是直接把视频推拉流、采集、转码之类的技术打包在了一起,同时优化各个环节。毕竟,CDN行业的竞争很激烈,价格也是逐年下跌,所以服务商们为了找自己的差异化竞争点,还是很卖力气的。
总结起来,一是直播平台在技术方面的要求很高,尤其是CDN一块专业性很强,想完全用自己的技术解决不现实;二是,要么舍得砸钱招BAT技术团队,要么就用标准化的技术解决方案——毕竟直播平台技术只不过决定着及格线,真正的核心竞争力在于产品和运营。如果真的有那么多钱,还不如把技术上省下来的钱花在网红的签约和入驻上,对吧!