浙江裕瀚技術(shù)團(tuán)隊(duì)從客戶長(zhǎng)期技術(shù)需求點(diǎn)出發(fā)，立足自身團(tuán)隊(duì)長(zhǎng)期實(shí)踐經(jīng)驗(yàn)，為大家分享幾款常見開源流媒體服務(wù)軟件。

• 1. EasyRTSP?Server

1.1 簡(jiǎn)介

EasyRTSPServer是由EasyDarwin開源社區(qū)開發(fā)的一套非常穩(wěn)定、易用、支持多種平臺(tái)（包括Windows/Linux 32&64，Android，ARM hisiv100/hisiv200/hisiv300/hisiv400/hisiv500/hisiv600等平臺(tái)）的RTSP Server組件。

地址：https://github.com/EasyDarwin/EasyRTSPServer

圖1：典型RTSP直播中服務(wù)端-客戶端交互過(guò)程

1.2 場(chǎng)景應(yīng)用

適用于監(jiān)控安防行業(yè)IPCamera、NVR、編碼器、安卓監(jiān)控設(shè)備等，此外支持實(shí)時(shí)性極強(qiáng)的RTSP協(xié)議，也在在線教育、遠(yuǎn)程會(huì)議、實(shí)時(shí)賽事直播等即時(shí)視頻傳輸場(chǎng)景有廣泛應(yīng)用；

1.3 性能介紹

1）簡(jiǎn)化的RTSP流程：相比直接使用live555等復(fù)雜RTSP庫(kù)，EasyRTSPServer提供了簡(jiǎn)單的SDK調(diào)用接口，大大降低了開發(fā)難度。

2）豐富的示例代碼：提供了多個(gè)平臺(tái)的調(diào)用示例，如Android攝像頭采集、Windows桌面抓取等，加速開發(fā)進(jìn)程。

3）高效的性能：經(jīng)過(guò)實(shí)測(cè)，能穩(wěn)定支持高清晰度視頻的并發(fā)傳輸，滿足大規(guī)模部署需求。

4）周全的文檔支持：詳細(xì)的技術(shù)文檔和調(diào)用流程圖，幫助開發(fā)者快速理解和應(yīng)用。

• 2. SRS（Simple Real-Time Media Server）

2.1 簡(jiǎn)介

SRS是一個(gè)簡(jiǎn)單高效的實(shí)時(shí)視頻服務(wù)器，支持RTMP、WebRTC、HLS、HTTP-FLV、SRT等多種實(shí)時(shí)流媒體協(xié)議。Oryx是一個(gè)一體化、開箱即用、開源的視頻解決方案，可部署在云上或自建機(jī)房，以直播和WebRTC等能力賦能你的業(yè)務(wù)。

地址：https://www.ossrs.net/lts/zh-cn/

圖2：SRS4.0 單節(jié)點(diǎn)服務(wù)器架構(gòu)

2.2 應(yīng)用場(chǎng)景

1）安防領(lǐng)域：音視頻的垂直細(xì)分行業(yè)中龐大的市場(chǎng)之一，各種嵌入式的攝像頭正在和互聯(lián)網(wǎng)產(chǎn)生連接，SRS是其中關(guān)鍵的一環(huán)，實(shí)現(xiàn)了GB28181接入，轉(zhuǎn)換成互聯(lián)網(wǎng)直播和WebRTC協(xié)議。

2）在線教育：支持大規(guī)模在線課程直播，保證教學(xué)質(zhì)量和穩(wěn)定性。

3）新聞直播：快速響應(yīng)新聞事件，實(shí)現(xiàn)實(shí)時(shí)轉(zhuǎn)播。

4）電競(jìng)賽事：低延遲傳輸，確保觀眾不錯(cuò)過(guò)任何精彩瞬間。

5）企業(yè)協(xié)作：提供高效的遠(yuǎn)程辦公解決方案，包括視頻會(huì)議和屏幕共享功能。

6）社交媒體：整合到社交應(yīng)用中，讓用戶可以輕松分享即時(shí)動(dòng)態(tài)。

2.3 性能優(yōu)勢(shì)

1）基于協(xié)程技術(shù)，無(wú)異步回調(diào)難以維護(hù)的問題，SRS支持云原生標(biāo)準(zhǔn)（Docker鏡像、K8s部署、可觀測(cè)性日志和監(jiān)控指標(biāo)等），提供Oryx無(wú)門檻應(yīng)用；

2）SRS聚焦于實(shí)時(shí)流媒體網(wǎng)關(guān)，實(shí)現(xiàn)實(shí)時(shí)流媒體協(xié)議的接入和互相轉(zhuǎn)換以及不斷迭代，比如RTMP、HLS、WebRTC、HTTP-FLV和SRT等；

3）SRS是高性能流媒體服務(wù)器，是同類服務(wù)器的2~3倍性能，提供非常完整的概念和一致性設(shè)計(jì)，實(shí)現(xiàn)高效的流媒體應(yīng)用。

• 3. ZLMediaKit

3.1 簡(jiǎn)介

ZLMediaKit是一個(gè)基于C++開發(fā)的開源流媒體服務(wù)器。它提供了高性能的音視頻處理能力，支持常見的流媒體協(xié)議，如RTSP、RTMP、HLS和HTTP-FLV，并且具有低延遲和高并發(fā)處理能力。

地址：https://github.com/ZLMediaKit/ZLMediaKit

3.2 應(yīng)用場(chǎng)景

1）視頻直播：視頻直播是ZLMediaKit最常見的應(yīng)用場(chǎng)景之一。無(wú)論是大型活動(dòng)的現(xiàn)場(chǎng)直播，還是個(gè)人主播的直播間，ZLMediaKit都能夠提供穩(wěn)定、低延遲的流媒體傳輸服務(wù)。

2）視頻點(diǎn)播：除了直播，ZLMediaKit在視頻點(diǎn)播方面也有廣泛的應(yīng)用。通過(guò)支持HLS等協(xié)議，ZLMediaKit可以為用戶提供高質(zhì)量的視頻點(diǎn)播服務(wù)，滿足用戶隨時(shí)隨地觀看視頻的需求。

3）安防監(jiān)控：在安防監(jiān)控領(lǐng)域，ZLMediaKit也有著重要的應(yīng)用。通過(guò)支持RTSP協(xié)議，ZLMediaKit可以接入各種監(jiān)控設(shè)備，實(shí)現(xiàn)視頻監(jiān)控的實(shí)時(shí)傳輸和錄制。

4）教育培訓(xùn)：在在線教育和培訓(xùn)領(lǐng)域，ZLMediaKit可以用于實(shí)時(shí)課堂的直播和錄播，幫助教師和學(xué)生實(shí)現(xiàn)遠(yuǎn)程教學(xué)和互動(dòng)。

3.3 性能優(yōu)勢(shì)

1）高性能：ZLMediaKit采用C++編寫，充分利用了C++在性能和資源控制上的優(yōu)勢(shì)。其內(nèi)部實(shí)現(xiàn)了高效的網(wǎng)絡(luò)IO模型，支持多線程和異步IO操作，能夠在高并發(fā)環(huán)境下保持穩(wěn)定運(yùn)行。使用多路復(fù)用/多線程/異步網(wǎng)絡(luò)IO模式開發(fā)，并發(fā)性能優(yōu)越，支持海量客戶端連接。

2）低延遲：支持畫面秒開、極低延時(shí)(500毫秒內(nèi)，最低可達(dá)100毫秒)。 提供完善的標(biāo)準(zhǔn)C API,可以作SDK用，或供其他語(yǔ)言調(diào)用。

3）靈活擴(kuò)展：ZLMediaKit具有高度模塊化的設(shè)計(jì)，開發(fā)者可以根據(jù)自己的需求，靈活地進(jìn)行功能擴(kuò)展和定制。其豐富的API接口和插件機(jī)制，使得開發(fā)者可以方便地集成第三方功能或進(jìn)行二次開發(fā)。

4）服務(wù)完善：提供完整的MediaServer服務(wù)器，可以免開發(fā)直接部署為商用服務(wù)器。 提供完善的restful api以及web hook，支持豐富的業(yè)務(wù)邏輯。 打通了視頻監(jiān)控協(xié)議棧與直播協(xié)議棧，對(duì)RTSP/RTMP支持都很完善。全面支持H265/H264/AAC/G711/OPUS。

裕瀚科技產(chǎn)品部門期待能為廣大合作伙伴和客戶提供更加專業(yè)、全面的技術(shù)支持，與您攜手共創(chuàng)美好未來(lái)。

Q1：壓縮前后視頻質(zhì)量如何保證，能否滿足相關(guān)部門規(guī)范要求？

A：1）壓縮前后視頻總幀數(shù)、視頻分辨率、總時(shí)長(zhǎng)均不發(fā)生改變；2）壓縮后視頻不影響人工智能分析精度，主觀肉眼無(wú)差；3）壓縮后視頻質(zhì)量主觀視覺無(wú)損（圖像質(zhì)量評(píng)級(jí)5），客觀質(zhì)量PSNR≥32 dB，均滿足公安部對(duì)安防監(jiān)控施工的規(guī)范。

Fig1 壓縮前后參數(shù)對(duì)比圖

Q2：壓縮后視頻兼容性如何？

A：1）編碼格式：視頻壓縮編碼器支持H.264、H.265格式互轉(zhuǎn)，也可以保留原有格式輸出；2）設(shè)備支持對(duì)海康大華等SMART264/SMART265私有協(xié)議進(jìn)行兼容互轉(zhuǎn)，一般統(tǒng)一建議按照H.264標(biāo)準(zhǔn)數(shù)據(jù)流輸出；3） 支持ONVIF，GB28181等協(xié)議輸出，保障數(shù)據(jù)安全性和公安部對(duì)視頻安防協(xié)議要求。

Fig_2 各類編碼格式互轉(zhuǎn)

Q3：設(shè)備對(duì)高低溫環(huán)境運(yùn)行狀態(tài)如何？

A：1）設(shè)備支持-20~70℃環(huán)境中正常運(yùn)行工作；2）支持在-10℃以內(nèi)設(shè)備冷啟動(dòng)；3）設(shè)備歷經(jīng)國(guó)家電網(wǎng)、中石化/中石油/中海油、中船等高危高標(biāo)準(zhǔn)行業(yè)長(zhǎng)期考驗(yàn)，在網(wǎng)穩(wěn)定運(yùn)行設(shè)備超過(guò)20000臺(tái)。

Q4：設(shè)備部署對(duì)網(wǎng)絡(luò)架構(gòu)影響？

A：1）設(shè)備單端部署，后端無(wú)需專用解碼設(shè)備；2）設(shè)備并聯(lián)進(jìn)入交換機(jī)，對(duì)原有網(wǎng)絡(luò)架構(gòu)不影響。

Fig_3 單端并聯(lián)部署拓?fù)鋱D

Q5：設(shè)備穩(wěn)定性運(yùn)行如何保障？

A：設(shè)備按照電信級(jí)設(shè)備要求設(shè)計(jì)，單設(shè)備內(nèi)置定時(shí)重啟機(jī)制，支持設(shè)備遠(yuǎn)程升級(jí)；多設(shè)備由視頻管理平臺(tái)統(tǒng)一管理，管理平臺(tái)內(nèi)設(shè)故障遷移和實(shí)時(shí)告警機(jī)制，當(dāng)設(shè)備出現(xiàn)故障時(shí)，平臺(tái)發(fā)出告警信號(hào)并且同時(shí)啟動(dòng)故障遷移機(jī)制，保證系統(tǒng)穩(wěn)定運(yùn)行。

Q6：產(chǎn)品資質(zhì)情況如何，是否獲得公安部認(rèn)可？

A：編碼器產(chǎn)品通過(guò)嚴(yán)格的公安部一所檢測(cè)報(bào)告、ISO9000質(zhì)量管理體系認(rèn)證、軟件產(chǎn)品認(rèn)證，浙江電子所評(píng)測(cè)。

Q7：交換機(jī)型號(hào)如何選擇？

A：交換機(jī)性能要求較好，建議參考型號(hào)性能參考型號(hào)：DGS-1210-28（24口）、DGS-1210-52（48口）。選擇主要參照點(diǎn)有以下三個(gè)：1）換機(jī)的背板交換容量；2）交換機(jī)的緩存容量；3）交換機(jī)單端口的收發(fā)地址數(shù)量。

Q8：視頻壓縮效果如何？壓縮比如何設(shè)置？

A：常規(guī)動(dòng)態(tài)場(chǎng)景（交通，地鐵）壓縮比設(shè)置在4-8倍左右為宜，普通場(chǎng)景（園區(qū)，辦公）壓縮比設(shè)置在8-12倍左右為宜，靜態(tài)場(chǎng)景或衛(wèi)星場(chǎng)景壓縮比設(shè)置為15-30倍。

Q9：存儲(chǔ)型號(hào)如何選擇？

A：目前公司200路以上項(xiàng)目推薦使用大華EVS磁盤陣列，起始的DH-EVS5016S（16盤位）、DH-EVS5024S-R（24盤位）、DH-EVS5036S-R（36盤位）及DH-EVS5048S-R（48盤位），這些型號(hào)存儲(chǔ)使用ONVIF協(xié)議可接入最少200路視頻，同時(shí)硬盤支持最大10T型號(hào)。

Q10：攝像頭存儲(chǔ)容量計(jì)算？

A：1080P攝像頭使用4Mbps碼流存儲(chǔ)，一天存儲(chǔ)容量約43GB，一個(gè)月約1.3TB。方案需要考慮兩點(diǎn)：1）硬盤實(shí)際可用容量為標(biāo)稱值的90%，比如6TB硬盤實(shí)際可用容量約為5.4TB；2）存儲(chǔ)空間設(shè)計(jì)時(shí)需要預(yù)留20%以上冗余。

參考文獻(xiàn)

《數(shù)字視頻安防監(jiān)控系統(tǒng)基本技術(shù)要求》

《視頻安防監(jiān)控系統(tǒng)工程設(shè)計(jì)規(guī)范（GB50395）》

《視頻圖像重壓縮評(píng)測(cè)指標(biāo)與方法技術(shù)白皮書T/PVIT》

《民用閉路監(jiān)視電視系統(tǒng)工程技術(shù)規(guī)范（GB 50198-2011）》

《安全防范監(jiān)控?cái)?shù)字音視頻編解碼技術(shù)要求（GB25724-2010）》

《安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求（GB28181-2016）》

《信息安全技術(shù)網(wǎng)絡(luò)交換機(jī)安全技術(shù)要求（GB21050-2007）》

作者簡(jiǎn)介

賈春華：裕瀚科技產(chǎn)品總監(jiān)，多項(xiàng)發(fā)明專利，從事視頻編碼、超高清圖像處理等技術(shù)研究、開發(fā)及產(chǎn)品化工作。15年音視頻處理從業(yè)經(jīng)驗(yàn)，曾任職于神州數(shù)碼、中慶技術(shù)等科技企業(yè)，多次從0到1主持或深度參與音視頻產(chǎn)品開發(fā)設(shè)計(jì)經(jīng)歷。

1. 視頻內(nèi)容本質(zhì)

視頻是由一系列的連續(xù)圖像幀序列組成，圖像幀的連續(xù)播放則呈現(xiàn)出動(dòng)態(tài)影像(見Fig_1)。所謂視頻壓縮即視頻編碼技術(shù)，其目的是通過(guò)壓縮算法來(lái)去除視頻信息中的冗余，達(dá)到減少視頻文件空間占用的效果。比如監(jiān)控?cái)z像頭經(jīng)過(guò)采集后生成原始視頻，不經(jīng)視頻壓縮編碼處理，其源視頻數(shù)據(jù)量非常龐大，在進(jìn)行傳輸和存儲(chǔ)時(shí)，帶寬通道和存儲(chǔ)設(shè)備無(wú)法對(duì)如此巨大的數(shù)據(jù)量進(jìn)行有效支撐（見Fig_2），因此需要將源數(shù)據(jù)進(jìn)行視頻壓縮編碼處理。

Fig_1連續(xù)視頻幀

Fig_2 視頻采集編碼和視頻重壓縮技術(shù)示范

2. 視頻業(yè)務(wù)流程

區(qū)別于傳視頻處理流程（見Fig_3），智能流程加入了更多人工智能處理技術(shù)，是的視頻的呈現(xiàn)方式出現(xiàn)了多元化的變化，除了最初的屏幕呈現(xiàn)外，數(shù)字孿生，智能化應(yīng)用，虛擬現(xiàn)實(shí)等場(chǎng)景變化對(duì)視頻最終呈現(xiàn)形式提出了更高的要求，也推動(dòng)著視頻產(chǎn)業(yè)進(jìn)入新的發(fā)展階段，并廣泛應(yīng)用于視頻通信、遠(yuǎn)程醫(yī)療、智能制造、智能安防、廣電傳媒等諸多行業(yè)中。視頻編碼技術(shù)的蓬勃發(fā)展和視頻多元化應(yīng)用需求推動(dòng)整個(gè)視頻產(chǎn)業(yè)鏈的重大變革，然而目前視頻編碼技術(shù)發(fā)展仍然滯后于視頻發(fā)展的需求，推動(dòng)視頻技術(shù)迭代更新仍是整個(gè)產(chǎn)業(yè)的迫切需求。

Fig_3 視頻業(yè)務(wù)流程說(shuō)明圖（傳統(tǒng)流程VS.智能流程）

3. 視頻產(chǎn)業(yè)鏈

視頻產(chǎn)業(yè)鏈由元器件層，設(shè)備層，服務(wù)層和應(yīng)用層組成（如Fig_4）。元器件層包括顯示面板，光學(xué)器件，圖像傳感器，鏡頭等等元器件以及存儲(chǔ)芯片、圖像處理、視頻編碼芯片，處理器芯片、以太網(wǎng)口、PHY等，是整個(gè)視頻產(chǎn)業(yè)的基礎(chǔ)支撐。設(shè)備層包括4G/WiFi等無(wú)線、有線寬帶、衛(wèi)星傳輸?shù)染W(wǎng)絡(luò)傳輸設(shè)備以及手機(jī)/PC/平板、NVR/解碼器、TV/機(jī)頂盒、投影顯示、VR/AR頭顯等終端呈現(xiàn)設(shè)備。服務(wù)層包括視頻云服務(wù)、視頻方案服務(wù)、安全服務(wù)、增值服務(wù)、集成服務(wù)等，服務(wù)層是視頻產(chǎn)業(yè)鏈的核心環(huán)節(jié)，也是國(guó)內(nèi)各大廠商競(jìng)爭(zhēng)最激烈的行業(yè)，根據(jù)服務(wù)的提供方式可分為服務(wù)提供與方案自研兩大類。應(yīng)用層的細(xì)分場(chǎng)景是視頻產(chǎn)業(yè)鏈的生命力所在，目前已經(jīng)滲透到廣播電視、監(jiān)控安防、教育辦公、醫(yī)療健康、智能交通、智能制造等諸多行業(yè)中，基于該領(lǐng)域的創(chuàng)新是千行百業(yè)數(shù)字化轉(zhuǎn)型的重要賦能力量。

Fig_4 視頻產(chǎn)業(yè)鏈結(jié)構(gòu)圖

4. 視頻壓縮本質(zhì)

視頻數(shù)據(jù)之所以能夠內(nèi)編碼壓縮是因?yàn)橐曨l數(shù)據(jù)中存在大量信息冗余，視頻本質(zhì)是連續(xù)的圖像幀序列，由于人眼的短暫停留效應(yīng)產(chǎn)生了運(yùn)動(dòng)感，連續(xù)圖像幀之間相似度極高，存在大量的信息冗余。而通過(guò)算法去除數(shù)字化視頻數(shù)據(jù)中信息冗余，以最精簡(jiǎn)的方式予以表達(dá)的過(guò)程即為視頻編碼。

空間冗余：視頻圖像在水平方向相鄰像素之間、垂直方向相近像素之間的差別很小，具有較高的相似度；

時(shí)間冗余：視頻中相鄰幀之間存在很多相似的圖像序列，可利用幀之間的相似性進(jìn)行壓縮來(lái)減少存儲(chǔ)空間；

空間冗余和時(shí)間冗余是視頻編碼中最常見的信息冗余，特別是在靜止場(chǎng)景或緩慢移動(dòng)的場(chǎng)景中，編碼過(guò)程中可以通過(guò)運(yùn)動(dòng)估計(jì)、時(shí)間預(yù)測(cè)和變換編碼等技術(shù)來(lái)去除。

信息熵冗余：人們用于表達(dá)某一信息所需要的比特?cái)?shù)總比理論上表示該信息所需要的最少比特?cái)?shù)要大，我們可以根據(jù)不同像素的出現(xiàn)概率不同，概率高的像素分配較少字節(jié)，概率低則分配較多的字節(jié)；

視覺冗余：人的視覺系統(tǒng)對(duì)于某些細(xì)節(jié)信息的感知能力是有限的，例如在低分辨率或低幀率的情況下，人眼無(wú)法分辨某些細(xì)節(jié)。編碼時(shí)可以一定程度舍棄這部分信息冗余，而幾乎不影響人眼視覺效果。

數(shù)據(jù)冗余：在視頻數(shù)據(jù)中，可能存在一些數(shù)據(jù)冗余，例如在某些場(chǎng)景中，物體的顏色或紋理等屬性是固定的，可以通過(guò)對(duì)這些屬性進(jìn)行編碼來(lái)減少數(shù)據(jù)冗余。

5. 視覺效果概念

隨著電子信息技術(shù)的快速發(fā)展，視頻的呈現(xiàn)形式和視覺效果也出現(xiàn)了多元化變化，從開始標(biāo)清，高清，全高清發(fā)展到藍(lán)光、超高清，另外對(duì)視頻幀率、色域、色位深也提出了更高要求。

Tab_1 圖像清晰度定義

6. 有損壓縮和無(wú)損壓縮

有損壓縮：解碼還原出來(lái)的圖像/視頻/語(yǔ)音和原始文件會(huì)存在部分信息丟失或被替換的壓縮方式。由于有損壓縮往往壓縮的部分是人類視覺感知不明顯的區(qū)域，壓縮比相對(duì)較高，能夠很好適應(yīng)當(dāng)前的網(wǎng)絡(luò)傳輸和存儲(chǔ)現(xiàn)狀，被廣泛用于互聯(lián)網(wǎng)、安防、教育等行業(yè)。 目前我們?cè)诨ヂ?lián)網(wǎng)和安防領(lǐng)域看到的絕大部分視頻圖像文件（JPEG/JPG/WebP等）和視頻文件（H.264/HEVC/AVS）都是有損壓縮范圍。

無(wú)損壓縮：解碼還原出來(lái)的圖像/視頻/語(yǔ)音文件和原始文件完全一致。無(wú)損壓縮通常用于需要保留原始文件質(zhì)量的情況下，應(yīng)用范圍較窄，僅適用于醫(yī)學(xué)圖像（DCM）、遙感圖像（TiFF）、高清圖像處理（BMP，PNG）等少數(shù)領(lǐng)域。

Fig_5 圖像壓縮展示

7. 模擬視頻和數(shù)字視頻

模擬信號(hào)是指用可連續(xù)變化的物理量所表達(dá)的信息，在特定范圍內(nèi)有無(wú)數(shù)多個(gè)連續(xù)取值。而數(shù)字信號(hào)則在取值上是離散的、不連續(xù)的信號(hào)。模擬信號(hào)信息密度比數(shù)字信號(hào)更高，不存在量化失真，能夠真實(shí)物理量盡可能逼近的表達(dá)。

Fig_6 模擬和數(shù)字信號(hào)表達(dá)

（圖左為模擬信號(hào)表達(dá)，圖右為數(shù)字信號(hào)表達(dá)）

模擬視頻則是由連續(xù)的模擬信號(hào)組成的圖像視頻，是一種隨著時(shí)間變化連續(xù)的電信號(hào)。在早期我們接觸到視頻影響資料都是模擬視頻，由于其不適宜進(jìn)行長(zhǎng)期存放，難以多次復(fù)制，且圖像信號(hào)強(qiáng)度會(huì)隨著時(shí)間遷移而逐漸衰減，難以保持原有圖像視頻畫質(zhì)而逐漸倍淘汰。

數(shù)字視頻：以數(shù)字形式記錄的視頻，可以通過(guò)攝像頭直接采集得到的數(shù)字信號(hào)，數(shù)字視頻可進(jìn)行無(wú)數(shù)次復(fù)制而不失真，可長(zhǎng)期存放，并可以對(duì)視頻進(jìn)行非線性編輯處理等優(yōu)點(diǎn)而成為當(dāng)前視頻最主流形式。

作者：賈春華 ?

裕瀚科技產(chǎn)品總監(jiān)，多項(xiàng)發(fā)明專利，多次從0到1主持或深度參與B端產(chǎn)品開發(fā)和設(shè)計(jì)經(jīng)驗(yàn)，10+年視頻安防技術(shù)和產(chǎn)品經(jīng)驗(yàn)。

裕瀚科技算法團(tuán)隊(duì)和工程團(tuán)隊(duì)?wèi){借資深多年的視頻編碼技術(shù)基礎(chǔ)和長(zhǎng)期深耕行業(yè)用戶需求和場(chǎng)景管理經(jīng)驗(yàn)，緊緊圍繞視頻編碼數(shù)字化標(biāo)準(zhǔn)體系建設(shè)需求，融合工程實(shí)施技術(shù)與數(shù)字化技術(shù)，以客戶為中心，編寫了工業(yè)級(jí)視頻超壓縮設(shè)備企業(yè)標(biāo)準(zhǔn)（Q/311121 YHKJ 002-2019），并由公司CEO程志剛先生正式批準(zhǔn)、發(fā)布并組織實(shí)施。該標(biāo)準(zhǔn)制定后多次成為公安部一所和三所的對(duì)同行類產(chǎn)品認(rèn)證依據(jù)，得到行業(yè)眾多安防公司的高度認(rèn)可。

作為視頻壓縮編碼領(lǐng)域的深耕者，裕瀚科技綜合多方用戶需求，征求各行業(yè)企業(yè)和專家意見，將視頻壓縮編碼器產(chǎn)品核心要點(diǎn)制定為企業(yè)標(biāo)準(zhǔn)，嚴(yán)格執(zhí)行企業(yè)標(biāo)準(zhǔn)，并向全社會(huì)公開，接受行業(yè)客戶與技術(shù)專家的監(jiān)督，促進(jìn)行業(yè)健康發(fā)展與共同進(jìn)步！

根據(jù)公司標(biāo)準(zhǔn)負(fù)責(zé)人賈春華介紹，該“標(biāo)準(zhǔn)”歷經(jīng)多次編寫和完善，結(jié)合了多年項(xiàng)目實(shí)施經(jīng)驗(yàn)和行業(yè)用戶需求，具有較高的前瞻性、實(shí)用性和可操作性，為視頻智能壓縮設(shè)備建設(shè)專業(yè)化成套標(biāo)準(zhǔn)體系，對(duì)于規(guī)范當(dāng)前視頻壓縮智能化技術(shù)和提升行業(yè)產(chǎn)品標(biāo)準(zhǔn)有著積極的推動(dòng)作用。

基于圖像視頻編解碼與傳輸技術(shù)的持續(xù)發(fā)展和不斷創(chuàng)新，在國(guó)內(nèi)安防和家庭視頻領(lǐng)域已經(jīng)提出4K乃至8K的高清視頻需求。2018年AOM 聯(lián)盟（Alliance for Open Media，開放媒體聯(lián)盟）發(fā)布了新一代視頻編碼標(biāo)準(zhǔn)——AV1（Alliance for Open Media Video 1）；2019 年 3 月,數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組完成了 AVS3 基準(zhǔn)檔草案，性能超過(guò) AVS2 編碼 30%左右。2020年，F(xiàn)raunhofer HHI正式宣布了下一代視頻編解碼標(biāo)準(zhǔn)H.266/VVC（Versatile Video Coding）。相比H.264/H.265，VVC進(jìn)一步優(yōu)化了壓縮質(zhì)量，在同等畫質(zhì)下視頻碼率下降50%。

存儲(chǔ)、5G/6G和視頻壓縮關(guān)系

隨著存儲(chǔ)技術(shù)的不斷進(jìn)步和5G/6G的發(fā)展，未來(lái)存儲(chǔ)和傳輸不再成為瓶頸，那我們視頻壓縮技術(shù)的發(fā)展是必要的么？答案是非?？隙ǖ??！敖芪乃广Ｕ摗钡囊迹杭夹g(shù)進(jìn)步并非減少而是增加資源消費(fèi)量。雖然各行各業(yè)的技術(shù)專家和組織正在努力通過(guò)技術(shù)創(chuàng)新來(lái)發(fā)展更高的圖像視頻壓縮技術(shù)來(lái)降低整體帶寬和存儲(chǔ)的壓力，實(shí)際上壓縮效率的提高會(huì)進(jìn)一步刺激視頻用的需求不斷增長(zhǎng)，從1080P到4K/8K/16K乃至VR或元宇宙視頻場(chǎng)景，整體來(lái)看就是更高效的壓縮標(biāo)準(zhǔn)推動(dòng)了視頻行業(yè)的持續(xù)發(fā)展。我相信在未來(lái)4K/8K超高清、元宇宙視頻等先進(jìn)視頻應(yīng)用會(huì)得到進(jìn)一步發(fā)展。隨著視頻應(yīng)用的不斷演進(jìn)，更高效的視頻編碼解決方案也會(huì)不斷被提出。

疫情成為智慧安防關(guān)鍵詞

過(guò)去兩年時(shí)間，國(guó)內(nèi)除了用于緊急防疫處理的安防建設(shè)項(xiàng)目工程之外，其余方面的智慧安防類建設(shè)受限于政府資金、精力等整體進(jìn)展處于相對(duì)滯后的情況。由于疫情的持續(xù)性階段性的爆發(fā)，也發(fā)映出當(dāng)前整個(gè)智慧安防建設(shè)中存在較多的智能化不足，信息孤島等短板，也給下一階段的安防企業(yè)的產(chǎn)品和解決方案的發(fā)展提供了較為明確的指導(dǎo)方向。如果能抓住疫情下帶來(lái)的機(jī)遇和考驗(yàn)，在未來(lái)幾年將迎來(lái)全面發(fā)展。

雙碳計(jì)劃下企業(yè)實(shí)現(xiàn)轉(zhuǎn)型升級(jí)

碳達(dá)標(biāo)和碳中和目標(biāo)已經(jīng)上升成為國(guó)家發(fā)展戰(zhàn)略計(jì)劃，雙碳計(jì)劃關(guān)乎每個(gè)企業(yè)和個(gè)人，對(duì)于企業(yè)而言，加加速倒逼原先粗獷發(fā)展型轉(zhuǎn)變?yōu)榫G色智慧型。未來(lái)這方面將會(huì)產(chǎn)生大量的高新科技，幫助企業(yè)在擴(kuò)大生產(chǎn)的同時(shí)，合理利用能源，降低單位產(chǎn)品能耗，提升經(jīng)濟(jì)效益。具體到裕瀚科技，我們則是通過(guò)視頻壓縮技術(shù)和綜合視頻管理平臺(tái)兩大拳頭產(chǎn)品，一方面幫助企業(yè)降低存儲(chǔ)和帶寬成本，節(jié)約海量存儲(chǔ)帶來(lái)的電量消耗，另一方面綜合管理平臺(tái)能夠完成重點(diǎn)能耗設(shè)備管理，能耗能源分析，幫助企業(yè)實(shí)現(xiàn)綠色智慧運(yùn)行。

創(chuàng)業(yè)公司發(fā)展規(guī)劃建議

近幾年來(lái)，音視頻技術(shù)展現(xiàn)了迅猛的發(fā)展勢(shì)頭，在短視頻、直播、安防、元宇宙等行業(yè)都有亮眼的應(yīng)用案例，已經(jīng)逐漸成為新時(shí)代通信和互聯(lián)網(wǎng)的基礎(chǔ)設(shè)施之一。音視頻技術(shù)對(duì)高清、流暢、實(shí)時(shí)有著核心要求，但在實(shí)際的落地過(guò)程中，行業(yè)中仍存在諸多痛點(diǎn)問題亟待解決。裕瀚科技自創(chuàng)立之初就是定位于科技創(chuàng)新型技術(shù)企業(yè)，緊密圍繞音視頻市場(chǎng)業(yè)務(wù)痛點(diǎn)需求打造解決方案。從最初的視頻壓縮產(chǎn)品和視頻接入網(wǎng)關(guān)，解決視頻傳輸問題的產(chǎn)品供應(yīng)商，逐步完善業(yè)務(wù)體系，到今天發(fā)展成為視頻物聯(lián)網(wǎng)傳輸管理解決方案供應(yīng)商。

作者簡(jiǎn)介

程志剛，現(xiàn)任裕瀚科技創(chuàng)始人&CEO，畢業(yè)于東南大學(xué)自動(dòng)化系，20+年語(yǔ)音視頻處理技術(shù)研發(fā)和市場(chǎng)管理經(jīng)驗(yàn)。曾任職于科大訊飛、東方通信、三維通信等高科技上市企業(yè)。

隨著高清視頻技術(shù)的發(fā)展，視頻已經(jīng)成為占據(jù)國(guó)內(nèi)數(shù)據(jù)量最大的數(shù)據(jù)格式。同時(shí)隨著智慧城市的蓬勃發(fā)展，直播、短視頻等迅速崛起，視頻呈現(xiàn)出指數(shù)級(jí)增長(zhǎng)趨勢(shì)，在我們的生活和工作中，視頻無(wú)處不在。

經(jīng)過(guò)長(zhǎng)時(shí)間的發(fā)展，視頻憑借其信息豐富，效果直觀的方式，成為了記錄和展示信息最主要的方式。我們知道視頻是由連續(xù)的靜止圖像構(gòu)成，可以在相對(duì)很短的時(shí)間內(nèi)傳遞大量的信息。視頻壓縮與圖像壓縮類似，在視頻編碼壓縮的同時(shí)，除去基礎(chǔ)的圖像壓縮之外，需要加入的運(yùn)動(dòng)特性壓縮的考慮，才能達(dá)到較為滿意的壓縮效果。

• 有損壓縮&無(wú)損壓縮

有損壓縮：解碼還原出來(lái)的圖像/視頻/語(yǔ)音和原始文件存在差異，允許一定程度失真。我們?cè)谑忻嫔峡吹降慕^大部分音視頻文件都是經(jīng)過(guò)有損壓縮，由于有損壓縮往往壓縮的部分是人類感官注意不到或者感知頻率較低的部分，有損壓縮被廣泛的用于工業(yè)界相關(guān)程序。

無(wú)損壓縮：解碼還原出來(lái)的圖像/視頻/語(yǔ)音和原始文件完全一致。無(wú)損壓縮的比例很低，只應(yīng)用于少部分的圖像領(lǐng)域，不太適用于語(yǔ)音和視頻領(lǐng)域。主要應(yīng)用場(chǎng)景：部分尖端醫(yī)學(xué)圖像（DCM）、遙感圖像（TiFF）等。

• 視頻編碼標(biāo)準(zhǔn)&視頻封裝格式

視頻編碼標(biāo)準(zhǔn)：在國(guó)際和國(guó)內(nèi)組織的獨(dú)立和聯(lián)合開發(fā)中，產(chǎn)生了很多重要的視頻編解碼標(biāo)準(zhǔn)。視頻編碼標(biāo)準(zhǔn)的出現(xiàn)，完整地改變了由于各國(guó)的電視制式不一致，因此不能直接互通的混亂現(xiàn)象。最早地視頻是1988年誕生地H.261,此后延續(xù)的出現(xiàn)了H.263、H.264/AVC、H.264/HEVC、H.266/VVC。其中H.264和H.265成為現(xiàn)階段互聯(lián)網(wǎng)視頻和監(jiān)控安防等視頻領(lǐng)域應(yīng)用最廣泛地標(biāo)準(zhǔn)。此外還有AVS系列（AVS1/AVS2/AVS3）、SVAC系列（SVAC1.0/SVAC2.0）、VP8/VP9系列以及最新的AV1等視頻編碼標(biāo)準(zhǔn)。

視頻文件格式：很多初入音視頻領(lǐng)域的新手很容易搞混視頻文件格式（MP4/AVI/

RMVB等）和視頻編碼標(biāo)準(zhǔn)的區(qū)別。我們常見的AVI/MOV/FLV其實(shí)是一種視頻封裝格式，是一種視頻信息存儲(chǔ)的方式，一般由相應(yīng)的公司自行研發(fā)出來(lái)，部分視頻封裝格式帶有各自公司的私有的播放器才能播放。我們互聯(lián)網(wǎng)領(lǐng)域常見的類似AVI和WMV是就是由微軟推出的，以及RMVB是由 Real Networks公司推出。這些封裝格式相對(duì)應(yīng)用廣泛，絕大部分播放器都是實(shí)現(xiàn)自由視頻播放。監(jiān)控領(lǐng)域巨頭海康威視的PS、PES和大華的DAV的封裝格式相關(guān)體系封閉，往往需要該公司自己的播放器才能實(shí)現(xiàn)較為完整流暢的視頻播放體驗(yàn)。

• 分辨率/像素&視頻畫質(zhì)

分辨率/像素：視頻分辨率是指視頻寬高的像素?cái)?shù)值，單位Px。像素為視頻寬高像素值的乘積，數(shù)值上等于等于寬X高。我們常見的720P、1080P、4K就是指分辨率1280×720、1920×1080、3840×2160，分別對(duì)應(yīng)100萬(wàn)、200萬(wàn)，800萬(wàn)像素值。

視頻畫質(zhì)：視頻畫質(zhì)是指視頻壓縮后圖像和壓縮前的原始圖像的失真程度的描述，失真程度越低，畫質(zhì)越高。視頻畫質(zhì)的評(píng)價(jià)受主觀和客觀評(píng)價(jià)的影響很大，目前常見的評(píng)價(jià)畫質(zhì)標(biāo)準(zhǔn)有PSNR（峰值信噪比），MS-SSIM（層級(jí)相似度）、MOS（平均意見分）、MSE（均方誤差）等。

• 硬件編解碼和軟件編解碼

軟件編解碼：通過(guò)CPU方式來(lái)實(shí)現(xiàn)視頻的編碼和解碼過(guò)程；

硬件編解碼：通過(guò)顯卡GPU或者其他編解碼芯片（海思、TI、瑞芯微、全志、安霸等編解碼芯片）來(lái)實(shí)現(xiàn)視頻編解碼過(guò)程；

優(yōu)劣勢(shì)分析：軟件解碼相對(duì)而言，視頻解碼過(guò)程完整，畫質(zhì)清晰，能夠解碼全部的視頻格式，但由于通過(guò)CPU進(jìn)行工作，一方面進(jìn)一步會(huì)消耗所剩不多的CPU性能，同時(shí)也會(huì)產(chǎn)生較大的功耗和造成機(jī)器損耗，性價(jià)比低。硬件編解碼往往相對(duì)視頻播放流暢，但受限于芯片能力的影響，解碼出來(lái)的視頻格式受限。由于其相對(duì)較低設(shè)備功耗和高性價(jià)比，成為目前最為主流的視頻編解碼的應(yīng)用，尤為突出的是顯卡的廣受歡迎便是因其強(qiáng)大的視頻硬件編解碼能力和相關(guān)圖形處理能力。

1. 視頻壓縮概述

視頻是由連續(xù)的圖像幀序列組成，圖像的連續(xù)播放呈現(xiàn)出連續(xù)的動(dòng)態(tài)影像即為視頻。所謂視頻壓縮即視頻編碼技術(shù)，是指通過(guò)壓縮技術(shù)將原始的視頻格式轉(zhuǎn)化為另一種數(shù)字視頻格式，其目的在于減少文件空間占用。比如攝像頭經(jīng)過(guò)采集后直接生成的原始視頻，不考慮壓縮的話，其視頻數(shù)據(jù)量非常龐大，在網(wǎng)絡(luò)傳輸和數(shù)據(jù)存儲(chǔ)的過(guò)程中，帶寬資源和存儲(chǔ)設(shè)備無(wú)法支撐如此巨大的數(shù)據(jù)量，所以在進(jìn)行傳輸或者存儲(chǔ)前，需要將原始視頻數(shù)據(jù)進(jìn)行視頻壓縮處理。

2. 視頻編解碼器

視頻編解碼器是指一個(gè)能夠針對(duì)數(shù)字視頻文件或者視頻流進(jìn)行壓縮和解壓縮的程序或者設(shè)備。由于編解碼實(shí)現(xiàn)路徑和方式的不同，視頻編解碼器也分為硬件編解碼器和軟件編解碼器。目前主流的視頻編解碼器分為5個(gè)系列：H.26X系列（H.264/HEVC/VVC）、AVS系列（AVS1/AVS2/AVS3）、SVAC系列（SVAC1.0/SVAC2.0）、VP8/VP9系列以及最新的AV1。其中AVS系列和SVAC系列均是我國(guó)具有獨(dú)立知識(shí)產(chǎn)權(quán)的視頻編解碼標(biāo)準(zhǔn)。評(píng)價(jià)編解碼器優(yōu)劣的主要評(píng)價(jià)標(biāo)準(zhǔn)在于：壓縮比的高低、編解碼速度的快慢、編解碼功耗以及解碼兼容性。

3. 視頻壓縮的本質(zhì)

視頻可以被壓縮是因?yàn)榍昂髱瑘D像數(shù)據(jù)中存在大量的信息冗余，主要可以從以下四類進(jìn)行探討：

空間冗余： 同一圖像幀內(nèi)，相近像素之間的差別很小，具有較高的相似度；

時(shí)間冗余：視頻中相鄰的前后圖像幀之間，其中發(fā)生變化的像素占整張圖像像素的比例極其微小，存儲(chǔ)運(yùn)動(dòng)關(guān)系，該特點(diǎn)在監(jiān)控場(chǎng)景中尤為常見；

編碼冗余：不同像素的出現(xiàn)概率不同，出現(xiàn)概率高的像素分配較少的字節(jié)，概率低的分配較多的字節(jié)；

視覺冗余: 人眼視覺系統(tǒng)對(duì)不同像素顏色敏感度不同，編碼時(shí)可以丟棄這些冗余的信息，而幾乎不影響人眼視覺效果。

4. 視頻畫質(zhì)評(píng)價(jià)

談到視頻壓縮，就免不了要談到壓縮后的視頻畫質(zhì)。在監(jiān)控領(lǐng)域常見問題就是壓縮后視頻畫質(zhì)和原始視頻是否有區(qū)別，能否作為證據(jù)進(jìn)行溯源，是否會(huì)影響AI智能分析精度等；在互聯(lián)網(wǎng)領(lǐng)域大家就更關(guān)注壓縮后視頻畫質(zhì)是否會(huì)出現(xiàn)馬賽克等而影響用戶對(duì)視頻美觀程度和流暢度評(píng)價(jià)。

視頻編碼畫質(zhì)評(píng)價(jià)標(biāo)準(zhǔn)主要可以分為主觀評(píng)價(jià)和客觀評(píng)價(jià)，其中主觀評(píng)價(jià)標(biāo)準(zhǔn)是通過(guò)人眼直觀觀察進(jìn)行評(píng)分，是最為接近的用戶對(duì)視頻畫質(zhì)的整體反饋。但由于主觀評(píng)價(jià)的完成需要耗費(fèi)大量人力和時(shí)間，并且受人為的影響因素較大，這里暫時(shí)不深入進(jìn)行討論。

本文將從客觀評(píng)價(jià)標(biāo)準(zhǔn)簡(jiǎn)要闡述下視頻編碼畫質(zhì)的評(píng)價(jià)標(biāo)準(zhǔn)，主要介紹目前主流的全參考視頻質(zhì)量評(píng)價(jià)模型的兩種視頻評(píng)價(jià)標(biāo)準(zhǔn):PSNR（峰值信噪比）、MS-SSIM（結(jié)構(gòu)相似度）。

PSNR：目前最主流的畫質(zhì)評(píng)價(jià)方法，被公安部相關(guān)機(jī)構(gòu)和互聯(lián)網(wǎng)企業(yè)引用最多的評(píng)價(jià)方式；PSNR取值20~40之間，數(shù)值越大，畫質(zhì)越好。

MS-SSIM：通過(guò)感知結(jié)構(gòu)信息來(lái)評(píng)價(jià)畫質(zhì)，其結(jié)果更為接近肉眼感知效果；MS-SSIM取值0~1之間，數(shù)值越大，畫質(zhì)越好。