Claire's Blog

直播點播錄播 录播、点播、直播傻傻分不清楚？1篇文章帮你搞定 直播原理介紹 直播理论 直播系統搭建所用到的技術原理 技術人員看過來！詳細的直播原理介紹！ CDN直播系统的优化 網絡視頻直播的原理是什麼？ 視訊編解碼 H264/AVC 視訊編解碼一些基本知識 H.264/AVC視訊編解碼技術詳解 壓縮畫質比較 H.264 / MPEG4 / AVC 壓縮編碼 H.264 Profile and Level , H.264的類型與等級說明 H264編碼中Baseline Main High簡介 轉 音視頻封裝格式、編碼格式知識 推流介紹 OBS Wirecast vMix XSplit 第二課的主題：實況的硬體與軟體 串流格式介紹 什麼是串流與 HLS 串流協議…

前言 要說到影片的編碼與封裝，就要先聊聊影片是怎麼產生的。相信大家小時後都有看過翻頁動畫吧，就是由很多張圖片組成的書，在快速翻書時就可以看到一幅連續的動畫，如下圖: 影片的原理也是如此，一張張的照片，經過快速的連續切換，就成為了動態影片。但是這樣子的原始影片大小非常的可觀，若影像的每個畫素的三個顏色RGB各需要一個位元組儲存，每一個畫素需要3位元組，解析度1280×720的影像的大小為2.76M位元組，若每秒FPS為25偵，所需的位元率會達到553Mb/s。這種大小不論是儲存或用網路傳輸都是有困難的，因此編碼壓縮勢在必行。 資料壓縮的難題 音檔和視訊有著完全不同的編碼方式和壓縮理論，音訊編碼的難點在於延時敏感、卡頓敏感、噪聲抑制(Denoise)、回聲消除(AEC)、靜音檢測(VAD)、混音演算法等…每個項目都有各別的演算法去深究如何優化音訊的擷取。 而視訊壓縮編碼的難點則在於編碼效率和編碼複雜度的平衡。例如H.265較H.264在相同的位元率之下有更好的畫質呈現、更小的檔案大小，但相較起來，編碼的複雜度約增加了近十倍。但在實際的應用當中，大多數狀況的編碼端及解碼端的電腦資源不固定，因此在編碼複雜度和編碼效率中取得平衡則是很重要的事。 H264和H265的比較圖 來源: H.264和H.265（HEVC）深度解析及對比 影片壓縮衡量單位 位元速率 網路影音多媒體包括音視頻在單位時間內的資料傳輸率時通常使用碼流或位元速率來表示，代表每秒傳輸或處理的位元量(資料流量)，單位 Mbps (Mb/s) 。 亦可說是所需的最低下載速度，下載速度越低，需越高的壓縮，尤其是破壞性壓縮，故位元速率會影響到影片品質。 相同解析度下，位元率越高，每秒包含的資訊越多，檔案越大、壓縮比越小，影音品質越佳，越吃頻寬及電腦的運算能力，配備不夠好者可能會很卡。 使用較低的位元速率輸出，在靜止畫面差異較小，動態畫面容易產生色塊，畫質低落，整體較不清晰。 我們可以從位元速率去推算最終整個串流檔案的大小，完整的影片則包括『視頻』及『音頻』兩個軌道，其公式如下: 檔案大小（MB為單位） = （音訊編位元速率（KBit為單位）/8 + 視訊編位元速率（KBit為單位）/8）× 影片總長度（秒為單位 而音檔的位元速率公式如下: 位元速率(Bit Per Second) = 取樣率（Hz） x 採用位數 x 聲道數 通常，影片位元速率會受到FPS(每秒幀數)、解析度(指輸出的影像尺寸)、編碼方式(有VBR、CBR、ABR三種)、壓縮演算法(如:H.264、H.265和VP9)影響，音檔則受到取樣率、採用位數(指單次取樣儲存時所占大小，例如電話就是3kHZ取樣的7位聲音，而CD是44.1kHZ取樣的16位聲音)以及聲道數影響，以上幾項的選擇目標是達到位元速率的最小化和播放畫質最佳化之間的理想的平衡。 下面針對上面提到的幾個名詞做解釋: FPS FPS是Frames Per…

網路串流服務介紹 近年來影音相關的服務越來越火紅，許多的社交軟體都用直播影片來取代舊有的圖文內容。雖然網路影音服務在2000年左右就已經出現，但由於當時的移動設備和網路頻寬的限制，使得網路影音的發展受到很多限制。而在2013年後網路直播開始爆發，進入了直播影片的年代，一開始的網路直播以PC為主，而在移動設備普及後，各種社群媒體的APP更是紛紛支援直播串流功能。因為直播串流的普及、電腦設備及網路速度的進步下，也新興了如了Youtuber、實況主、直播主等這種專門經營此區塊的行業，可謂是非常火紅且受到矚目的一個領域。近年來，通信行業也更多的走向網路化，通訊軟體如Line、Facetime等，漸漸取代了過去的電話、簡訊。最近因5G和IoT的發展，未來應有更多的領域會走向網際網路化。 所有網路影音相關的服務，大致分為『點播』、『直播』和『錄播』。 所謂點播，其英文為Video On Demand，簡稱VOD。其中Demand意為需求，從字面上理解點播，指的是使用者點選想要看的影片，並將該影片使用實時串流的方式播放出來。相關的服務如:Netflix、Apple TV、HBO等… 直播的英文為Live broadcast，則是直播音視頻會以媒體流的形式推到服務器上（推流）。如果有觀眾收看直播，服務器收到用戶的請求後，會把視頻傳輸到網站、APP、客戶端的播放器，即時播放串流影片。相關的服務平台有Youtube、Facebook Live、Twitch等… 錄播: 一個完整的錄播系統包含了錄製剪輯、直播推送、影片處理等核心功能，配備了相關的軟體和硬體。能夠按照標準產出比較高質量的影片內容，較多使用在線上教學系統上。 直播服務的原理 而這30天的系列文章，我們主要會著重在直播的研究，一個完整的直播服務會牽涉到非常多面項領域的技術，從視頻/音頻處理，圖形處理，視頻/音頻壓縮，CDN分發，即時通訊等技術等，每個項目都有很深的技術背景，都需要以年來計算的去鑽研，因此許多部份只會提及基本概念(但光概念就有一大堆艱深知識了…XD…推薦這個系列文，把許多概念知識都整理的很清楚: 30天之即時網路影音開發攻略(小白本)) 本系列文主要介紹的重點會放在開源串流伺服器SRS的架設與影片品質調校上(以及相關必要知識)的介紹。 一般來說，一個影片的直播流程要經過以下環節: 採集影像 —> 影像處理 —> 編碼 —> 封裝 —> 推流 —> 串流伺服器 —> 拉流 —> 解封裝 —> 解碼 —> 播放 各個環節都有相關的技術或現成可使用的軟體，如下圖為以SRS伺服器的流程為例： 其中，上述的事情發生在三個端點: 直播主的電腦、串流伺服器、觀眾的電腦，各個事件發生的地點如下圖: 採集:…