直播間新手常見技術(shù)問題解答--音畫不同步
對(duì)于播放器而言，它判斷一幀視頻和一幀音頻是否要在同一個(gè)時(shí)間渲染和播放，依靠的完全是該數(shù)據(jù)攜帶的時(shí)間戳信息。
如果內(nèi)容的生產(chǎn)端給音視頻數(shù)據(jù)打的時(shí)間戳本身就有問題的話，播放器也往往無能為力了，因此，音畫不同步問題，更多的時(shí)候，應(yīng)該從生產(chǎn)端去排查原因。
1 采集源距離太遠(yuǎn)
如果音頻源離麥克風(fēng)距離太遠(yuǎn)，那么，攝像頭采集到畫面后給出的時(shí)間戳，肯定要遠(yuǎn)小于麥克風(fēng)采集到同一時(shí)刻音頻給出的時(shí)間戳，因此會(huì)產(chǎn)生音畫不同步問題。
解決方案：音頻源盡可能離麥克風(fēng)設(shè)備近一點(diǎn)。
2采集設(shè)備內(nèi)部問題
攝像頭和麥克風(fēng)采集音視頻，在硬件上都會(huì)經(jīng)過一些信號(hào)處理模塊，如果處理延時(shí)不穩(wěn)定，則會(huì)導(dǎo)致輸出數(shù)據(jù)的時(shí)間不穩(wěn)定，從而導(dǎo)致應(yīng)用層獲取時(shí)間戳的時(shí)候產(chǎn)生誤差，帶來音畫不同步問題。
解決方案：極少數(shù)硬件/機(jī)型才會(huì)有，需要根據(jù)采集參數(shù)（如采樣率）做一些 Jitter 抖動(dòng)的矯正。
3 未使用采集的時(shí)間戳
如果在后續(xù)的某個(gè)環(huán)節(jié)修改了采集的時(shí)間戳，則非常大概率地會(huì)出現(xiàn)音視頻不同步問題。
? 音視頻算法處理模塊
比如：視頻經(jīng)過美顏、編碼后，重新更新為了處理后的的時(shí)間戳。
? 緩沖區(qū)導(dǎo)致的不同步
多線程程序中，往往會(huì)在不同線程之間共享一些幀緩沖區(qū)，緩沖區(qū)會(huì)導(dǎo)致音視頻對(duì)應(yīng)關(guān)系發(fā)生變化，如果從緩沖區(qū)取數(shù)據(jù)后，拋棄掉了原有的時(shí)間戳，重新使用新的當(dāng)前時(shí)間，那么，肯定會(huì)出現(xiàn)問題。
? 網(wǎng)絡(luò)傳輸導(dǎo)致的不同步
由于網(wǎng)絡(luò)的傳輸?shù)难訒r(shí)、丟包等原因，同一時(shí)刻的音視頻包不會(huì)正好同時(shí)準(zhǔn)確到達(dá)，如果在接收到了數(shù)據(jù)后再打上當(dāng)前的時(shí)間戳，肯定也會(huì)出現(xiàn)不同步問題。
4 時(shí)間戳出現(xiàn)回退或者紊亂
如果時(shí)間戳出現(xiàn)了回退，這樣的流，會(huì)導(dǎo)致播放器出現(xiàn)卡頓，因?yàn)椴シ牌鞯?master 主時(shí)鐘一般是單調(diào)遞增的，當(dāng)出現(xiàn)小于主時(shí)鐘的視頻幀后，一般會(huì)做丟棄處理，畫面不更新但是音頻還是在繼續(xù)播放，從而導(dǎo)致看起來聲音和畫面并沒有匹配上的問題。
解決方案：排查推流端時(shí)間戳是否單調(diào)線性遞增，或者排查服務(wù)端是否有對(duì)流的時(shí)間戳有過修改導(dǎo)致回退。
5 播放端性能問題
比如低端機(jī)型軟解 1080P 的高清碼流，會(huì)存在解碼不夠及時(shí)的問題，導(dǎo)致部分視頻解碼完成后，已經(jīng)遠(yuǎn)慢于當(dāng)前的音頻時(shí)鐘，只能丟棄，從而導(dǎo)致畫面更新不及時(shí)，與正在播放的音頻無法匹配上，從而產(chǎn)生音畫不同步的現(xiàn)象。
解決方案：使用硬解，選擇較低清的碼流，增大播放緩沖，等等。
6 馬賽克嚴(yán)重
馬賽克主要是指畫面中出現(xiàn)多處類似小方塊的圖像，導(dǎo)致畫面的局部或者整體看不清楚的情況。
7 視頻編碼參數(shù)配置原因
視頻的畫質(zhì)，是由它的編碼質(zhì)量決定的，壓縮得越厲害，畫質(zhì)損失就越嚴(yán)重，馬賽克就越多。
編碼器最重要的五個(gè)參數(shù)：畫質(zhì)級(jí)別、碼率、幀率、GOP 大小、碼控方式。
畫質(zhì)級(jí)別：H.264 有四種畫質(zhì)級(jí)別，Baseline profile，Extended profile，Main profile，High profile。級(jí)別越高，壓縮的效果越好，但算法復(fù)雜度更高，導(dǎo)致功耗也更高。
碼率：決定了視頻被壓縮的程度，碼率越低，丟失的信息也就越多，畫質(zhì)也就越差。但是，帶來的好處是占用的網(wǎng)絡(luò)帶寬會(huì)比較小，容易在互聯(lián)網(wǎng)上傳輸，不容易出現(xiàn)卡頓。
幀率：決定了視頻的流暢性，幀率越高，視頻越流暢，但每秒鐘編碼器要處理的數(shù)據(jù)量也就越大，同等碼率下壓縮出來的視頻質(zhì)量就越差。
GOP 大小：決定了視頻的延時(shí)，GOP 越小，延時(shí)就越小，但 GOP 小帶來的問題是關(guān)鍵幀數(shù)量多，數(shù)據(jù)量變大，因此，同等碼率下壓縮出來的視頻質(zhì)量就會(huì)越差。
碼控方式：一般編碼器都有固定碼率（CBR） 和 動(dòng)態(tài)碼率（VBR） 兩種碼控方式，前者是指碼率優(yōu)先，為了保證碼率盡可能穩(wěn)定，會(huì)主動(dòng)降低畫質(zhì)，因此容易出現(xiàn)馬賽克，后者是指畫質(zhì)優(yōu)先，會(huì)優(yōu)先保證畫質(zhì)，減少馬賽克，但碼率會(huì)浮動(dòng)很大。
當(dāng)然，還有一個(gè)重要的因素，就是編碼器本身的實(shí)現(xiàn)質(zhì)量，軟編一般可以保證在不同手機(jī)上效果一致，而硬編則完全依賴手機(jī)所使用的硬件平臺(tái)了。
8 推薦的編碼器參數(shù)配置
一般直播場(chǎng)景中，考慮到手機(jī)性能和功耗，一般畫質(zhì)級(jí)別采用的是 Baseline profile，GOP 通常設(shè)置為 1～3s，幀率一般在 15～24 幀，而碼率的配置，則需要根據(jù)推流的分辨率來決定，推薦的分辨率和碼率配置關(guān)系如下圖所示：
總之，關(guān)于視頻編碼與馬賽克的關(guān)系，我們只需要記住一個(gè)原則：送入編碼器的數(shù)據(jù)量越大，編碼壓縮得越厲害，丟失的圖像信息也就越多，數(shù)據(jù)解碼后的產(chǎn)生馬賽克也就越厲害。
9 圖像尺寸原因
一般攝像頭采集的圖像分辨率，跟最終推流的尺寸不一定完全匹配，當(dāng)攝像頭采集的分辨率大于推流尺寸的時(shí)候，需要先對(duì)畫面進(jìn)行剪裁處理，而當(dāng)攝像頭采集的分辨率小于推流尺寸的時(shí)候，則需要先對(duì)畫面進(jìn)行拉伸處理，然后再送入編碼器中編碼壓縮。
例如：小尺寸的畫面（比如：640 x 480），拉伸到大的尺寸（比如：1280 x 720），則很容易會(huì)產(chǎn)生模糊和馬賽克，這樣的畫面再送入編碼器中編碼，無論怎樣配置都無法再改善已經(jīng)產(chǎn)生的馬賽克了。
所以，為了降低馬賽克，我們必須要保證，攝像頭采集的分辨率，一定要大于最終推流的分辨率。
10 客觀條件原因
如果主播在光線非常暗的環(huán)境下，本身送入編碼器的圖像質(zhì)量也不會(huì)特別好，因此，同等條件下馬賽克也會(huì)相對(duì)嚴(yán)重些。
同樣，如果拍攝的是劇烈晃動(dòng)的畫面，劇烈變化的畫面信息量也要大很多，因此，編碼的復(fù)雜度會(huì)明顯增大，如果要保證碼率不會(huì)浮動(dòng)太大，就必然要降低輸出的圖像質(zhì)量，從而產(chǎn)生馬賽克現(xiàn)象。
如果直播應(yīng)用是主打這種光線暗的場(chǎng)景或者劇烈運(yùn)動(dòng)的畫面場(chǎng)景的話，為了降低馬賽克，可以考慮適當(dāng)將編碼參數(shù)配置得高 一點(diǎn)（比如：碼率高一點(diǎn)，幀率低一點(diǎn)等等），以抵抗環(huán)境因素帶來的影響。
11 關(guān)鍵幀丟失
還有一種馬賽克現(xiàn)象，是由于視頻流中丟失了關(guān)鍵幀，導(dǎo)致播放器解碼后花屏，從現(xiàn)象來看有點(diǎn)像馬賽克，但實(shí)際上跟上面討論的不是同一個(gè)問題。
————————————————
版權(quán)聲明：本文為CSDN博主「步基」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/wangbuji/article/details/121661187
================================
【新聞】
中國(guó)e直播帶貨供應(yīng)鏈金融13306003307(V同），
一件代發(fā)共享云倉(cāng)：主播減去了自己先采購(gòu)囤貨的問題，可以無壓力的開播賣貨。主播只要選定生廠商的抖音小店產(chǎn)品鏈接或快手小店產(chǎn)品鏈接，在自己直播間上了鏈接就可以賣，賣完由廠家小店訂單結(jié)算，廠家網(wǎng)店直接收款；直播帶貨主播直接分傭金；MCN機(jī)構(gòu)直接分管理費(fèi)。
中國(guó)E直播帶貨供應(yīng)鏈機(jī)構(gòu)協(xié)調(diào)廠家按規(guī)則48小時(shí)內(nèi)一件代發(fā)！
