HTML5實時語音通話聊天MP3壓縮傳輸3KB每秒

2024-09-05 07:19:31

字體：大中小

來源：轉載

供稿：網友

自從Recorder H5 GitHub開源庫優(yōu)化后，對邊錄邊轉碼成小語音片段文件實時上傳服務器這種操作支持非常良好，因此以前不太好支持的H5語音通話已經有了更好的突破空間。因此花了兩晚時間打造了一個H5語音通話聊天的demo。

歡迎在線把玩： https://xiangyuecn.github.io/Recorder/

一、把玩方法

準備局域網內兩臺設備(Peer A、Peer B)用最新版本瀏覽器(demo未適配低版本)分別打開demo頁面（也可以是同一瀏覽器打開兩個標簽）
勾選頁面中的H5版語音通話聊天，在Peer A中點擊新建連接
把Peer A的本機信手動復制傳輸給Peer B，粘貼到遠程信息中，并點擊確定連接
把Peer B自動生成的本機信息手動復制傳輸給Peer A，粘貼到遠程信息中，并點擊確定連接雙方P2P連接已建立，使用頁面上方的錄音功能，隨時開啟錄音，音頻數據會實時發(fā)送給對方

局域網H5版對講機:joy:

二、技術特性

（1）數據傳輸

github demo中考慮到減少對服務器的依賴，因此采用了WebRTC P2P傳輸功能，無需任何服務器支持即可實現局域網內的兩個設備之間互相連接，連接代碼也算簡單。有服務器支持可能就要逆天了，不過代碼也會更復雜。

如果正式使用，可能不太會考慮使用WebRTC，用WebSocket通過服務器進行轉發(fā)可能是最佳的選擇。

WebRTC局域網P2P連接要點（實際代碼其實差不多，只不過多做了點兼容）：

/******Peer A(本機)******/var peerA=new RTCPeerConnection(null,null)//開啟會話，等待遠程連接peerA.createOffer().then(function(offer){    peerA.setLocalDescription(offer);    peerAOffer=offer;});var peerAICEList=[......] //通過peerA.onicecandidate監(jiān)聽獲得所有的ICE連接信息候選項，如果有多個網絡適配器，就會有多個候選//創(chuàng)建連接通道對象，A端通過這個來進行數據發(fā)送var peerAChannel=peerA.createDataChannel("RTC Test");/******Peer B(遠程)******/var peerB=new RTCPeerConnection(null,null)//連接到Peer ApeerB.setRemoteDescription(peerAOffer);//開啟應答會話，等待Peer A確認連接peerB.createAnswer().then(function(answer){    peerB.setLocalDescription(answer);    peerBAnswer=answer;});//把Peer A的連接點都添加進去peerB.addIceCandidate(......peerAICEList)var peerBICEList=[......] //通過peerB.onicecandidate監(jiān)聽獲得所有的ICE連接信息候選項，如果有多個網絡適配器，就會有多個候選var peerBChannel=... //通過peerB.ondatachannel得到連接通道對象，B端通過這個來進行數據發(fā)送/*******最終完成連接********///連接到Peer BpeerA.setRemoteDescription(peerBAnswer);//把Peer B的連接點都添加進去peerA.addIceCandidate(......peerBICEList)/*peerA peerB分別等待peerA/BChannel.onopen回調即完成P2P連接，然后通過監(jiān)聽peerA/BChannel.onmessage獲得對方發(fā)送的信息，通過peerA/BChannel.send(data) 發(fā)送數據。*/

（2）音頻采集和編碼

由于是在我的 Recorder庫中新加的demo，因此音頻采集和編碼都是現成的，Recorder庫有好的兼容性和穩(wěn)定性，因此節(jié)省了最大頭的工作量。

編碼最佳使用MP3格式，因為此格式已優(yōu)化了實時編碼性能，可做到邊錄邊轉碼，16kbps 16khz的情況下可做到2kb每秒的文件大小，音質還可以，實時傳輸時為3kb每秒，15分鐘大概3M的流量。

用wav格式也可以，不過此格式編碼出來的數據量太大，16位 16khz接近50kb每秒的實時傳輸數據，15分鐘要37M多流量。其他格式由于暫未對實時編碼進行優(yōu)化，使用中會導致明顯卡頓。

降噪、靜音檢測等高級功能是沒有的，畢竟是非專業(yè)人員:joy: 要求高點可以，但不要超出范圍太多啦。

（3）音頻實時接收和播放

接收到一個音頻片段后，本應該是立即播放的，但由于編碼、網絡傳輸導致的延遲，可能上個片段還未播放完（甚至未開始播放），因此需要緩沖處理。

因為存在緩沖，就需要進行實時同步處理，如果緩沖內積壓了過多的音頻片段，會導致語音播放滯后太多，因此需要適當進行對數據進行丟棄，實測發(fā)現網絡正常、設備性能靠譜的情況下基本沒有丟棄的數據。

然后就是播放了，本應是播完一個就播下一個，測試發(fā)現這是不靠譜的。因為結束一個片段后再開始播放下一個發(fā)出聲音，這個過程會中斷比較長時間，明顯感覺得出來中間存在短暫停頓。因此必須在片段未播完時準備好下一個片段的播放，并且提前開始播放，達到抹掉中間的停頓。

我寫了兩個播放方式：