當6億用戶習慣每晚通過QQ發送語音和進行視頻通話，或則在群里與網友語音接龍完成一場Pia戲，又或是與好友一起聚會語音答題的時侯，你們可曾想過，在不同場景下仍然清晰、流暢的QQ音視頻體驗背后，究竟是哪些黑科技在支撐這種場景中“聲”與“話”的美好？
去年11月16日舉行的微軟2021開發者會議期間，會議官網更新了一則案例——《助力：AI語音降噪構建QQ音視頻通話新體驗》，作者正是QQ音視頻通話技術團隊。作為微軟的優秀應用案例，騰訊QQ團隊在該文中詳盡解密了語音提高技術在QQ音視頻功能中的研制與應用。
利用，QQ搭建AI降噪模型訓練框架
在現在的應用市場中，音視頻通話功能幾乎已成為APP的標配。2021年10月份中國區下載榜前100名中，超過70%的APP配備音視頻通話功能。音視頻功能的體驗，是評判一款APP體驗是否優秀的重要指標。
而優化音視頻通話質量，降噪算法是核心技術之一。
目前，主流降噪方案主要有傳統降噪和AI降噪兩種。傳統降噪方式估算量低，具有實時進行語音降噪的優勢，但與此同時，因其基于物理和數學原理進行推論，過程中難免基于人認知的理想先驗假定，這促使傳統降噪對實際場景中頻發的多種類、非平穩噪音表現不佳。
AI降噪是近來盛行的基于數據驅動的降噪方式，才能有效的應對各類突發的非平穩噪音，但前期須要經過大量的數據訓練，以及搭建合適的數據模型作為基礎。而模型在聯通端的布署，須要權衡模型大小、降噪療效、CPU占用率和顯存占用率等多個誘因，由此給降噪技術的實現帶來了一定的挑戰。
為解決6億用戶對QQ音視頻的龐大需求，騰訊團隊基于開源機器學習平臺，搭建了AI降噪與噪音場景分類的并行訓練框架，并設計了音頻降噪、音質提高和模型優化算法。
噪音數據的多樣性是提升降噪模型泛化性的關鍵，為此，在訓練模型時，騰訊QQ團隊通過若干等時長音頻數據的“投喂”和場景訓練，結合合適的數據擴展，進一步提高了模型泛化能力，結合精細化設計的網路結構，才能讓AI降噪模型適應生活中常見的幾百種噪音，為用戶提供具有AI加持的智能通訊體驗。
同時，騰訊QQ團隊還利用Lite的量化功能降低模型規格，在模型的降噪療效基本不受影響的前提下，極大提高了性能優勢并成功布署到產品功能中。
AI降噪算法+分餾技術模型優化，構建實時、高質量的清晰通話體驗
在案例中，騰訊QQ團隊強調，AI降噪算法包括音頻降噪模塊和音效提高模塊兩大方面。
音頻降噪模塊主要是通過針對帶噪音音頻中的干凈人聲進行建模，再提取出帶噪聲頻的卷積特點量子視頻，將帶噪音音頻與干凈音頻的的卷積特點進行對比和估算，進而使AI對人聲之外常見的開門聲、鍵盤聲、走路聲等音頻具備更精準的辨識能力和降噪處理，從吵鬧環境中剝離出干凈語音。
在此基礎上，騰訊QQ團隊又加入了音效提高模塊，以平衡降噪幅度，確保噪音消除的愈發干凈，同時防止造成其它有用的音頻被消聲，確保實時降噪過程中“有用的信息都進來，無用的噪聲都隔離”。
當代人生活更加多元，飯店、咖啡館、車廂、影院以及街道、小區等不同場景，陰天、雨天、臺風上思不同天氣，也都伴生著不同種類的噪音，也都有可能對用戶的音視頻體驗帶來干擾。
為測試AI降噪面向不同場景的深度優化能力，騰訊QQ團隊還選定了辦公場景下常見的百種噪音：鼠標聲、關門聲、風扇聲等噪聲，結合干凈人聲根據0dB、5dB、10dB和15dB雜訊制做混和音頻，分別測試原始降噪模型以及采用分餾技術提高后的AI--模型的表現。
測試結果顯示，短時目標清晰度(STOI)與語音質量的感知評估（PESQ)均有所提高，而且隨著降噪量的提高，AI降噪療效的優勢能夠進一步突顯。
優質的社交功能體驗，常常藏在用戶“看不見”的地方
社交軟件幾乎搶占了當代人使用手機的大半時間，它除了是人們日常相處中至關重要的工具，同時也緊密關系著用戶體驗與社交質量。
而在每一條文字或語音信息的背后，在每一通音頻或視頻通話的背后量子視頻，都有來自無數環節的技術支持,每一個環節的好壞，也都關系著用戶體驗的優劣——用一句比較流行的話來說，就是“用盡了四肢力氣，才會變得毫不費勁”。
騰訊QQ團隊基于研制的降噪技術，就能通過AI算法帶來智能的降噪功能和清晰、干凈的音視頻體驗，對于行業難點之一的音頻降噪同時保證音效療效，也有了針對性的優化方案，對語音質量和視頻通話帶來更好的技術保障。
騰訊QQ仍然專注社交與溝通，旨在于提供優質的社交體驗。許多音視頻相關的功能如趣味變音、語音暫停等功能都率先出現在QQ中。這種功能也遭到了年青人的普遍喜愛。獲悉，騰訊QQ未來還將在AI基礎算法、模型方面強化研究，拓展更多元的社交應用場景。
附表：
推動：AI語音降噪構建音視頻通話新體驗