完美世界国际版下载,遮天,完美世界官网

語音識別技術原理概述！

2021年12月14日

Zoom杰出科學家，曾任職于Facebook和百度硅谷的Awni Hannun最近寫了一篇論文預測未來十年語音識別技術的發(fā)展。在這篇論文中，作者首先回顧了過去十年（2010-2020）中，語音識別技術發(fā)展的時間線，接著給出了如何做預測的相關經(jīng)驗，最后預測了語音識別技術未來十年的研究熱點和應用熱點。

論文鏈接：https://arxiv.org/pdf/2108.00084.pdf

回顧

從2010年到2020年的十年間，語音識別和相關技術取得了顯著進步。圖1展示了過去十年中語音識別研究、軟件和應用發(fā)展的時間線。這十年見證了基于手機的語音助手的推出和流行。亞馬遜Alexa和Google Home等遠場設備也已發(fā)布并大量涌現(xiàn)。

圖1 語音識別技術在2010年到2020年之間的時間線

由于深度學習的興起，自動語音識別的單詞錯誤率顯著降低，部分原因使得這些技術得以實現(xiàn)。深度學習在語音識別中取得成功的關鍵驅(qū)動因素是：1）海量轉(zhuǎn)錄數(shù)據(jù)集的管理；2）圖形處理單元的快速進步；以及3）學習算法和模型架構(gòu)的改進。

由于這些因素，語音識別器的單詞錯誤率在整個十年中持續(xù)且顯著改善。在兩個最近的研究測試中，自動語音識別在單詞錯誤率指標上已經(jīng)擊敗了專業(yè)的轉(zhuǎn)錄員。

這一顯著進展引發(fā)了一個問題：到2030年的未來十年還有什么可以做？下面，我嘗試回答這個問題。但是，在開始之前，我想首先分享一些關于預測未來這個一般問題的經(jīng)驗。這些靈感來自數(shù)學家（以及計算機科學家和電氣工程師）Richard Hamming，他特別擅長預測計算的未來。

關于預測未來的相關知識

Richard Hamming在《The Art of Doing Science and Engineering》中做出了許多預測，其中許多已經(jīng)實現(xiàn)。這里有幾個例子

他預測，“到2020年，由應用領域的專家來編寫程序而不是讓計算機專家將是相當普遍的做法。”
他預測神經(jīng)網(wǎng)絡“代表了編程問題的解決方案”，并且“它們可能會在計算機的未來發(fā)揮重要作用?！?/span>
他預測了通用而非專用硬件、模擬數(shù)字和高級編程語言的流行。
早在交換機實際發(fā)生之前，他就預計使用光纖電纜代替銅線進行通信。

關于技術預測的一個普遍說法是，短期預測往往過于樂觀，而長期預測往往過于悲觀。這通常歸因于技術進步呈指數(shù)級增長的事實。圖2顯示了如果我們從當前假設來看，進展與時間呈線性關系的樂觀推斷。過去十年（2010?2020年）語音識別的進步是由兩個關鍵軸上的指數(shù)增長推動的。分別是是計算（例如每秒浮點操作）和數(shù)據(jù)集大小。圖2是否適用于未來十年的語音識別還有待觀察。

圖2 進展與時間的關系

我相信下面的很多預測都會被證明是錯誤的。在某些方面，尤其是在涉及更具爭議性的預測時，這些確實更像是對未來的愿望清單。關于這一點，讓我用計算機科學家Alan Kay的名言結(jié)束本段：預測未來最好的方法就是去創(chuàng)造它。

研究方向的預測

半監(jiān)督學習

預測：半監(jiān)督學習將繼續(xù)存在。特別是，自我監(jiān)督的預訓練模型將成為許多機器學習應用程序的一部分，包括語音識別。

作為研究科學家，我的部分工作是招聘，這意味著要進行大量面試。我已經(jīng)面試了一百多名從事各種機器學習應用程序的候選人。很大一部分人，尤其是自然語言應用程序，依賴預訓練模型作為其支持機器學習的產(chǎn)品或功能的基礎。自監(jiān)督預訓練已經(jīng)在工業(yè)應用中普遍存在。我預測到2030年，自我監(jiān)督的預訓練將在語音識別中同樣普遍。

過去三年的深度學習是半監(jiān)督和自我監(jiān)督的年份。該領域無疑已經(jīng)學會了如何使用未注釋的數(shù)據(jù)改進機器學習模型。自監(jiān)督學習已經(jīng)使許多最具挑戰(zhàn)性的機器學習任務受益。在語言任務中，最先進的轉(zhuǎn)錄已經(jīng)被自我監(jiān)督模型超越。自監(jiān)督和半監(jiān)督現(xiàn)在很常見，并在計算機視覺和機器翻譯中創(chuàng)下了記錄。

語音識別也受益于半監(jiān)督學習。第一種方法是自監(jiān)督預訓練，其損失函數(shù)基于對比預測編碼。這個想法很簡單：訓練模型來預測給定過去音頻的未來幀。第二種方法是偽標記。同樣，這個想法很簡單：使用經(jīng)過訓練的模型來預測未標記數(shù)據(jù)的標簽，然后在預測的標簽上訓練一個新模型。偽標簽起作用的原因和機制是有趣的研究問題。

自我監(jiān)督的主要挑戰(zhàn)是規(guī)模和泛化性能。目前只有最頂級的行業(yè)研究實驗室有資金大規(guī)模地進行監(jiān)督訓練。作為一個研究方向，監(jiān)督學習是大多數(shù)實驗室和業(yè)界不太容易接近的。

研究意義：考慮到可以在更少數(shù)據(jù)上進行有效訓練的輕量級模型，自監(jiān)督學習將更容易實現(xiàn)。相關的研究方向包括輕量級模型的稀疏性、更快訓練的優(yōu)化以及結(jié)合先驗知識以提高樣本效率的有效方法。

邊緣計算

預測：大多數(shù)語音識別將在設備端或移動邊緣進行。

這個預測有幾個原因。首先，將數(shù)據(jù)保存在設備上而不是將其發(fā)送到中央服務器更加私密。數(shù)據(jù)隱私的趨勢將帶來設備端的計算需求。如果模型需要從用戶的數(shù)據(jù)中學習，那么訓練應該在設備上進行。

首選邊緣計算的第二個原因是延遲。從絕對值來看，10毫秒和100毫秒之間的差異并不大。但前者遠低于人類的感知延遲，后者則遠高于。谷歌已經(jīng)展示了一種在設備上進行的語音識別系統(tǒng)，其準確度幾乎與良好的服務器端口系統(tǒng)一致。從實用的角度來看，設備上系統(tǒng)難以察覺的延遲使得與設備的交互感覺更加靈敏，因此更具吸引力。

最后一個原因是100%的可用性。即使沒有互聯(lián)網(wǎng)連接或不穩(wěn)定的服務，識別器也能工作，這意味著它會一直工作。從用戶交互的角度來看，大部分時間都有效的產(chǎn)品和每次都有效的產(chǎn)品之間存在很大差異。

研究意義：設備上識別需要計算量小、功耗低的模型。模型量化和知識蒸餾（訓練較小的模型以模擬更準確的較大模型）是兩種常用的技術。不太常用的稀疏性是另一種生成輕量級模型的方法。在稀疏模型中，大部分參數(shù)（即隱藏狀態(tài)之間的連接）為零，可以有效地忽略。在這三種技術中，我認為稀疏性是最有前途的研究方向。

我相信我們已經(jīng)挖掘了量化的最大價值，即使在不太可能的情況下將量化從 8 位進一步減少到 1 位，我們只能獲得八倍的增益。對于蒸餾，我們還有很多東西要學。但是，我相信揭示蒸餾工作的機制將使我們能夠直接訓練小模型，而不是走迂回的路線，先訓練大模型，然后再訓練第二個小模型來模仿大模型。

這使得稀疏性成為輕量級模型最有前途的研究方向。正如“彩票假設”之類的發(fā)現(xiàn)所證明的那樣，我們關于稀疏性在深度學習中的作用有很多需要了解。從理論上講，稀疏性帶來的計算收益可能是巨大的。實現(xiàn)這些收益將需要開發(fā)用于評估稀疏模型的軟件，可能還有硬件。

字錯誤率

預測：到30年，可能更早，研究人員將不再發(fā)表類似于“使用模型架構(gòu)Y提高基準X上的單詞錯誤率”的論文。

正如您在圖3中看到的，兩個最常研究的語音識別基準的單詞錯誤率已經(jīng)飽和。部分問題是我們需要更嚴格的基準供研究人員研究。最近發(fā)布的兩個基準可能會刺激語音識別領域的進一步研究。但是，我預測這些基準會隨著模型和計算的擴展而迅速飽和。

圖3 兩個數(shù)據(jù)集上的字錯誤率

問題的另一部分是，我們已經(jīng)來到了一個境況，即學術基準上的單詞錯誤率改進不再與實用價值相關。幾年前，圖3中兩個基準的語音識別單詞錯誤率打敗了了人類的單詞錯誤率。然而，在大多數(shù)情況下，人類比機器更能理解語音。這意味著單詞錯誤率作為我們語音識別系統(tǒng)質(zhì)量的衡量標準與理解人類語音的能力沒有很好的相關性。

最后一個問題是，隨著模型和數(shù)據(jù)集越來越大，以及計算成本的增加，最先進的語音識別研究變得越來越難以獲得。一些資金充足的工業(yè)實驗室正迅速成為唯一可以進行此類研究的地方。隨著進步變得越來越慢，離學術界也越來越遠，這部分領域?qū)⒗^續(xù)從研究實驗室轉(zhuǎn)向工程組織。

更豐富的表達

預測：對于依賴語音識別器輸出的下游任務，轉(zhuǎn)錄將被更豐富的表達所取代。此類下游應用程序的示例包括對話代理、基于語音的搜索查詢和數(shù)字助理。

下游應用程序通常不關心逐字轉(zhuǎn)錄；他們關心語義正確性。因此，提高語音識別器的單詞錯誤率通常不會提高下游任務的目標。一種可能性是開發(fā)一個語義錯誤率并用它來衡量語音識別器的質(zhì)量。這是一個具有挑戰(zhàn)性但有趣的研究問題。

我認為更有可能的結(jié)果是通過語音識別器為下游應用程序提供更豐富的表達形式。例如，不是傳遞單個轉(zhuǎn)錄，而是傳遞捕獲每個可能性的不確定性的網(wǎng)格（如圖4所示）可能更有用。

圖4 一個基于語音識別加權的編碼網(wǎng)格示例

個性化

預測：到2030年，語音識別模型將針對個人用戶進行深度個性化。

語音的自動識別與人類對語音的解釋之間的主要區(qū)別之一在于上下文的使用。人類在相互交談時會依賴很多上下文信息。此上下文包括對話主題、過去所說的內(nèi)容、噪音背景以及唇部運動和面部表情等視覺線索。對于斷章取義的簡短話語（即長度小于10秒），我們已經(jīng)或即將達到語音識別的最優(yōu)錯誤率。我們的模型正在盡其所能使用數(shù)據(jù)中可用的信息。為了繼續(xù)提高機器對人類語音的理解，需要將上下文作為識別過程的更深層次的一部分。

做到這一點的一種方法是個性化。針對患有語言障礙的個人用戶的個性化模型將單詞錯誤率改善了64%。個性化可以對識別質(zhì)量產(chǎn)生巨大影響，特別是對于在訓練數(shù)據(jù)中代表性不足的群體或領域。我預測到2030年，我們將看到更加普遍的個性化。

研究意義：設備上的個性化需要在本地進行的訓練，這本身就需要輕量級的模型和某種形式的弱監(jiān)督。個性化需要可以根據(jù)給定用戶或上下文輕松定制的模型。將此類上下文納入模型的最佳方法仍然是一個研究問題。

應用預測

轉(zhuǎn)錄服務

預測：到2030年，99%的轉(zhuǎn)錄語音服務將通過自動語音識別來完成。人工轉(zhuǎn)錄員將執(zhí)行質(zhì)量控制并糾正或轉(zhuǎn)錄更困難的話語。轉(zhuǎn)錄服務包括例如為視頻添加字幕、轉(zhuǎn)錄采訪以及轉(zhuǎn)錄講座或演講。

語音助手

預測：語音助手會變得更好，但是需要一個過程。語音識別不再是更好的語音助手的瓶頸。瓶頸現(xiàn)在完全在語言理解領域，包括保持對話的能力、多重上下文響應以及更廣泛的領域問答。我們將繼續(xù)在這些所謂的AI?complete問題上取得進展，但我不認為它們會在2030年得到解決。

我們是否會生活在智能家居中，始終傾聽并響應我們的每一個聲音？

不。

我們會佩戴增強現(xiàn)實眼鏡并用聲音控制它們？

到2030年不會。

結(jié)論

這些預測表明，未來十年對于語音識別和口語理解的發(fā)展可能與前十年一樣令人興奮和重要。在語音識別達到對每個人來說一直有效的狀態(tài)之前，我們還有許多研究問題需要解決。然而，這是一個值得努力的目標，因為語音識別技術是進行更流暢、更自然交互的關鍵組成部分。

上一篇：第十屆全國認知神經(jīng)語言學國際學術研討會（第1號通知）下一篇：美國名校大牛實驗室招聘科研助理啦！

回顧

關于預測未來的相關知識

研究方向的預測

應用預測

結(jié)論

最熱資訊

熱門標簽