你是否經歷過這樣的場景？

當你去銀行購買理財產品時，理財經理告訴你需要進行錄音錄像采集，經過你的同意后，理財經理會打開放置在柜臺上的攝像頭，然后向你確認身份信息，提示產品風險，還會給你一些材料閱讀簽字。

這一過程涉及到了標準的金融雙錄。

所謂“雙錄”是銀行在銷售每筆理財產品時使用雙錄電子設備對過程進行錄音和錄像。采用雙錄初衷是為了規范銷售話術，確保消費者的知情權，避免工作人員違規操作等潛在風險。自2017年起，銀監會陸續出臺了一系列監管政策規范金融產品銷售行為，明確規定銀行業金融機構銷售專區必須實行雙錄。由此，雙錄成為各大銀行銷售理財產品的“規定動作”。

01

傳統金融雙錄質檢滯后，AI破解實時性難題

雙錄完成后，通常銀行的做法是派工作人員對雙錄內容進行質檢，檢查雙錄過程中是否存在違規操作、是否符合銀監會的要求以及銀行內部的操作流程等。

但這種方式是通過人工抽查做事后質檢，存在時效性滯后、風險覆蓋率低、人力成本高等問題。首先，如果質檢發現雙錄過程存在問題，實際上很多業務已經完成了，無法做到實時監管和介入，往往會給銀行造成重大損失；其次，龐大的人工質檢團隊依然難以對雙錄過程展開全面質檢，包括客戶不在場、人員更換、代客操作和收受回扣等非正常行為。

據統計，在傳統雙錄場景中，一筆雙錄業務平均大約花費1小時左右，一次性通過率小于50%，這種低通過率大部分源于操作不規范、話語遺漏等，影響了客戶購買理財產品的業務體驗，從而降低其購買意愿。

近幾年來，銀行因雙錄工作不規范被罰款的事件屢有發生，在一定程度上也暴露了傳統雙錄質檢系統的弊端。

銀行因雙錄不規范被罰款新聞截圖

不但如此，從銀行自身而言，建設一套人工雙錄質檢系統也是一件耗時耗力的工程。一方面，人工質檢需要銀行持續投入預算，每位客戶的錄音錄像都要保存下來，銀行要配備上百人的團隊做質檢，而質檢不合格的視頻又需要客戶到現場進行重錄，鑒于重錄操作難度大，造成客戶購買理財產品的體驗感差；另一方面，為了完成雙錄質檢，銀行將不同網點對應的不同銷售區域的數據收集上來，匯聚到銀行的數據中心，這中間處理非常大的數據量，花費時間周期較長。

基于對上述金融雙錄業務場景和行業痛點的深刻洞察，杭州諧云科技有限公司（簡稱諧云）的邊緣智能團隊發現，人工質檢的滯后性給金融雙錄業務造成了巨大的麻煩和漏洞，如果能引入音視頻分析、 AI語音識別、邊緣計算等技術，實現雙錄過程的智能化質檢，將對提升金融雙錄質檢的效率，改善客戶購買理財產品的體驗，降低銀行運營成本等具有重要意義。

02

飛槳 PaddleSpeech 讓雙錄質檢實時性升至秒級

諧云邊緣智能團隊自2021年開始從事算法研究，終于歷經一年半的時間，推出完整的雙錄智能質檢解決方案。該方案深度融合了百度飛槳的語音模型庫PaddleSpeech與自研的視頻AI分析算法模型，設計出雙錄語音視頻質檢方案，可為銀行降低90%的人力成本，使銀行從過去上百人的質檢團隊縮減到幾人；同時引入邊緣計算，實現雙錄實時質檢，相比于傳統的事后質檢，實時性從原來的小時級別提高到了秒級。

諧云雙錄智能質檢系統架構圖

這樣一來，方案既通過監測音視頻質量，對于錄制過程中出現的如無聲、花屏、黑屏等情況做出及時提醒，減少了人工雙錄過程中的錄制失敗、操作不規范等情況，使雙錄成功率整體提高30%，大幅改善了客戶購買理財產品的體驗；也能將部分稽查質檢工作提前到事中，盡早識別出危險情況，通過告警提前介入，最大程度減少風險產生的經濟損失，有助于銀行理財產品及代銷的銷售環節監管無真空，有效保護消費者的知情權，最終實現“買者自負，賣者盡責”。

據諧云智能邊緣團隊的AI技術專家陳雪兒介紹，該方案在語音識別研發部分用到飛槳語音模型庫PaddleSpeech。她提到，語音識別最終目的是還原雙錄中雙方的對話，呈現出像微信對話框一樣有身份、有順序、有內容、有標點的對話效果。分解到具體步驟，開始要對原始的音頻文件進行語音分割，若非雙聲道音頻，則要對說話人進行分類（指用聲音特征區分說話人身份，即聲紋識別），分類之后再做語音識別，形成文本，做標點恢復，得到最終的完整的對話結果。

其中，最后一個步驟語音識別部分，諧云研發團隊運用了飛槳語音模型庫PaddleSpeech里的模型U2Model執行語音識別任務。

之所以選擇飛槳PaddleSpeech模型庫，是因為陳雪兒團隊在研發雙錄質檢項目過程中，察覺到金融行業對于語音質檢有著強烈的需求，在對比市面上其他語音識別的開源產品框架后，他們認為飛槳框架具有明顯優勢，主要體現在資料全，為開發者提供了較多的預訓練模型和對應的語音數據集，同時模型精度較高。

2022年7月，諧云科技的技術專家在網絡平臺上發布了一篇題為《諧云課堂 | 淺談智能語音技術在雙錄質檢中的應用》的文章，百度飛槳的產品經理看到這篇文章找到了諧云，雙方建立聯系并迅速開啟了深度合作。9月，諧云科技和百度飛槳聯合組織金融直播課介紹雙錄質檢解決方案。11月，諧云與百度飛槳達成合作，正式加入飛槳技術伙伴計劃，雙方繼續在智慧雙錄、音頻質檢等領域積極探索。

03

借助飛槳將語音識別準確率提高到95%

聽說IT圈十個人里有九個是男性開發者，女生并不多，陳雪兒可以算是這個群體中獨特的存在。

剛開始聊到與AI相關的話題時，陳雪兒顯得有點兒靦腆。她坦言，自己是比較典型的理科生性格，本科學的是計算機專業，研究生考到浙江大學，主攻方向是人工智能。讀研期間，陳雪兒接觸到了浙江大學SEL實驗室（Soft Engineering Lab，SEL），由此與諧云結下了不解之緣。

2011年，浙江大學SEL實驗室在浙大計算機學院和超大規模信息實驗室支持下成立，后來實驗室不斷擴大，到2016 年孵化創立了諧云，目前已經發展到500多人。陳雪兒畢業后跟隨團隊老師來到了諧云工作，2020年，陳雪兒加入諧云邊緣計算團隊，并成為團隊技術骨干，她的團隊當時就意識到邊緣計算與 AI 的結合是未來的趨勢，于是諧云加速布局 “AI +邊緣計算”領域。

引入自研的邊緣計算是雙錄質檢系統的一大亮點。陳雪兒進一步解釋到，目前市場上大多數的IoT解決方案是把算法或應用以SDK等方式固化到設備中， 如果需要更新算法、應用，就要替換整個設備，在邊緣設備部署智能應用的情況下，當面臨應用更新迭代以及場景擴充時，這種傳統的方式明顯不夠靈活。

諧云采用云邊協同的方式，在銀行的數據中心部署云端智能管理平臺，能實現快捷方便地在云端直接一鍵部署應用，并進行更新迭代。同時，這種邊緣計算模式由于將算力下沉到了邊緣側，使得雙錄過程中的音頻視頻數據能就近獲得處理，大大提升了處理的時效性，為雙錄場景下實時處理音頻視頻數據處理提供了重要的框架支撐。

雙錄質檢系統的研發過程充滿了挑戰。陳雪兒回憶到，他們最開始以為這只是一個普通的語音識別的任務，后面才發現雙錄過程對說話人的身份和順序有嚴格的要求，因此說話人分類以及語音分割十分重要。此外，雙錄過程中會出現許多比較難以識別的短句，一些方言口音識別不好也可能造成質檢誤報等情況，他們針對這些問題都專門做了模型調整和優化。

在模型調整方面，諧云的團隊通過“算法和數據擴充”的方式，使用飛槳框架，基于飛槳語音模型庫PaddleSpeech對算法模型進行了重新訓練，由于PaddleSpeech中U2Model模型采用端到端的語音識別模式，在執行語音識別任務方面相對于傳統方法識別效果更佳、精度較高，經過訓練后的模型語音識別準確率提高到了95% 。

PaddleSpeech模型庫全景圖

據了解，諧云的雙錄智能質檢系統已在某城商行、某商業銀行等落地。未來，諧云將繼續推進更多銀行試點，優化雙錄質檢解決方案及應用場景。陳雪兒談到，她希望雙錄的能力將來可以加入到無人銀行的自助設備機以及遠程銀行的流程中，為金融行業數字化升級和智慧銀行添智賦能。

除了金融雙錄業務外，雙錄質檢系統還能應用到諸多音頻視頻需求的場景中，例如，視頻客服過程中實時監測內容和質量，金融貸款業務中監控違規行為等。

隨著金融數字化轉型步伐加快，以人工智能為代表的新技術正成為助力金融科技變革的一股新力量，除了上述提到的語音模型庫之外，飛槳深度學習開源開放平臺還包含PaddleNLP、PaddleVideo、PaddleDetection等眾多覆蓋不同場景和任務的模型庫和套件，正落地應用到金融業務各場景中幫助金融機構降險增效和智能化升級。