解決方案:廣電采集系統IO優(yōu)化一例

　　廣電采集系統IO優(yōu)化實(shí)例

　　東瓜哥在上一篇文章中介紹了FVCOM系統（finite volume coastal ocean model）在氣象和海洋超算領(lǐng)域的IO優(yōu)化案例，網(wǎng)友反響不錯。這次給大家介紹一個(gè)廣電采集系統IO優(yōu)化的案例。必須指出的是，任何存儲系統都不可能在任何場(chǎng)景下都表現出最優(yōu)的IO性能，需要對其進(jìn)行微調?？梢哉f(shuō)，這是軟件定義存儲“場(chǎng)景化定制”的關(guān)鍵所在。久經(jīng)考驗的產(chǎn)品，出貨量越多，遇到的坑和場(chǎng)景越多，產(chǎn)品積累就越穩定、越優(yōu)秀。

　　廣電業(yè)務(wù)每一步都要跟存儲打交道

　　軟件定義存儲在廣電場(chǎng)景的應用

　　廣電產(chǎn)業(yè)涵蓋由監管、電視臺、制作公司、網(wǎng)絡(luò )電視臺等單位組成的產(chǎn)業(yè)生態(tài)。至于廣電行業(yè)的主營(yíng)業(yè)務(wù)，業(yè)內有很多叫法，比如媒體云、整站網(wǎng)、集成制作等，不管叫什么，整個(gè)過(guò)程都會(huì )涉及采集的步驟、編輯、播放、管理、存儲。每一步都會(huì )處理存儲，這次我們將重點(diǎn)放在采集

系統上。

　　采集、編輯、播放、存儲等過(guò)程與存儲密切相關(guān)

　　采集系統作為整個(gè)廣電系統的輸入源，其重要性不言而喻。其中涉及數字音頻、轉碼技術(shù)、聲音和合成處理等多項關(guān)鍵技術(shù)，存儲子系統能否持續輸出穩定的數據流是上述技術(shù)能否發(fā)揮作用的關(guān)鍵。

　　簡(jiǎn)單來(lái)說(shuō)，采集系統就是接收衛星傳輸數據，通過(guò)采集服務(wù)器存儲原創(chuàng )

碼流和轉換后的數據，為后續的編輯、播出、管理、存儲提供數據基礎。大致流程如下：

　　廣電行業(yè)數據采集業(yè)務(wù)

　　廣電采集IO特點(diǎn)：帶寬穩定，高并發(fā)

　　視頻流服務(wù)追求持續穩定的帶寬和足夠高的并發(fā)，但對時(shí)延不敏感。它對存儲系統的要求是鏈路需要足夠穩定，誤碼率低，這就對HBA控制器的硬件質(zhì)量、固件、驅動(dòng)穩定性提出了要求；另外，要求cache flash管理足夠穩定，一般來(lái)說(shuō)Disk flashing會(huì )影響前端IO性能。常規的方法是鎖定相應的頁(yè)面，從刷機到解鎖再到優(yōu)化進(jìn)行操作。此外，一些方法使用了無(wú)鎖設計?？傊?，要讓單路流穩定連續，在IO路徑上添加足夠的緩沖區是關(guān)鍵。第二，為了滿(mǎn)足多路并發(fā)的需求，后端的并發(fā)必須足夠高。從接口到后端硬盤(pán)，數量要夠High；內部IO處理模塊之間也需要有足夠的隊列數和足夠的深度進(jìn)行緩沖。

　　基于文件協(xié)議的接入方式是廣電領(lǐng)域最常用的方式。雖然偶爾會(huì )使用塊存儲，但 NAS 訪(fǎng)問(wèn)更為常見(jiàn)。它可以有NFS和CIFS等標準協(xié)議，也可以有供應商的私有文件訪(fǎng)問(wèn)協(xié)議。但無(wú)論如何，應用系統看到的一定是文件目錄，而不是塊設備盤(pán)符。

　　采集系統IO優(yōu)化示例

" />

　　某廣電客戶(hù)的采集業(yè)務(wù)分為兩部分，一部分是音視頻節目流（500個(gè)頻道節目流，碼率1.5Mb/s，客戶(hù)端每2MB寫(xiě)入一次緩存，每個(gè)time takes 0.2s)，第二部分是原創(chuàng )

碼流（100個(gè)源碼流，碼流32Mb/s，客戶(hù)端每寫(xiě)入8MB緩存耗時(shí)0.6s），一共有6臺video capture server，每臺采集服務(wù)器最多可以配置15個(gè)節目，因為所有的節目都需要使用CPU進(jìn)行轉碼，從MPEG2轉H264，非常消耗CPU，所以每個(gè)采集服務(wù)器支持的節目數量是有限的（目前，客戶(hù)端主機最多支持 15 個(gè)節目流）。

　　用戶(hù)原使用某品牌傳統雙控存儲系統，因性能達不到預期目標，無(wú)法滿(mǎn)足業(yè)務(wù)持續增長(cháng)帶來(lái)的容量和性能擴展需求，升級為浪潮AS13000-Rack適用于*敏*感*詞*機架式分布式 AS13000-Rack不僅支持塊存儲接入，還支持NFS、CIFS和浪潮私有協(xié)議接入，NAS接入也是廣電系統中最常用的接入方式。

　　浪潮整柜軟件定義存儲

　　節點(diǎn)布局

　　整機柜SDS性能優(yōu)化原理

　　浪潮軟件定義存儲的兩種產(chǎn)品形態(tài)

　　案例過(guò)程分析

　　項目POC測試時(shí)，6臺采集服務(wù)器中有3臺在運行客戶(hù)端應用時(shí)正常，其中2臺斷線(xiàn)5秒，隨后快速恢復并進(jìn)行IO；一個(gè)斷開(kāi)了 1 分鐘。這種奇怪的現象在其他場(chǎng)景中沒(méi)有觀(guān)察到，這顯然與廣電采集系統的IO特性有很大關(guān)系，比如連續流+高并發(fā)。這直接關(guān)系到存儲系統內核IO處理棧對這類(lèi)IO特性的適配，包括高并發(fā)多線(xiàn)程間的緩沖、路徑長(cháng)度、資源同步等復雜問(wèn)題。

　　浪潮派出場(chǎng)景關(guān)懷SE、軟件高級工程師、硬件高級工程師和POC測試代表到現場(chǎng)分析解決問(wèn)題。最懂應用場(chǎng)景的Scenario Care SE使用Strace和BlockTrace工具跟蹤上層應用軟件的IO行為，對系統日志進(jìn)行詳細分析。IO路徑上各個(gè)模塊的狀態(tài)，定位當前問(wèn)題可能有以下三種原因：

　　1、某采集服務(wù)器長(cháng)時(shí)間斷開(kāi)（1分鐘），主要是smb協(xié)議的SMBD進(jìn)程死鎖。死鎖是由SMB多線(xiàn)程池的mutex和異步線(xiàn)程的mutex引起的。至于死鎖的原因，與采集系統持續高碼率高并發(fā)有直接關(guān)系，是其他類(lèi)似場(chǎng)景無(wú)法遇到的坑。

　　2、兩臺短期（5s）采集服務(wù)器斷開(kāi)連接。主要原因是存儲系統部分文件訪(fǎng)問(wèn)接口調用時(shí)間過(guò)長(cháng)，導致客戶(hù)端（采集服務(wù)器）主動(dòng)斷開(kāi)連接。斷開(kāi)連接后，就不能寫(xiě)入了。嘗試三次后，將關(guān)閉當前文件并重新創(chuàng )建文件。這時(shí)候會(huì )重新創(chuàng )建連接進(jìn)行掛載。反復排查，耗時(shí)較長(cháng)的接口有：fstat、statfs、stat。通過(guò)定位，三個(gè)接口的總耗時(shí)超過(guò)了28s，這對于對時(shí)間要求極高的采集業(yè)務(wù)系統來(lái)說(shuō)是無(wú)法接受的。

　　3、通過(guò)日志還發(fā)現部分IO請求延遲高達60s，內核報atting attempted task abort！日志中的scmd(ffff8801734b1180)，懷疑是HBA驅動(dòng)、硬盤(pán)等硬件問(wèn)題導致的。

　　精準調整一一解決

" />

　　有了以上分析方向，工程師加班加點(diǎn)開(kāi)始解決問(wèn)題。第一選擇是解決死鎖坑，修改相應代碼；其次，優(yōu)化IO訪(fǎng)問(wèn)的關(guān)鍵路徑，修改Stat、statfs、stat的調用流程，簡(jiǎn)化路徑，優(yōu)化數據結構和訪(fǎng)問(wèn)方式，最終優(yōu)化到5s以?xún)?；檢查硬件盤(pán)、SAS卡、背板等逐層“解剖”硬件跟蹤，SAS*敏*感*詞*抓包測試，最終斷定SAS卡驅動(dòng)有問(wèn)題，報到后升級SAS卡驅動(dòng)廠(chǎng)家解決；解決所有問(wèn)題，發(fā)布補丁 打包升級用戶(hù)現場(chǎng)系統。

　　問(wèn)題

　　問(wèn)題的根源

　　AS1300調優(yōu)結果

　　某采集服務(wù)器長(cháng)時(shí)間斷線(xiàn)（1分鐘）

　　smb協(xié)議的SMBD進(jìn)程死了

　　解決僵局

　　兩臺短時(shí)（5s）采集服務(wù)器斷開(kāi)

　　fstat、statfs、stat三個(gè)節點(diǎn)耗時(shí)較長(cháng)，超過(guò)28s

　　優(yōu)化到5s以?xún)?/p>

　　日志查看發(fā)現部分IO延遲超過(guò)60s

　　硬件問(wèn)題，如HBA驅動(dòng)、硬盤(pán)

　　提交SAS卡廠(chǎng)商解決，升級SAS卡驅動(dòng)解決問(wèn)題

　　調音效果

　　最終，客戶(hù)的6臺采集服務(wù)器成功上線(xiàn)，500路節目流和100路原創(chuàng )

視頻流穩定運行。

　　目前，浪潮存儲已針對業(yè)界8個(gè)典型行業(yè)應用全面展開(kāi)深度分析和優(yōu)化。不了解用戶(hù)業(yè)務(wù)場(chǎng)景的存儲系統不是好系統。存儲系統必須具有靈活性，能夠適應上層應用場(chǎng)景。冬瓜哥不禁想起了5年前的產(chǎn)品設計，可以不間斷的適應任何場(chǎng)景的IO優(yōu)化問(wèn)題?？上?，可惜。冬瓜哥問(wèn)了當時(shí)產(chǎn)品線(xiàn)的重要人物，說(shuō)給我一個(gè)團隊，我幫你弄出來(lái)?？上?，對牛彈琴。不過(guò)冬瓜哥很高興看到浪潮將應用適配上升到了戰略層面。東瓜哥認為，其他存儲系統廠(chǎng)商應該借鑒浪潮的模式，將應用適配進(jìn)行到底。在此，冬瓜哥也很欣賞浪潮愿意與行業(yè)分享自己的經(jīng)驗，而不是獨當一面，可見(jiàn)浪潮作為行業(yè)大佬的風(fēng)范。

　　解決方案:大數據智能市場(chǎng)競爭分析報告

　　提供廣告優(yōu)化方向：導入所有已打開(kāi)的字詞，然后在不同時(shí)間采集

和分析您的ASIN，以查看是否存在曝光和曝光位置。

" />

　　發(fā)現/拓寬流量渠道： 根據ASIN反檢查流量術(shù)語(yǔ)分析的結果，如果競爭對手出現在關(guān)鍵詞頁(yè)面上，但我們沒(méi)有，如果我們在關(guān)鍵詞下具有競爭力，我們可以推廣關(guān)鍵詞頁(yè)面以擴大搜索流量，從而增加訂單。

　　跟進(jìn)推廣效果：對于異站推廣、促銷(xiāo)、快賣(mài)等，可以將導入關(guān)鍵詞實(shí)時(shí)采集

，在導出Excel中篩選自己的ASIN查看關(guān)鍵詞的位置，判斷此活動(dòng)是否有助于商品關(guān)鍵詞排名，從而調整數量和節奏。

" />

　　分析產(chǎn)品流量變化的原因

　?。寒敭a(chǎn)品流量變化較大時(shí)，可以查看關(guān)鍵詞下方的位置變化，是否有強對手。