Aspera速鉑高性能海量數(shù)據(jù)傳輸解決方案
來源:中廣互聯(lián) 作者:cofee 編輯:數(shù)字音視工程 2010-08-04 00:00:00 加入收藏 咨詢

所在單位: | * |
姓名: | * |
手機: | * |
職位: | |
郵箱: | * |
其他聯(lián)系方式: | |
咨詢內(nèi)容: | |
驗證碼: |
|
概述
Aspera速鉑的核心技術(shù)faspTM是一種全新的軟件技術(shù)。它徹底克服了傳統(tǒng)數(shù)據(jù)傳輸軟件例如FTP, HTTP以及Windows CIFS中的固有瓶頸,實現(xiàn)了在各種共享和私有網(wǎng)絡(luò)環(huán)境中傳輸速度的最大化。這種技術(shù)可以獲得完美的傳輸效率,不為網(wǎng)絡(luò)延遲和丟包所限制。并且,用戶享有對傳輸速度以及不同傳輸流之間帶寬共享的無以倫比的控制。不管網(wǎng)絡(luò)距離和動態(tài)性能如何,即便是在最困難的網(wǎng)絡(luò)條件下(例如衛(wèi)星,無線和洲際遠程鏈接),文件傳輸時間仍然可以得到保障。FASP具有內(nèi)置的,完整的安全性,包括連接節(jié)點安全驗證,傳輸中數(shù)據(jù)加密以及數(shù)據(jù)完整性驗證。
高速文件傳輸?shù)奶魬?zhàn)
和傳統(tǒng)的基于磁帶的郵件遞送相比,通過數(shù)字化網(wǎng)絡(luò)傳輸來實現(xiàn)海量數(shù)據(jù)的遞送具有經(jīng)濟高效的特點。在理想情況下,數(shù)據(jù)文件可以通過現(xiàn)有應(yīng)用程序例如FTP文件傳輸,HTTP網(wǎng)上遞送以及Windows CIFS拷貝實現(xiàn)在全世界IP網(wǎng)絡(luò)間快速經(jīng)濟的傳輸。但是在實際網(wǎng)絡(luò)中,傳統(tǒng)的手段無一不陷入速度的瓶頸中,以至于無法利用已有網(wǎng)絡(luò)帶寬的一小部分。這是由于這些應(yīng)用都基于同一種協(xié)議—傳輸控制協(xié)議(TCP)。
TCP有一個根本的速度瓶頸,這個瓶頸隨著傳輸延遲和網(wǎng)絡(luò)丟包率的增加而變得愈發(fā)明顯。速度瓶頸的形成和TCP控制數(shù)據(jù)流量速率的機制密切相關(guān)。TCP發(fā)送端需要得到數(shù)據(jù)接收端收到每個數(shù)據(jù)包的確認(rèn)消息才向網(wǎng)絡(luò)中注入新的數(shù)據(jù)。但是由此產(chǎn)生的傳輸速率的增加卻隨傳輸延遲的增加而減小。當(dāng)遇到丟包時,TCP簡單的認(rèn)為所有丟包都是因為網(wǎng)絡(luò)擁塞造成的,而無法區(qū)分擁塞造成的丟包和信道本身差錯造成的丟包。在這種情況下,TCP就會迅速的減低自身的傳輸速率。簡而言之,TCP的傳輸速率在丟包時下降過多,而在正常情況時增加又太過緩慢,以至在高速廣域網(wǎng)上無法充分利用已有帶寬。對于所有基于TCP之上的應(yīng)用而言,它們無一不受以下幾個方面的限制:
速率緩慢以及帶寬利用率低下
基于TCP的文件傳輸帶寬利用率極低。在局域和校園網(wǎng)這些延遲和丟包率都較小的環(huán)境中(10微秒/0.1%),TCP在千兆網(wǎng)上的最大吞吐率僅為50兆位/秒。當(dāng)在廣域網(wǎng)上傳輸時,這個問題變得更加突出。在典型的洲際網(wǎng)絡(luò)或衛(wèi)星鏈接上,傳輸吞吐率可能僅為已有帶寬的百分之0.1到1。
傳輸速率不穩(wěn)定
如前所述,TCP采用一種基于丟包的速率控制機制。其依賴于丟包來實現(xiàn)減速,而在其他時候線性加速。當(dāng)信道本身沒有丟包時,TCP只有短暫超出網(wǎng)絡(luò)帶寬以至產(chǎn)生丟包的情況下才能減速。這樣的設(shè)計決定了即使在最理想的情況下,TCP也只能在最優(yōu)速率上下震蕩。當(dāng)網(wǎng)絡(luò)加載負荷變化時,TCP的傳輸速率也隨之劇烈震蕩。
缺少安全性和可監(jiān)控性
除了被TCP緩慢和不穩(wěn)定的傳輸速率所限制以外,傳統(tǒng)的文件傳輸應(yīng)用往往不具備現(xiàn)代商業(yè)所必需的安全性和可管理性。FTP沒有內(nèi)置的安全機制,往往需要額外的機制來確保內(nèi)容不被竊取和篡改。而且有關(guān)性能和傳輸?shù)慕y(tǒng)計數(shù)據(jù)也常常無法得到。這對管理傳輸進程極為不利。
速鉑FASP解決方案
速鉑的文件傳輸產(chǎn)品線完全基于fasp高速傳輸協(xié)議。fasp是一種全新的應(yīng)用層協(xié)議,特別為企業(yè)關(guān)鍵型文件傳輸所設(shè)計,可以滿足其所需的高速度,可預(yù)測性和百分之百的安全可靠性。fasp出眾的性能對所有的網(wǎng)絡(luò)傳輸媒體皆適用。
高速可靠
和TCP吞吐率的特性相比,fasp的傳輸速率完全不受網(wǎng)絡(luò)延遲的影響,并且對網(wǎng)絡(luò)丟包也有很好的魯棒性。如圖1所示,在OC-3(155Mbps)網(wǎng)絡(luò)鏈接上,fasp實現(xiàn)了傳輸速率的最大化,在某些情況下可以比TCP快千倍。而TCP的傳輸速率性能隨網(wǎng)絡(luò)延遲的增加和丟包率的增大而迅速減小。在典型的洲際網(wǎng)絡(luò)或衛(wèi)星鏈接上,TCP的傳輸吞吐率可能僅為已有帶寬的百分之0.1到1。fasp的傳輸速率具有可預(yù)測性。在10%的丟包情況下,fasp的吞吐率可以達到網(wǎng)絡(luò)鏈接帶寬的90%。在極端情況下,fasp的吞吐率僅為終端系統(tǒng)的吞吐能力(通常是磁盤吞吐能力)所限制。
fasp是在用戶數(shù)據(jù)報協(xié)議(UDP)之上開發(fā)的應(yīng)用層協(xié)議。和那些基于并行TCP的應(yīng)用不同,fasp在單個數(shù)據(jù)流上實現(xiàn)了速度最大化。借助于革新性的文件流線化技術(shù),fasp的傳輸速率在分發(fā)大批小文件時同樣可以得到保障。例如在從美國到新西蘭的OC-3鏈接上傳輸一千個2MB的小文件,傳輸速率同樣可以接近155Mbps(圖2)。所以fasp實現(xiàn)了在高速廣域網(wǎng)上傳輸海量數(shù)據(jù)(和文件大小無關(guān))的傳輸速率最大化。相反,并行TCP技術(shù)往往在有丟包的環(huán)境下無法實現(xiàn)速率最大化,在傳輸大量小文件時速率也不穩(wěn)定,而且需要耗費大量系統(tǒng)資源。
作為一種數(shù)據(jù)傳輸協(xié)議,fasp具有應(yīng)用層傳輸?shù)耐耆煽啃浴asp的可靠性設(shè)計是基于一種負反饋的機制:接收端檢測到丟包并把需要重傳的信息反饋給發(fā)送端。通過理論優(yōu)化,fasp的重傳機制只針對真正的丟包,沒有冗余傳輸和帶寬浪費。其重傳效率接近百分之一百。
自適應(yīng)速率控制
在理論上fasp沒有速率上限,可以完全利用任意速度網(wǎng)絡(luò)的帶寬。fasp采用和TCP完全不同的速率控制機制,從而實現(xiàn)帶寬利用的最大化以及和已有TCP數(shù)據(jù)流公平分享帶寬。
有效而公平的自動速率控制
和TCP不同,fasp的速率控制是基于網(wǎng)絡(luò)中的排隊延遲。當(dāng)網(wǎng)絡(luò)沒有負荷(檢測不到排隊延遲或排隊延遲很小)時,fasp可以迅速提速以充分利用帶寬。當(dāng)網(wǎng)絡(luò)擁塞時,fasp可以迅速減速以獲得應(yīng)有的帶寬。fasp的這套速率控制機制還具有帶寬共享的公平性。當(dāng)已有TCP數(shù)據(jù)流不能充分利用鏈路帶寬時(圖3),fasp可以自動提速占據(jù)余下的帶寬。當(dāng)鏈路因為有多個數(shù)據(jù)流存在而變得擁擠時(圖4),fasp數(shù)據(jù)流可以實現(xiàn)和TCP數(shù)據(jù)流等量公平共享鏈路帶寬。
響應(yīng)終端速度瓶頸
在超高速網(wǎng)絡(luò)環(huán)境例如千兆網(wǎng)中,速度瓶頸往往不在網(wǎng)絡(luò)鏈路本身而在終端系統(tǒng),尤其是存儲設(shè)備的吞吐能力。fasp自適應(yīng)速率控制不僅可以自動發(fā)現(xiàn)現(xiàn)有的網(wǎng)絡(luò)帶寬,而且也能對存儲設(shè)備動態(tài)吞吐率的作出理想的響應(yīng)。當(dāng)存儲設(shè)備成為瓶頸時,fasp可以自動減速以避免其超速運轉(zhuǎn)所造成的丟包。當(dāng)檢測到存儲設(shè)備不再繁忙時,fasp自動提速以充分利用其數(shù)據(jù)吞吐能力。
可靈活設(shè)置的帶寬策略
用戶可以對每個fasp數(shù)據(jù)流獲取帶寬的能力進行設(shè)置。除了和其他數(shù)據(jù)流對等共享帶寬外,fasp還支持其他帶寬共享機制。比如用戶可以選定用固定速率傳輸,從而使傳輸速率不受網(wǎng)絡(luò)負荷的變化而變化。此外,用戶還可以選定后臺傳輸模式,以便在檢測到TCP數(shù)據(jù)流后減到最低速。
完整的安全機制
fasp提供完整的內(nèi)置安全機制。fasp的安全模式完全基于開放標(biāo)準(zhǔn)的密碼體系,包括了:1)通過標(biāo)準(zhǔn)安全外殼(SSH)對傳輸終端進行驗證;2)對傳輸中數(shù)據(jù)加以128位強密碼(AES-128)加密;3)對每個數(shù)據(jù)塊進行完整性驗證以抵御象中間人以及匿名UDP之類的惡意攻擊。在不同系統(tǒng)間進行fasp傳輸不會改變文件本身的安全屬性。引進以上安全機制對傳輸性能并沒有削弱。在加密模式下,fasp可以在P4或單處理器工作站上實現(xiàn)100-150Mbps的傳輸,在雙核或雙處理器工作站上實現(xiàn)200-400Mbps的高速傳輸。
評論comment