久久不卡免费视频_久久久最新_亚洲色欧美,久久久久久久久久一本门道91,а√天堂中文在线资源bt在线,亚洲精品高清在线观看

1、應(yīng)用背景

骨干網(wǎng)流量采集主要應(yīng)用于運(yùn)行商廣告推送、運(yùn)行商計(jì)費(fèi)取證服務(wù)、運(yùn)行商信令監(jiān)控服務(wù)、園區(qū)網(wǎng)審計(jì)、大數(shù)據(jù)分析等應(yīng)用領(lǐng)域。

我們?cè)诠歉删W(wǎng)流量采集領(lǐng)域，經(jīng)常會(huì)遇到采集、負(fù)載均衡、分流、匯聚等各種術(shù)語(yǔ)，這些術(shù)語(yǔ)之間是什么關(guān)系呢？

所謂流量采集，就是將網(wǎng)絡(luò)流量通過(guò)物理層、數(shù)據(jù)鏈路層的信號(hào)解析和解幀，實(shí)現(xiàn)IP原始報(bào)文的獲取。由于以通用CPU為核心的傳統(tǒng)分析平臺(tái)的處理能力總是有限的，所以一定方式的過(guò)濾（或稱為流量衰減），不僅可以降低后端服務(wù)器的負(fù)載，而且可以降低整個(gè)系統(tǒng)的功耗和成本。另外，要實(shí)現(xiàn)流量采集，必須實(shí)現(xiàn)鏈路層的轉(zhuǎn)換，如對(duì)POS、WAN進(jìn)行轉(zhuǎn)換，或者高速率鏈路如40G POS到10GE的轉(zhuǎn)換，100GE到10GE的轉(zhuǎn)換。采集之后的輸出有通過(guò)以太網(wǎng)報(bào)文輸出（PET采集設(shè)備：www.hnwdfw.com/pet320flq.html）或者PCI總線直接到服務(wù)器內(nèi)存（智能網(wǎng)卡：www.hnwdfw.com/pcap2.html）兩種。

而負(fù)載均衡與分流基本上屬于同一個(gè)術(shù)語(yǔ)，就是在輸出流量超過(guò)后端處理能力的情況下，以服務(wù)器集群方式處理流量的一種方式，流量分發(fā)一般基于流保持方式，即同源同宿同MAC。傳統(tǒng)的Hash方式雖然能夠?qū)?bào)文散列到不同的后端處理端，但是由于存在巨流，分流效果一般不會(huì)很好，自適應(yīng)分流方式具有更好的均衡性。負(fù)載均衡與分流稍微有一點(diǎn)區(qū)別，一般說(shuō)負(fù)載均衡時(shí)，會(huì)強(qiáng)調(diào)采集設(shè)備對(duì)后端處理能力的感知性，能夠動(dòng)態(tài)調(diào)整；而分流則一般由采集設(shè)備自主分配流量（受后端控制）。

匯聚（www.hnwdfw.com/tc2402.html）是負(fù)載均衡或者分流的逆過(guò)程，當(dāng)前的匯聚，一般用于千兆到萬(wàn)兆，主要用于需要長(zhǎng)途傳輸流量，或者后端分離服務(wù)器基于萬(wàn)兆網(wǎng)卡而采集流量基于千兆兩種場(chǎng)合。

2、用戶需求

（1）如何實(shí)現(xiàn)高密度，低功耗的采集設(shè)備：在選擇廠家時(shí)要特別注意其設(shè)備的密度，交換容量、輸入接口密度，輸出接口密度，輸入輸出是否能夠復(fù)用等。通常情況下，高密度的設(shè)備其單位流量的平均功耗要小，而非ATCA獨(dú)立設(shè)備比ATCA設(shè)備功耗要小。

（2）如何降低用戶成本：輸入輸出接口復(fù)用是降低成本的有效方式，如一個(gè)萬(wàn)兆接口，如果其輸入接口可以為WAN，而輸出接口可以是10GE，則可以有效降低用戶的成本。用戶接口是否可以更換，平臺(tái)是否能夠平滑升級(jí)也是要考慮的問(wèn)題。另外，非ATCA獨(dú)立設(shè)備一般比ATCA設(shè)備價(jià)格更便宜。

（4）分流均衡性：Hash算法的選擇是分流均衡性的關(guān)鍵，例如，CRC32比CRC16的均衡性要好，而CRC16又比異或的均衡性要好。好的均衡性依賴于采集設(shè)備的智能，當(dāng)存在巨流時(shí)，要能夠自動(dòng)將同一個(gè)MAC上新產(chǎn)生的流量調(diào)整到其他的服務(wù)器。另外，當(dāng)后端分析服務(wù)器出現(xiàn)故障時(shí)，要能夠自動(dòng)切換。

3、關(guān)鍵技術(shù)

3.1 100G成幀關(guān)鍵技術(shù)

隨著多核處理、虛擬化、網(wǎng)絡(luò)存儲(chǔ)等技術(shù)的發(fā)展，企業(yè)計(jì)算環(huán)境和骨干鏈路對(duì)鏈路帶寬的要求越來(lái)越高。對(duì)當(dāng)前數(shù)據(jù)中心中的10G以太網(wǎng)計(jì)算機(jī)設(shè)備和將來(lái)40G以太網(wǎng)需要交換機(jī)到交換機(jī)之間的連接采用100G接口。同樣的要求，在ISP處也有。100G是現(xiàn)在將來(lái)一段時(shí)間內(nèi)Internt互聯(lián)及新服務(wù)和消費(fèi)者及企業(yè)用戶的完美解決方案。

由于IPTV、視頻點(diǎn)播等業(yè)務(wù)，遠(yuǎn)程存儲(chǔ)、移動(dòng)寬帶業(yè)務(wù)、VPN服務(wù)等廣泛應(yīng)用，運(yùn)營(yíng)商骨干網(wǎng)的流量在持續(xù)增加，Internet服務(wù)提供商（ISP）和網(wǎng)絡(luò)服務(wù)提供商（NSP）對(duì)高帶寬的需求不斷增加。目前，客戶到運(yùn)營(yíng)商的連接已經(jīng)在快速擴(kuò)展到10GE，典型情況下，骨干網(wǎng)絡(luò)的連接需要客戶連接的4到10倍，才能保證足夠的性能。

按照IEEE 802.3ba標(biāo)準(zhǔn)，100G Base-R PCS Cores包括100G擾碼處理，64b/66b編碼和解碼，多Lane分發(fā)，邊界對(duì)其插入、塊同步以及時(shí)鐘解耦等技術(shù)。

MLD（Multi-Lane Distribution）模塊將數(shù)據(jù)分發(fā)到20個(gè)虛擬的Lane上。實(shí)現(xiàn)了CGMII（100G介質(zhì)介質(zhì)獨(dú)立接口）。當(dāng)前沒(méi)有一種媒體（光纖或電信號(hào)）能夠單流直接傳輸100Gb/s以太網(wǎng)信號(hào)，2010年IEEE802.3ba標(biāo)準(zhǔn)正式發(fā)布，在光傳輸接口上針對(duì)不同傳輸距離定義了100GBASE-SR10、100GBASE-LR4和100GBASE-ER4三種接口規(guī)范。100GBASE-SR10采用10對(duì)OM3 MMF/OM4 MMF光纖，每路光纖傳輸速率為10Gb/s，傳輸距離分別是100m/150m，100GBASE-LR4和100GBASE-ER4都采用SMF，采用LAN WDM技術(shù)用4個(gè)不同波長(zhǎng)的光來(lái)傳輸，每個(gè)波長(zhǎng)傳輸25Gb/s數(shù)據(jù)，傳輸距離分別是10km和40km。

同樣的電氣接口也采用并行Lane來(lái)傳輸數(shù)據(jù)，IEEE802.3ba標(biāo)準(zhǔn)定義的CAUI接口，使用10 Lane電氣接口，每個(gè)Lane傳輸10Gb/s數(shù)據(jù)。為了有效利用10 Lane來(lái)傳輸100GE數(shù)據(jù)必須解決多通道的數(shù)據(jù)封裝映射、對(duì)齊等問(wèn)題，這是本成果中解決的關(guān)鍵技術(shù)，IEEE802.3ba標(biāo)準(zhǔn)中這個(gè)功能是在PCS中實(shí)現(xiàn)的。

戎騰的解決方案是：光接口采用的是商用的100GE的CFP或者CFP2光模塊，實(shí)現(xiàn)100GE光信號(hào)到CAUI電接口的轉(zhuǎn)換，通過(guò)使用不同光模塊可以支持100GBASE-SR10、100GBASE-LR4和100GBASE-ER4等應(yīng)用場(chǎng)合，光模塊輸出的是10路10Gbps的數(shù)據(jù)，再進(jìn)行后續(xù)的處理。

3.2 軟過(guò)濾技術(shù)

流量過(guò)濾本質(zhì)上是一種報(bào)文分類技術(shù)，雖然本文僅闡述骨干網(wǎng)流量采集的關(guān)鍵技術(shù)，實(shí)際上，報(bào)文分類是防火墻、QoS、區(qū)分服務(wù)（DiffServ）、入侵檢測(cè)系統(tǒng)、網(wǎng)絡(luò)取證系統(tǒng)的基礎(chǔ)，雖然有EGT-PC、RFC、Efficuts等較為經(jīng)典的軟件算法，目前應(yīng)用普遍的仍然是基于硬件搜索引擎TCAM（Ternary Content Addressing Memory）的方式，主要原因是高速骨干網(wǎng)絡(luò)對(duì)報(bào)文分類性能的要求非常高，已有的軟件算法或者規(guī)則增加的可擴(kuò)展性不好，或者進(jìn)行規(guī)則更新的靈活性不強(qiáng)。通常，評(píng)估一種報(bào)文分類方法是否可行，有下面一些指標(biāo)：

比較已有的方法和算法，目前尚無(wú)一種相對(duì)完備的解決方案，如表1所示。

在大規(guī)模流量采集體系結(jié)構(gòu)中，由于計(jì)算結(jié)點(diǎn)的處理能力不可能覆蓋所有的流量，對(duì)于已通過(guò)其他手段證實(shí)其合法的流量，可以直接過(guò)濾而不需送到計(jì)算單元中進(jìn)行大規(guī)模的還原、存儲(chǔ)與數(shù)據(jù)挖掘，因此高性能、存儲(chǔ)空間要求不高、靈活性、經(jīng)濟(jì)性和適用性好的方法是其必然要求。

在整個(gè)數(shù)據(jù)處理流程中，報(bào)文提取可以通過(guò)MPE技術(shù)實(shí)現(xiàn)10G POS和10G以太網(wǎng)的報(bào)文獲取，流管理由于涉及復(fù)雜的超時(shí)、存儲(chǔ)空間申請(qǐng)、鏈表查找等操作，一般不適合于硬件處理。而多元組匹配傳統(tǒng)上使用TCAM實(shí)現(xiàn)，特征匹配使用專用加速搜索引擎。

考慮TCAM的經(jīng)濟(jì)性、適用性，采購(gòu)周期等綜合因素，戎騰網(wǎng)絡(luò)創(chuàng)造性的提出了一種基于FPGA的CMT（Common Mask Tree）算法，算法在研制的PET平臺(tái)上，實(shí)現(xiàn)了320G的性能。

其基本方法為將規(guī)則集中的每一條規(guī)則轉(zhuǎn)換為相應(yīng)的多維前綴，并利用這些前綴的公共掩碼將傳統(tǒng)前綴匹配問(wèn)題轉(zhuǎn)化為多級(jí)精確匹配問(wèn)題，后者可用哈希表達(dá)到O(1)的查找速率。同時(shí)利用原子操作實(shí)現(xiàn)了一套FPGA環(huán)境下的快速規(guī)則更新算法。

3.3 軟硬協(xié)同的3G/LTE監(jiān)控技術(shù)

3G和LTE的廣泛部署，為移動(dòng)終端的普及提供了基礎(chǔ)。截止2014年6月，中國(guó)網(wǎng)民規(guī)模達(dá)到6.32億，其中使用手機(jī)上網(wǎng)的用戶比例達(dá)到83.4%，已經(jīng)超過(guò)使用PC上網(wǎng)的用戶比例（80.9%）。

移動(dòng)網(wǎng)絡(luò)的發(fā)展也產(chǎn)生了新的網(wǎng)絡(luò)安全問(wèn)題，利用移動(dòng)通信互聯(lián)網(wǎng)逃避監(jiān)管的網(wǎng)絡(luò)行為也在不斷增加。犯罪人員利用互聯(lián)網(wǎng)的高科技性和虛擬性，使其犯罪行為時(shí)常無(wú)法對(duì)其進(jìn)行懲罰或是有效的預(yù)防。主要的安全挑戰(zhàn)包括：

（1）用戶從傳統(tǒng)固網(wǎng)遷移到移動(dòng)網(wǎng)絡(luò)后，對(duì)網(wǎng)絡(luò)攻擊行為和網(wǎng)絡(luò)犯罪如何快速反應(yīng)、定位和溯源；

（2）新業(yè)務(wù)管控難度大：微博、社交網(wǎng)站等新業(yè)務(wù)具有兩面性，安全管控的難度大；

（3）如何通過(guò)數(shù)據(jù)挖掘，提取有價(jià)值的情報(bào)和攻擊信息。

面對(duì)錯(cuò)綜復(fù)雜的移動(dòng)網(wǎng)絡(luò)業(yè)務(wù)和多樣的終端類型，原有的網(wǎng)絡(luò)安全管控手段已顯得力不從心。如果缺乏針對(duì)3G/LTE網(wǎng)絡(luò)的細(xì)粒度安全管控措施，相關(guān)監(jiān)管機(jī)構(gòu)將難以掌控不同客戶及終端的網(wǎng)絡(luò)行為；更為嚴(yán)重的是，傳統(tǒng)互聯(lián)網(wǎng)中一些不良信息，如非法宣傳、網(wǎng)絡(luò)病毒、網(wǎng)絡(luò)攻擊、垃圾郵件等，借助LTE網(wǎng)絡(luò)這一平臺(tái)可能在更大范圍內(nèi)傳播泛濫，對(duì)網(wǎng)絡(luò)安全和可信造成嚴(yán)重威脅。

為解決移動(dòng)無(wú)線網(wǎng)絡(luò)的數(shù)據(jù)取證問(wèn)題，有兩種可能的技術(shù)途徑：一是從空口上抓取數(shù)據(jù)包并進(jìn)行分析，這種方式一方面需要部署的設(shè)備特別多，另外空口數(shù)據(jù)解密有其固有的困難；另一種方式是數(shù)據(jù)落地后進(jìn)行流量獲取，又有在基站后端、移動(dòng)核心網(wǎng)和互聯(lián)網(wǎng)三種不同的采集位置。分析比較三種不同的采集位置，基站后端部署點(diǎn)具有鏈路多，安裝困難的特點(diǎn)；而互聯(lián)網(wǎng)采集則無(wú)法溯源；移動(dòng)核心網(wǎng)鏈路較少（一般一個(gè)省8條到64條），具有完整的上網(wǎng)認(rèn)證信息、用戶通信流量和信令流量，是比較可靠的數(shù)據(jù)采集點(diǎn)，但是移動(dòng)核心網(wǎng)的流量不同于傳統(tǒng)的固網(wǎng)流量。3G/LTE核心網(wǎng)絡(luò)審計(jì)的復(fù)雜性，主要表現(xiàn)在封裝方式復(fù)雜。 這種復(fù)雜性為網(wǎng)絡(luò)取證帶來(lái)了以下挑戰(zhàn)：

（1）取證前端設(shè)備是一種輔助設(shè)備，而非實(shí)際產(chǎn)生經(jīng)濟(jì)效益的設(shè)備，不可能如GGSN、PDSN那么昂貴，即必須在整體成本控制的前提下，提高前端設(shè)備的性價(jià)比；

（2）由于在某些制式中，一個(gè)以太網(wǎng)幀中可能封裝上百個(gè)終端分片，這些分片是以特殊字符分割的。因此，必須進(jìn)行全包掃描以定位終端分片，而留給每個(gè)報(bào)文的處理時(shí)間并不長(zhǎng)。在當(dāng)前核心網(wǎng)普遍采用10G以太網(wǎng)鏈路的情況下，每個(gè)報(bào)文的處理時(shí)間只有37ns。要在37ns的時(shí)間內(nèi)進(jìn)行全包掃描，并定位每個(gè)終端的報(bào)文分片，必須采用非常規(guī)的手段。單就整個(gè)處理流程的中全包掃描一個(gè)環(huán)節(jié)，目前實(shí)際上尚沒(méi)有能夠掃到20Gbps的商用掃描技術(shù)。

（3）必須將登錄認(rèn)證信息與IP地址關(guān)聯(lián)：網(wǎng)絡(luò)取證的最終目的是定位有非法網(wǎng)絡(luò)行為的用戶，由于目前在移動(dòng)網(wǎng)絡(luò)中普遍采用動(dòng)態(tài)IP地址分配技術(shù)，單純定位違法IP已經(jīng)無(wú)法解決真正的溯源問(wèn)題，必須將IMSI號(hào)與用戶報(bào)文關(guān)聯(lián)，使得一旦非常行為被發(fā)現(xiàn)，即可通過(guò)IMSI號(hào)找到現(xiàn)實(shí)世界的真實(shí)用戶。 為解決無(wú)線移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)取證面臨的挑戰(zhàn)，并充分考慮移動(dòng)網(wǎng)絡(luò)的特點(diǎn)，戎騰網(wǎng)絡(luò)設(shè)計(jì)實(shí)現(xiàn)了軟硬結(jié)合的3G/LTE系統(tǒng)結(jié)構(gòu)。通過(guò)普通固網(wǎng)線卡收集流量，識(shí)別3G/LTE報(bào)文，并定位終端分片的位置；然后分流到綜合業(yè)務(wù)處理卡（CDP1000），并在CDP1000上采用定制硬件完成流量聚合和報(bào)文提取，通過(guò)多核NPU完成三層分片重組、VJ解壓縮；完整的的報(bào)文獲取后，實(shí)現(xiàn)高速流管理和內(nèi)容搜索。

4、小結(jié)

網(wǎng)絡(luò)技術(shù)的發(fā)展日新月益，當(dāng)前三網(wǎng)融合已經(jīng)成為大的趨勢(shì)，3G已經(jīng)鋪開應(yīng)用，LTE已經(jīng)試點(diǎn)運(yùn)行，由于光進(jìn)銅退帶動(dòng)了PON技術(shù)的迅猛發(fā)展及廣泛應(yīng)用，這些都是傳統(tǒng)取證平臺(tái)不具備的功能，留下了監(jiān)管和信令分析的空白，必須適時(shí)研制新的設(shè)備，幫助運(yùn)營(yíng)商優(yōu)化網(wǎng)絡(luò)，并使互聯(lián)網(wǎng)社會(huì)與現(xiàn)實(shí)社會(huì)一樣處于良序運(yùn)行狀態(tài)中。 而在傳統(tǒng)的固網(wǎng)領(lǐng)域，全國(guó)10G POS等骨干鏈路已經(jīng)達(dá)到上萬(wàn)條，必須采用通過(guò)新的技術(shù)創(chuàng)新降低原有取證系統(tǒng)的成本。

同時(shí)，由于大數(shù)據(jù)時(shí)代的來(lái)臨，廣告商開始日益關(guān)注網(wǎng)絡(luò)廣告、ISP服務(wù)商不僅關(guān)注網(wǎng)絡(luò)運(yùn)營(yíng)情況（ISP流量分析領(lǐng)域），也需要給用戶一個(gè)計(jì)費(fèi)的清晰列表（ISP計(jì)費(fèi)取證領(lǐng)域），這些應(yīng)用造就了一個(gè)新的行業(yè)，或者說(shuō)一種新的設(shè)備提供商——智能流量探針。

戎騰網(wǎng)絡(luò)結(jié)合自身十余年在此領(lǐng)域的深耕，突破了系列關(guān)鍵技術(shù)，實(shí)現(xiàn)了高性能、高性價(jià)比、功能豐富的互聯(lián)網(wǎng)骨干鏈路采集、匯聚與分流設(shè)備。