首頁(yè)|必讀|視頻|專訪|運(yùn)營(yíng)|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁(yè) >> 運(yùn)營(yíng)支撐 >> 正文

云計(jì)算中的超級(jí)計(jì)算設(shè)計(jì)方案

2010年7月21日 12:48  李蔚  

    20世紀(jì)后半期,全世界范圍掀起第三次產(chǎn)業(yè)革命的浪潮,人類開(kāi)始邁入后工業(yè)社會(huì)——信息社會(huì)。在信息經(jīng)濟(jì)時(shí)代,其先進(jìn)生產(chǎn)力及科技發(fā)展的標(biāo)志就是計(jì)算技術(shù)。時(shí)至今日,計(jì)算科學(xué),尤其是以超級(jí)計(jì)算機(jī)(或高性能計(jì)算機(jī))為基礎(chǔ)的計(jì)算科學(xué)已經(jīng)與理論研究、實(shí)驗(yàn)科學(xué)相并列,成為現(xiàn)代科學(xué)的三大支柱之一。

    現(xiàn)代超級(jí)計(jì)算基于先進(jìn)的集群技術(shù)構(gòu)建,即常說(shuō)的網(wǎng)格計(jì)算技術(shù)(GridComputing)。網(wǎng)格計(jì)算是伴隨著互聯(lián)網(wǎng)發(fā)展起來(lái)的,專門(mén)針對(duì)復(fù)雜科學(xué)計(jì)算的新型計(jì)算模式。這種計(jì)算模式利用互聯(lián)網(wǎng)把分散在不同地理位置的電腦組織成一個(gè)虛擬的“超級(jí)計(jì)算機(jī)”,其中每一臺(tái)參與計(jì)算的計(jì)算機(jī)就是一個(gè)“節(jié)點(diǎn)”,而整個(gè)計(jì)算是由成千上萬(wàn)個(gè)“節(jié)點(diǎn)”組成的“一張網(wǎng)格”,所以稱之為網(wǎng)格計(jì)算。這種“超級(jí)計(jì)算機(jī)”有兩個(gè)優(yōu)勢(shì),一個(gè)是數(shù)據(jù)處理能力超強(qiáng),另一個(gè)是能充分利用網(wǎng)上的閑置處理能力。實(shí)際上,網(wǎng)格計(jì)算是分布式計(jì)算(DistributedComputing)的一種。需要說(shuō)明的是,網(wǎng)格計(jì)算是一種傳統(tǒng)的、更加專業(yè)化的定義方式,而超級(jí)計(jì)算則是更加通俗化的概念。兩者從本質(zhì)上是一致的。

    超級(jí)計(jì)算中心(即超算中心)是指基于超級(jí)計(jì)算機(jī)系統(tǒng)對(duì)外提供計(jì)算資源、存儲(chǔ)資源以及技術(shù)咨詢等服務(wù)的機(jī)構(gòu)或單位。超級(jí)計(jì)算在一個(gè)國(guó)家的發(fā)展中,特別是一些尖端科技的發(fā)展中,發(fā)揮著不可替代的作用,生物科技、石油勘探、氣象預(yù)報(bào)、國(guó)防技術(shù)、工業(yè)設(shè)計(jì)、城市規(guī)劃等經(jīng)濟(jì)、社會(huì)發(fā)展的關(guān)鍵領(lǐng)域都離不開(kāi)超級(jí)計(jì)算。各個(gè)國(guó)家,尤其是經(jīng)濟(jì)、科技水平比較發(fā)達(dá)的國(guó)家,都把促進(jìn)超級(jí)計(jì)算的發(fā)展作為重要的規(guī)劃內(nèi)容。

    超級(jí)計(jì)算與云計(jì)算

    如本刊前文所述,云計(jì)算是一種將全球范疇、高度可擴(kuò)展、靈活的服務(wù)通過(guò)互聯(lián)網(wǎng)進(jìn)行發(fā)布與消費(fèi),采取按需求和實(shí)際使用付費(fèi)的商業(yè)模式。云計(jì)算代表著全新的價(jià)值:它可以讓企業(yè)獲得高度可擴(kuò)展和靈活的互聯(lián)網(wǎng)服務(wù);SaaS的瘦客戶端應(yīng)用減輕了軟件的采購(gòu)和維護(hù)成本;所有的功能都以服務(wù)的方式提供給用戶。

    云計(jì)算是從網(wǎng)格計(jì)算演化而來(lái),能夠隨需應(yīng)變地提供資源。網(wǎng)格計(jì)算可以在云中,也可能不在,這取決于什么樣的用戶在使用它。如果用戶是系統(tǒng)管理員和集成商,他們就會(huì)關(guān)心如何維護(hù)云,如升級(jí)、安裝和虛擬化服務(wù)器與應(yīng)用程序等;如果用戶是消費(fèi)者,就不必關(guān)心系統(tǒng)是如何運(yùn)行的。

    網(wǎng)格計(jì)算與云計(jì)算有很多相似之處,兩者都能夠被看成是分布式計(jì)算所衍生出來(lái)的概念,都是為了讓IT資源能夠?qū)τ脩敉该鳎瑸榱俗孖T資源能夠達(dá)到更好的使用率。從這個(gè)提高資源利用率的角度出發(fā),逐漸誕生了WEB服務(wù)的概念。網(wǎng)絡(luò)公司通過(guò)部署數(shù)以萬(wàn)計(jì)的服務(wù)器構(gòu)成龐大的計(jì)算資源,得以提供此前無(wú)法完成的新服務(wù)。企業(yè)或者個(gè)人能夠通過(guò)互聯(lián)網(wǎng)利用那些大網(wǎng)絡(luò)公司所釋放出來(lái)的計(jì)算資源,進(jìn)行應(yīng)用部署或者向外提供服務(wù)。這就是從網(wǎng)格計(jì)算到云計(jì)算的歷史過(guò)程。網(wǎng)格計(jì)算和云計(jì)算的意義就在于:無(wú)論是用戶還是企業(yè)開(kāi)發(fā)者,都能夠通過(guò)互聯(lián)網(wǎng)來(lái)獲得數(shù)據(jù)或者進(jìn)行計(jì)算,盡管本地資源有限,但是能夠通過(guò)網(wǎng)絡(luò)進(jìn)行復(fù)雜的運(yùn)算,其數(shù)據(jù)的計(jì)算過(guò)程對(duì)于用戶來(lái)說(shuō)就像互聯(lián)網(wǎng)網(wǎng)絡(luò)對(duì)于本地網(wǎng)絡(luò)用戶一樣。

    1. 超級(jí)計(jì)算與云計(jì)算的相同點(diǎn)

    從定義上來(lái)說(shuō),網(wǎng)格計(jì)算和云計(jì)算都試圖將各種IT資源看成一個(gè)可以對(duì)外提供相應(yīng)服務(wù)的虛擬資源池。云計(jì)算試圖讓“用戶透明地使用資源”,而網(wǎng)格計(jì)算誕生的初衷就是“使用IT資源像使用水電一樣簡(jiǎn)單”。

    云計(jì)算是一種寬泛的概念,它允許用戶通過(guò)互聯(lián)網(wǎng)訪問(wèn)各種基于IT資源的服務(wù),并且用戶無(wú)需了解底層IT基礎(chǔ)設(shè)施架構(gòu)就能夠享受到作為服務(wù)的“IT相關(guān)資源”。而網(wǎng)格的內(nèi)涵包括兩個(gè)方面,一方面是所謂的效用計(jì)算或者隨需計(jì)算,在這一點(diǎn)上,網(wǎng)格計(jì)算跟云計(jì)算是非常相似的,都是通過(guò)資源池或者分布式的計(jì)算資源來(lái)提供在線的計(jì)算、存儲(chǔ)等服務(wù);另外一方面就是所謂的“虛擬超級(jí)計(jì)算機(jī)”,以松耦合的方式將大量的計(jì)算資源連接在一起,提供單個(gè)計(jì)算資源所無(wú)法完成的超級(jí)計(jì)算能力。從對(duì)外提供服務(wù)這一角度來(lái)看,網(wǎng)格計(jì)算跟云計(jì)算是非常類似的。

    2. 超級(jí)計(jì)算與云計(jì)算的不同點(diǎn)

    可以看出,網(wǎng)格計(jì)算和云計(jì)算有相似之處,特別是計(jì)算的并行與合作的特點(diǎn)。但他們之間的區(qū)別也是明顯的。主要有以下幾點(diǎn):

    l網(wǎng)格計(jì)算的思路是聚合分布資源、支持虛擬組織、提供高層次的服務(wù),例如分布協(xié)同科學(xué)研究等。而云計(jì)算的資源相對(duì)集中,主要以數(shù)據(jù)中心的形式提供底層資源的使用,并不強(qiáng)調(diào)虛擬組織(VO)的概念;

    l網(wǎng)格計(jì)算的初衷是用聚合資源來(lái)支持挑戰(zhàn)性的應(yīng)用,因?yàn)楦咝阅苡?jì)算的資源不夠用,需要把分散的資源聚合起來(lái)。2004年以后,適應(yīng)普遍的信息化應(yīng)用被逐漸強(qiáng)調(diào)。而云計(jì)算從一開(kāi)始就支持廣泛企業(yè)計(jì)算、WEB應(yīng)用,普適性更強(qiáng);

    l 在對(duì)待異構(gòu)性方面,二者的理念有所不同。網(wǎng)格計(jì)算用中間件屏蔽異構(gòu)系統(tǒng),力圖使用戶面向同樣的環(huán)境,把處理異構(gòu)部件的困難留給中間件來(lái)完成。而云計(jì)算實(shí)際上承認(rèn)異構(gòu),用鏡像執(zhí)行,或者提供服務(wù)的機(jī)制來(lái)解決異構(gòu)性問(wèn)題。當(dāng)然不同的云計(jì)算系統(tǒng)會(huì)存在差別,如Google一般用自己內(nèi)部的專用平臺(tái)來(lái)支持。

    總之,云計(jì)算是以相對(duì)集中的資源,運(yùn)行分散的應(yīng)用(大量分散的應(yīng)用在若干大的中心執(zhí)行);而網(wǎng)格計(jì)算則是聚合分散的資源,支持大型集中式應(yīng)用(一個(gè)大的應(yīng)用分到多處執(zhí)行)。但從根本上來(lái)說(shuō),從應(yīng)對(duì)Internet應(yīng)用的特征來(lái)說(shuō),他們是一致的:為了完成在Internet情況下支持應(yīng)用、解決異構(gòu)性、資源共享等問(wèn)題。

    超級(jí)計(jì)算的分類

    隨著超級(jí)計(jì)算的不斷發(fā)展,逐漸出現(xiàn)了新的應(yīng)用。新應(yīng)用在豐富了傳統(tǒng)的網(wǎng)格計(jì)算種類的同時(shí),也給網(wǎng)格計(jì)算帶來(lái)了新的挑戰(zhàn)。

    從網(wǎng)絡(luò)的角度,將超級(jí)計(jì)算分為三大類:并行信息處理、分布式I/O處理和并行文件處理。

    1. 并行信息處理

    并行信息處理指的是在所有計(jì)算節(jié)點(diǎn)并行執(zhí)行應(yīng)用,主節(jié)點(diǎn)管理各計(jì)算節(jié)點(diǎn)的輸入處理,節(jié)點(diǎn)之間信息高速交互,通過(guò)“等-停”機(jī)制保證信息交互時(shí)序的正確性。通常是在追求最高計(jì)算性能的定制計(jì)算環(huán)境。這類應(yīng)用就是通常所說(shuō)的科學(xué)計(jì)算,包括:氣候模型,材料科學(xué),生物系統(tǒng)模型,核模擬和人工智能等等。

    這類應(yīng)用的共同特點(diǎn)是對(duì)信息交互時(shí)延極敏感。對(duì)網(wǎng)絡(luò)的要求是高帶寬、低時(shí)延(Top500高端計(jì)算應(yīng)用IPC時(shí)延<10us)。

    2. 分布式I/O處理

    分布式I/O處理指的是客戶端請(qǐng)求通過(guò)主節(jié)點(diǎn)發(fā)送到所有計(jì)算節(jié)點(diǎn)進(jìn)行并行處理,各節(jié)點(diǎn)的結(jié)果直接返回主節(jié)點(diǎn),由主節(jié)點(diǎn)響應(yīng)給客戶端。時(shí)延要求不苛刻,但是所有計(jì)算節(jié)點(diǎn)以最快速度響應(yīng)主節(jié)點(diǎn),使得主節(jié)點(diǎn)網(wǎng)絡(luò)位置短時(shí)會(huì)產(chǎn)生較大突發(fā)流量。這類計(jì)算的典型應(yīng)用就是網(wǎng)站搜索引擎。有信息顯示:Google每天需要提供1.5億次查詢服務(wù),平均每毫秒發(fā)生1.736次查詢。舉例來(lái)說(shuō),搜索“高性能計(jì)算”,得到3,250,000結(jié)果,用時(shí)0.20秒(第二次再搜0.05秒)。

    這類應(yīng)用的共同特點(diǎn)是對(duì)網(wǎng)絡(luò)丟包敏感。對(duì)網(wǎng)絡(luò)的要求是高帶寬、不丟包。對(duì)設(shè)備帶寬、包緩存大小及分配方式有要求,與應(yīng)用的具體規(guī)模(服務(wù)器數(shù)量等)相關(guān)。

    3. 并行文件處理

    并行文件處理指的是將龐大的源數(shù)據(jù)文件通過(guò)主節(jié)點(diǎn)分割成多個(gè)小文件后,分發(fā)到各計(jì)算節(jié)點(diǎn)并行處理,處理完畢后返回主節(jié)點(diǎn)進(jìn)行文件組裝。這類計(jì)算的典型應(yīng)用就是動(dòng)漫渲染和影視動(dòng)畫(huà)制作。將影視文件有機(jī)分割,分發(fā)到集群內(nèi)相應(yīng)服務(wù)器進(jìn)行渲染等工作,各部分完成后返回組合成新的文件。

    這類應(yīng)用的特點(diǎn)是節(jié)點(diǎn)之間信息交互少,但都是以大文件的形式完成。網(wǎng)絡(luò)流量很大,且存在很強(qiáng)的并發(fā)性。對(duì)網(wǎng)絡(luò)的要求是高帶寬互聯(lián)。

    超級(jí)計(jì)算中心網(wǎng)絡(luò)安全解決方案

    1. 超級(jí)計(jì)算在云計(jì)算中的部署方案

    超級(jí)計(jì)算可以作為云計(jì)算的一種業(yè)務(wù)對(duì)Internet用戶提供便捷的服務(wù)。從這個(gè)角度來(lái)看,超算中心可以作為云計(jì)算數(shù)據(jù)中心的一個(gè)部分。但是超級(jí)計(jì)算與云計(jì)算仍有較大區(qū)別,因此需要看作是特殊的云計(jì)算服務(wù)。超級(jí)計(jì)算作為“聚合”業(yè)務(wù),是一種特殊的服務(wù)器集群應(yīng)用。這種應(yīng)用要求服務(wù)器自成系統(tǒng),具體表現(xiàn)在:

    l集群系統(tǒng)不能出現(xiàn)異構(gòu)現(xiàn)象;

    l集群內(nèi)部的通信服務(wù)質(zhì)量要求非常高,因此不能與其他業(yè)務(wù)共享業(yè)務(wù)通道;

    l集群系統(tǒng)的安全級(jí)別很高,從接入?yún)^(qū)開(kāi)始一直到超算區(qū),要求與其他系統(tǒng)保持物理或邏輯隔離;

    l 集群節(jié)點(diǎn)的計(jì)算性能要求較高,一般不會(huì)出現(xiàn)虛擬機(jī)。因此,集群內(nèi)部的通信流量并不會(huì)很大。

    綜合各種需求,可以將超級(jí)計(jì)算中心和云計(jì)算數(shù)據(jù)中心的網(wǎng)絡(luò)進(jìn)行融合,進(jìn)而對(duì)外提供統(tǒng)一的解決方案。如圖1所示,將超級(jí)計(jì)算服務(wù)作為云計(jì)算一個(gè)獨(dú)立的區(qū),保證超級(jí)計(jì)算端到端的安全隔離,并在超級(jí)計(jì)算區(qū)內(nèi)實(shí)現(xiàn)統(tǒng)一交換架構(gòu)。該方案重點(diǎn)強(qiáng)調(diào)性能、安全、可靠和易用性設(shè)計(jì)。

    圖1超級(jí)計(jì)算中心網(wǎng)絡(luò)安全解決方案組網(wǎng)

    2. 超級(jí)計(jì)算組網(wǎng)方案的高性能設(shè)計(jì)

    由于Infiniband具有高帶寬、低時(shí)延轉(zhuǎn)發(fā)的特點(diǎn)(通?梢缘陀10us,甚至達(dá)到納秒級(jí)),傳統(tǒng)的超級(jí)計(jì)算網(wǎng)絡(luò)通常采用其進(jìn)行組網(wǎng)。隨著以太網(wǎng)的發(fā)展,以太網(wǎng)已在超級(jí)計(jì)算中心的網(wǎng)絡(luò)中廣泛應(yīng)用。在高性能計(jì)算區(qū)域(HPC)TOP500集群中,采用千兆以太網(wǎng)的用戶數(shù)量是采用InfiniBand集群用戶數(shù)量的兩倍。

    千兆以太網(wǎng)計(jì)算集群的優(yōu)勢(shì)是成本較低,但萬(wàn)兆以太網(wǎng)計(jì)算集群的性能遠(yuǎn)高于千兆。新一代萬(wàn)兆以太網(wǎng)網(wǎng)卡可以將服務(wù)器之間延遲降低到千兆網(wǎng)絡(luò)延遲的八分之一,同時(shí)帶寬獲得更高的提升,幾乎與InfiniBand速度不相上下。以H3C數(shù)據(jù)中心級(jí)交換機(jī)S12500為例,根據(jù)最新的Spirent測(cè)試報(bào)告顯示,其萬(wàn)兆端口轉(zhuǎn)發(fā)時(shí)延6~14us(盒式萬(wàn)兆交換機(jī)的轉(zhuǎn)發(fā)時(shí)延更低)。除了轉(zhuǎn)發(fā)時(shí)延有大幅度降低之外,數(shù)據(jù)中心級(jí)交換機(jī)還能夠提供超高密度的萬(wàn)兆接入端口,可以實(shí)現(xiàn)大量計(jì)算節(jié)點(diǎn)的高密度接入,有效的降低成本。

    近年來(lái)隨著萬(wàn)兆以太網(wǎng)成本逐漸降低,高性能集群升級(jí)到萬(wàn)兆以太網(wǎng)將會(huì)有效的提高計(jì)算集群的性價(jià)比。另外,萬(wàn)兆以太網(wǎng)每Gb的端口功耗比千兆以太網(wǎng)的要低,使得用戶獲得10倍帶寬的同時(shí)又降低了能耗。

    3. 超級(jí)計(jì)算組網(wǎng)方案的高安全設(shè)計(jì)

    安全設(shè)計(jì)方案可以分為安全分區(qū)規(guī)劃以及端到端的安全部署兩部分。如圖2所示。

    在超算中心網(wǎng)絡(luò)中,存在不同業(yè)務(wù)種類的設(shè)備且易受攻擊程度不同。根據(jù)這些業(yè)務(wù)種類和設(shè)備情況可制定不同的安全策略和信任模型,將超算網(wǎng)絡(luò)劃分成不同區(qū)域,區(qū)域之間實(shí)現(xiàn)邏輯隔離,重點(diǎn)保證高性能計(jì)算區(qū)域(HPC)的數(shù)據(jù)安全和流量服務(wù)。

    針對(duì)不同級(jí)別、不同業(yè)務(wù)的用戶實(shí)施端到端的安全部署,從接入終端一直到超算中心最終的服務(wù)器,都能一直保持邏輯隔離的狀態(tài)。通過(guò)端到端的安全隔離進(jìn)一步加強(qiáng)超算中心核心業(yè)務(wù)的數(shù)據(jù)中心安全性和服務(wù)質(zhì)量。

    圖2超級(jí)計(jì)算組網(wǎng)方案的端到端安全設(shè)計(jì)

    4. 超級(jí)計(jì)算組網(wǎng)方案的高可靠設(shè)計(jì)

    采用網(wǎng)絡(luò)虛擬化技術(shù)將實(shí)現(xiàn)高可靠性要求,可實(shí)現(xiàn)分布式設(shè)備管理、分布式路由和跨設(shè)備鏈路聚合,部署虛擬化除了提高超算中心網(wǎng)絡(luò)的可用性,減少單點(diǎn)故障影響,同時(shí)無(wú)需再考慮MSTP、VRRP等協(xié)議,解決了傳統(tǒng)設(shè)備和鏈路只能工作在主/備模式和利用率低于50%的性能瓶頸。

    因此,通過(guò)部署網(wǎng)絡(luò)虛擬化技術(shù),可以有效地將超算業(yè)務(wù)的網(wǎng)絡(luò)可靠性提高一個(gè)級(jí)數(shù),極大的保證用戶業(yè)務(wù)的連續(xù)性。同時(shí),超算中心網(wǎng)絡(luò)的性能將以倍數(shù)級(jí)別靈活擴(kuò)展,增強(qiáng)可靠性,簡(jiǎn)化配置,降低投入和維護(hù)成本。

    5. 超級(jí)計(jì)算組網(wǎng)方案的易用性設(shè)計(jì)

    傳統(tǒng)的超算中心網(wǎng)絡(luò)結(jié)構(gòu)異構(gòu)復(fù)雜,接口不統(tǒng)一:前端網(wǎng)和管理網(wǎng)采用以太網(wǎng);存儲(chǔ)網(wǎng)采用FC;計(jì)算網(wǎng)用Infiniband。這導(dǎo)致超算中心運(yùn)行時(shí)協(xié)議轉(zhuǎn)換開(kāi)銷大、速率不匹配、存在性能瓶頸、開(kāi)發(fā)與部署周期長(zhǎng)、無(wú)法滿足業(yè)務(wù)快速靈活部署和性能需求的問(wèn)題。

    圖3超算中心一體化網(wǎng)絡(luò)

    超算中心網(wǎng)絡(luò)易用性解決方案就是一體化網(wǎng)絡(luò)設(shè)計(jì)方案,通過(guò)CEE(增強(qiáng)以太網(wǎng))技術(shù)和標(biāo)準(zhǔn)IP協(xié)議融合前端、計(jì)算、存儲(chǔ)和管理四張網(wǎng)絡(luò),消除網(wǎng)絡(luò)技術(shù)割裂所來(lái)的種種弊端?梢杂行У暮(jiǎn)化網(wǎng)絡(luò)層次、輕松部署、降低TCO。

    結(jié)束語(yǔ)

    云計(jì)算是從網(wǎng)格計(jì)算演化來(lái)的,但并不等同于網(wǎng)格計(jì)算。網(wǎng)格計(jì)算(尤其是大規(guī)模的網(wǎng)格計(jì)算)對(duì)于網(wǎng)絡(luò)的要求很高。超算中心網(wǎng)絡(luò)設(shè)計(jì)方案需要滿足不同類型的超級(jí)計(jì)算的需求,必須能極大的提高超級(jí)計(jì)算的性能、可靠性、易用性和安全等方面的指標(biāo)。

編 輯:劉蘭燕
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問(wèn)題,請(qǐng)?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
工信部張?jiān)泼鳎捍蟛糠謬?guó)家新劃分了中頻段6G頻譜資源
精彩專題
專題丨“汛”速出動(dòng) 共筑信息保障堤壩
2023MWC上海世界移動(dòng)通信大會(huì)
中國(guó)5G商用四周年
2023年中國(guó)國(guó)際信息通信展覽會(huì)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱: 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書(shū)面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像