C114通信網  |  通信人家園

技術
2020/7/3 15:34

談CDN網絡 — 論網絡服務的未來

移動Labs  王一鳴

作者:王一鳴

2004年畢業于上海大學通信工程系,2015年獲得上海交大在職GCT碩士學位(項目管理專業)。

超15年的運營商通信網絡運營工作經歷,2017年開始物聯網的產業研究及撰稿,2018年起始參與公司的物聯網建設及運營,專職于物聯網業務的技術支持。

Labs 導讀

二十世紀八十年代,互聯網出現在了人們的工作和生活中,這個神奇的技術為它的使用者打開了一個嶄新的信息化的世界。從網頁瀏覽、電子郵件,到文件共享(下載)、聯網游戲,再到手機直播、在線導航等,絕大多數人已經無法離開互聯網,它讓“信息和服務”的獲取變得如此便捷:拇指點幾下,便心想事成。

通過互聯網,玩家可以在網絡游戲中“馳騁”,工程師可以遠程操作企業系統,學者可以在搜索引擎中查找文獻,消費者可以登錄電商平臺購物,學生可以打開平板上一節在線課程…..不過,在享受互聯網的便利之時,總有一個特別讓人煩惱的問題:“網速”,困擾著每一個“沖浪”人。

在一些關鍵時刻,上網速度就是一個令人無比抓狂的問題:網絡游戲中組隊打“BOSS”-卡得像在“放映PPT”,文獻下載-速率只有“幾Kb”,購物付費-遭遇“404(頁面丟失)”,在線上英語課-只聽到聲音卻看不到老師的口型…..越來越多的人連線到互聯網,互聯網則越來越擁擠……越來越“慢”……根據調查,在上網沖浪過程中,30%的用戶不能接受超過4秒的等待時間(點擊網頁鏈接后需要等待4秒才呈現頁面);ヂ摼W服務可以向用戶提供豐富多彩的信息資訊,但只要“遲到”就會被用戶放棄。網站(或其它服務)的響應速度,成為了客戶留駐的前提條件。

隨著互聯網的體量越來越龐大,信息服務越來越復雜,互聯網工程師們的“頭”也越來越大。工程師們要保證每時每刻的網速都暢通無阻,已變成一件“不可能完成的任務”。許多的“不確定”因素都會降低網絡性能,破壞用戶體驗:網絡容量的瓶頸、設備故障、突發的業務流量、應用軟件系統的BUG、人為破壞(黑客攻擊)等。其中,網絡容量(帶寬)的瓶頸是一個最關鍵的持續影響因素, 對于一個“從服務器到終端”的互聯網服務,只要中間的任意環節存在帶寬瓶頸,出現數據流擁堵,那就勢必造成服務“延遲”、“卡頓”。

對于那些不懂互聯網技術的普通用戶來說,信息服務的獲取變得既方便又高效。然而,其不確定性也同樣困擾著用戶:一旦關鍵時刻出現問題,只能望“洋(互聯網)”興嘆,束手無策。

1 CDN的誕生

1995~1998年間,Tim Berners Lee(萬維網創始人)預見到了互聯網越來越擁堵的趨勢,于是向麻省理工的同事們求助。其中,有一位應用數學教授:Tom Leighton(以研究并行算法和體系結構著稱),面對這一挑戰,開始成立算法小組,并著手于研究“如何解決分發互聯網內容”。而后,算法小組研究出了數學運算方法,可以在大規模的分布式服務器網絡中實現內容的智能分發(路由、傳遞和復制),并于1998年成立Akamai(首家CDN服務商),在1999年成為Yahoo!(當時全球訪問量最大的網站之一)的供應商,開啟了這一技術的商業化之旅。2000年, Chinacache(藍汛)獲得了中國的CDN試運行牌照,成為CDN領域“吃螃蟹的人”。

在經歷了互聯網發展的(2001~2002年)低谷期后,2003年Akamai率先提出并采用了“動態網站加速”的方法,之后迎接上了互聯網的又一個高速發展期。在2005年CDN進入了高速發展期,不僅許多CDN企業誕生,還形成了CDN聯盟。在國內,2005年網宿科技全面進軍CDN市場,同年從網宿走出的人才成立了帝聯公司。

2005年到2012年,越來越多的CDN企業或CDN網絡(企業自建CDN)出現在互聯網中,此時的中國CDN市場特別熱鬧。2006年~2008,淘寶CND誕生;2010年,成立不久的Cloudflare也進軍中國市場;2011年,YY語音為其視頻業務,搭建了一個獨立的分發網絡;同年,盛大云、又拍云和七牛云等更多CDN企業出現在了CDN市場中。

2014年開始,云CDN開始發力,淘寶CDN演化成了阿里云CDN,吹響了云計算廠商全面進軍CDN市場的號角,到2018年阿里云CDN的市場份額(30.6%)超過了傳統CDN廠家的網宿(28.4%)。

近幾年,創新型的CDN廠家開始“躥個兒”:以網心科技、七牛為代表的“業務專注型”CND廠家,在細分領域中嶄露頭角,提供具有創新力的增值服務。

2 CDN的特性

CDN網絡針對互聯網應用,提供“網絡加速服務”。

從字面意思來看,CDN(Content Delivery Network,內容分發網絡)首先是一種“網絡”(Network),是為傳遞某些應用數據而建的專用網絡,亦是在現有的Internet(包括移動互聯網)中新增加的一層網絡架構(稱為“Cache層”)。在互聯網之中,CDN網絡自成一個龐大的網絡體系,通過其網絡可以直接連接到遍布各地的互聯網服務接入點。

利用CDN網絡,運營企業可以將信息應用的內容發布到最接近用戶的服務點(即互聯網服務器)。

在用戶訪問互聯網服務的時候,“邊緣”服務就可以將應用內容高效、高質量地推送給用戶。這種“就近”服務的方式,可以有效地提高用戶訪問網站的響應速度,改善用戶的上網體驗。

將互聯網服務部署在用戶身邊,避免了信息數據在龐大且“深不可測(不穩定、不可靠)”的互聯網中,需要穿越漫長的網絡路徑才能被送達。

它帶來的好處主要有兩個方面:

云端側(應用端):避免(源服務點)集中式部署帶來的故障風險,減輕因突發流量而造成的服務壓力。

終端側(客戶端):保證數據的傳送質量(保障網絡帶寬、降低傳輸時延、提高服務的穩定性和可靠性等)CDN“分布服務、邊緣接入”的商業模式之所以會獲得成功,不僅在于他在網絡技術上的質量優勢,還在于在經濟上的效率優勢:

由于“大眾用戶對互聯網服務的訪問”基本符合“二八定律(帕累托定律,Pareto Principle )”,即大多數的互聯網訪問(80%的訪問需求)集中在小部分互聯網內容(20%的信息服務)上。所以,對于互聯網企業,只要能夠在靠近用戶的地區緩存20%的熱點內容,就能較高效率、較低成本地滿足用戶需求,改善用戶體驗。

CDN網絡通過對熱點內容的分布式部署,不僅緩解源站集中性的流量壓力,提升互聯網服務的訪問速度和質量,還有另一個重要的作用,就是它可以打破多個電信運營商網絡之間的帶寬瓶頸,實現跨運營商的網絡疏通(當源站在A運營商機房內,而訪問客戶在B運營商網絡中,用戶在訪問源站時的網絡質量,容易受限于A/B之間網絡帶寬、流量策略等的影響。)

3 CDN的技術實現

針對不同的業務類型,CDN的網絡結構和應用功能可能會有很大的差異(規模、層級等),但它們業務加速的技術架構和原理在整體上是一致的。

CDN核心的技術功能,是通過智能化的DNS解析,將離用戶最近的業務服務器地址返回給用戶,使用戶能夠訪問到最合適的服務器,并且做到“服務器內容緩存的策略”適應于“用戶偏好”(例如:某用戶喜歡只看電視劇開頭15分鐘,則緩存策略也傾向于就緩存前15分鐘的視頻分片),致使用戶體驗達到最佳。

3.1  CDN網絡結構

CDN網絡的基本邏輯功能,由3大系統多種類型的功能節點組成:

三大系統包括:業務系統、調度系統、管理系統;

功能節點包括:內容中心節點、區域節點、邊緣服務節點、全局內容路由節點、管理平臺、業務配置系統等

3.1.1  業務系統

內容中心節點、區域節點和邊緣服務節點,是CDN網絡的主要業務節點。三者自上而下形成了三級的網絡結構,共同組成CDN的業務系統,實現“數據業務”功能。在CDN網絡中的數據業務功能,包括對用戶訪問內容的接入、存儲/緩存、處理(數據切片、轉碼等)和分發。

3.1.2  調度系統

調度系統是CDN網絡的核心能力,其作用就是能動態、智能地將合適的互聯網服務提供給用戶,在用戶和服務之間構建起一座穩定(網絡質量有保證)、簡短(尊崇“就近”原則)、高速(鏈路帶寬滿足需要)的“橋梁(數據鏈路)”。

調度系統包括全局內容路由(RR:Request Routing)功能和本地負載均衡(SLB)。

全局內容路由,即全局負載均衡(GSLB:Global Server Load Balancing),實現對用戶服務請求的統一調度,將最合適的邊緣服務節點(或區域SLB節點)告知用戶并提供相應服務。全局內容路由功能通常集中部署于全局內容路由節點上,作為調度功能的核心節點,可以針對不同用戶配置不同的調度策略,并實時檢測CDN的網絡拓撲和節點負載,從“業務特性”、“網絡狀態”兩個維度實現靈活、智能的全局調度功能。

本地負載均衡,實現CDN網絡區域內的調度功能,將適用的服務節點提供給用戶。三類主要業務節點(中心/區域/邊緣節點),除了部署存放業務內容的緩存服務器之外,通常還都具備SLB功能(本地負載均衡)。

3.1.3  管理系統

管理系統主要包括網絡管理、業務管理和對外接口,通過集中部署管理平臺、業務配置系統等來實現。

網絡管理,包括對網元節點和網絡的監控、故障處理、性能分析、網絡參數配置、網絡安全防護等。

業務管理,包括內容管理(對CDN內容的登記、存儲、推送、回收等操作進行策略配置和信息管理)、CDN業務管理(對路由內容、調度策略等進行配置)、計費及計費管理、業務統計、服務日志管理等。

開放接口,對CDN網絡的內部或外部系統,提供各類信息服務和網絡功能。例如用戶的源站系統可以通過開放接口,將自身的業務內容導入進CDN網絡內。

3.2  CDN的基本業務調度流程

業務調度功能是CDN網絡的核心能力,對于不同類型的業務和質量需求,CDN用戶及運營者可以選擇不同的調度方式來實現網絡資源的調配。主流的調度方式包括DNS調度、HTTP調度、RTSP調度等。

DNS調度和HTTP(重定向)調度是最常見的調度方式之一。不同的CDN網絡在調度流程的細節方面會有一定差異,但基本原理是一致。兩種調度的基本流程如下:

3.2.1  DNS調度

1、客戶端本地DNS:用戶操作客戶端,向本地DNS提交需要訪問的網址域名

2、本地DNS上級DNS:當本地DNS無法解析域名時,會逐級向上請求DNS解析

3、本地DNSGSLB:本地DNS獲得了GSLB的信息后,會向GSLB請求域名解析

4、GSLBSLB:GSLB根據用戶源IP地址、訪問URL,選擇一臺適合用戶的區域負載均衡設備,并要求提供服務器地址

5、SLBGSLB本地DNS客戶端:區域負載均衡設備會選擇一臺合適的緩存服務器,并將該服務器的IP地址返回給GSLB,再通過本地DNS告知客戶端

6、客戶端緩存服務器:用戶向緩存服務器發起業務請求,獲得互聯網服務

3.2.2  HTTP(重定向)調度

1、客戶端本地DNS:用戶操作客戶端,向本地DNS提交需要訪問的網址域名

2、本地DNS根DNS客戶端:當本地DNS無法解析域名時,會逐級向上請求DNS解析。根DNS解析獲得GSLB地址后,會將GSLB地址返回給客戶端

3、客戶端GSLB:用戶操作客戶端,向GSLB提交需要訪問的網址域名

4、GSLBSLB:GSLB根據用戶源IP地址、訪問URL,選擇一臺適合用戶的區域負載均衡設備,并要求提供服務器地址

5、SLBGSLB客戶端:區域負載均衡設備會進一步根據用戶源IP地址、訪問URL,以及區域內的系統負載、網絡故障等情況,為用戶選擇一臺合適、“健康”的緩存服務器,并將該服務器的IP地址返回給GSLB,并最終告知客戶端

6、客戶端緩存服務器:用戶向緩存服務器發起業務請求,獲得互聯網服務在調度策略中,不僅需要考慮用戶的位置,為用戶實現“就近”服務,還需要考量CDN網絡內部負載情況、流量分配策略、線路資費等因素。在全局負載均衡(GSLB)和區域負載均衡(SLB)中,通過各種負載均衡算法工具,來合理分配和調度CDN內部資源(服務器CPU負荷、服務器內存、磁盤存儲、網絡帶寬等),并實現對外部需求(業務量需求、QOS質量要求等)的最佳匹配。

3.3  CDN的基本內容訪問流程

在邊緣服務節點上,基于成本和效率的考量,不會緩存全量的業務內容。節點需要通過緩存技術和相應算法,動態地篩選并更新節點上的緩存內容,來提高區域的互聯網服務命中率。緩存技術不僅需要考量服務內容的業務特性,還需要掌握系統內部信息,來保證資源分配、服務分布的合理性和可靠性。(注釋:業務特性包括訪問時間段、訪問頻率、源內容的更新頻率等;系統內部信息包括網絡擁塞情況、故障情況、邊緣服務的成本等)如果在用戶訪問的邊緣服務節點(緩存服務器)上,實際并沒有用戶需要的服務信息,而區域均衡設備依然將它分配給了用戶,那么這個服務節點就要逐級向上級服務器請求相關內容,直至追溯到網站的源服務器將內容拉到本地,即訪問流程為:

邊緣服務節點區域服務節點內容中心節點源站點

3.4  CDN最佳的調度和訪問流程

以上介紹的基本調度/訪問流程,可以說是“最不理想”的業務流程:調度和訪問需要經過全部功能節點才能夠完成。而“理想”的業務流程,是由CDN網絡系統通過采集各種業務和系統信息,運用負載均衡技術(包含各種負載均衡算法)、緩存技術(包含各種緩存算法)、智能化的用戶訪問信息分析及其它信息技術,來構建調度和訪問的最簡化的路徑,即盡力實現“客戶端發起業務請求后,在本地DNS中獲得邊緣服務節點地址,并由邊緣服務節點將已經緩存的內容直接返回給客戶端”。

4 CDN的玩家

目前,CDN企業主要有4類:創新CDN、云CDN、傳統CDN、小CDN廠家。

傳統CDN,最先占有市場,其規模大邊際成本低,CDN通用性高,并最早建立起了CDN生態集群。運營商CDN,從特性和優勢上來看,也屬于傳統CDN類型, 只不其CDN網絡商業化入局較晚。

云CDN作為后起之秀,實現了網絡服務和云(計算)服務配套組合,其基建服務能力強(安全、開發服務),成本低,可以自己用,也可以交付別人使用。

創新CDN,擅長于在某些行業垂直領域或技術領域進行深耕,能夠提供豐富的增值服務,自身的軟件開發能力強,業務靈活性高,服務更平臺化。許多創新CDN也可以稱為融合CDN,在實際應用中可以“OTT(Over The Top)”其他CDN網絡(即租用其它CDN網絡資源),專注于自身的業務創新。

在CDN網絡生態中,還有一些小CDN玩家,他們通常附屬在一些CDN集群中,體量小,無法獨立成網,但可以作為CDN節點提供區域的網絡服務。

5 國內CDN的發展格局

傳統CDN最早進入CDN領域,在CDN發展初期具有網絡規模和成本領先的優勢,傳統CDN廠家逐漸組建了各自的CDN站點集群。

2015年前后,云CDN開始入局,提供云服務的互聯網廠商(騰訊、金山、阿里等)天生自帶業務流量、全國性的網絡支持,其CDN網絡發展勢頭逐漸超過傳統CDN。2016年云CDN發力,2017年傳統CDN開始出現虧損(藍汛、帝聯)。

目前,創新CDN逐漸開始嶄露頭角(七牛云等)。創新CDN可以利用其它CDN資源進行CDN部署,并提供更高層次的增值服務(圖片水印、文件壓縮剪裁、網絡狀態智能檢測等)。融合CDN具有OTT其它CDN廠家的特征。

近2年,雖然網絡業務依然高速增長,但全國的CDN部署已經鮮有“空白”(在全國范圍內,CDN網絡的大盲點已經很少),且很少有新的玩家進入CDN領域了,包括第三方小廠家。

從這一態勢可以看出:CDN產業(網絡通信產業)整體上依然屬于資源密集型行業,一旦實現全國市場(地域)的覆蓋,CDN產業的發展就陷入了“滯漲”的狀態。雖然,新興互聯網業務(例如視頻直播、短視頻等)依然在高速增長中,但“大面積”的基礎建設已經失去了(投資)驅動力,CDN的增速趨于穩定,未來的競爭和發展逐漸成為“老玩家們”的游戲。

6 從CDN網絡的歷史看通信業的未來

6.1  通信網絡的相似性

CDN網絡“依附”于互聯網,并作為互聯網的增值型網絡,其網絡/技術整體架構和互聯網、運營商網絡都非常相似,只是缺少了一些功能單元(比如和運營商網絡相比,沒有無線基站),并且網絡“體量”小很多。

6.1.1  網絡結構的相似性

全國全球覆蓋的網絡架構,基本都為典型的樹狀結構,呈現一個從中心向邊緣延伸的網絡形態。

以國內電信運營商的“IP承載網”來舉例,即呈現“核心層(根)” ->“匯接層(干)” ->“接入層(枝)”的三級樹狀網絡架構CDN網絡同樣也為三層級的樹狀結構:內容中心節點->區域節點->邊緣服務節點。

6.1.2  網絡功能的相似性

運營商網絡(移動網絡)具有幾大功能:無線(基站)、傳輸(遠距離的通信)、核心網(移動性管理、基本電信業務)、數據網(互聯網業務)、網管系統、計費系統。

從功能特性來看,運營商網絡的功能和CDN的三大系統有著比較明確的對應關系:

CDN的“業務系統”,就是其最基礎的承載網絡(系統),類似于運營商網絡中的傳輸網絡(包括承載網)、無線基站等系統設施。

CDN的“調度系統”,為用戶的業務分配相應的網絡資源,運營商網絡中的核心網和數據網也承擔了類似的角色。核心網實現移動用戶的移動性管理和基礎電信業務,為用戶的登記、漫游、切換、主被叫通話、短信收發配給相應的網絡通道和系統資源。數據網,為用戶提供互聯網接入的錨點(公網IP地址等),以及提供最基本業務質量報障(網速帶寬等)。此外,在運營商網絡內部也有類似于SLB的功能技術,能夠在多臺同類設備上實現業務的負載均衡。當然,和CDN比起來,運營商對網絡資源的“調度”還不夠靈活、動態,并缺少“業務導向”。

CDN的“管理系統”,是網絡運營、維護的平臺,實現對網絡、業務的系統性管理,類似于運營網絡中的網管系統、計費系統等各類業務平臺。運營商網管系統的功能包括:告警監控、網絡參數配置、網絡性能分析和預警、業務指標分析、業務日志、業務(通信信令)跟蹤、用戶的業務配置等。運營商計費系統,顧名思義包括了計費策略、賬單管理、用戶信息管理、業務信息管理、業務全生命周期管理等功能。由于CDN網絡和運營商網絡本質上都是“網絡”,所以兩者的網絡管理系統從功能性來看并沒有太大差別,雖然兩者對各類功能的實現和呈現可能截然不同。

6.1.3  商業發展和運營的相似性

雖然,國內的CDN企業和運營商企業,在企業性質、組織結構、項目運作、產品開發等方面有很大差異,但在網絡發展和運營的模式上,十分相近。

CDN和運營商企業的發展動力都是“由資本投資驅動”,兩者都具有鮮明的通信行業發展特征:

1)技術標準化是發展的基礎;

2)市場發展到一定程度就形成了“自然壟斷”;

3) 邊際效益遞增:在超大規;\營的情況下,產能擴容的成本可能會“降低到忽略不計”。

以上兩者同屬于通信領域的基礎設施:CDN網絡是運營商網絡的增值和補充,運營商網絡則是CDN網絡的“地基”。

運營商的網絡運營服務,(參照ISO-通信領域相關規范的定義)大致可劃分為“故障”、“配置”、“計費”、“性能”、“安全”五個大類。仔細對照前文對CDN功能架構的描述,這五類運營工作也是CDN網絡核心的運營管理內容。

6.2  驅動力的轉型

觀察CDN如今的發展趨勢:一方面具有超大流量需求的互聯網頭部企業,都會部署或擴建自己的核心CDN節點數,以控制CDN的成本增長(2020年初,字節跳動開始部署自己的CDN網絡);另一方面,新興融合CDN入局,提供了個性化的增值服務,軟件開發在CDN運營中的比重逐漸加大,面向開發者的“CDN開發運營平臺”逐漸有了孕育的場景和基礎。

整體來看,和互聯網電商的發展規律類似(先滿足大眾普遍的網購需求,再朝垂直領域深耕),CDN的發展也會遵循先滿足大眾化的網絡應用(上網、游戲、下載、音視頻等)需求,再逐步向個性化、專業化、復雜化的應用場景滲透。

可以預見,越來越多的企業也會將他們基于網絡的行業應用(非面向公眾的互聯網應用,如遠程辦公/會議系統、資產管理系統等)放置于CDN之中,以滿足專業應用對網絡性能的個性化要求。

傳統通信網絡的發展方向,和CDN網絡是趨同的:5G網絡發展的其中一個方向(即“5G ToB(To Business,即面向企業用戶)”),正是為了聯通各行業的信息系統而設計的。

意欲數字化轉型的傳統行業,具有強烈的數字化資產的管理需求和“海量信息流”的運營需求,他們對信息處理(包括網絡)的質量要求又完全不同于公眾對網絡應用的需求。為了滿足傳統行業的創新需要,與5G相關的許多概念和技術被廣泛推崇:

三大應用場景(eMBB、URLLC、mMTC)適配于各行業更復雜多樣的網絡需求;各類新興技術概念(網絡切片、邊緣計算-MEC、波束成形)則更有利于垂直化(針對行業應用)的網絡定制和部署。

總之,不論是CDN還是傳統通信網絡,它們起初作為服務公眾的信息化基礎設施,在實現了(公眾)市場的全覆蓋后,自然會向非公眾領域的行業進行衍生。然而,新的領域并不是一個“需求統一”、“能夠標準化部署”的市場,所以網絡發展的驅動力也逐漸發生了轉型,即由“技術標準先行、投資驅動”的發展模式,走向“平臺生態先行,需求驅動”。

6.3  面向創新的網絡運營

驅動力的轉變,使得網絡不僅需要滿足“連接”的需求,還需要滿足“開發(創新)”的需求,這對于傳統通信領域的運營商企業來說并不是容易的事情。

在CDN的發展歷史中,可以發現“投資驅動型”的CDN企業(傳統CDN企業、云CDN),其商業模式都是通過海量的資源投入和網絡布局,來獲得市場競爭力和商業利潤。他們的網絡規模越大,競爭力越強,越追求穩定和規范。在這種追求規模的發展模式下,對于網絡的增值開發和個性訂制,與“小而美”的創新CDN企業相比較,傳統/云CDN企業往往缺乏靈活性和敏捷性,在垂直領域的拓展驅動力也略顯不足。

通信網絡發展到現階段,傳統市場已經飽和,“通信流量”的增長不再依賴于網絡覆蓋的擴張和純粹的資源投入,而是需要轉型為一個“為創新而服務”的網絡:既需要能夠融合傳統行業技術,助力于行業系統的開發,又需要具備數字化運營管理能力,支持產品的迭代。整個通信行業的進一步發展,需要形成一個能支撐創新的產業生態,并支持一些企業在商業模式和組織形式上“破繭”而出,這些企業可以是傳統企業轉型,也可以是創新企業孵化。

對于企業和組織,面對復雜的行業數字化轉型需求,其根本無法通過“簡單地堆砌”各種新興的技術和概念,并固守傳統的通信產品形態和運營模式,來實現靈活、訂制的網絡服務。要在傳統產業中精耕細作,賺取產業轉型升級的溢價,就需要通信企業和組織率先實現轉型(或局部轉型),調整企業發展的策略,重新設計網絡運營的模式,以“創新驅動”為目標,對組織內部的人才流、資金流、數據流進行重新規劃,形成通信行業新的良性循環(簡單來說就是形成以創新、服務為核心的“投資-創新-服務-盈利”商業循環)。

給作者點贊
0 VS 0
寫得不太好

免責聲明:本文僅代表作者個人觀點,與C114通信網無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯系我們 | 網站地圖 | 手機版

      Copyright©1999-2020 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網 版權所有 舉報電話:021-54451141

      成都市中心民宿赚钱吗 和拖是什么意思 深圳风采福利彩票查询双色球开奖结果 中国股市分几个市场 安徽快3开奖结果走势 山西快乐十开奖走势图 陕西11选5任7任8预测 泳坛夺金中奖规则 山东快乐扑克三走势图 黑龙江22选5奖池多少 极速赛车最