超越雲巅CyInsight ,是(shì)一(yī)套經過調優和(hé)功<能(néng)增強的(de)Hadoop與S&•park企業(yè)發行(xíng)版,包含Hadoop生&¥(shēng)态中的(de)20+主要(yào)組件(jiàn),幫助₩γ客戶輕松應對(duì)海(hǎi)量數(shù)據的(☆ε de)采集、存儲、計(jì)算(suàn)、分₹₽★(fēn)析挖掘和(hé)數(shù)據安全等應☆∏用(yòng)場(chǎng)景
多(duō)源數(shù)據的(de)高(gāo)效集成γ∞""
雲巅CyInsight 提供多(duō)源數(s£±✘hù)據(包含結構化(huà)、半結構化(huà)和(hé)非結"≠構化(huà)數(shù)據)的(de)集成能(néng)力,提供λ÷λ高(gāo)吞吐、可(kě)擴展的(de)™₽✘數(shù)據總線和(hé)數(shù)據分(fēn)發功能(né'★ ng),支持批量加載、實時(shí)加載、數(shù)據庫加載、文(wén←∏"∑)件(jiàn)加載等多(duō)種加載方式。
異構數(shù)據的(de)海(hǎi)量存儲
雲巅CyInsight 提供基于分(fēn)布式文(wén)件(₽πjiàn)系統和(hé)并行(xíng)¥₽∞架構的(de)大(dà)數(shù)據存儲能(néng™↔)力,支持PB級數(shù)據規模的(de)©₽↓•高(gāo)可(kě)靠和(hé)高(gā÷ o)可(kě)用(yòng)存儲,支持存±≠±©放(fàng)多(duō)種文(wén)件(jiàn)✔ 格式,例如(rú)關系數(shù)據庫等結構化(huà)數(shùσσ₩≥)據,日(rì)志(zhì)、網頁等半結構化(huà≤≥)數(shù)據,以及視(shì)頻(pín&÷★♣)、圖片、文(wén)檔等非結構化(huà)≤≤★數(shù)據。
多(duō)場(chǎng)景下(xià)的(de)數(shù)©☆據計(jì)算(suàn)框架
面向不(bù)同業(yè)務場(chǎng)景,雲巅CyInsight提供離(lí)線計(jì)算(suàn)>±×、流式計(jì)算(suàn)、內(nèi)存計(jì)算(suàn)、圖計(←jì)算(suàn)等豐富的(de)計(jì)算(suàn)框架∑δ♠©,支持計(jì)算(suàn)任務流程編排、計(♥∑÷♠jì)劃安排,提供标準SQL的(de)數(shù)據訪問(wèn)能¥€₹(néng)力。
基于機(jī)器(qì)學習(xí)的(de)大→×(dà)數(shù)據分(fēn)析
雲巅CyInsight 提供涵蓋多(duō)源數(shù)據接入≈∏、數(shù)據特征提取、算(suàn)↔∞±✔法模型管理(lǐ)、算(suàn)法模型評估和(hé)結果預測等完整≥&機(jī)器(qì)學習(xí)過程的(de)可(kě)視( ♣shì)化(huà)大(dà)數(shù)據分(fē≤±n)析功能(néng)。支持多(duō)元分(fēn)類、回歸分(fēn)析"、協同推薦等分(fēn)析模式,SVM、樸♣&素貝葉斯、K-Means、線性回歸等10+種算(suα₩<àn)法,支持批量預測和(hé)實時(shí)預測功能(néng)并♣↓提供API。預測過程基于內(nèi)存進行(xíng)叠代式計(jì)β←算(suàn),并且支持分(fēn)布式γ↔≠®計(jì)算(suàn),可(kě)以應對(duì)海(hǎi)量∞≥數(shù)據分(fēn)析。
安全有(yǒu)效的(de)資源隔離(lí)與共享
雲巅CyInsight 提供對(duì)結構化(huà)、非結↓←≠÷構化(huà)數(shù)據的(de)多(duō)用(yòng)戶資源管理φφ←(lǐ),滿足對(duì)數(shù)據資源的(de)權限隔✔♦離(lí)、安全授權和(hé)資源調度。提供多(duō)用(yò®♦βng)戶的(de)可(kě)視(shì)化≥₽(huà)數(shù)據空(kōng)間(jiān)管理(lǐ£¶♣•)功能(néng),支持數(shù)據空(k™φ&ōng)間(jiān)大(dà)小(xi★πǎo)、文(wén)件(jiàn)數(shù)、計(jì)算(suàn)隊•&列等的(de)配額設置;支持多(duō)用(• yòng)戶間(jiān)數(shù)據資源的(de)開(kāi)π₽放(fàng)訂閱和(hé)指定共享,共享權限可(kě)控制(zhì)到(d₩βào)文(wén)件(jiàn)目錄、表及列★↑族級;支持對(duì)數(shù)據訪問(wèn)的(de)✔↔審計(jì)和(hé)監控。
統一(yī)的(de)大(dà)數(shù)<♦據平台運維管理(lǐ)
雲巅CyInsight 提供針對(duì)HDFS、✔™MapReduce、Hive、HBase、ZooKeeper、Oozie和(₩ hé)Spark等20+組件(jiàn)的(de)自(zα↓§ì)動化(huà)安裝部署,并為(wèi)平台提供完善的(de)配置管≠σ×理(lǐ)、監控告警等能(néng)力。
産品詳情
産品參數(shù)
1、 性能(néng)指标
 ¥↓>; 測試環境:8節點集群;節點典型配置:CPU:2*E5-2640,內(nèi)存:256G,硬盤:SATA盤
分(fēn)類 |
指标項 |
規格 |
|
MapReduce性能(néng)指标 |
WordCount:平均每節點處理(lǐ)能(néng)力
|
8GB/分(fēn)鐘(zhōng) |
|
Terasort:平均每節點處理(lǐ)能(néng)力 |
6.4GB/分(fēn)鐘(zhōng) |
||
Spark性能(néng)指标 |
WordCount:平均每節點處理(lǐ)能(néng)力 |
30GB/分(fēn)鐘(zhōng)/Node |
|
Terasort:平均每節點處理(lǐ)能(néng)力 |
9GB/分(fēn)鐘(zhōng)/Node |
||
SQL on Hadoop |
Aggregation:平均每節點處理(lǐ)能(néng)力 |
8GB/分(fēn)鐘(zhōng) |
|
Join:平均每節點處理(lǐ)能(néng)力 |
4GB/分(fēn)鐘(zhōng) |
||
HBase |
100%随機(jī)讀(dú):平均每節點讀(dú§∞)取記錄條數(shù)(每條記錄1KB),響應時(shí)間(jiān)小(x↓↑♥iǎo)于50MS |
30,000 Records/s |
|
100%随機(jī)寫:平均每節點寫入記錄條數(shù)(每條記錄1KB),響應時(shí)間(jiān)小(xiǎo)于50MS |
40,000 Records/s |
||
順序掃描:平均每節點scan記錄條數(shù)(每條記錄1KB),響應時(shí)間(jiān)小(xiǎo)于50MS |
15,000 Records/s |
||
50%随機(jī)寫+50%随機(jī)讀(dú):平均每節點寫入記錄條數(shù)(每條記∞≠↔Ω錄1KB),響應時(shí)間(jiān)小(xαπδiǎo)于50MS |
寫25,000 Records/s 讀(dú)18,000 Records/s
|
||
50%随機(jī)寫+50%掃描讀(dú):平均每節點寫入記錄條數(sh€±ù)(每條記錄1KB),響應時(shí)間(jiān)小(xiǎo)于50MS |
寫30,000 Records/s 讀(dú)10,000 Records/s
|
2、産品兼容性
2.1 CPU兼容性
超越雲巅CyInsight大(dà)數(shù)據平台兼 ≥♣容主流硬件(jiàn)架構:X86、ARM
2.2 操作(zuò)系統兼容性
序号 |
操作(zuò)系統 |
1 |
CentOS |
2 |
Redhat |
3 |
銀(yín)河(hé)麒麟 |
4 |
中标麒麟 |
5 |
麒麟OS |
6 |
EulerOS |