2015中國大數(shù)據(jù)技術(shù)大會第二天的大數(shù)據(jù)基礎(chǔ)設(shè)施分論壇中，來自阿里云、Hulu、北京憶恒創(chuàng)源、阿里巴巴、企事錄以及中科院計算所的技術(shù)專家分享了大數(shù)據(jù)基礎(chǔ)設(shè)施從設(shè)計、搭建到平臺測試標準各個方面的技術(shù)關(guān)鍵點、實際問題和解決方法。
　　
　　阿里云的高級技術(shù)專家李超
　　首先，來自阿里云的高級技術(shù)專家李超通過雙11活動講解了阿里如何構(gòu)建自己的大數(shù)據(jù)平臺。他首先講解了阿里云大數(shù)據(jù)的發(fā)展史，接下來講解了今天的阿里巴巴大數(shù)據(jù)平臺到底能做什么事情，第一點最重要就是海量處理能力，這個離線計算平臺支持SQL、MR、MPI、BSP算法平臺。單個集群規(guī)模上線達到一萬臺，存儲有800PB的數(shù)據(jù)，有100萬以上的JOB數(shù)，響應(yīng)速度做到100個毫秒級別，導出速度達到100萬。除了海量數(shù)據(jù)處理能夠，平臺還可以提供數(shù)據(jù)整合能力，包括大數(shù)據(jù)的整合，把集團內(nèi)部各個業(yè)務(wù)的數(shù)據(jù)整合在自己的平臺，現(xiàn)在已經(jīng)達到800PB的數(shù)據(jù)量，相互之間可以流轉(zhuǎn)，包括結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化的數(shù)據(jù)，用統(tǒng)一的數(shù)據(jù)進行整合。還有數(shù)據(jù)交換能力，完全可信的數(shù)據(jù)交換平臺，多層次的數(shù)據(jù)交換，還有數(shù)據(jù)管理能力，包括原數(shù)據(jù)管理，數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)標準管理。接下來李超講解了大數(shù)據(jù)平臺里面三個比較重要的計算框架，一個是ODPS，第二個ADS實時數(shù)據(jù)分析，第三個StreamSQL，離線實時計算。前面兩個已經(jīng)在阿里云官網(wǎng)有云服務(wù)提供，后面一個處于準備當中。此外，阿里云的伏羲系統(tǒng)今年打破了sort benchmark的4項世界紀錄，而ODPS和ADS系統(tǒng)的底層，都是基于伏羲分布式調(diào)度。李超也從技術(shù)上講解了如何用377秒將100TB的數(shù)據(jù)做出排序。
　　
　　Hulu公司的資深研發(fā)主管梁宇明
　　Docker 技術(shù)越來越得到了很多開發(fā)者的青睞，而YARN對于多數(shù)愛好者來說還是一個比較新的平臺。來自Hulu公司的資深研發(fā)主管梁宇明為大家講解了如何把Voidbox用在YARN中。他的演講題目是《Voidbox - Docker On YARN在Hulu的實踐》。
　　Voidbox是什么？可以做什么呢？梁宇明說， 在一個集群中，你把不同的應(yīng)用在同一個計算的集群中共同的運行起來，這時候其實需要一個很好的調(diào)度系統(tǒng)，在開源的社區(qū)一般情況下大家就用Voidbox。為了把更多的應(yīng)用，在全部的基礎(chǔ)框架之上，用戶構(gòu)建一些Voidbox。
　　在集群中的很多部署問題，用戶可以寫完打包到同一個集群去，利用Voidbox就可自動匹配，類似于虛擬機提供復雜環(huán)境得包的能力，提供一個相對比較好的資源隔離。Yarn作為資源調(diào)度系統(tǒng)實現(xiàn)了資源調(diào)度，VoidboxAPI使得用戶把復雜的東西統(tǒng)一到Y(jié)arn上去。
　　梁宇明介紹說：“我們之所以選擇Voidbox有兩個原因，第一個對應(yīng)用程序可以進行很好封裝，可以屏蔽環(huán)境的依賴。把這些復雜環(huán)境封裝更好的打包在里面這是第一點。第二點本身CPU有很好隔離，在新版本中做到一定對網(wǎng)絡(luò)比較好的隔離，這一點是可以提供的，這些隔離基于在一個程序之中，通過設(shè)置不同的隊列，你可以把不同的任務(wù)分到不同業(yè)務(wù)運行，你可以把不同運用程序支持不同隊列當中去，不同隊列支持不同的機器。”
　　

电信下载联通下载

相關(guān)電子資料下載

• 新型大數(shù)據(jù)系統(tǒng)技術(shù)的四大挑戰(zhàn)與十大趨勢 498
• 大數(shù)據(jù)系統(tǒng)包括哪些 2225
• 什么是大數(shù)據(jù)系統(tǒng)身份認證技術(shù)？ 866
• 大數(shù)據(jù)系統(tǒng)隱私保護關(guān)鍵技術(shù)是什么？ 310
• 首創(chuàng)主動式智能場景 艾拉物聯(lián)開創(chuàng)未來空間智能 1186
• 公安大數(shù)據(jù)系統(tǒng)具有哪些性能,有哪些應(yīng)用優(yōu)勢 3841
• 未來人工智能人臉識別大數(shù)據(jù)系統(tǒng)發(fā)展三大趨勢 2631
• 能源管控平臺開發(fā),可視化BI大數(shù)據(jù)系統(tǒng)解決方案 163
• “阿里巴巴大數(shù)據(jù)系統(tǒng)體系”學習筆記-綱領(lǐng)篇 111
• NI 著力展示其面向工業(yè)物聯(lián)網(wǎng)的大數(shù)據(jù)系統(tǒng)解決方案 1405