一種新的調(diào)度策略優(yōu)化Spark在異構(gòu)集群下表現(xiàn)
資料介紹
Spark的原生調(diào)度策略建立在集群同質(zhì)化的基本假設(shè)上。然而隨著硬件的更迭以及高性能硬件的引入,集群異質(zhì)化現(xiàn)象日趨顯著。因此現(xiàn)有的調(diào)度策略在異構(gòu)集群環(huán)境下并不高效,短板效應(yīng)嚴(yán)重。針對(duì)這個(gè)問(wèn)題,本文提出了一種新的調(diào)度策略以優(yōu)化Spark在異構(gòu)集群下的表現(xiàn)。新策略引入了分層調(diào)度的思想,調(diào)度時(shí)綜合考量了任務(wù)復(fù)雜度、節(jié)點(diǎn)性能及節(jié)點(diǎn)資源使用情況等因素,實(shí)現(xiàn)了更加高效公平的任務(wù)調(diào)度算法。通過(guò)仿真和真機(jī)實(shí)驗(yàn),證明了新策略的效果相對(duì)于原策略有明顯提升。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
- 大规模异构计算集群的双层作业调度系统1次下载
- 云环境下HEDSM工作流调度策略综述6次下载
- 异构云环境中二级实时密码服务调度策略9次下载
- 基于约束关键路径的代价优化调度算法2次下载
- 一种5G网络云原生应用资源调度优化策略9次下载
- 一种全新的综合能源系统动态经济调度方法0次下载
- 在Storm环境下如何进行拓扑结构的任务调度策略9次下载
- 如何使用Spark进行并行FP-Growth算法优化及实现4次下载
- 基于Docker的云资源弹性调度策略0次下载
- 异构Hadoop集群下的负载自适应反馈调度策略11次下载
- 一种新的多级能量异构WSNs簇优化算法0次下载
- 一种可重构流媒体调度算法7次下载
- 一种面向应用优化的片上总线调度策略5次下载
- 一种解决函数优化问题的免疫算法14次下载
- 一种动态并行I/O调度新策略的研究5次下载
- 详解Kubernetes中的Pod调度亲和性151次阅读
- redis三种集群方案详解626次阅读
- 解读 OM3 多模光纤在测试行业的应用,最后一种令人称奇!1393次阅读
- 深度神经网络(DNN)架构解析与优化策略3736次阅读
- FusionCompute集群重点知识点梳理1186次阅读
- 一种面向标识公共递归解析节点的数据安全加固策略965次阅读
- Blaze: 用Rust重写Spark执行层,平均提升30%算力1453次阅读
- 解析优化的调度逻辑和cuda实现1770次阅读
- 基于matlab遗传算法求解柔性车间调度问题1132次阅读
- 基于边界点优化和多步路径规划的机器人自主探索策略1874次阅读
- RTOS应用中的调度策略929次阅读
- Kubernetes的集群部署2025次阅读
- 什么是Hadoop? Spark和Hadoop对比6964次阅读
- 一文读懂 Spark 内存管理1096次阅读
- 数字集群对讲机的定义及功能解读18536次阅读
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費(fèi)下載
- 0.00 MB | 1490次下載 | 免費(fèi)
- 2單片機(jī)典型實(shí)例介紹
- 18.19 MB | 93次下載 | 1 積分
- 3S7-200PLC編程實(shí)例詳細(xì)資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識(shí)別和講解說(shuō)明
- 4.28 MB | 18次下載 | 4 積分
- 5開(kāi)關(guān)電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費(fèi)
- 6基于AT89C2051/4051單片機(jī)編程器的實(shí)驗(yàn)
- 0.11 MB | 4次下載 | 免費(fèi)
- 7基于單片機(jī)和 SG3525的程控開(kāi)關(guān)電源設(shè)計(jì)
- 0.23 MB | 3次下載 | 免費(fèi)
- 8基于單片機(jī)的紅外風(fēng)扇遙控
- 0.23 MB | 3次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費(fèi)
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費(fèi)
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費(fèi)
- 5555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33562次下載 | 免費(fèi)
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費(fèi)
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費(fèi)
- 8開(kāi)關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21539次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537791次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191183次下載 | 免費(fèi)
- 7十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183277次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138039次下載 | 免費(fèi)
評(píng)論