Storm環境下基于權重的任務調度算法
大小：1.35 MB 人氣：0 2018-04-17 需要積分：1
標簽：調度算法(11872)
大數據流式計算平臺Apache Storm默認采用輪詢的方式進行任務調度，未考慮到拓撲中各任務計算開銷的差異以及任務之間不同類型的通信模式，在負載均衡和通信開銷方面存在較大的優化空間。針對這一問題，提出一種Storm環境下基于權重的任務調度算法（TSAW-Storm）。該算法首先根據各任務的CPU資源占用情況以及任務間的數據流大小，分別確定拓撲的點權和邊權；并利用最大化邊權增益的思想，逐步構建起各工作節點中承載的任務集合，在保證集群負載均衡的同時，盡可能將邊權較大的節點間數據流轉化為節點內數據流，從而降低網絡傳輸開銷。實驗結果表明，在包含有8個工作節點的WordCount基準測試中，TSAW-Storm的系統延遲和節點間數據流大小相比Storm默認調度算法分別降低了30.0%和32.9%，且各工作節點的CPU負載標準差僅為Storm默認調度算法的25.8%；此外，在與在線調度算法的對比實驗中，TSAW-Storm在系統延遲、節點間數據流大小和CPU負載標準差方面分別降低了7. 76%、11. 8%和5.93 %，且算法的執行開銷明顯降低，有效提高了Storm系統的運行效率。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
Storm環境下基于權重的任務調度算法下載
相關電子資料下載
- 多核同構SMP--調度算法分析 546
- RTOS常用的調度算法 238
- 簡單介紹GaussDB網絡調度涉及的調度算法 286
- LVS是什么？LVS的四種模式與十種調度算法介紹 1279
- Linux內核的4大IO調度算法 371
- 基于優先級搶占系統的QNX調度算法 422
- 調度算法評測與仿真系統 調度算法仿真系統介紹 1079
- Kubernetes是如何解決資源拓撲感知調度的呢 588
- kube-scheduler v1.21 的調度流程分析 593
- 時間片調度算法issue詳解 804