基于Spark的ItemBased推薦算法性能優化
大?。?/span>0.91 MB 人氣：0 2017-11-30 需要積分：2
MapReduce計算場景下，復雜的大數據挖掘類算法通常需要多個MapReduce作業協作完成，但多個作業之間嚴重的冗余磁盤讀寫及重復的資源申請操作，使得算法的性能嚴重降低。為提高ItemBased推薦算法的計算效率，首先對MapReduce平臺下ItemBased協同過濾算法存在的性能問題進行了分析；在此基礎上利用Spark迭代計算及內存計算上的優勢提高算法的執行效率，并實現了基于Spark平臺的ItemBased推薦算法。實驗結果表明：當集群節點規模分別為10與20時，算法在Spark中的運行時間分別只有MapReduce中的25.6%及30. 8%，Spark平臺下的算法相比MapReduce平臺，執行效率整體提高3倍以上。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
基于Spark的ItemBased推薦算法性能優化下載
相關電子資料下載
- 天數智芯主導的DeepSpark開源社區發布百大應用開放平臺24.06版本 436
- spark運行的基本流程 91
- Spark基于DPU的Native引擎算子卸載方案 180
- 百度前高管景鯤與朱凱華創立AI搜索公司，Genspark產品驚艷上線 458
- 關于Spark的從0實現30s內實時監控指標計算 111
- TikTok將開發獨立版推薦算法，以滿足美國用戶需求？ 426
- “Spark+Hive”在DPU環境下的性能測評 | OLAP數據庫引擎選型白皮書（24版）DPU部分 212
- 芯科科技和Arduino合作創建SparkFun Thing Plus Matter板 234
- Sparkle撼與科技發布TBX-750FA-V2顯卡塢，支持3.5槽厚顯 243
- 如何注冊星閃Sparklink設備媒體接入層標識、地址碼? 246