Spark分布式下的模糊C均值算法
大小：0.88 MB 人氣：0 2017-12-23 需要積分：2
針對聚類算法需要處理數據集的規模越來越大、時效性要求越來越高，對算法的大數據適應能力和性能要求更高的問題，提出一種在Spark分布式內存計算平臺下的模糊C均值（FCM）算法Spark-FCM。首先對矩陣通過水平分割實現分布式存儲，不同向量存儲在不同節點；然后基于FCM算法的計算特點，設計了分布式和緩存敏感的常用矩陣操作，包括乘法、轉置和加法等；最后基于矩陣操作和Spark平臺特點，設計了Spark-FCM算法，主要數據結構采用分布式矩陣存儲，具有節點間數據移動少和每個步驟分布式計算特點。通過在單機和集群環境下測試，算法具有良好的可擴展性，并可以適應大規模數據集，算法性能與數據量成線性關系，集群環境下性能比單機提高2-3倍。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
Spark分布式下的模糊C均值算法下載
相關電子資料下載
- 天數智芯主導的DeepSpark開源社區發布百大應用開放平臺24.06版本 436
- spark運行的基本流程 91
- Spark基于DPU的Native引擎算子卸載方案 180
- 百度前高管景鯤與朱凱華創立AI搜索公司，Genspark產品驚艷上線 458
- 關于Spark的從0實現30s內實時監控指標計算 111
- “Spark+Hive”在DPU環境下的性能測評 | OLAP數據庫引擎選型白皮書（24版）DPU部分 212
- 芯科科技和Arduino合作創建SparkFun Thing Plus Matter板 234
- Sparkle撼與科技發布TBX-750FA-V2顯卡塢，支持3.5槽厚顯 243
- 如何注冊星閃Sparklink設備媒體接入層標識、地址碼? 246
- 如何利用DPU加速Spark大數據處理？ | 總結篇 661