Spark下的并行多標(biāo)簽最近鄰算法
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評(píng)論（0）
隨著大數(shù)據(jù)時(shí)代的到來，大規(guī)模多標(biāo)簽數(shù)據(jù)挖掘方法受到廣泛關(guān)注。多標(biāo)簽最近鄰算法ML_KNN是一種簡(jiǎn)單高效、應(yīng)用廣泛的多標(biāo)簽分類方法，其分類精度在很多應(yīng)用中都高于其他常見的多標(biāo)簽學(xué)習(xí)方法。然而隨著需要處理的數(shù)據(jù)規(guī)模越來越大，傳統(tǒng)串行ML-KNN算法已經(jīng)難以滿足大數(shù)據(jù)應(yīng)用中時(shí)間和存儲(chǔ)空間上的限制。結(jié)合Spark的并行機(jī)制和其基于內(nèi)存的迭代計(jì)算特點(diǎn)，提出了一種基于Spark并行框架的ML_KNN算法SML-KNN。在Map階段分別找到待預(yù)測(cè)樣本每個(gè)分區(qū)的K近鄰，隨后Reduce階段根據(jù)每個(gè)分區(qū)的近鄰集合確定最終的K近鄰，最后并行地對(duì)近鄰的標(biāo)簽集合進(jìn)行聚合，通過最大化后驗(yàn)概率準(zhǔn)則輸出待預(yù)測(cè)樣本的目標(biāo)標(biāo)簽集合。串行和并行環(huán)境下的對(duì)比實(shí)驗(yàn)結(jié)果表明，SML_KNN在保證分類精度的前提下性能與計(jì)算資源呈近似線性關(guān)系，提高了ML_KNN算法對(duì)大規(guī)模多標(biāo)簽數(shù)據(jù)的處理能力。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
Spark下的并行多標(biāo)簽最近鄰算法下載
相關(guān)電子資料下載
- 天數(shù)智芯主導(dǎo)的DeepSpark開源社區(qū)發(fā)布百大應(yīng)用開放平臺(tái)24.06版本 436
- spark運(yùn)行的基本流程 91
- Spark基于DPU的Native引擎算子卸載方案 180
- 百度前高管景鯤與朱凱華創(chuàng)立AI搜索公司，Genspark產(chǎn)品驚艷上線 458
- 關(guān)于Spark的從0實(shí)現(xiàn)30s內(nèi)實(shí)時(shí)監(jiān)控指標(biāo)計(jì)算 111
- “Spark+Hive”在DPU環(huán)境下的性能測(cè)評(píng) | OLAP數(shù)據(jù)庫引擎選型白皮書（24版）DPU部分 212
- 芯科科技和Arduino合作創(chuàng)建SparkFun Thing Plus Matter板 234
- Sparkle撼與科技發(fā)布TBX-750FA-V2顯卡塢，支持3.5槽厚顯 243
- 如何注冊(cè)星閃Sparklink設(shè)備媒體接入層標(biāo)識(shí)、地址碼? 246
- 如何利用DPU加速Spark大數(shù)據(jù)處理？ | 總結(jié)篇 661