可擴(kuò)展機(jī)器學(xué)習(xí)的并行與分布式優(yōu)化算法綜述
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評(píng)論（0）
機(jī)器學(xué)習(xí)問(wèn)題通常會(huì)轉(zhuǎn)換成一個(gè)目標(biāo)函數(shù)去求解，優(yōu)化算法是求解目標(biāo)函數(shù)中參數(shù)的重要工具，在大數(shù)據(jù)環(huán)境下，需要設(shè)計(jì)并行與分布式的優(yōu)化算法，通過(guò)多核計(jì)算和分布式計(jì)算技術(shù)來(lái)加速訓(xùn)練過(guò)程，近年來(lái)，該領(lǐng)域涌現(xiàn)了大量研究工作，部分算法也在各機(jī)器學(xué)習(xí)平臺(tái)得到廣泛應(yīng)用，本文針對(duì)梯度下降算法、二階優(yōu)化算法、鄰近梯度算法、坐標(biāo)下降算法、交替方向乘子算法五類最常見(jiàn)的優(yōu)化方法展開(kāi)研究，每一類算法分別從單機(jī)并行和分布式并行來(lái)分析相關(guān)研究成果，并從模型特性、輸入數(shù)據(jù)特性、算法評(píng)價(jià)、并行計(jì)算模型等角度對(duì)每個(gè)算法進(jìn)行詳細(xì)對(duì)比，隨后對(duì)有代表性的可擴(kuò)展機(jī)器學(xué)習(xí)平臺(tái)中優(yōu)化算法的實(shí)現(xiàn)和應(yīng)用情況進(jìn)行對(duì)比分析．同時(shí)對(duì)本文中介紹的所有優(yōu)化算法進(jìn)行多層次分類，方便用戶根據(jù)目標(biāo)函數(shù)類型選擇合適的優(yōu)化算法，也可以通過(guò)該多層次分類圖交叉探索如何將優(yōu)化算法應(yīng)用到新的目標(biāo)函數(shù)類型，最后分析了現(xiàn)有優(yōu)化算法存在的問(wèn)題，提出可能的解決思路，并對(duì)未來(lái)研究方向進(jìn)行展望。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
可擴(kuò)展機(jī)器學(xué)習(xí)的并行與分布式優(yōu)化算法綜述下載
相關(guān)電子資料下載
- 人工智能輔助編程工具的定義和工作原理 381
- 基于CNN的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)設(shè)計(jì) 105
- 數(shù)據(jù)分析有哪些分析方法 82
- 數(shù)據(jù)分析工具有哪幾種模式 83
- 數(shù)據(jù)分析與數(shù)據(jù)挖掘的區(qū)別 55
- STM32串口通信入門(mén)！附通信編程示例 469
- tensorflow和pytorch哪個(gè)好 156
- tensorflow簡(jiǎn)單的模型訓(xùn)練 71
- 遷移學(xué)習(xí)的基本概念和實(shí)現(xiàn)方法 98
- 深度神經(jīng)網(wǎng)絡(luò)概述及其應(yīng)用 105