本文主要研究内容
作者董翘（2019）在《基于条件梯度法的分布式在线学习算法》一文中研究指出：近年来,伴随互联网的快速发展,云计算、大数据等新兴领域不断的涌现,其结果就是数据量的爆炸式增长。海量数据处理问题已成为工程应用等行业的热点问题,事实上,许多优化算法已被相继提出,借助多个体网络从大规模数据集中提取有用信息。这种与多个体网络相结合的优化算法分为集中式算法和分布式算法。其中,分布式算法假定多个体网络中各节点无主次之分,节点间互相通信共享计算资源,有效地降低了集中式算法由于网络中心节点故障导致整个网络瘫痪的风险。已有的分布式算法通常假定多个体网络中节点数据是静态的,且要等到网络中所有节点数据都被收集后再进行数据处理,这种离线的学习方式会带来高昂的通信代价,因此研究在线学习方式下的分布式算法意义重大。本文针对多个体网络节点数据为动态流数据的问题,提出了分布式在线条件梯度算法(DOCG)和快速分布式在线条件梯度算法(Fa-DOCG)。首先,针对现有分布式在线优化算法所面临的高维约束时投影运算难以实现的问题,提出DOCG算法,目的是利用条件梯度算法无投影的特性,实现线性优化步骤对投影步骤的替代,解决高维约束带来的投影计算瓶颈问题。其次,为解决DOCG算法收敛速度慢的问题,提出Fa-DOCG算法。利用局部线性优化Oracle机制替代DOCG算法的线性优化步骤,使算法收敛速度呈指数级改善。最后,通过分析表征在线估计性能的Regret界,证明了 DOCG算法和Fa-DOCG算法分别具有 O(73/4)和O(logT)的 Regret 界。本文设计的两种算法融合正则化函数和各节点局部信息构建新的时变成本函数,从而实现对分布式网络中节点数据的实时处理,并且有效解决传统条件梯度法对梯度大小不敏感问题。最后理论上证明了两种算法的有效性,分析表明:投影运算并不影响算法的收敛,而是影响算法的收敛速度,相比之下,采用线性近似优化替代投影操作,可在一定程度上提高算法收敛速度。图[20]表[0]参[44]。
Abstract
jin nian lai ,ban sui hu lian wang de kuai su fa zhan ,yun ji suan 、da shu ju deng xin xing ling yu bu duan de chong xian ,ji jie guo jiu shi shu ju liang de bao zha shi zeng chang 。hai liang shu ju chu li wen ti yi cheng wei gong cheng ying yong deng hang ye de re dian wen ti ,shi shi shang ,hu duo you hua suan fa yi bei xiang ji di chu ,jie zhu duo ge ti wang lao cong da gui mo shu ju ji zhong di qu you yong xin xi 。zhe chong yu duo ge ti wang lao xiang jie ge de you hua suan fa fen wei ji zhong shi suan fa he fen bu shi suan fa 。ji zhong ,fen bu shi suan fa jia ding duo ge ti wang lao zhong ge jie dian mo zhu ci zhi fen ,jie dian jian hu xiang tong xin gong xiang ji suan zi yuan ,you xiao de jiang di le ji zhong shi suan fa you yu wang lao zhong xin jie dian gu zhang dao zhi zheng ge wang lao tan huan de feng xian 。yi you de fen bu shi suan fa tong chang jia ding duo ge ti wang lao zhong jie dian shu ju shi jing tai de ,ju yao deng dao wang lao zhong suo you jie dian shu ju dou bei shou ji hou zai jin hang shu ju chu li ,zhe chong li xian de xue xi fang shi hui dai lai gao ang de tong xin dai jia ,yin ci yan jiu zai xian xue xi fang shi xia de fen bu shi suan fa yi yi chong da 。ben wen zhen dui duo ge ti wang lao jie dian shu ju wei dong tai liu shu ju de wen ti ,di chu le fen bu shi zai xian tiao jian ti du suan fa (DOCG)he kuai su fen bu shi zai xian tiao jian ti du suan fa (Fa-DOCG)。shou xian ,zhen dui xian you fen bu shi zai xian you hua suan fa suo mian lin de gao wei yao shu shi tou ying yun suan nan yi shi xian de wen ti ,di chu DOCGsuan fa ,mu de shi li yong tiao jian ti du suan fa mo tou ying de te xing ,shi xian xian xing you hua bu zhou dui tou ying bu zhou de ti dai ,jie jue gao wei yao shu dai lai de tou ying ji suan ping geng wen ti 。ji ci ,wei jie jue DOCGsuan fa shou lian su du man de wen ti ,di chu Fa-DOCGsuan fa 。li yong ju bu xian xing you hua Oracleji zhi ti dai DOCGsuan fa de xian xing you hua bu zhou ,shi suan fa shou lian su du cheng zhi shu ji gai shan 。zui hou ,tong guo fen xi biao zheng zai xian gu ji xing neng de Regretjie ,zheng ming le DOCGsuan fa he Fa-DOCGsuan fa fen bie ju you O(73/4)he O(logT)de Regret jie 。ben wen she ji de liang chong suan fa rong ge zheng ze hua han shu he ge jie dian ju bu xin xi gou jian xin de shi bian cheng ben han shu ,cong er shi xian dui fen bu shi wang lao zhong jie dian shu ju de shi shi chu li ,bing ju you xiao jie jue chuan tong tiao jian ti du fa dui ti du da xiao bu min gan wen ti 。zui hou li lun shang zheng ming le liang chong suan fa de you xiao xing ,fen xi biao ming :tou ying yun suan bing bu ying xiang suan fa de shou lian ,er shi ying xiang suan fa de shou lian su du ,xiang bi zhi xia ,cai yong xian xing jin shi you hua ti dai tou ying cao zuo ,ke zai yi ding cheng du shang di gao suan fa shou lian su du 。tu [20]biao [0]can [44]。
论文参考文献
论文详细介绍
论文作者分别是来自安徽理工大学的董翘，发表于刊物安徽理工大学2019-07-08论文，是一篇关于分布式优化论文,条件梯度论文,无投影论文,在线学习论文,安徽理工大学2019-07-08论文的文章。本文可供学术参考使用，各位学者可以免费参考阅读下载，文章观点不代表本站观点，资料来自安徽理工大学2019-07-08论文网站，若本站收录的文献无意侵犯了您的著作版权，请联系我们删除。
标签：分布式优化论文; 条件梯度论文; 无投影论文; 在线学习论文; 安徽理工大学2019-07-08论文;