Stochastic Second-Order Methods For Deep Learning(深度学习中的随机二阶方法)

時間:2021-10-13         阅读:

光華講壇——社會名流與企業家論壇第5861期

主題:Stochastic Second-Order Methods For Deep Learning(深度学习中的随机二阶方法)

主講人:北京大学 文再文教授

主持人:经济数学学院 车茂林副教授

時間:2021年10月19日(周二)10:15-11:15

直播平台及會議ID:騰訊會議:909679525;密碼:1019

主辦單位:经济数学学院 科研处

主講人簡介:

文再文,北京大學北京國際數學研究中心教授,主要研究最優化算法與理論及其在機器學習、人工智能和信號處理中的應用。2016年獲中國青年科技獎。2020年獲國家萬人計劃科技創新領軍人才,現爲中國運籌學會常務理事,中國運籌學會數學規劃分會副理事長。

內容提要:

Stochastic methods are widely used in deep learning. In this talk, we first review the state-of-the-art methods such as KFAC. Then we present a sketchy empirical natural gradient method and a multi-Step matrix-product natural gradient method. Numerical results on deep convolution networks illustrate that our methods are quite competitive to SGD and KFAC.

隨機方法廣泛用于深度學習中。在這個報告中,我們首先回顧了如KFAC等最新算法;然後提出了多部矩陣乘積梯度方法。卷積神經網絡方面的例子表明我們的方法和SGD與KFAC有可比性。