keras中的优化器(optimizer)

in 互联网前沿
关注公众号【好便宜】( ID:haopianyi222 ),领红包啦~
阿里云,国内最大的云服务商,注册就送数千元优惠券:https://t.cn/AiQe5A0g
腾讯云,良心云,价格优惠: https://t.cn/AieHwwKl
搬瓦工,CN2 GIA 优质线路,搭梯子、海外建站推荐: https://t.cn/AieHwfX9
名称 描述 参数 备注
SGD
随机梯度下降法,支持动量参数,支持学习衰减率,支持Nesterov动量
  • lr:大或等于0的浮点数,学习率

  • momentum:大或等于0的浮点数,动量参数

  • decay:大或等于0的浮点数,每次更新后的学习率衰减值

  • nesterov:布尔值,确定是否使用Nesterov动量

 
Adadelta
 
  • lr:大或等于0的浮点数,学习率

  • rho:大或等于0的浮点数

  • epsilon:大或等于0的小浮点数,防止除0错误

建议保持优化器的默认参数不变
Adagrad
 
  • lr:大或等于0的浮点数,学习率

  • epsilon:大或等于0的小浮点数,防止除0错误

 
Adam
 
  • lr:大或等于0的浮点数,学习率

  • beta_1/beta_2:浮点数, 0<beta<1,通常很接近1

  • epsilon:大或等于0的小浮点数,防止除0错误

该优化器的默认值来源于参考文献
Adamax
Adamax优化器来自于Adam的论文的Section7,该方法是基于无穷范数的Adam方法的变体。
  • lr:大或等于0的浮点数,学习率

  • beta_1/beta_2:浮点数, 0<beta<1,通常很接近1

  • epsilon:大或等于0的小浮点数,防止除0错误

默认参数由论文提供
Ftrl
     
Nadam

Nesterov Adam optimizer:

Adam本质上像是带有动量项的RMSprop,Nadam就是带有Nesterov 动量的Adam RMSprop

  • lr:大或等于0的浮点数,学习率

  • beta_1/beta_2:浮点数, 0<beta<1,通常很接近1

  • epsilon:大或等于0的小浮点数,防止除0错误

默认参数来自于论文,推荐不要对默认参数进行更改。
RMSprop
该优化器通常是面对递归神经网络时的一个良好选择
  • lr:大或等于0的浮点数,学习率

  • rho:大或等于0的浮点数

  • epsilon:大或等于0的小浮点数,防止除0错误

除学习率可调整外,建议保持优化器的其他默认参数不变

 

关注公众号【好便宜】( ID:haopianyi222 ),领红包啦~
阿里云,国内最大的云服务商,注册就送数千元优惠券:https://t.cn/AiQe5A0g
腾讯云,良心云,价格优惠: https://t.cn/AieHwwKl
搬瓦工,CN2 GIA 优质线路,搭梯子、海外建站推荐: https://t.cn/AieHwfX9
扫一扫关注公众号添加购物返利助手,领红包
Comments are closed.

推荐使用阿里云服务器

超多优惠券

服务器最低一折,一年不到100!

朕已阅去看看