如何设置Adan学习率

[theFoxofSky]

您好请问您是否有研究过将Adan用于Diffusion模型训练，其学习率应该如何设置，可否与使用AdamW的学习率一样？

[XingyuXie]

保守一点可以设置为adamW的两倍，也可以更大，可以适当调整beta3和beta2。

[theFoxofSky]

谢谢，我先试试2倍

[XingyuXie]

如果一开始下降的很慢，可以试着调整beta2，调到大一点的值，例如0.95，或者0.98。

beta3也可以调整，0.95可以尝试一下。最后可以试着把no_prox设置为True试一试。基本上就可以找到一个稳定好用AdamW
的setting。