Replies: 17 comments 31 replies
-
|
我来添加描述： 我一开始怀疑eval-only有问题，于是导入了我之前存下来记录了acc的ckpt，发现精度是一致的，说明eval-only没问题。 通过eval-only导入： 4999：15.55% -> 9999: 39.05% -> 14999: 36.95% -> 19999: 27.04% 现在怀疑的是，要不是训练时eval有问题，要不是save model有问题，这两个里面肯定有一个有问题。 |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
目前已经确定是commit: 7275a1c 的问题，在这之前没有这种情况，但虽然精度对齐了，其最终精度相比于pytorch的swinv2版本却要低的很多，在这之后虽然没对齐，但精度比pytorch的swinv2略高2-3个点。 在这里，我额外说明一下，出现精度不对齐不是一开始就出现的，而是要14999次迭代之后才会出现。 然后这里我发一下在那个commit之前的log日志，他和pytorch版本差距巨大： 可以看到精度差pytorch挺多的，至于那个commit之后的还没跑完，但可以看看，其实高了非常多： |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
说明一下我出现问题的环境： 我直接拉下libai的最新分支，然后修改一下swinv2_imagenet.py里面路径就可以复现了 |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
目前确定是buffer的问题，问题来源于这句话： 去掉这句话，精度立马下降，但对齐了。 |
Beta Was this translation helpful? Give feedback.
8 replies
-
|
emmmm, huggingface的初始化和oneflow结果相同： huggingface代码： import torch,math
window_size=8
relative_coords_h = torch.arange(-(window_size - 1), window_size, dtype=torch.float32)
relative_coords_w = torch.arange(-(window_size - 1), window_size, dtype=torch.float32)
relative_coords_table = (
torch.stack(torch.meshgrid([relative_coords_h, relative_coords_w], indexing="ij"))
.permute(1, 2, 0)
.contiguous()
.unsqueeze(0)
) # [1, 2*window_height - 1, 2*window_width - 1, 2]
relative_coords_table[:, :, :, 0] /= window_size - 1
relative_coords_table[:, :, :, 1] /= window_size - 1
relative_coords_table *= 8 # normalize to -8, 8
relative_coords_table = (
torch.sign(relative_coords_table) * torch.log2(torch.abs(relative_coords_table) + 1.0) / math.log2(8)
)
relative_coords_table = relative_coords_table.numpy()
import numpy as np
np.save("relative_huggingface",relative_coords_table)oneflow代码： import oneflow as flow
import math
window_size=8
relative_coords_h = flow.arange(
-(window_size - 1), window_size, dtype=flow.float32
)
relative_coords_w = flow.arange(
-(window_size - 1), window_size, dtype=flow.float32
)
relative_coords_table = (
flow.stack(flow.meshgrid(*[relative_coords_h, relative_coords_w]))
.permute(1, 2, 0)
.contiguous()
.unsqueeze(0)
) # 1, 2*Wh-1, 2*Ww-1, 2
# NOTE: For any relative coordinate, constrain it to -8~8 (window size)
relative_coords_table[:, :, :, 0] = relative_coords_table[:, :, :, 0] / (
window_size - 1
)
relative_coords_table[:, :, :, 1] = relative_coords_table[:, :, :, 1] / (
window_size - 1
)
relative_coords_table = relative_coords_table * 8
# NOTE: y=sign(x)*log(|x|+1)
relative_coords_table = (
flow.sign(relative_coords_table)
* flow.log2(flow.abs(relative_coords_table) + 1.0)
/ math.log2(8.0)
)
relative_coords_table = relative_coords_table.numpy()
import numpy as np
np.save("relative_oneflow",relative_coords_table)对比代码： import numpy as np
hugging_weight=np.load("relative_huggingface.npy")
oneflow_weight=np.load("relative_oneflow.npy")
difference = np.sum(np.abs(hugging_weight-oneflow_weight))
print(difference)输出0.0 |
Beta Was this translation helpful? Give feedback.
-
我看pytorch_model.bin里面好像存了这个tensor是吗 |
Beta Was this translation helpful? Give feedback.
-
|
pytorch_model.bin没保存这个，facebook保存了这个，然后我想着按照huggingface设置persistent为False，还是出现精度不对齐的情况。 |
Beta Was this translation helpful? Give feedback.
-
|
我想着反正这个目前也对齐不了，因为这个bug有点迷，我先把swin跑起来，swin没这个算子（元网络）。这个只要test的话内存不需要多少 |
Beta Was this translation helpful? Give feedback.
-
|
为啥swin和swinv2的loss差这么多啊，swinv2开始0.86左右，swin则是6.多 |
Beta Was this translation helpful? Give feedback.
-
oneflow最新版本在swinv2上初始化的T-SNE是否线性可分展示该目的是为了验证oneflow初始化在swinv2上是否存在问题，经过检验应该是没有问题的。
import oneflow as flow
import torch
import numpy as np
from sst.draw.TSNE import T_SNE
torch_state_dict=torch.load("pytorch_model.pth")
flow_state_dict=flow.load("oneflow_model.pth")
flow_state_dict = {k:v.numpy() for k,v in flow_state_dict.items()}
torch_state_dict = {k:v.cpu().numpy() for k,v in torch_state_dict.items()}
keys = flow_state_dict.keys()
for key in keys:
a=flow_state_dict[key]
if key.replace("dense_4h_to_h","fc2") in torch_state_dict:
key = key.replace("dense_4h_to_h","fc2")
if key.replace("dense_h_to_4h","fc1") in torch_state_dict:
key = key.replace("dense_h_to_4h","fc1")
b=torch_state_dict[key]
if a.shape!=b.shape:
print(key,a.shape,b.shape)
c=np.sum((a-b)**2)
if c<=1e-6:
print(key,c)
continue
if a.ndim>2 and b.ndim>2:
a = a.reshape(a.shape[0],-1)
b = b.reshape(b.shape[0],-1)
if a.ndim==1 and b.ndim==1:
a = a[...,None].repeat(2,axis=1)
b = b[...,None].repeat(2,axis=1)
if a.ndim==2 and b.ndim==2:
x = np.concatenate([a,b],0)
y = np.concatenate([np.zeros(a.shape[0]),np.ones(b.shape[0])],)
print(x.shape,y.shape)
`T_SNE(x,y,if_save_image=True,title=key,s=15)`
else:
print(key,a.shape,b.shape)
点击查看log
|
Beta Was this translation helpful? Give feedback.
7 replies
-
不会的，因为参数第一维度相当于神经元数目，比如全连接层，输入是10，输出是20，那么这个形状是（20，10），20相等于一个数量。而初始化一般都是一维度分布的初始化，只不过resize罢了，T-SNE是2维，如果他们分布存在不同是可以显示的，但也不排除oneflow是高维初始化。 |
Beta Was this translation helpful? Give feedback.
-
|
初始化的分布情况可能图上看不出来，比如可以用spearman系数来看看对应parameter之间的相似性？ |
Beta Was this translation helpful? Give feedback.
-
好的，这个相当于PCA降维，也是一种机器学习算法，大概率是没问题，但我可以试试。 |
Beta Was this translation helpful? Give feedback.
-
|
可以的，降维损失的东西有点多，spearman的不降维的话可能准一点 |
Beta Was this translation helpful? Give feedback.
-
OK |
Beta Was this translation helpful? Give feedback.
-
关于0.7.0 stable oneflow和0.8.0 nightly oneflow的swin-t性能对比new commit: 78ba55cb0499a33fd6c68beb37ad1ce0db71a5be libai版本：commit: f02edc0 新版比旧版足足低5-7个点！！！！ 我接下来会绘图进行可视化一下 |
Beta Was this translation helpful? Give feedback.
10 replies
-
|
是会有点麻烦，可以看看程鹏写的这个loss对齐，https://github.com/Oneflow-Inc/OneTeam/issues/779#issue-1054706350 |
Beta Was this translation helpful? Give feedback.
-
|
试过了加载pytorch的初始化来训练吗
我在CIFAR-100试过单卡的CIFAR-100，结果比pytorch还要高，但多卡没试过，ImageNet没试过 |
Beta Was this translation helpful? Give feedback.
-
|
加载pytroch的初始化训练的性能比pytorch更好？ |
Beta Was this translation helpful? Give feedback.
-
|
Beta Was this translation helpful? Give feedback.
-
|
之前我加载pytorch的来训练simcse也是性能会高一个点，这说明我们的初始化还是有问题 |
Beta Was this translation helpful? Give feedback.
-
|
新旧版本对比，可以明显发现是oneflow的问题。 |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
该图是使用0.7.0 stable的oneflow版本，导入0.7.0 stable oneflow初始化，pytorch 1.12.0 cu113 初始化，并使用 该libai分支：f02edc0 |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
排查bug: 二分法排查 这里绘制相关结果，非常担忧的一件事情出现了，似乎不是仅仅由一个commit引起的，这是代表了swin的val acc精度，且日期代表了那一天的oneflow:使用的libai是同一个版本，也就是swin被加入的那个分支，在前面的讨论中已经说明
随时间的精度变化图： 具体排查细节3月18号 oneflow -> 8月28号 oneflow 分别在54天，107天进行测试： 其中第54天的commit为5月14号：Oneflow-Inc/oneflow@08ef65e 好吧这个方法不行，谁能想到oneflow 从4月份到7月份之间，swin是一直无法运行的，最近一次可以运行在7月份了，我选取了Oneflow-Inc/oneflow@7664464 来测试 7月22号版本的oneflow,swin精度已经有问题： 接下来测试5月12号：https://github.com/Oneflow-Inc/oneflow/tree/8ae6c412c863b0842ee3dbd0a9156be5b877eb29 5月12号的oneflow版本已经没有编译好的版本： 突然发现6月8号这个commit: e224be48c474981f1a62e1c0c16c54dca41e5ec7 之前都没有编译了，看来要自己编译了。 6月8号版本的oneflow,swin精度已经有问题 6月8号前的所有commit编译结果oss上都不存在，需要自己编译： 现在测试5月12号的commit:08e1e0b2d3b93fb3e543a87446cd8d5815e82f33 5月12号版本的oneflow,swin精度已经有问题 按照二分法，继续排查4月15日，需要自己编译： 4月15号版本的oneflow,swin精度是正常的 按照二分法，继续排查4月28日，需要自己编译： 4月28号版本的oneflow,swin精度已经不正常 按照二分法，继续排查4月19日，需要自己编译： 4月19号版本的oneflow,swin精度正常 按照二分法，继续排查4月23日，需要自己编译： 4月23号版本的oneflow,swin精度正常 按照二分法，继续排查4月25日，需要自己编译： 按照二分法，还剩下最后9个commit，分别为：
继续排查commit为：b76ad2044ac5e2b0549db8f1610102ae90d4f066 输出验证： b76a开头的commit是正常的：
继续排查commit为：157f82522b942e99743b869654d2f8c1d67bc8a1 输出验证: 175f开头的commit是正常的： 验证commit:28dcad1532d8b899e727f5f446f0a30bf4258117 继续验证commit: d8dc9610f7454fa3020952b51f881cb9f364ef1b 接下来只有一种可能，那就是4月25日5409开头的commit，且已经被验证过的commit，我进行了第二次验证： |
Beta Was this translation helpful? Give feedback.
0 replies
-
1关于最新9月份两个seed之前的pr的验证：6758485c56581d043063614a5f047f00c067edad 2关于depeng要进行的实验，截图： oneflow编译后，单独提交了分支在：https://github.com/Oneflow-Inc/oneflow/tree/seed_04_25_test 结果发现精度没问题，验证了depeng的猜想： |
Beta Was this translation helpful? Give feedback.
0 replies
-
也就是这俩PR之前不正常，这俩PR之后是正常的。 是两个commit 一起起作用，还是某一个commit 起的作用呢？ |
Beta Was this translation helpful? Give feedback.
6 replies
-
|
目前来说，时间早些的commit似乎不起作用，看前两次输出，但不确定，要第三次输出后才可以下结论 |
Beta Was this translation helpful? Give feedback.
-
|
commmit: Oneflow-Inc/oneflow@c43beda |
Beta Was this translation helpful? Give feedback.
-
|
commit: https://github.com/Oneflow-Inc/oneflow/tree/de24ceb420d3030c0e9b67e5dcd66aef1e222309 |
Beta Was this translation helpful? Give feedback.
-
|
commit: https://github.com/Oneflow-Inc/oneflow/tree/de24ceb420d3030c0e9b67e5dcd66aef1e222309 |
Beta Was this translation helpful? Give feedback.
-
|
commit: https://github.com/Oneflow-Inc/oneflow/commits/change_initial_seed_to_seed |
Beta Was this translation helpful? Give feedback.
-
|
Swin-Transformer-V2 修复后的精度,为80.074： |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
一些实验的记录 按照袁老师所说，去掉HAS_NUMPY后，swin-transformer精度有略微提升，但不大，约从79.9->80.0： |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
这说明 HAS_NUMPY 那段代码对swin 没有什么作用 |
Beta Was this translation helpful? Give feedback.
0 replies
-
swin tiny eager ddp 实验结果oneflow 版本commit 28620d72dfe3ab4799b87d621d0967d536ab2be7 (HEAD -> master, origin/master, origin/HEAD)
Author: Juncheng <[email protected]>
Date: Wed Sep 28 09:16:51 2022 +0800
Disable IB when there no active IB devices (#9115)swin 仓库地址https://github.com/Oneflow-Inc/swin-transformer/tree/swin_clean_ldp/swin_transformer commit 6d44e552bb377e8191465454f506c2fb98c7d21a (HEAD -> swin_clean_ldp, origin/swin_clean_ldp)
Author: Ldpe2G <[email protected]>
Date: Mon Oct 3 02:36:47 2022 +0000
swin tiny acc 81.26% on imagenet dataset实验结果总共跑了两次实验，数据集 imagenet 第一次 acc： 81.07% log_rank0_1002.txt 第二次 acc： 81.26% log_rank0_1003.txt 实验结论第二次实验结果和 官方精度 81.29% 非常接近，可以认为 eager ddp 和官方实验基本是对齐的。 然后两次实验 acc 波动 ~ 0.2% 。 |
Beta Was this translation helpful? Give feedback.
0 replies
-
swin tiny eager global 实验结果oneflow 版本'0.8.1.dev20221006+cu112'swin 仓库地址commit da3a7c9b3a22296b3ed857f10bd5a22744b68d48 (HEAD -> swin_clean_ldp_eager_consistent, origin/swin_clean_ldp_eager_consistent)
Author: Ldpe2G <[email protected]>
Date: Fri Oct 7 11:39:53 2022 +0000
refine scripts实验结果总共跑了1次实验，数据集 imagenet acc： 81.15% log_rank0.txt 实验结论实验结果和 官方精度 81.29% 相差 0.14%，可以认为 eager global 和官方精度也是基本对齐的。 |
Beta Was this translation helpful? Give feedback.
0 replies
-
swin tiny graph fp32 实验结果oneflow 版本commit 48d3c78b58bfbb89f8e0bd940714fc10c3001612 (HEAD -> master, origin/master, origin/HEAD)
Author: Peihong Liu <[email protected]>
Date: Sun Oct 9 10:33:01 2022 +0800
Add Tensor.scatter_add & refine scatter (#9201)
add Tensor.scatter_add & refine scatterswin 仓库地址https://github.com/Oneflow-Inc/swin-transformer/tree/swin_clean_ldp_graph/swin_transformer commit ef966367ed1833204019b568ceb280b1f9079643 (HEAD -> swin_clean_ldp_graph, origin/swin_clean_ldp_graph)
Author: Ldpe2G <[email protected]>
Date: Tue Oct 11 01:43:32 2022 +0000
fix bug: forget to call model.eval() when init the eval graph实验结果总共跑了1次实验，数据集 imagenet acc： 80.43% log_rank0.txt 实验结论实验结果和 官方精度 81.29% 还相差 0.86%，还要仔细对一下细节。 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
main 分支；swinv2 模型；
问题：triain 的精度上升太快 然后用eval-only一看又很低；
Beta Was this translation helpful? Give feedback.
All reactions