-
Notifications
You must be signed in to change notification settings - Fork 166
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
关于文章中数据的疑问 #109
Comments
您好,Table 2里是完全按照原文的代码里的设置和使用各种trick,但是Table 3是尽可能让所有方法使用差不多的设置和相同的训练trick,包括训练的轮数等,主要是这个原因造成的,这样可能也不是非常公平公正,但已经是相对合理的了。 |
你好,我在使用model zoo给出的配置文件运行RENet的时候,好像完全达不到文章中的准确率,在miniimagenet上,5-5-table2的配置文件运行下来只能到77%,78%左右,5-5-Reproduce的配置文件运行下来只有79%,80%左右,与文章所给的准确度都有2%左右的差距。因为环境不同可能是会有一定差异,但是从日志上看好像不太对,因为与model zoo给的日志文件中,epoch0的train准确率就已经48%了,但是我的复现中epoch0只有36%左右。还有一个问题就是5-5-Reproduce给出的日志中,epoch59的train准确率为90.764%,test准确率为82.427,但我的复现中,epoch59的train准确率已经有96.867%了,但是test准确率只有80.140%,并且还不是best acc,此时best acc还是79.28。 config.yaml:
log: 2024-05-06 19:16:07,299 [INFO] core.trainer: {'data_root': '/root/autodl-tmp/data/miniImageNet--ravi', 'image_size': 84, 'use_memory': False, 'augment': True, 'augment_times': 1, 'augment_times_query': 1, 'workers': 16, 'dataloader_num': 2, 'device_ids': 0, 'n_gpu': 1, 'seed': 0, 'deterministic': True, 'port': 48703, 'log_name': None, 'log_level': 'info', 'log_interval': 100, 'log_paramerter': False, 'result_root': './results', 'save_interval': 10, 'save_part': ['emb_func'], 'tag': None, 'epoch': 60, 'test_epoch': 5, 'parallel_part': ['emb_func'], 'pretrain_path': None, 'resume': False, 'way_num': 5, 'shot_num': 5, 'query_num': 15, 'test_way': 5, 'test_shot': 5, 'test_query': 15, 'episode_size': 1, 'train_episode': 300, 'test_episode': 200, 'batch_size': 128, 'val_per_epoch': 1, 'optimizer': {'kwargs': {'lr': 0.1, 'momentum': 0.9, 'nesterov': True, 'weight_decay': 0.0005}, 'name': 'SGD', 'other': {'emb_func': 0.1}}, 'lr_scheduler': {'kwargs': {'gamma': 0.05, 'milestones': [40, 50]}, 'name': 'MultiStepLR'}, 'warmup': 0, 'includes': ['headers/data.yaml', 'headers/device.yaml', 'headers/misc.yaml', 'headers/model.yaml', 'headers/optimizer.yaml', 'classifiers/RENet.yaml', 'backbones/resnet12.yaml'], 'augment_method': None, 'backbone': {'kwargs': {'avg_pool': False, 'drop_rate': 0.0, 'is_flatten': False, 'keep_prob': 0.0, 'maxpool_last2': True}, 'name': 'resnet12'}, 'classifier': {'kwargs': {'feat_dim': 640, 'lambda_epi': 0.25, 'num_classes': 64, 'temperature': 0.2, 'temperature_attn': 5.0}, 'name': 'RENet'}, 'tb_scale': 1.5, 'rank': 0} Parameter Group 1 |
请问您是用的RENet-miniImageNet--ravi-resnet12-5-5-Reproduce文件还是RENet-miniImageNet--ravi-resnet12-5-5-Table2文件,根据您提供的结果看起来更符合RENet-miniImageNet--ravi-resnet12-5-5-Table2的结果 |
上面的结果使用的是RENet-miniImageNet--ravi-resnet12-5-5-Reproduce的文件,使用RENet-miniImageNet--ravi-resnet12-5-5-Table2的文件的话,结果要再低一点,差不多77%左右 |
为什么table2里面RENet+ResNet12复现准确率已经是82.13了,table3又变成79.9了
The text was updated successfully, but these errors were encountered: