训练出错

[XudongHou]

使用提供的raw数据和自己做的分词数据进行训练都遇到了这样的问题, 请问这个keyError的原因可能是什么?

[training] 136536/498250 [>>>>>>>> ] -0.0s/step loss: 1.4116 [2019-07-08 23:25:35]: cw2vec trainer.py[line:79] INFO saving word2vec vector
save vector: 67%|██████▋ | 8839/13259 [00:00<00:00, 17438.27it/s]
Traceback (most recent call last):
File "E:/workstation/cw2vec-pytorch/train_cw2vec.py", line 95, in
main()
File "E:/workstation/cw2vec-pytorch/train_cw2vec.py", line 76, in main
trainer.train()
File "E:\workstation\cw2vec-pytorch\pycw2vec\train\trainer.py", line 145, in train
self.save()
File "E:\workstation\cw2vec-pytorch\pycw2vec\train\trainer.py", line 87, in save
word = id_word[i]
KeyError: 9965

[hziheng]

我也是这个问题，请问您解决了吗

[XudongHou]

我也是这个问题，请问您解决了吗
字典未含有key，我使用python Dict类的get方法去规避了key error问题，可能是遇见了oov问题吧

[hziheng]

我也是这个问题，请问您解决了吗
字典未含有key，我使用python Dict类的get方法去规避了key error问题，可能是遇见了oov问题吧

请问除了这个问题，您在运行这个程序的时候loss值有在下降吗，我运行的时候一直都没有收敛

[XudongHou]

我也是这个问题，请问您解决了吗
字典未含有key，我使用python Dict类的get方法去规避了key error问题，可能是遇见了oov问题吧

请问除了这个问题，您在运行这个程序的时候loss值有在下降吗，我运行的时候一直都没有收敛

有段时间没跑这个嵌入训练了，记不起来细节了。印象中解决完这个bug其他都是比较顺的。

[hziheng]

感谢您

…

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "HouXudong"<[email protected]&gt;; 发送时间: 2019年10月31日(星期四) 上午9:54 收件人: "lonePatient/cw2vec-pytorch"<[email protected]&gt;; 抄送: "黄子恒"<[email protected]&gt;; "Comment"<[email protected]&gt;; 主题: Re: [lonePatient/cw2vec-pytorch] 训练出错 (#3) 我也是这个问题，请问您解决了吗 字典未含有key，我使用python Dict类的get方法去规避了key error问题，可能是遇见了oov问题吧 请问除了这个问题，您在运行这个程序的时候loss值有在下降吗，我运行的时候一直都没有收敛 有段时间没跑这个嵌入训练了，记不起来细节了。印象中解决完这个bug其他都是比较顺的。 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

[klqqq]

我也是这个问题，请问您解决了吗
字典未含有key，我使用python Dict类的get方法去规避了key error问题，可能是遇见了oov问题吧

请问您是怎么规避这个ooV问题的啊，我想跑一个word-similarity的任务，但是就总是出现ValueError: %d not in vocab 这个错

[hziheng]

使用字典的get方法，可以避免这个错误

…

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "klqqq"<[email protected]&gt;; 发送时间: 2020年5月20日(星期三) 下午3:18 收件人: "lonePatient/cw2vec-pytorch"<[email protected]&gt;; 抄送: "huang"<[email protected]&gt;; "Comment"<[email protected]&gt;; 主题: Re: [lonePatient/cw2vec-pytorch] 训练出错 (#3) 我也是这个问题，请问您解决了吗 字典未含有key，我使用python Dict类的get方法去规避了key error问题，可能是遇见了oov问题吧 请问您是怎么规避这个ooV问题的啊，我想跑一个word-similarity的任务，但是就总是出现ValueError: %d not in vocab 这个错 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

[Crescentz]

请问你们训练了多久

[Crescentz]

使用字典的get方法，可以避免这个错误
…
------------------ 原始邮件 ------------------ 发件人: "klqqq"<[email protected]>; 发送时间: 2020年5月20日(星期三) 下午3:18 收件人: "lonePatient/cw2vec-pytorch"<[email protected]>; 抄送: "huang"<[email protected]>; "Comment"<[email protected]>; 主题: Re: [lonePatient/cw2vec-pytorch] 训练出错 (#3) 我也是这个问题，请问您解决了吗 字典未含有key，我使用python Dict类的get方法去规避了key error问题，可能是遇见了oov问题吧 请问您是怎么规避这个ooV问题的啊，我想跑一个word-similarity的任务，但是就总是出现ValueError: %d not in vocab 这个错 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

请问你训练了多久，就是用zhihu.txt么，会不会数据太小了。用wiki的话大概要多久