_0_fifo_queue: Skipping cancelled enqueue attempt with queue not closed

[yzy1421]

tensorflow 1.14.0
cuda 10.0
When I run python train.py that error happens, and then the process of training is halted.

like this,
2020-03-26 10:36:04.930247: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudnn.so.7
78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 99/127 [01:25<00:21, 1.31it/s][2020-03-26 10:37:31,390] [train] [INFO] echos=0.787402, setp=100, total_loss=251.678818, lr=0.000100
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 127/127 [01:49<00:00, 1.16it/s]
57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 72/127 [00:54<00:41, 1.31it/s][2020-03-26 10:38:48,642] [train] [INFO] echos=1.574803, setp=200, total_loss=238.585373, lr=0.000050
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 127/127 [01:37<00:00, 1.30it/s]
35%|██████████████████████████████████████████████████████████████████████████████████▉ | 45/127 [00:34<01:02, 1.31it/s][2020-03-26 10:40:05,693] [train] [INFO] echos=2.362205, setp=300, total_loss=250.761307, lr=0.000025
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 127/127 [01:37<00:00, 1.30it/s]
14%|█████████████████████████████████▏ | 18/127 [00:13<01:22, 1.32it/s][2020-03-26 10:41:22,877] [train] [INFO] echos=3.149606, setp=400, total_loss=262.100403, lr=0.000012
93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 118/127 [01:30<00:06, 1.31it/s][2020-03-26 10:42:39,927] [train] [INFO] echos=3.937008, setp=500, total_loss=178.151047, lr=0.000012
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 127/127 [01:38<00:00, 1.29it/s]
72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 91/127 [01:09<00:27, 1.31it/s][2020-03-26 10:43:56,968] [train] [INFO] echos=4.724409, setp=600, total_loss=235.345169, lr=0.000006
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 126/127 [01:36<00:00, 1.31it/s]2020-03-26 10:44:23.625131: W tensorflow/core/kernels/queue_base.cc:277] _0_fifo_queue: Skipping cancelled enqueue attempt with queue not closed
99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 126/127 [01:37<00:00, 1.29it/s]
[2020-03-26 10:44:23,777] [pose_dataset] [ERROR] err type1, placeholders=[<tf.Tensor 'inputs/Placeholder:0' shape=(10, 368, 368, 3) dtype=float32>, <tf.Tensor 'inputs/Placeholder_1:0' shape=(10, 46, 46, 4) dtype=float32>, <tf.Tensor 'inputs/Placeholder_2:0' shape=(10, 46, 46, 8) dtype=float32>]
[2020-03-26 10:44:23,777] [pose_dataset] [INFO] Thread-1 Exited.

[cohogain]

I am experiencing a similar issue, did you ever find a solution to this?

[lishuwei10]

I face the same problem. The train process stops at the final of 4th epoch. Any possible solution?

[cohogain]

I was able to resolve my issue by changing line 369 in pose_dataset.py "ds = MultiThreadMapData(ds, nr_thread=16, map_func=read_image_url, buffer_size=1000)" to "ds = MapData(ds, read_image_url) "