问题的背景是对于一个大批量的数据,想要分割成多个小批量然后使用多进程的方式进行处理,目前这一步已经实现,现在想加上一个进度条显示总的处理进程,目前调研出的结果都是只能显示每个小批量的完成进度(tqdm 配合 imap),每个小批量数据必须在一个进程内进行处理,不能分开(也就是不能将整个大批量数据直接丢给 imap)
举个例子可能更好理解:有 10000 条数据,我想分 10 份 1000 条数据的小批量用 10 个进程进行处理,我想要的效果是[0/10000]这种,而 tqdm 配合 imap 实现效果是[0/10]这种。重点在于 如何在子进程的 for 循环中更新 tqdm 进度条
伪代码如下:
def worker(data, pbar):
for i in data:
print(data)
pbar.update(1)
if __name__ == "__main__":
data = [1]*10000
pbar = tqdm.tqdm(10000)
for i in range(0, 10000, 1000):
p_list.append(Process(target=worker, args=(data[i, i+1000],pbar)))
p_list[-1].start()
for p in p_list:
p.jion()
希望大佬能指点一下,感谢
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.