多线程碰到的同时读取的问题

[soulmine]

比如说 a 是从 1 到 100 的 list 我希望有 50 个进程同时开始读数据，即读取的数据为 1,3,5,7 ，。。。 99 这种格式。 v 站有什么想法可以实现么？

[sylecn]

常见的 process pool 都可以做到。把 pool size 设置成 50 就行。比如标准库里面的 multiprocessing, concurrent.futures, 第三方的 celery.

要注意这些 pmap 类似的方法都会自动提交下一个任务到目前空闲的 worker process ，所以不能完全保证提交的顺序。通常需要处理一个 list 的场合也不需要保证顺序。

[thekoc]

https://docs.python.org/3.5/library/multiprocessing.html#multiprocessing.pool.Pool.map

[Allianzcortex]

@sylecn 说的非常好了，我就补充一点：如果不是必须多线程而只是要加快读取速度，可以考虑 gevent ,它有 imap_unordered 和 imap 两种，分别适用于不需要顺序和需要顺序的情况

[anasplrt34]

@sylecn 我用的是 celery 但现在出现了个问题 celery 进程执行玩后 是 50 个 1 到 100 的 list 而不是 50 个类似于 1 51 这种的 请问哪儿出错了呢？

[sylecn]

@anasplrt34 估计是提交任务的代码有问题。如果用 celery 的 delay 方法，传参数的时候，不要传 list ，要传具体的 object ，比如你这里是传 int 。

[wizardforcel]

1. python 的 threading.queue 是带锁的。

2. 如果 list 是固定的，给线程分配序号就行了。

[ryd994]

读 list 怕什么？又没有写

[micookie]

莫非是想做爬虫~

[kkzxak47]

你们都能看懂问题？

[wyntergreg]

我弱弱的问一句，是用 python 做多线程？