[求助提问] subprocess 的并行的一个问题

[eccentric579]

class test(object):
    def __init__(self) -> None:
        self.p = None
        self.data = None
    def request(self):
        self.p = subprocess.Popen(['pwsh' ,'-Command' ,'ping', '127.0.0.1'], stdout=subprocess.PIPE, encoding='gbk')
    def process(self):
        self.data = self.p.communicate()[0]

if __name__ == "__main__":
    l = [test()] * 5
    for i in l:
        i.request()
    for i in l:
        i.process()

• 为了能够并行（应该是并行吧），所以把 Popen 构造函数和 communicate()放在两个类方法里
• 这样似乎导致了 communicate 的时候子进程已经终止，PIPE 关闭了（ I/O operation on closed file.）读不到 stdout
• 有什么办法可以弥补么？或者应该换一种写法？
• 大概有 500 个 test 对象

• 如果不用类的写法，把两个类方法直接放到对应的两个循环里一点问题都没有

def request():
    return subprocess.Popen(['pwsh' ,'-Command' ,'ping', '127.0.0.1'], stdout=subprocess.PIPE, encoding='gbk')
def process(p):
    p.communicate()[0]

if __name__ == "__main__":
    pool= []
    for _ in range(5):
        pool.append(request())
    for p in pool:
        process(p)

• 这样是并行的，也不会报错
• 为什么经过了类，PIPE就关闭了

[lolizeppelin]

subprocess 不长建议你好好读一下,本质上都会用到系统函数进行父子进程互交,win/linux 还不一样。

[ppj]

建议加数据 data 的获取和 p 放在 request 里，数据处理放在 process 里。

[eccentric579]

@ppj data 是用 communicate()阻塞获取的，放在一起不能并行

[SenLief]

为什么是构造 test 类，这并行的是把那个 pwsh 运行 500 次吗？

[ec0]

[test()] * 5 相当于
t = test()
[t, t, t, t, t] 也就是说 list 里的是同一个 t ，对同一个 t 多次调用 communication 自然会报错

改成 [test() for i in range(5)] 这样生成的才是 5 个不一样的对象

[imycc]

[test()] * 5 有问题，都是同一个实例

（假设你要 ping 的地址是实例化的参数，那更容易理解 [test(ip)] *5 这样错在哪里了

[eccentric579]

@ec0 万分感谢，我自己一天都不一定能想到这里出错了

[eccentric579]

@SenLief
只是为了测试并行，所以没有给对象初始化赋值

@imycc
是啊是啊，只是想偷个懒的，结果把自己绕进去了