V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  aragakiiyui  ›  全部回复第 5 页 / 共 5 页
回复总数  86
1  2  3  4  5  
2015-06-29 11:00:06 +08:00
回复了 aragakiiyui 创建的主题 Python 关于迭代器的操作
@mhycy 那我详细说一下吧,我要做的工作是把es中的3个表并作一个表。我要遍历其中三个表中主要的那个表然后结合另外两个表中对应的数据,把数据一条一条拼起来。最后将拼好的数据写到一个新的表中。写操作大概每次1000条效率最高。
使用es的接口取出的那个表是个迭代器,所以800w数据不直接放内存里的。
2015-06-29 10:33:45 +08:00
回复了 aragakiiyui 创建的主题 Python 关于迭代器的操作
@mhycy 嗯,我现在打算这么试试看,能改进一些么。
2015-06-29 10:33:14 +08:00
回复了 aragakiiyui 创建的主题 Python 关于迭代器的操作
@hahastudio 我测了一下,发现使用islice拆分的话,islice操作占到总时间的40%以上。线程开多了反而更慢。
2015-06-29 10:31:15 +08:00
回复了 aragakiiyui 创建的主题 Python 关于迭代器的操作
@neoblackcap @bigtan 其实我程序的功能就是把es中某个表的所有元素取出来,然后对每个元素进行一些处理,最后放到一个新的表中。 拿的这个过程请忽略,反正就是拿出了一个包含800多万数据的迭代器。我想知道有没有什么方法,可以将这个迭代器拆成多个部分去多线程处理?如果直接跑一个for循环的话需要将近两个小时,完全没法完成需求。。。
2015-05-21 18:26:17 +08:00
回复了 aragakiiyui 创建的主题 Python 关于 xpath 的问题
@kingname ....这样显然不行啊...
2015-05-21 18:24:04 +08:00
回复了 aragakiiyui 创建的主题 Python 关于 xpath 的问题
@ericls 这个方法我知道,可是有没有直接提取出来的方法?
1  2  3  4  5  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2538 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 07:53 · PVG 15:53 · LAX 00:53 · JFK 03:53
Developed with CodeLauncher
♥ Do have faith in what you're doing.