首页   注册   登录
 okface 最近的时间轴更新

okface

V2EX 第 27330 号会员,加入于 2012-09-27 23:19:52 +08:00
okface 最近回复了
13 天前
回复了 okface 创建的主题 HTTP 浏览器上不去网,微信却可以?
18 天前
回复了 okface 创建的主题 Python windows 环境部署,请问最好的方案是?
@opengps 好的 我试试
189 天前
回复了 pythonee 创建的主题 问与答 有人买过猫王收音机吗?谈谈使用体验
擦,我还真用过,前女友送的。。我就用来听 fm
235 天前
回复了 okface 创建的主题 酷工作 医疗 AI 独角兽招聘爬虫专家
@leoliu168 beijing~
245 天前
回复了 okface 创建的主题 酷工作 [社/校招] 计算机辅助药物设计研究员/专家
@yangzhaofeng 当然招~这里有很多中科大校友哦,欢迎来简历!
254 天前
回复了 qweaszxcdf 创建的主题 优惠信息 沃尔玛 翻新 SE 32GB $69.99
@binux 大多数爬虫种子都是几个入口站点嘛但是我这情况是百万千万级别的搜索词提交给翻译接口,所以才会有这个需求~
254 天前
回复了 qweaszxcdf 创建的主题 优惠信息 沃尔玛 翻新 SE 32GB $69.99
@binux 嗷。。那分布式的 pyspider 读取种子任务是不是最好从分布式机器都能访问的数据库里读啊,然后 scheduler 会自动去重。
255 天前
回复了 qweaszxcdf 创建的主题 优惠信息 沃尔玛 翻新 SE 32GB $69.99
@binux 嗨老哥,再问一个 pyspider 的问题哈~我在不同机器上搭建了分布式(只启动了 fetcher 和 processor 组件),然后在 webui 的机器上启动了 project,这个 project 的 on_start 是通过按行读取本服务器的一个文件获取任务的。问题在于可能会概率性报错说找不到该文件( no such file )。我推测出现这种报错只能解释为分布式的机器不是简单的 fetcher 而是也参与了 on_start 方法?
257 天前
回复了 Biwood 创建的主题 算法 自己想到的一个算法题
@binux 老哥,问个 pyspider 的问题哈,project 过多的时候加载任务是有上限的吗,为什么 on_start 方法里一个 150 万行的文件就读了 30 万行进去
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4321 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 11ms · UTC 06:03 · PVG 14:03 · LAX 22:03 · JFK 01:03
♥ Do have faith in what you're doing.