@binux 最新更新

我尝试去掉了 @config 这些，直接在 self.craw 里边 加了 age 和 auto recaw,现在基本没问题了。

所以可能是我在使用 config 的时候使用的有些问题。

@binux 是的 多谢提醒 昨天测试没问题 很赞的工具。不过有一个疑问，关于 every 和 age 的使用。我看文档不是很多。现在我用 itag 每次修改完后强制重新 load 一次。但是有个问题是这之后就一直不自动运行了，经常输出：

pyspider task done :on_start data:,on_start

是不是我的配置有问题？

from pyspider.libs.base_handler import *
import re
import datetime

class Handler(BaseHandler):
crawl_config = {
"itag":"v0.0.6"
}

@every(minutes=3)
@config(age=3*60)
def on_start(self):
self.crawl('http://www..com.cn/', callback=self.index_page)

@every(minutes=3)
@config(age=3*60)
def index_page(self, response):
for each in response.doc('a[href^="http"]').items():
href = each.attr.href
if re.match("http://www.xxxx.com.cn/gonglu/[^_]*/", href, re.U):
self.crawl(each.attr.href, callback=self.detail_page,save={'main_road_name':each.text()}, retries=10, auto_recrawl =True)

def detail_page(self, response):
road_name = response.save.get('main_road_name', '')
road_img_url = ""

for img_item in response.doc('td.hcenter > img').items():
road_img_url = img_item.attr.src

for each in response.doc('.roadlineB > li > a').items():
href = each.attr.href
if re.match("http://www.xxx.com.cn/gonglu/gaosu_[^cs]\w*/", href, re.U):
city_road_name = each.text()
self.crawl(each.attr.href, callback=self.detail_page,save={'main_road_name':road_name, 'city_road_name':city_road_name}, retries =10, auto_recrawl=True)

messages = []
for each in response.doc(".LKlistleftE > p").items():
message = each.text()
info = self.process_message(message)
if info:
messages.append(info)
city_road_name = response.save.get('city_road_name', '')
return dict(main_road_name=road_name, city_road_name=city_road_name, messages=messages, road_img_url=road_img_url)

def process_message(self, message):
return dict(content=message)

这是我的代码，不知道是不是有问题。

谢谢

http://www.christianschenk.org/blog/using-a-parent-proxy-with-squid/
我觉得我找到答案了，正在测试 :)

多谢，居然忘了 @binux :)

这东西很好用

还要分情况讨论 ARC MRC 这里边的表现也不同.
PS: 如果能贴上正确结论 就更好了

apple 能够修改你的 ipa 然后在任何他们想测试的设备上跑。他们不用模拟器。最起码我没见过

腾讯就靠谱么 问题是 就和他们一直很有道德一样。。。。

经常用电脑　高中毕业就做了　目前没什么异样　不知道老了会不会有问题

@kingwrcy 恩呢　就是不能登陆了。我说的版本能登陆。支持最新验证码格式了

买票？如果你越狱了我给你iOS版本的 :)

@WildCat 这是奇葩

@bytelee 我租过一个　一个月１k，没碰到什么危险

那以后在自己的app里边做广告收入，是不是也要这样搞了？

租个吧　先买个便宜点的车开着　摇上号再置换

http://25.io/ 这不就是Mou的官网么

@oimotis cool! 感谢楼主

@oimotis 能支持自动部署到已有的oct站点么？　如果支持就更cool了 :)

那些拿走code的不留信息的是什么意思呢？楼主能发一个不？[email protected] 多谢