[招聘爬虫] whereisjob.com ，昨天写了一个专门爬 V2EX 酷工作版块的爬虫

[vitovan]

网址： http://whereisjob.com/
先上图：

昨天有人发了个帖子说：「那么多抓招聘网站内容的 V 友，可以把公司地址显示在地图上呀，方便挑选里家近的公司。」 http://v2ex.com/t/213594

然后我看国外有人抓 HackerNews 的 ( http://whoishiring.it/ )，没见国内有人抓 V2EX ，于是就做了个。

源码： https://github.com/VitoVan/whereisjob.com

有兴趣的朋友一起来完善～

[Razyshen]

初涉爬虫领域，用 nodejs 玩的爬虫，各位技术大大有交流技术的吗

[vitovan]

@Razyshen NodeJs 好啊， Phantomjs 棒吖，再也不用担心那些动态加载的数据了。

[superbear]

居然是 lisp ，厉害

[Razyshen]

@vitovan 我现在基本都是去找网页接口，比较大的网站应该都有 json 数据接口。

[vitovan]

@Razyshen 貌似是挂了。

[Razyshen]

@vitovan 爬虫如何应对，被爬网站内容结构的改变呢

[qiayue]

地点还需要再细分，最好能够具体到门牌号
目前只到城市，没多大意义

[laotaitai]

Lisp 看起来很厉害, 但代码缩进让人看着蛋疼

[vitovan]

@qiayue http://v2ex.com/go/jobs 酷工作里写门牌号的不多，不过也有，类似这个： http://v2ex.com/t/213805

功能慢慢加吧，一起来？

https://github.com/VitoVan/whereisjob.com

等 Pull Request ~~

[vitovan]

@laotaitai 看这里，还是很好看的吖，如果把工具调整好。

?1

![lisp-work-screenshot][?1]

[x4]

@qiayue 不光门牌号，还得标出楼层办公区域乃至座位位置。逃

[qiayue]

@vitovan 要去对应的公司官网上抓取详细地址信息

[djyde]

我还以为你要招做爬虫的。。

[vitovan]

@djyde ...... Sorry about the words ......

[eary]

这精准到城市，目前所有的招聘网站都能筛选城市。别人的需求应该是精确到街区具体地址。

[laotaitai]

@vitovan 呃, 我是说 Lisp 的缩进不好看, 整体一眼看去, 特么别扭, 但用 Lisp 写程序, 在满大街用 Java, Python, PHP, OC 等情况下, 特别有逼格. 让我一下子想起那个"黑客与画家"的书.

[laotaitai]

我想问下, 也是用 Lisp 爬取数据的么?

[sciooga]

楼主看你网站右边写的 “仅显示近两月数据” 你是一天爬了 V 站两个月的数据？还是说数据库只保存最近两个月的数据？
如果是前者，你是怎么做到的？

[sciooga]

@sciooga 喔... 是只爬了酷工作这个板块是吧？

[vitovan]

@laotaitai 是呀，看代码：

https://github.com/VitoVan/whereisjob.com/blob/master/server.lisp

(defun get-job-dom (tid )
(format t "REQUESTING PAGE... ~A ~A" tid #\newline )
(multiple-value-bind (job-html )
(drakma:http-request (concatenate 'string "http://v2ex.com/t/" tid ))
(parse-html5 job-html )))