有没有能够自动定时抓取某个网站数据的软件或工具？

[bobopu]

某个网站有一些数据列表每隔几分钟就会更新一次，但都比较有规律，有没有什么办法能自动抓取这些数据去重后保存为excel格式呢？

[ejin]

excel本身就自带这功能啊(vba)

[hging]

Nokogiri

[nagato]

@hging 定时的话怎么实现？

[wgqzlj]

火车头

[bobopu]

@ejin 这个怎么弄，指教一下。

[stevenyou]

我用cron tab + beautifulsoup(python) 存成csv
需要执行javascript的话用casperJS

[halfcrazy]

kimonolabs

[hging]

@nagato 定时如果是rails的话可以写定时任务。 其他的开源用crontab系统定时跑脚本。

[ejin]

@bobopu 你有代码基础吗

[bobopu]

@halfcrazy 这个东西很好很强大啊，一直就想要这种在线的自动抓取工具。

[bobopu]

@ejin 请讲一下。

[ejin]

@bobopu 就是vb/asp的语法啊，搭配xmlhttp，采网页数据很容易的

[bobopu]

@ejin 我捣鼓一下。

[lu18887]

这种事情最有意思了！

[tiiime]

@halfcrazy =.=

[bobopu]

@halfcrazy 这个有没有什么办法可以将抓取的内容自动保存呢？现在好像是抓取后不断在覆盖。。

[yangqi]

import.io

[halfcrazy]

@bobopu 你可以在设置的地方设置一下定时抓取，然后你本地也定时抓取并存储就好。输出的格式反正都很好解析的，

[bobopu]

@halfcrazy 我想用的输出的csv格式，用excel远程调用后也会随着每次的刷新的覆盖之前的数据，有没有什么可以追加保存的办法？

[bobopu]

@ejin 请问excel从web获取数据后有没有什么办法追加保存呢，目前都是每次刷新覆盖了之前的数据了。