想爬取hao123上的所有网站，有没有好的方法？

[kenneth]

求方法，求思路。
需要抓取全，只要hao123网站上的，不要爬出去了。

[kenneth]

@ADIVILOrz
只要hao123出现的链接，如果这个链接出去了，不继续爬。
我是想首先匹配链接，从所有链接中，取出域名。
链接的只要hao123出现的，就是不要爬出去了。

[bigdude]

wget 啊

[IFoon]

用采集工具啊。。
www.sensite.cn

[adyizhan]

@im924106179 怎么联系。

[ADIVILOrz]

@kenneth

1. wget爬
2. 用grep提取网址

我把shell脚本和结果发在了 https://github.com/leeleilei/spideHao123

[kenneth]

@ADIVILOrz 谢谢，我一会实践下，入库的话，能否通过shell搞定？因为我不懂直接用shell

[ADIVILOrz]

@kenneth 看你入什么库，什么表结构。sqlite3，postgresql，mysql都有CLI工具，shell可以直接调用导入文本。

[secretworry]

@kenneth echo "YOUR_SQL_HERE" | $MYSQL 就能输入数据库了。
其中MYSQL="mysql -u"(YOUR MYSQL ACCESS COMMAND)

[aksoft]

都是NB人,学习下..