最近正在学习 Go,想写一个爬虫来练练手,希望大家出个好点子

2019-08-27 18:01:03 +08:00
 www6688w

最近正在学习 Go,想写一个爬虫来练练手。

但是不知道该爬些什么,大家有没有什么建议的目标站点或者好玩的点子,都可以提出来。

这个主要是练习和玩,写完之后代码会直接开源。

5957 次点击
所在节点    程序员
37 条回复
ctro15547
2019-08-28 08:49:35 +08:00
国内外各种大秀直播平台的流媒体地址抓取,做个整合,做成 api,外接个播放工具,或者动手写写安卓,就取名叫 XX 聚合直播吧,放墙外收费,到手的钱,写个监控各挖矿币种走势的爬虫,自动买币,一条龙
snoopygao
2019-08-28 08:56:05 +08:00
@herozzm 好爬+4
sadfQED2
2019-08-28 09:13:02 +08:00
https://github.com/Jinnrry/getAwayBSG 上次看见的,跟进一下?
sadfQED2
2019-08-28 09:13:29 +08:00
@snoopygao 好爬+5
qq7790586
2019-08-28 10:19:57 +08:00
顺便借楼问下,爬虫是 python 还是 go 好呢?
ClericPy
2019-08-28 11:37:52 +08:00
golang 实现其他语言的著名 爬虫框架, 主要是模仿 API 或者架构
或者最简单的模仿其他语言的好用的 http 请求库, 主要了解下设计和命名方式
或者实现 curlparse, 也就是 curl string 和 struct 互转

边看边学, 最简单的还是直接照抄 Github 已有项目, 很多时候自己摸索的进度完全不如直接看好代码, 刚入门多学学别人的设计和风格比自己瞎写有用得多
mozutaba
2019-08-28 11:43:41 +08:00
@upczww 还有公众号也非常适合入门
tushile928
2019-08-28 13:32:12 +08:00
爬可用 6 位数以内域名
andy1ee11o2
2019-08-28 13:37:43 +08:00
Fanza
amwyyyy
2019-08-28 13:49:37 +08:00
我之前刚玩的时候把某 h 网站的图片全下了
encro
2019-08-28 13:57:47 +08:00
网易考拉 趁倒闭前收集 SKU 分析分析
laravel
2019-08-28 13:58:16 +08:00
p 站(p**nh*b)视频中文留言
None123
2019-08-28 14:02:35 +08:00
@Rorshach 不会有假数据吗?
www6688w
2019-08-28 14:48:07 +08:00
@qq7790586 看个人习惯吧,,我比较喜欢 Go 这种类型的,不过 py 可能会简单一些
qiuBiLiBiLima
2019-08-28 17:00:07 +08:00
大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去
qiuBiLiBiLima
2019-08-28 17:02:27 +08:00
大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去 这个是地址 https://github.com/loadchange/amemv-crawler
roryzh
2019-08-29 09:43:12 +08:00
@amwyyyy 我给某 x 网全视频都下了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/595616

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX