腾讯漫画爬虫........

2017-04-20 09:45:35 +08:00
 justtery

上周周末写了一个腾讯漫画的爬虫....

现在已经有的功能:

1.查找漫画

2.查找出漫画的总章节数目

3.下载单话漫画

4.下载所有章节漫画(免费的括号笑)

目前存在的问题:

1.多线程下存在卡死或假死的状态(这块我是真的搞不懂了)

跪求大佬们教育,为什么会出现多线程下爬虫不爬了的情况啊 昨天我加了请求超时时间也还是会出现这种状况(昨天的修改没有上传 github)

代码地址:https://github.com/Fretice/Tencent_Cartoon_Download

注:请忽略 readme 文件中的内容,因为好多都写错了 /(ㄒoㄒ)/~~

5382 次点击
所在节点    分享创造
26 条回复
nanlong
2017-04-20 11:45:23 +08:00
还没见过这么打包 python 项目的,你是第一个
justtery
2017-04-20 11:52:25 +08:00
@nanlong 还有更多的 要不要看
strwei
2017-04-20 12:00:54 +08:00
@nanlong hello
zhihaofans
2017-04-20 12:17:09 +08:00
cartoon 是动画,漫画是 comic 。。。
zhihaofans
2017-04-20 12:19:30 +08:00
https://ooo.0o0.ooo/2017/04/20/58f836c6e9bbe.png
xvx
2017-04-20 13:29:17 +08:00
腾讯卡通下载
ty89
2017-04-20 13:47:15 +08:00
驼_峰_加_下_划_线_的_命_名_也_是_少_见
zhihaofans
2017-04-20 13:51:57 +08:00
@ty89 →PHP
Marfal
2017-04-20 14:04:01 +08:00
.gitignore 老哥
Marfal
2017-04-20 14:05:25 +08:00
@ty89 Tuó _Fēng _Jiā _Xià _Huá _Xiàn _De _Mìng _Míng _Yě _Shì _Shǎo _Jiàn
justtery
2017-04-20 14:14:08 +08:00
你们开心就好 😊 注意哦,那只是个项目名称,注意看文件文件名称,更给力的说
55555
2017-04-20 15:26:27 +08:00
以前有人这么干过 不过他是付费的都有了 然后被腾讯直接警告了
zhihaofans
2017-04-20 16:11:22 +08:00
不是很懂 venv 目录下的是干嘛的,依赖?
golmic
2017-04-20 16:17:22 +08:00
哈哈,看评论就知道很欢乐
irory
2017-04-20 17:03:01 +08:00
和 LS 一样之前爬取过 qq 漫画 . 不过我只爬了海贼王的 . 共勉 http://irory.me/blog/8
justtery
2017-04-20 17:37:35 +08:00
@irory 素在下之言...你这个效率应该不会高吧.....(说的好像我这个效率高一样)
irory
2017-04-20 17:57:08 +08:00
@justtery 多开几个 worker 跑下来还行 .. phantoms 这个的确有点慢了 .
lauix
2017-04-20 18:23:12 +08:00
Love4Taylor
2017-04-20 18:35:27 +08:00
中国惊奇先生...... 没有 .gitignore 啊
justtery
2017-04-20 19:59:32 +08:00
@Love4Taylor 那个只是一个测试。。请忽略

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/356069

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX