求大神吐糟给点参考意见

2018-07-17 13:17:48 +08:00
 0xsui

python 初学者,小白一枚,写了一个咪咕音乐的爬虫,希望大神们给点语法和编程方法上参考意见😘 https://github.com/23171580/migu_music_spider

2415 次点击
所在节点    Python
7 条回复
0xsui
2018-07-17 13:19:43 +08:00
能把单个歌手的所有歌曲都下载下来,有点懵逼的就是有时候文件下载一会就报错😂
kevin1234
2018-07-17 13:21:33 +08:00
@0xsui 下载一会报错 具体是报错什么呢 你分析过没呢?
0xsui
2018-07-17 14:38:55 +08:00
@kevin1234 一开始以为是请求太频繁,于是加了随机延时,出错几率小了。之后又加上 header,但是,如果歌手的歌单歌曲量很大,下载时间长了还是报错。
0xsui
2018-07-17 14:42:33 +08:00
@kevin1234 ("Connection broken: ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None)", ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))

line 78, in song_download_save
save_file('.mp3', music_name, 'wb+', dir_now, html_get(song_url, test_header).content)
AttributeError: 'int' object has no attribute 'content'

感觉还是因为访问太频繁了
mario85
2018-07-17 15:19:11 +08:00
做这种爬虫都得备个池子吧
0xsui
2018-07-17 15:22:42 +08:00
@mario85 得准备个代理 ip 池吗?
mario85
2018-07-17 15:30:52 +08:00
@0xsui 是,建议学下反爬

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/471591

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX