大四毕设了,已经爬了四百多万条豆瓣书评了,准备做一个 Chrome 插件,不知道取什么名字好

2020-12-01 17:16:11 +08:00
 13936

用 Scrapy 框架爬的,目前可以通过情感分析判断一本书的翻译质量。

方法是筛选一条评论里是否含有“翻译,原著,英文”等词汇,如果有的话,就判断情绪积极程度,然后给书籍的翻译质量打分。目前结果来看是可行的,基本可以有个大致判断。

但是既然爬下来了这么多数据,能做的也不仅仅只是这一点,可以做个词云,相关书籍推荐等功能,将更多隐含的信息可视化。但是总的功能类似,就是从大量数据中挖掘出隐含的对用户有帮助的信息。只是目前不知道取什么名字比较好,这周就要定题目了。V 友们方便帮忙取个名字吗?

还有,本人已经拿到了 Offer,不过不是计算机行业的,编写 Chrome 插件可能还需要再去买服务器,用 Flask 框架写 API 。既然工作重心不在计算机行业上了,也想过只写成一个 Python 程序,在本地输入书籍链接再在本地输出信息。V 友们对于这一想法有什么建议吗?

8055 次点击
所在节点    程序员
56 条回复
yingfengi
2020-12-02 06:23:31 +08:00
毕业入狱指南
wyfyw
2020-12-02 07:13:04 +08:00
上面那些入狱的,玩笑开过了。

楼主可以开发这个插件自己使用。只要数据停留在本地,搞科研发文章,想怎么搞就怎么搞。

如果上了云、建了站,不说豆瓣,光说书评的作者,他们有授权你使用书评做任何事情吗?
futou
2020-12-02 07:17:48 +08:00
豆瓣已经不是小公司了,你指导老师也是无知,你也是大胆...
iloveayu
2020-12-02 07:25:11 +08:00
免费饭
zqx
2020-12-02 07:35:51 +08:00
豆瓣有免费的开放 API,为什么还要爬虫呢
dyeed
2020-12-02 08:47:42 +08:00
巧了哈哈,我毕设是爬的豆瓣电影哈哈哈,人还在哈哈
gitjavascript
2020-12-02 08:51:14 +08:00
羡慕,刚毕业就学到了吃牢饭的技能
daimiaopeng
2020-12-02 08:52:30 +08:00
真羡慕,刚毕业就包吃包住
shroxd
2020-12-02 08:58:10 +08:00
好家伙,刚毕业就有保镖了
Juszoe
2020-12-02 09:12:33 +08:00
楼主好好听一听楼上的建议,私下研究就算了,千万别上云做成服务
fhsan
2020-12-02 09:21:45 +08:00
做论文,你是想被抓起来吗,
LiuSha
2020-12-02 09:23:17 +08:00
这东西私下研究就好了
huzy8002as
2020-12-02 09:24:25 +08:00
真羡慕,刚毕业就包吃包住
madpecker009
2020-12-02 09:25:56 +08:00
@laminux29 哈哈哈 你这也太草了
tikazyq
2020-12-02 09:28:39 +08:00
《基于高并发数据采集框架的自然语言处理数据挖掘》
13936
2020-12-02 09:48:06 +08:00
https://book.douban.com/robots.txt
豆瓣的爬虫协议一直都没说书评不能爬,我也不当做盈利用途,不明白是否真的有法律风险。

非常感谢各位 V 友们的建议,太爱你们了,感谢#22 楼和#35 楼的实用性建议。

既然开放出来可能有风险,我就做个本地的吧,自己一个人用。当毕设应该没问题。还不用架设服务器。
13936
2020-12-02 09:48:53 +08:00
@tikazyq 尤其感谢你,哈哈哈
ooxxcc
2020-12-02 09:59:59 +08:00
robots 算什么爬虫协议,lz 还是要学习一个

https://www.douban.com/about/agreement

看 9.2 第 11 条

祝你好运,耗子尾汁
hzjseasea
2020-12-02 10:04:46 +08:00
就叫 <<被指控指南>> 吧
ooxxcc
2020-12-02 10:08:23 +08:00
应该看这个

https://www.douban.com/about/legal

看 2.2.5

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/731051

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX