用 Django 创建的第一个网站+scrapy 写的爬虫

[wsb200514]

花了将近 2 周的时间:(1)用 django 搭了网站(2)用 scrapy 写了几十个爬虫。
目前看来可以正常使用了。
起初，是因为自己有每天浏览 36Kr 等科技博客、还有些技术帖子的习惯，之前一直用推酷，里面很全面，但还是想根据自己的喜好定制一个。所以如果正好也是你需要的话，倍感欣慰。
网站叫三四秒： www.34miao.com
谢谢。

[fange01]

design 图挂错位？

[kepenj]

赞一个

[jwenwang]

挺简洁的，可以分享到 NEXT 上来：）

[hjkl0001]

感觉不错。。。

[wsb200514]

@jwenwang 我 products 频道聚合了 next,product hunt 这些产品信息，所以不知道发 next 会不会被 next 鄙视或者删掉啊？哈哈

[wsb200514]

@hjkl0001 谢谢^_^

[wsb200514]

@kepenj 谢谢哈

[wsb200514]

@fange01 谢谢指正。
您是指有几张图加载不出来么？ xueui.cn 站点做了图片防盗链的措施，可以虽然爬到图片但是在浏览器里还是没法直接打开，除非在其他选项卡中先打开他们的站点，然后欺骗浏览器才能刷出来。
如果不是这个问题的话，请问一下您是用什么浏览器访问的，我也用试一下看看到底什么问题？我兼容性做的不是很好啊，请见谅，嘿嘿

[jwenwang]

@wsb200514 没事的呀，我就是审核的哈哈

[wsb200514]

@jwenwang 大神啊，那我赶紧发去，吼吼

[XianZaiZhuCe]

我想知道内容是你自己有选择的放上去的，还是直接抓的某些频道？

[jwenwang]

@wsb200514 搞定哈哈

[wsb200514]

@XianZaiZhuCe 只是自己选择了一些抓取的网站，然后抓取到的内容会全部展示出来不做筛选。如果抓取了内容，再对内容做筛选有选择的展示，那对个人项目而言有点太累了。
以后计划会加入一些其他功能，但针对信息维护这一块还是不想人工干预。所以其实网站抓取的信息质量只能取决于抓取的网站质量，所以前期只是筛选了一些自己浏览比较频繁的网站，质量有些保证。
ps. iOS 版本已经被拒了好多次了，目前已再一次提交审核中，希望这一次能没什么问题。

[wsb200514]

@jwenwang 嗯，已经展示出来了。多谢，真幸运啊，第一次在 V2EX 和真神对话，嘿嘿

[jwenwang]

@wsb200514 别。。。都是普通人

[XianZaiZhuCe]

@wsb200514 哦~ 我就是觉得很多网站内容质量挺差的，偶尔会有不错的。所以我比较少看。相对来说 看个人博客多点。

[shulen]

厉害，

[Wangxf]

厉害

[wsb200514]

@XianZaiZhuCe 是的，相比而言，个人博客质量高一点，网站发展大了新闻稿鸡汤文浅尝则止的文章就泛滥了。开发的那个版块收了一些 iOS 开发的个人博客，比如唐巧、 kitten yang ，南峰子，其他资讯类的不太清楚国内有哪些质量高的个人博客，所以……目前只能做到这么多。嘿嘿

[wsb200514]

@shulen @Wangxf 我也是刚入门啊，希望各大牛多携带携带，加快进步，嘿嘿……