V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
meeasyhappy
V2EX  ›  分享创造

CodeData 的 前生往事

  •  1
     
  •   meeasyhappy · 2017-10-31 22:14:43 +08:00 · 2014 次点击
    这是一个创建于 2361 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我的业余项目,http://www.codedata.cn ,收集了国内很多优秀程序员的博客。可以更快了解他们最新的研究方向

    一、 想法来源

    最开始其实就是自己平时关注 博主的博客, 然后定期的是他们的网站上看看有没有更新,

    然后有的时候就必须都点一遍才能看完他们的博客,然后就在想自己做一个小爬虫, 收集一些自己感兴趣的博主。这样就可以看速的浏览自己感兴趣的文章了, 当然了 顺便也是想练练自己的爬虫技术(逃....)

    二. 遇到的问题

    在做的过程中, 就发现遇到了很多的问题, 比如那么多的博客, 每个博客的主题、网站结构都不一样、代码的模板不一样等等, 然后自己就想如何使得爬取的内容更加的展现的更加友好一些, 最后不断的改进爬虫的底层架构, 更加友好的处理图片、处理不同的网站结构、不同的代码主题....

    慢慢的发现自己 从一个爬虫小菜鸟 竟然成长为一个 爬虫大菜鸟了。

    三、关于未来

    其实 做这个站的目的,更多也是学习的心态,在运营的过程中学会了,如何做 SEO、如何运营、如何设计产品、当然也是尝试各种爬虫姿势, 😝。更重要的是中间交流到了一些朋友,而不是局限在程序员的自己的世界里。

    四、写在最后

    如果大家有什么建议, 欢迎大家留言,或者加我的微信也可以的哈(xiaobei060537, 注明来源即可)

    9 条回复    2017-11-06 10:51:25 +08:00
    dengxuejiu
        1
    dengxuejiu  
       2017-10-31 22:43:57 +08:00 via Android
    这波资源整合就很有灵性
    meeasyhappy
        2
    meeasyhappy  
    OP
       2017-10-31 23:07:53 +08:00
    @dengxuejiu

    主要是 自己 确实收获了很多
    whileFalse
        3
    whileFalse  
       2017-11-01 05:52:30 +08:00 via iPhone
    楼主重新发明了 RSS
    YYYeung
        4
    YYYeung  
       2017-11-01 09:32:46 +08:00
    看成了 iOS 的 Core Data 了,进来感觉画风不太对,点进去网站,发现画风完全不对
    hellobanny
        5
    hellobanny  
       2017-11-01 09:47:02 +08:00
    @YYYeung 同看成了 CoreData
    meeasyhappy
        6
    meeasyhappy  
    OP
       2017-11-01 10:25:28 +08:00
    @YYYeung 哈哈 笑 cry...
    affiliatexe
        7
    affiliatexe  
       2017-11-01 21:21:07 +08:00
    用什么语言爬的?
    meeasyhappy
        8
    meeasyhappy  
    OP
       2017-11-01 21:55:11 +08:00
    meeasyhappy
        9
    meeasyhappy  
    OP
       2017-11-06 10:51:25 +08:00
    @YYYeung 是的哈
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2860 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 75ms · UTC 13:48 · PVG 21:48 · LAX 06:48 · JFK 09:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.