分享一个自己做的应用--小蛇搜搜(专搜个人博客)

[funer]

小蛇搜搜

是一个专搜个人博客的小应用，迄今为止 建千万级别博客索引，爬取十万级别个人独立博客域名；愿景是网罗全网的个人技术博客，做一个纯粹的技术博客搜索平台！

主要的技术

一说索引可能有人觉得就是用的es, 其实这里，自己实现索引的时候没有用索引，直接自己动手实现简单的倒排 + skiplist，不光是内存贮存数据，也能支持落盘和从磁盘加载形成倒排等操作；

项目 demo 地址：http://49.233.52.50/，如果要使用github登录, 需要用本地 charles 代理下域名：www.xiaoshesoso.com 到 http://49.233.52.50; 主要爬取独立博客，并按照博主的热度进行简单排序，也可以时间排序！

---

简单的页面样子：

1. 主页：
2. 搜索页面

欢迎大家拍砖，试玩，大家有啥好的想法可以一起分享哈，一起多多提建议吧🙏：https://github.com/funeyu/snake-web-server/issues/1；

---

项目代码

• 先放出小蛇搜搜的 nodejs 做的前台 server 代码： https://github.com/funeyu/snake-web-server; 该 nodejs 代码基于 koa2 二次封装，项目逻辑比较清晰，欢迎大家加星等操作！！！

• 后续会依次会将所有的 ui 层（ react ）代码，索引层代码和爬虫（ golang ）一并慢慢放出；

[funer]

收藏和点赞和踩的功能，必须得是用 github 登录后才能正常使用，用 github 登录，就必须要本地 charles 绑定域名 xiaoshesoso.com, 确实很麻烦，先就这样吧，后面再把域名备案 添加解析~~~~

[calpiswater]

很不错的想法 支持一下 LZ👍

[zukezz]

支持楼主👍

[liyaojian]

为什么要用 charles，本地 host 指一下不行？

[geekzhu]

域名没备案的话，可以直接使用腾讯云的 IP 来访问？

[funer]

@liyaojian 昨天试了本地修改 host，但是还是被腾讯云平台拦截了，不知道腾讯云那里怎么做到的~~

[funer]

@geekzhu ip 是可以访问的~~

[luckyrayyy]

哈你这个 UI 还真是简介，莫名感觉萌萌的

[JustSong]

关注了，坐等开源

[funer]

@luckyrayyy 虽然自己一直从事前端开发，但对页面设计啥的没有啥头绪，后面慢慢找人帮忙设计下~~~

[lazybios]

很赞 希望能持续维护下去

[funer]

@lazybios 会尽力维护下去的😊🙂~~

[wintercoder]

想法挺好的

[v2ls]

支持

[gggyyybbb]

楼主抓住了痛点，不错的应用，支持

[herbin]

666

[funer]

大家试用的时候，有哪里不爽的，可以一起交流下哈，我这边在下一个版本改下；
也可以加我微信联系：funer80, 很乐意和大家伙成为朋友~~~~~

[funer]

网站 ip 访问先暂停段时间~~~~

[Duduchao]

请问：您是把爬到的内容都存到服务器了吗，搜起来这么快

[funer]

@Duduchao 嗯，是的，原始数据自己爬的，索引排序啥的自己处理