爬了 3534 个 Telegram 群/频道/机器人,却发现只有 6%的优质账号(开源所有代码和数据)

318 天前
 BeiChuanAlex

背景:使用 Telegram 的时候,为了能找到一些有意思的、好玩的、纯粹资源分享的群和频道,总是很困难,尽管有些网站推荐了不少的群 /频道 /机器人,但是往往其中很多都已经过期了,甚至很多都注销了,也有一些变成了涩涩群、机场群,一个一个筛选起来很麻烦,所以决定用 Python 爬虫来解决这一问题。

过程:用时一天时间,收集整理了很多网站数据,建立 URL 集合,使用 Scrapy 总共从十几个地址,爬了总计 3534 条数据。所有的数据及 SQL 已经放到文件 telegram_info.sql 中,爬虫代码放在了 telegram-groups-spider 文件夹里面。有需要的同学可以自行取用。

结果:从 3534 个中,按照订阅数 /会员数排序,并排除了其他语言的账号只选择做中文内容的账号,也排除了包含:机场、Sex 、Gamble 、Politics 等内容,手工精选了 200 多个放在了下面的表格里,感兴趣的同学可以根据自己喜好选择加入。

感悟:从数据来看,其中有很多是早已注销的群 /频道 /机器人,也有不是是灰黑产业的账号或者挂羊头卖狗肉的账号。精选账号大概只占到总数的 6% ,这个比例还是挺惊人的,中文的优质内容在 Telegram 还是相对匮乏,Telegram 在中文内容上更像是一个灰黑产的温床。虽然精选了 200 多个账号,但其中也有不少是羊毛,搬运,资源,影视,破解等内容,这些内容也是处于擦边球地带,真正优质的内容还会更少,当然这也限制与样本本身的质量,也许有不少好的账号还未被发现,也欢迎知道优质账号的同学能在 issue 留下它的链接。

GitHub 地址https://github.com/alexbei/telegram-groups

16003 次点击
所在节点    程序员
67 条回复
dilu
318 天前
上 tg 不就是为了看 yellow Politics 以及小飞机嘛? doge
pengtdyd
318 天前
Telegram 确实有不少黑灰内容
Cheons
318 天前
我倒要看看除了 Sex 、Politics ,TG 上还有什么优质中文内容
klo424
318 天前
mark ,好东西,已 starred ,希望能持续更新!
missdeer
318 天前
看了一眼精选的 6%,确实也不少注水的
sunamask
318 天前
好项目,感谢!我找了一万年的歪屁股新闻终于有解决方案了~
BeiChuanAlex
318 天前
@Cheons 优质的中文内容不光是 Telegram 上很少,其他平台上也不多,只是 Telegram 上更少罢了,这个是生态决定的。
BeiChuanAlex
318 天前
@missdeer 确实也不少注水的,这也和样本数量及样本来源有关,目前能找到的 URL 集有限。
gablic
318 天前
可以把筛掉的 3334 条数据也发一下吗,学习学习
BeiChuanAlex
318 天前
@gablic 所有的数据都在 GitHub 项目的这个文件里面:telegram_info.sql
kingwrcy
318 天前
star 了,能否直接把内容爬出来,这样没有 tg 环境的人也能看.
ChainLock
318 天前
start
BeiChuanAlex
318 天前
@kingwrcy 大部分的群 /频道 /机器人里面的内容都是日常闲聊的内容,对话内容爬出来也没有什么价值。
Retas
318 天前
电报上科技新闻类的频道都挺不错的,时效性比较高,没有软广浪费时间
kingwrcy
318 天前
@BeiChuanAlex #13 对话的是没价值,我说的是分享软件 /硬件 /咨询类的
tanmrs48
318 天前
看了下上边优质的很多都加过,最优质的比如羊毛白嫖都在小众的交流群里,我有一个想法是写一个程序可以每天监控群里的聊天记录,然后关键词定位,
BeiChuanAlex
318 天前
@kingwrcy 可以爬,有现成的接口。
BeiChuanAlex
318 天前
@tanmrs48 tg 有客户端接口,可以用这个来做
opwwecccc
318 天前
高,实在是高
garipan
318 天前
确实不错!谢谢 po 主

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/951729

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX