V2EX › fortytwo 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

10 小时 9 分钟前

回复了 Colorful 创建的主题 › Python › 关于爬虫这块有个比较好奇的问题，想请教

依据具体业务
分为两种：
是增量数据
1 、需要采集用户信息（昵称、简介等等），需要保留历史数据的，使用增量表，那么就需要判断变动进行处理。可以实时查询变动，有变动再新增，效率相对较低。建议保留所有数据，然后离线再跑一遍分析。数据会滞后一些。

仅去重
2 、只是去重需求，防止插入多个相同行数据，就按照上面的方案，加唯一索引后，insert ignore 插入即可。
代码改动最少，且实现简单，基本不需要考虑效率问题。

11 小时 13 分钟前

回复了 fanyingmao 创建的主题 › MySQL › 又是被 mysql 加字段搞郁闷的一天

@BQsummer 对的，这种最快，风险还低。之前要跑 8 个多小时的脚本，用这个十几分钟搞定。

游戏数据库，要麻烦一些。

15 小时 59 分钟前

回复了 s2555 创建的主题 › 公司运营 › 一人有限公司，如何极限从公账提到私账？

当时为什么想着办一人公司呀？
接单的资质需要？

18 小时 12 分钟前

回复了 hxhsammy 创建的主题 › 程序员 › android7 以上系统 https 抓不到包，大家是如何解决的?

必须 root 了。搞个可以 root 的机子也不贵，我搞的是 redmi note 12 5G 256G 版本

反正只是抓包用，对于成色电池啥的没要求，收个二手比较便宜，几百块搞得定。

我日常抓包用 reqable ，个人觉得免费的够用。

1 天前

回复了 uTools 创建的主题 › 分享创造 › 三年过去了，那个叫 uTools 的怎么样了

@okxaas 限制官方可以直接买，Free 就另说了。

个人花月薪 3%买一个永久的工具，着实心疼。VIP 功能基本用不上，只是为了解除 10 个插件的限制。

另外这软件开发者工具也占一个额度，想开发个插件要手动先卸载一些临时不用的才行。