ijustdo 最近的时间轴更新 ijustdo 最近的时间轴更新 |
ijustdoV2EX 第 188439 号会员，加入于 2016-08-23 17:48:44 +08:00 |
ijustdo 最近回复了
144 天前 回复了 Tardis07 创建的主题 › Linux › Linux Shell 如何分类统计标准输出结果 |
(base) [ghostwwl@ghostwwl shell]$ cat 1.txt|awk '{c[$0]++}END{for (i in c) print i " | " c[i]}'|sort -n -k 2
user_A | 3
user_B | 2
user_C | 1
user_A | 3
user_B | 2
user_C | 1
2022-09-15 18:15:09 +08:00 回复了 MrVito 创建的主题 › Python › 爬虫相关，关于 XPath 的疑问 |
//div[@id="con_one_1"][1]/descendant::table/descendant::tr[1]/td[2]/p/text()
2022-04-29 17:41:15 +08:00 回复了 chaleaochexist 创建的主题 › git › 求推荐 Linux 下 免费的 git GUI 客户端 |
gitui
2022-04-02 16:23:58 +08:00 回复了 monster33 创建的主题 › 程序员 › 有多少人平时主力电脑用的 Linux ？ |
最近 8-9 年一直 fedora kde ， 主力工作环境
2022-02-16 18:13:38 +08:00 回复了 v2410117 创建的主题 › 程序员 › 关于本地人体识别，该如何优化，求大佬提建议 |
我树莓派 4 都没你那么慢，你这需求直接用 python 掉 face_recognition 基于 dlib 就 ok ，https://github.com/ghostwwl/my_raspbian/blob/master/gcam/main.py 碰到指定人录像发消息
2022-01-24 18:19:26 +08:00 回复了 jiangwei2222 创建的主题 › 信息安全 › 每小时 100W+的请求量，该怎么向黑产大哥们求饶啊？ |
上白名单， 存在的需要对外的 url 才能访问， 其它一律 403, 然后加上 ip 请求次数限制
2021-06-03 18:38:53 +08:00 回复了 iiq2000 创建的主题 › 程序员 › 请问存储百万条或者千万条抖音评论应该选用什么数据库？怎么设计？ |
clickhouse
2021-01-19 12:27:33 +08:00 回复了 rationa1cuzz 创建的主题 › Python › 不懂就问，我有一个题库的字典，获取某一个题目时（id），使用 for 循环和 pandas 效率是差不多了的，没有提升。 |
加索引的思路没错
doc_inx = {123: {'ft': '一年级', 'st': '语文', 'inx': 5}, 321: {'ft': '二年级', 'st': '数学', 'inx': 5}}
建立这样的索引
获取的时候
index_obj = doc_inx[321]
result = 题库字典[index_obj['ft']][index_obj['st']]['sublist'][index_obj['inx']]
doc_inx = {123: {'ft': '一年级', 'st': '语文', 'inx': 5}, 321: {'ft': '二年级', 'st': '数学', 'inx': 5}}
建立这样的索引
获取的时候
index_obj = doc_inx[321]
result = 题库字典[index_obj['ft']][index_obj['st']]['sublist'][index_obj['inx']]
2020-09-01 17:12:21 +08:00 回复了 fakeJas0n 创建的主题 › 问与答 › 如何便捷高效地处理 5000w 左右的离线订单数据 |
给你举个例子 单机就可以搞定
每个订单存为:
[订单 id]_[发货 citycode]_[发货日期]_[收货 citycode]_[收货日期].json
------------------------
分目录:
------------------------
收货城市 citycode 分组目录
时间分组目录[日期]
发货城市 citycode 分组目录
时间分组目录[日期]
每个过程 cityecode 分组目录
时间分组目录[日期]
------------------------
你自己看这个问题是不是不是很简单了
大数据的分区 也是 hadoop 上目录 + 列式存储 没撒
文件遍历统计就搞定， 不急的话一个单字一个单字来， 一个单子一个单子的来都行
每个订单存为:
[订单 id]_[发货 citycode]_[发货日期]_[收货 citycode]_[收货日期].json
------------------------
分目录:
------------------------
收货城市 citycode 分组目录
时间分组目录[日期]
发货城市 citycode 分组目录
时间分组目录[日期]
每个过程 cityecode 分组目录
时间分组目录[日期]
------------------------
你自己看这个问题是不是不是很简单了
大数据的分区 也是 hadoop 上目录 + 列式存储 没撒
文件遍历统计就搞定， 不急的话一个单字一个单字来， 一个单子一个单子的来都行
Select Language