2T 总容量的日志服务器 插入性能持续衰减

[Banio]

我们现在有台日志服务器 总容量 2T 内存 2G 4 核服务器 表关系比较简单 就是俩表 一个表记录 session 触发的时间和条件 另一个表统计当前 session 包含了多少条内容

现在用分表 （ postgresql 分表功能感觉不是很好）在单表数据量到 300w 以后发现插入性能下降的特别明显 可能是索引太多 插入速度也就达到刚开始的 1/10 插入日志的时候磁盘 io 较高 请问有没有什么好的优化方案

或者可用 nosql 或者别的数据库处理 谢谢！ 小弟数据库这方面积累比较薄弱 麻烦大神指教 谢谢

[yidinghe]

如果楼主觉得索引太多，可以尝试减少索引。如果确实是这个原因的话，恐怕换成 nosql 性能也高不起来。日志这东西也就一个日期时间索引就可以了吧。

[ryd994]

既然是日志服务器，能不能陈旧数据分离转移？
另外索引设置是否合理？
有没有钱上 SSD ？至少热数据要在 SSD 里
内存 2G 也许不是很够，检查一下是不是所有索引能放得下？

[Banio]

@ryd994 我们第一个表是 11 个索引 对应我们网页端 的 11 个筛选条件 也不知道是不是合理。。。 300w 条的时候 每个索引就将近 100m 了 索引是都放在内存中读取吗。。。那看来是不够了 其实我们这日志系统要求比较简单 插入 删除 查询 不涉及更新什么的

[ryd994]

@Banio 一般要求索引在内存里，否则性能会很差
11 个筛选条件也许有重合可以精简索引，这个不是我专业

[jimzhong]

增加内存试试， 2G 偏小了

[owt5008137]

perf top 看下？ 2GB 内存确实有点小。看看交换区是不是占用过大呗？ linux 的交换区性能屎一样

[Banio]

@jimzhong
@owt5008137 指望内存增加是不可能了。。。。现在要求日志系统每秒插入 1w 条日志。。。。我觉得好渺茫

[Banio]

@owt5008137 每次都发现内容占用满了 但是 swap 分区并没有占用 这是需要配置么

[jhaohai]

既然是日志那就用 es 吧

[Banio]

@jhaohai elasticsearch??

[realpg]

2G 内存……

DDR3 REG 的白菜价，我们开发的测试服务器都 48G 内存……

[Banio]

@realpg 你们有没有测试数据什么的 你们这级别的服务器 日志每秒最大插入多少条 带索引么

[realpg]

@Banio
我们日志服务器从来都不用索引 除了 pk ， opid ，其他全没有索引
谁没事儿天天大量检索日志服务器玩 索引开销远大于查询次数
日志服务器完善分表，按日，按时分表，单一组容量有限

[reticentfat]

es +1

[neoblackcap]

日志请上 es ，毕竟别人就是专门搞这个

[sopato]

按天分表，就按时间做索引，性能应该不会下降太多的呀，上一个公司就是这么做的，感觉性能还行，除非查询的时候跨天数太多。

[Nexvar]

日志不用 ELK 技术栈?

[Banio]

@realpg 请问你们用没用过 mangodb 这种 nosql 日志也不需要完整的事务性的

[Tony8Finet]

不怕死的话 PostgreSQL 9.1 起有:
CREATE UNLOGGED TABLE ...;
ALTER TABLE tablename SET UNLOGGED;

[Banio]

@Tony8Finet 这个啥意思 不写入数据库吗 还是不根据事务类型

[RangerWolf]

为什么不可能加内存？不解~

另外，直接程序内部进行分表，比如每小时一张表，超过 X 小时直接删除，类似这种。
还有就是，尽量批量写、

PostgreSQL 并没有听说对日志友好啊

[Tony8Finet]

@Banio 不产生事务类日志, 写入效能会比一般表来得快。

看一下文件: CREATE TABLE

UNLOGGED

If specified, the table is created as an unlogged table. Data written to unlogged tables is not written to the write-ahead log (see Chapter 29), which makes them considerably faster than ordinary tables. However, they are not crash-safe: an unlogged table is automatically truncated after a crash or unclean shutdown.