首页   注册   登录

notgod

V2EX 第 143574 号会员,加入于 2015-10-21 06:06:59 +08:00
notgod 最近回复了
@Reign
大兄弟
我最近部署了一套基于 ELK 的集中日志系统 单天过亿的级别
看到这个 我还是给你些意见

经过各种环境测试 我想还是有发言权的
我不知道我们的实际需求是否一致

简单来说 按你的描述
因为我不知道你数据量 和数据重要性
这个是需要一个规划的
根据你的数据增长情况,规划一个拓扑和容灾结构

排除硬件因素
先说你指望的 MYSQL REDIS ELK 全部部署在一起
这个是有严重问题的
REDIS 无所谓, MYSQL 如果你查询大 CPU 消耗问题很严重
不知道你是不是对 ELK 有什么误解, ES 最好的发挥是集群,不是单机
最大消耗不是 I/O 而是内存和 CPU, 我的版本是最新的 ES

我测试环境 Linode 16G 的套餐 准备迁我的 ES 数据 超 300G ,搭配 Linode 1T 的存储 (读写 500 多 M 的速度)
内存 over heap 迁移完启动,接收日志,一直会自动挂掉 CPU 持续 100%+
最后不得已还是继续使用 64G 内存+6 块 200G 的 SSD 的设备 来接收日志
这个还是我优化过的

在说硬盘问题 , 你存储数据不可能不查询
ELK 我实际测试亿的数据 在 Raid5 3x2T 的情况下 在 kibana 根本查询不出 一直 TIMEOUT

Raid0 如果你不考虑数据安全性的话 就是你容许挂了重装系统 重新来过
那可以使用

Raid5 的性能, 非常差 你测下就知道了

你的情况 如果期待放一起 最好的硬件方案
内存 64G 其中 32G 给 ES
硬盘使用带 BBU 的 HW 卡 搭配 6 块 HHD + 4-6 块 SSD
一种是 SSD 做缓存
另外一种是 SSD 放热数据, HDD 放冷数据

这种密集型 I/O 的 而且还是 6T 的单硬盘 寻道时间和稳定性都有待考证的产品
实在不建议

我觉得你应该先测试性能在考虑其他
2017-07-07 17:30:45 +08:00
回复了 banksiae 创建的主题 程序员 文件分布式存储问题??
以前弄过
最简单的方案
下载 尝试访问 1 的 如果文件存在 返回
不存在 反向代理到 2。反之亦然
因为使用内网 不存在带宽流量消耗

另外一个解决方案 就是 sersync 做实时同步即可

一般 lb 结构 后端提供 n 个 VIP 共同一个 san 存储
便于扩展 这样才是最佳的 主要将运算和存储分离

如果流量不大 业务规模小 没必要弄 lb
没瓶颈的
2017-07-03 20:26:20 +08:00
回复了 niuoh 创建的主题 支付宝 啊有不需要企业认证的第三方支付平台啊
最有趣的是 正规使用的 申请起来巨麻烦
但是那些非法使用的 像 v2porn,第一坊 那些
你们去看看 扫码 每次显示的都不是一个商户
n 多商户账户轮询使用 ,
一堆微信显示 xxx 超市 xxx 小卖部 什么鞋子袜子
这些网站这么多年 cctv 都上过 不还是一样牛逼的用支付宝 微信收钱。

所谓的风控都睡着了

我域名注册业务申请接口 虽然每次都会过
但是他们总是给你找事
2017-07-03 15:28:43 +08:00
回复了 18279731314 创建的主题 台湾 朋友去台湾旅游了,有没有什么好货可以带回来的。
唯有 槟榔西施
其他免了 233333
2017-07-02 15:03:08 +08:00
回复了 wbswjc 创建的主题 宽带症候群 墙内与 Gmail 邮箱互发邮件为什么没有被墙?
因为大部分的邮箱 有设置投递代理
比如你使用 QQ 邮箱

发送一个邮件 => QQ 邮箱国内服务器 => 如果异常 =》 QQ 邮箱 香港 /美国服务器 =》 投递

都是有网络检测机制并且异常做中转 然后继续尝试投递

很多企业邮箱 不是将 全球邮作为卖点的?
哦 在补充下

看招聘的是什么人
https://vimeo.com/jobs#positions

在看核心的企业业务
https://vimeo.com/business?v=footer

在看看典型企业客户
https://d9hhrg4mnvzow.cloudfront.net/join.vimeo.com/business/38e0c2ba-logos-toplevel-2.png


你们是否还记得犹太人的故事?
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   957 人在线   最高记录 3821   ·  
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.1 · 8ms · UTC 18:07 · PVG 02:07 · LAX 10:07 · JFK 13:07
♥ Do have faith in what you're doing.
沪ICP备16043287号-1