首页   注册   登录

notgod

V2EX 第 143574 号会员,加入于 2015-10-21 06:06:59 +08:00
notgod 最近回复了
@Reign
大兄弟
我最近部署了一套基于 ELK 的集中日志系统 单天过亿的级别
看到这个 我还是给你些意见

经过各种环境测试 我想还是有发言权的
我不知道我们的实际需求是否一致

简单来说 按你的描述
因为我不知道你数据量 和数据重要性
这个是需要一个规划的
根据你的数据增长情况,规划一个拓扑和容灾结构

排除硬件因素
先说你指望的 MYSQL REDIS ELK 全部部署在一起
这个是有严重问题的
REDIS 无所谓, MYSQL 如果你查询大 CPU 消耗问题很严重
不知道你是不是对 ELK 有什么误解, ES 最好的发挥是集群,不是单机
最大消耗不是 I/O 而是内存和 CPU, 我的版本是最新的 ES

我测试环境 Linode 16G 的套餐 准备迁我的 ES 数据 超 300G ,搭配 Linode 1T 的存储 (读写 500 多 M 的速度)
内存 over heap 迁移完启动,接收日志,一直会自动挂掉 CPU 持续 100%+
最后不得已还是继续使用 64G 内存+6 块 200G 的 SSD 的设备 来接收日志
这个还是我优化过的

在说硬盘问题 , 你存储数据不可能不查询
ELK 我实际测试亿的数据 在 Raid5 3x2T 的情况下 在 kibana 根本查询不出 一直 TIMEOUT

Raid0 如果你不考虑数据安全性的话 就是你容许挂了重装系统 重新来过
那可以使用

Raid5 的性能, 非常差 你测下就知道了

你的情况 如果期待放一起 最好的硬件方案
内存 64G 其中 32G 给 ES
硬盘使用带 BBU 的 HW 卡 搭配 6 块 HHD + 4-6 块 SSD
一种是 SSD 做缓存
另外一种是 SSD 放热数据, HDD 放冷数据

这种密集型 I/O 的 而且还是 6T 的单硬盘 寻道时间和稳定性都有待考证的产品
实在不建议

我觉得你应该先测试性能在考虑其他
2017-07-07 17:30:45 +08:00
回复了 banksiae 创建的主题 程序员 文件分布式存储问题??
以前弄过
最简单的方案
下载 尝试访问 1 的 如果文件存在 返回
不存在 反向代理到 2。反之亦然
因为使用内网 不存在带宽流量消耗

另外一个解决方案 就是 sersync 做实时同步即可

一般 lb 结构 后端提供 n 个 VIP 共同一个 san 存储
便于扩展 这样才是最佳的 主要将运算和存储分离

如果流量不大 业务规模小 没必要弄 lb
没瓶颈的
2017-07-03 20:26:20 +08:00
回复了 niuoh 创建的主题 支付宝 啊有不需要企业认证的第三方支付平台啊
最有趣的是 正规使用的 申请起来巨麻烦
但是那些非法使用的 像 v2porn,第一坊 那些
你们去看看 扫码 每次显示的都不是一个商户
n 多商户账户轮询使用 ,
一堆微信显示 xxx 超市 xxx 小卖部 什么鞋子袜子
这些网站这么多年 cctv 都上过 不还是一样牛逼的用支付宝 微信收钱。

所谓的风控都睡着了

我域名注册业务申请接口 虽然每次都会过
但是他们总是给你找事
2017-07-03 15:28:43 +08:00
回复了 18279731314 创建的主题 台湾 朋友去台湾旅游了,有没有什么好货可以带回来的。
唯有 槟榔西施
其他免了 233333
2017-07-02 15:03:08 +08:00
回复了 wbswjc 创建的主题 宽带症候群 墙内与 Gmail 邮箱互发邮件为什么没有被墙?
因为大部分的邮箱 有设置投递代理
比如你使用 QQ 邮箱

发送一个邮件 => QQ 邮箱国内服务器 => 如果异常 =》 QQ 邮箱 香港 /美国服务器 =》 投递

都是有网络检测机制并且异常做中转 然后继续尝试投递

很多企业邮箱 不是将 全球邮作为卖点的?
哦 在补充下

看招聘的是什么人
https://vimeo.com/jobs#positions

在看核心的企业业务
https://vimeo.com/business?v=footer

在看看典型企业客户
https://d9hhrg4mnvzow.cloudfront.net/join.vimeo.com/business/38e0c2ba-logos-toplevel-2.png


你们是否还记得犹太人的故事?
表面看不到盈利方案的公司
大部分都是以核心业务和技术为其他公司提供解决方案的盈利模式

就拿 VIMEO 来说
最大的收入来源是为第三方公司提供视频存储 /上传 /转码 /分发 获得收益

作为普通用户和技术人员, 你只是看到好奇,没广告? 收费少? 怎么赚钱?
但是如果你从商业角度去看 就会发现
#1 数据变现, 访问网站的用户多,流量大 = 数据,各种行为数据 = 调研 = 各种报告 类似消费报告 = $$$
#2 技术变现, 将自己的产品核心部分,提取出为各种公司提供解决方案 = $$$
例如自有千万视频数据 做大数据训练, 视频帧识别,P×orn 识别, 版权自动识别
可以做的事太多了
也比如 将自己的图片识别, 各种自有的转码技术 申请专利 这个专利本身就是有价值
授权别人使用收取授权费用
这些都会分拆公司去运营 表面你看不到什么
#3 .... 很多

这些都是可以间接变现的

国外和国内不同 国内什么都喜欢自建, 聊天软件做支付,支付软件做社交 就能看出来了
国外懒 图省事 有外部服务能解决的 大部分花钱解决
不会自己去造轮子, 没办法 人家商业环境好
不是公司大到一定规模 大家都在专心致志搞自己的事

总结
国外大部分公司 都是小而美 cPanel 公司 DirectAdmin 的 JMBC +1
国内大部分公司 都是大而全 乐事薯片 +1
2017-07-01 15:35:46 +08:00
回复了 MrBearin 创建的主题 问与答 空调扇到底如何?
不要买。 我上次买了个先锋的
尸体都没了已经 好像送收破烂的了


你应该买个电风扇 然后买几个冰晶
放后面挂着 一样的效果


那坑爹玩意 声音大的要死 还一点不凉快
跟冰晶水什么的无关 就是坑货
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   实用小工具   ·   637 人在线   最高记录 3541   ·  
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.1 · 7ms · UTC 21:07 · PVG 05:07 · LAX 14:07 · JFK 17:07
♥ Do have faith in what you're doing.
沪ICP备16043287号-1