首页   注册   登录
 ghostwwg 最近的时间轴更新

ghostwwg

V2EX 第 353236 号会员,加入于 2018-09-30 10:18:50 +08:00
ghostwwg 最近回复了
论自建 NAS 的重要性
9 天前
回复了 mrjia 创建的主题 Google App Engine Google cloud 外网 IP 问题
不是啊。。。有亚太区的啊。。。
29 天前
回复了 orangutan92 创建的主题 硬件 2018 年有什么好的无线鼠标推荐?
你的价格范围的 看看雷柏, 微软罗技 200-的都是 7 号电池,要么就贵了
以下是我的 filebeats 配置文件:
-----------------
cat /etc/filebeat/filebeat.yml
-----------------
filebeat:
spool_size: 1024 # 最大可以攒够 1024 条数据一起发送出去
idle_timeout: "5s" # 否则每 5 秒钟也得发送一次
registry_file: ".filebeat" # 文件读取位置记录文件,会放在当前工作
目录下。所以如果你换一个工作目录执行 filebeat 会导致重复传输!
config_dir: "/etc/filebeat/conf"

output.kafka:
hosts: ["x.x.x.x:9091"]
topic: '%{[logstash_type]}'
partition.round_robin:
reachable_only: false
required_acks: 1
compression: gzip
max_message_bytes: 1000000
-----------------
cat /etc/filebeat/conf/pubservice.yml
-----------------
filebeat.prospectors:
-
tail_files: true
fields:
logstash_type: "pubservice"
paths:
- /var/log/pubservice.log
fields_under_root: true
json:
message_key: message
overwrite_keys: true
keys_under_root: true
-----------------
-----------------
我这边是走 filebeats -> kafka -> logstash -> elasticsearch 的数据流走向

logstash 根据『 logstash_type 』 字段做判断,塞进不同的 index 里面。

2: 没明白撒意思,手动建立 mapping 看需求,我是倾向于建的,这边不建立 mapping 的情况下,偶有数据类型不一致会丢

3: filebeats 只是抽数据的吧,建立 mapping 是在 ES 这里做的,你可以通过 es 的 template 接口去实现指定的 index 匹配一套 mapping.

4: 看上面的配置文件,grok 这个帮不了你,我也不熟
40 天前
回复了 3s6i2o 创建的主题 宽带症候群 打算换路由求推荐
R7000 或者同级别封顶,高了真没撒意思。
40 天前
回复了 luozhiyun 创建的主题 买买买 想入手个智能手表, 有推荐的吗?
itcwatch pro 玩了大半个月了,用着还行,全功能模式 3 天左右吧,官方推荐的 2+3 续航不虚。应用方面么,语音识别回复微信还不错,其它倒也没怎么扩展过。
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2039 人在线   最高记录 4019   ·  
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.1 · 17ms · UTC 04:22 · PVG 12:22 · LAX 20:22 · JFK 23:22
♥ Do have faith in what you're doing.
沪ICP备16043287号-1