请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能

[KOSKERS]

大家好，请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能。 目前 Flume 和 Kafka 的相关功能已经通了。但是 spark 没什么使用经验。 看网上教程是要自己写 Scala 脚本然后打成 jar 包给 Spark 执行。

我想用 spark 实现检测 kafka 的数据流，如果发现 error 字样，就发送邮件。 请问各位大佬有没有相关脚本或者教程的地址可以参考的？

谢谢大家。

[kex0916]

看官网吧，比较系统全面
http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html
http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html

[KOSKERS]

@kex0916 谢谢。我去看看

[bantao]

flume 和 spark streaming 都可以消费 kafka 的消息数据，你的场景不复杂，不需要用 sparkstreaming 了，建议写个 flume 的拦截器比较简单的 https://www.jianshu.com/p/1b083f67aacc。

[KOSKERS]

@bantao 你好。我的目的是监控脚本如果发现有 error。就发送邮件。我本来的想法是 flume 收集，然后 shell 查看日志发送邮件的。但是老板说这样功能太重。我网上看了看貌似都是说用 spark 做的