logstash CPU high

Logstash CPU 使用率高

好久没更新blog了。
最近搭ELK,遇到logstash的几个坑。
特别特别坑,忍无可忍,赶紧记录下来。

CPU使用100%的情况:
/etc/init.d/logstash中有一行nice=19
在系统中使用top命令会看到CPU每个核心使用率100%。按1键会看到,并不是%us高,而是100%ni。

Timeout executing grok '%{NGINXMAIN}' against field 'message' with value 'Value too large to output (587 bytes)! First 255 chars are:

Timeout executing grok '%{NGINXMAIN}' against field 'message' with value '

这两个错误绝对不是超时,而是正则表达式没匹配。

当我把问题解决完之后,才发现,CPU使用率高的最终原因是传来的日志格式不能匹配,所以grok就会找默认的n多正则,一直到超时(貌似默认30秒),这个时间内CPU就会特别繁忙。

总结:

  1. 当你无法确认所接受到的数据都能在你的自定义正则匹配时,建议删除grok插件自带的正则模板
  2. 写正则表达式时,多思考,要兼容意外情况。