Logstash CPU 使用率高

好久没更新blog了。
最近搭ELK，遇到logstash的几个坑。
特别特别坑，忍无可忍，赶紧记录下来。

CPU使用100%的情况：
/etc/init.d/logstash中有一行nice=19
在系统中使用top命令会看到CPU每个核心使用率100%。按1键会看到，并不是%us高，而是100%ni。

Timeout executing grok '%{NGINXMAIN}' against field 'message' with value 'Value too large to output (587 bytes)! First 255 chars are:

Timeout executing grok '%{NGINXMAIN}' against field 'message' with value '

这两个错误绝对不是超时，而是正则表达式没匹配。

当我把问题解决完之后，才发现，CPU使用率高的最终原因是传来的日志格式不能匹配，所以grok就会找默认的n多正则，一直到超时(貌似默认30秒)，这个时间内CPU就会特别繁忙。

总结:

1. 当你无法确认所接受到的数据都能在你的自定义正则匹配时，建议删除grok插件自带的正则模板
2. 写正则表达式时，多思考，要兼容意外情况。