网友通过本文主要向大家介绍了centos7系统安装,centos7系统安装教程,centos7系统,centos7系统下载,centos7系统日志等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com
centos7 系统cache的一例故障及解决
centos7 系统cache的一例故障及解决
故障现象
公司某云上一台重度计算型服务出现错误报警，且ssh无法登录，强制重启后检查系统日志,发现系统无法登陆至强制重启期间，下列日志多次重复。
Apr 21 13:03:41 web03 kernel: INFO: task kworker/5:0H:11070 blocked for more than 120 seconds.Apr 21 13:03:41 web03 kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.Apr 21 13:03:41 web03 kernel: kworker/5:0H D ffff8802bebf3dd8 0 11070 2 0x00000080Apr 21 13:03:41 web03 kernel: ffff8802bebf3bf0 0000000000000046 ffff8807fc690fb0 ffff8802bebf3fd8Apr 21 13:03:41 web03 kernel: ffff8802bebf3fd8 ffff8802bebf3fd8 ffff8807fc690fb0 ffff8802bebf3d58Apr 21 13:03:41 web03 kernel: ffff8802bebf3d60 7fffffffffffffff ffff8807fc690fb0 ffff8802bebf3dd8Apr 21 13:03:41 web03 kernel: Call Trace:Apr 21 13:03:41 web03 kernel: [] schedule+0x29/0x70Apr 21 13:03:41 web03 kernel: [ ] schedule_timeout+0x239/0x2c0Apr 21 13:03:41 web03 kernel: [ ] ? try_to_wake_up+0x1c8/0x320Apr 21 13:03:41 web03 kernel: [ ] wait_for_completion+0x116/0x170Apr 21 13:03:41 web03 kernel: [ ] ? wake_up_state+0x20/0x20Apr 21 13:03:41 web03 kernel: [ ] kthread_create_on_node+0xa8/0x140Apr 21 13:03:41 web03 kernel: [ ] ? rescuer_thread+0x460/0x460Apr 21 13:03:41 web03 kernel: [ ] create_worker+0xea/0x250Apr 21 13:03:41 web03 kernel: [ ] manage_workers.isra.24+0xf6/0x2d0Apr 21 13:03:41 web03 kernel: [ ] worker_thread+0x3d2/0x410Apr 21 13:03:41 web03 kernel: [ ] ? rescuer_thread+0x460/0x460Apr 21 13:03:41 web03 kernel: [ ] kthread+0xcf/0xe0Apr 21 13:03:41 web03 kernel: [ ] ? kthread_create_on_node+0x140/0x140Apr 21 13:03:41 web03 kernel: [ ] ret_from_fork+0x58/0x90Apr 21 13:03:41 web03 kernel: [ ] ? kthread_create_on_node+0x140/0x140Apr 21 13:05:41 web03 kernel: INFO: task kworker/5:0H:11070 blocked for more than 120 seconds.
解决参考
经过学习了解到，linux会利用最多40%的可用内存作为文件系统的缓存，到了写入磁盘的时候，如果io速度慢或者压力过大的话，超过120秒未写入完成，那么系统内存就会充满数据并就出现这个错误。 有两个参数可以降低缓存的默认比例， vm.dirtybackgroundratio 和 vm.dirty_ratio ，使其写入磁盘的时间少于120秒，如下示例：
- /etc/sysctl.conf 示例
## 系统cache在后台和前端可以使用的内存百分比，分别为5%和10%，默认是40%,系统比较繁忙时使用## 尝试解决"task kworker/5:0H:11070 blocked for more than 120 seconds## kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables thi## s message."vm.dirty_background_ratio = 5vm.dirty_ratio = 10
- 使配置文件生效
sysctl -p
- 后续观察是否还会出现同样错误
参考及致谢
- Linux Kernel panic issue: How to fix hungtasktimeout_secs and blocked for more than 120 seconds problem
- INFO: task blocked for more than 120 seconds.
- blocked for more than 120 seconds