Netdump 사용 방법 (서버가 panic이나 행이 걸렸을 때 원격지에 로그쌓기)

Netdump 사용방법

테스트 서버 : AS40 update4 (2.6.9-42.ELsmp)

개요 : dump 상황이 발생하면 메모리 정보나 기타 다른 정보들을 수집하여
미리 세팅되어 있는 서버쪽으로 정보를 보내는 기능을 수행한다.
따라서 서버가 중단되는 원인을 파악하는데 도움이 됨

(테스트 결과 강제 로그를 쌓는 경우 (alt + sysrq + m, t) 서버쪽에 로그가 쌓이는 것을 확인할 수 있었습니다. 단지 커널 패닉이나 hang상황은 재연하기 어려워 테스트해보지는 못했습니다.)

1. Force netdump

Netdump : 행이나 system crash가 난 경우에 원격지에 로그를 쌓아줌

a. sysrq 세팅(magic 키)

==> # echo 1 > /proc/sys/kernel/sysrq

이번 테스트는 리붓을 하지 않고 바로 적용을 할 것이기 때문에 /etc/sysct.conf파일에 직접 세팅

==> # vi /etc/sysctl.conf (kernel.sysrq = 1)

세팅이 첫번째였다면 리붓을 해야 하지만 파일을 직접 수정하였다면 다음 명령어로 바로 적용 가능하다

==> sysctl -p

b. 시스템 행이 걸렸다고 가정하면, ALT + SysRq + c (콘솔에서) 키를 누름으로 로그를 남길 수 있다.

c. 가끔은 행이 걸린 상황에서 키보드가 입력되지 않는 현상이 발생한다. 이때는 SysRq 키가 쓸모가 없어지기 때문에 nmi_watchdog를 사용하여 해결할 수 있다.

d. /boot/grub/grub.conf 파일을 수정하여 nmi_watchdog=1 을 추가한다. 예를 들면

  ==> # kernel /vmlinuz-2.6.9-42.ELsmp ro root=LABEL=/ rhgb quiet nmi_watchdog=1

e. 적용을 하기 위해서 리붓한다.

서버가 멈추면(panic or hang) nmi_watchdog 이 자동으로 netdump 를 실행하여 원격으로 log를 전송하게 된다.

2. netdump 세팅 (netdump server & client)

crash or hang이 나는 상황이면 client 에서 서버 쪽으로 로그를 보낸다.
여기서 주의할 사항은(당연한 이야기지만) 상황이 여의치 않아 장애가 발생했을 때 네트워크가 안되는 상황이라면 로그가 쌓이는 일은 없을 것이다. )

3. netdump 서버 쪽 세팅

a. 로그가 쌓일 서버에 netdump-server를 설치한다. (test server는 full installation 이기 때문에 이미 설치되어 있다. : netdump-server-0.6.11-3)

b. netdump 유저의 패스워드를 설정한다.
==> # passwd netdump
==> # chkconfig netdump-server on
==> # service netdump-server start

4. netdump 클라이언트 세팅

a. netdump 설치 (이미 설치되어 있음, full installation : netdump-0.7.16-2)

b. /etc/sysconfig/netdump 파일을 수정하여 NETDUMPADDR=[IP] 를 넣는다.
==> # vi /etc/sysconfig/netdump
==> NETDUMPADDR=192.168.1.111  

c. 다음 명령을 입력하여 서버쪽에서 세팅했던 패스워드를 (netdump user)넣어준다.
==> # service netdump propagate
==> # 패스워드 입력
==> # service netdump start

[root@test4 ~]# service netdump start
netdump를 초기화 합니다:                                   [  확인  ]
netconsole을 초기화 합니다                                 [  확인  ]
Message from