[보안] 리눅스 서버 보안 강화 체크리스트: SSH부터 시스템까지 10가지 필수 점검

리눅스 서버 보안은 서버를 한두 대 운영할 때보다, 서비스가 붙고 계정이 늘어나기 시작할 때 더 절실해집니다. 저도 처음엔 “일단 서비스부터 띄우자” 모드로 달렸었는데요. 그러다가 SSH(에스에스에이치, 원격 접속 프로토콜) 설정 하나 느슨했던 탓에 로그가 지저분하게 쌓이고, 괜히 마음까지 불안해졌던 적이 있습니다. 그 뒤로는 새 서버를 올릴 때마다 꼭 보는 리눅스 서버 보안 체크리스트를 따로 만들어서 관리하고 있습니다. 오늘은 그 체크리스트를 기준으로 서버 하드닝, SSH 보안 강화, 그리고 시스템 전반에서 꼭 확인해야 할 10가지를 한 번에 정리해보겠습니다.

새 서버 구축 시 SSH, 방화벽, 계정, 로그, 업데이트 순서로 점검하는 전체 흐름을 보여주는 개요 이미지입니다.

1. 왜 리눅스 서버 보안 체크리스트가 필요한가

쉽게 말해 체크리스트는 “내가 뭘 빼먹었는지”를 막아주는 안전장치입니다. 보안 사고가 꼭 대단한 취약점 때문에만 나는 건 아니거든요. 실제로는 기본 계정 방치, 불필요한 포트 오픈, 로그 미확인, 패키지 업데이트 누락 같은 아주 평범한 실수에서 시작되는 경우가 많습니다. 저도 홈랩에서 VM(버추얼 머신, 가상 머신)을 자주 갈아엎다 보니, 사람이 하는 일은 결국 반복 실수가 나오더라고요. 그래서 설정을 잘 아는 것보다 항상 같은 기준으로 확인하는 습관이 더 중요했습니다.

특히 리눅스 보안 체크리스트는 아래 같은 상황에서 힘을 발휘합니다.

• 새 VPS나 클라우드 인스턴스를 처음 올렸을 때
• 운영 중인 서버를 다른 사람이 함께 관리하게 됐을 때
• 서비스는 커졌는데 초기 설정이 그대로 남아 있을 때
• 문제 없던 서버를 장기간 방치했다가 다시 점검할 때

2. 서버 하드닝, 어디까지 해야 하나

서버 하드닝(Server Hardening, 시스템을 더 단단하게 만드는 작업)은 무조건 복잡하게 가는 게 정답은 아닙니다. 과한 보안은 운영 피로도를 높이고, 반대로 너무 느슨하면 공격 표면(Attack Surface, 공격 가능한 면적)이 넓어집니다. 여기서 중요한 포인트! 운영 가능한 수준에서 꾸준히 유지되는 보안이 제일 현실적입니다.

제가 실무와 홈랩에서 기준으로 삼는 우선순위는 이렇습니다.

1. 원격 접속 통제
2. 계정과 권한 최소화
3. 네트워크 노출 최소화
4. 업데이트와 취약점 패치
5. 로그와 감사(Audit, 추적 기록) 확보
6. 자동 차단과 복구 준비

즉, 리눅스 서버 보안은 좋은 툴을 많이 붙이는 것보다, 기본기를 빠짐없이 닫아주는 쪽이 먼저입니다.

3. 리눅스 서버 보안 체크리스트 10가지

아래 10가지는 제가 새 서버를 만들 때 거의 습관처럼 점검하는 항목입니다. 배포판마다 명령은 조금 다를 수 있지만 원리는 같습니다.

4. 실전 구현: SSH 보안 강화부터 시스템 보안까지

이제 실제로 손대는 순서입니다. Ubuntu 계열 기준으로 예시를 들겠지만, Debian이나 Rocky Linux 계열도 큰 흐름은 비슷합니다.

4-1. 패키지 최신 상태 유지

가장 먼저 하는 작업입니다. 별거 아닌 것 같아도 이걸 미루면 뒤에 하는 설정이 다 무색해질 수 있습니다.

sudo apt update
sudo apt upgrade -y
sudo apt autoremove -y

RHEL 계열이면 dnf update -y 또는 yum update -y 형태로 하시면 됩니다.

4-2. SSH 설정 파일 점검

/etc/ssh/sshd_config는 진짜 자주 봅니다. 처음엔 옵션 이름이 낯설어서 저도 헷갈렸는데, 몇 번 손으로 바꿔보니까 감이 오더라고요.

sudo cp /etc/ssh/sshd_config /etc/ssh/sshd_config.bak
sudo editor /etc/ssh/sshd_config

Port 2222
PermitRootLogin no
PasswordAuthentication no
PubkeyAuthentication yes
ChallengeResponseAuthentication no
UsePAM yes
X11Forwarding no
MaxAuthTries 3
LoginGraceTime 30
AllowUsers adminuser

Port 변경은 보안의 전부가 아닙니다. 하지만 자동 스캔 로그를 줄이는 데는 체감이 꽤 됩니다. 다만 포트만 바꾸고 방심하면 안 됩니다. 핵심은 root 직접 로그인 차단과 키 기반 인증입니다.

sshd_config 핵심 옵션과 공개키 인증 흐름을 한눈에 보여주는 설명 이미지입니다.

4-3. SSH 키 인증 적용

로컬 PC에서 키를 만들고 서버에 공개키를 넣어줍니다.

ssh-keygen -t ed25519 -C "admin@homelab"
ssh-copy-id -p 2222 adminuser@server-ip

서버에서 권한도 꼭 맞춰주세요.

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

여기서 많이 하는 실수가 하나 있습니다. 키 로그인 테스트 전에 기존 세션을 끊어버리는 거예요. 저도 예전에 자신 있게 설정 저장했다가 접속 끊겨서 콘솔로 복구한 적 있습니다. 삽질 좀 했습니다 ㅎㅎ 기존 SSH 세션은 유지한 채로 새 터미널에서 먼저 접속 테스트하세요.

4-4. sudo 권한 최소화

모든 사용자를 관리자처럼 쓰는 순간, 사고 나면 추적도 어렵고 범위도 커집니다. 운영 계정은 분리하고, 필요한 사용자만 sudo 그룹에 넣습니다.

sudo adduser adminuser
sudo usermod -aG sudo adminuser
id adminuser

가능하면 공용 계정보다는 개인별 계정을 두는 게 좋습니다. 누가 어떤 작업을 했는지 남기기 쉽거든요.

4-5. 방화벽(UFW 또는 firewalld) 적용

리눅스 서버 보안에서 방화벽은 기본 중의 기본입니다. 외부에 꼭 필요한 포트만 열어두세요.

sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 2222/tcp
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw enable
sudo ufw status verbose

웹 서버가 아니라면 80, 443도 열 필요가 없겠죠. 제가 직접 해보니, “나중에 쓸 수도 있으니 열어두자”가 제일 위험한 생각이더라고요.

4-6. 불필요한 서비스 정리

열려 있지 않아야 할 서비스는 생각보다 많습니다. 먼저 현재 리스닝(Listening, 포트 대기) 상태를 확인합니다.

sudo ss -tulpn
sudo systemctl list-unit-files --type=service | grep enabled

사용하지 않는 서비스는 비활성화합니다.

sudo systemctl disable --now avahi-daemon
sudo systemctl disable --now cups

물론 어떤 서비스가 필요한지는 서버 역할에 따라 다릅니다. 그래서 무조건 지우기보다 “왜 필요한가”를 먼저 확인해야 합니다.

4-7. 로그와 감사 설정

보안은 막는 것도 중요하지만, 나중에 되짚어볼 수 있어야 합니다. 최소한 인증 로그와 시스템 로그는 꾸준히 확인해야 합니다.

sudo journalctl -p warning -b
sudo journalctl -u ssh --since today
sudo tail -f /var/log/auth.log

auditd(Audit Daemon, 감사 로그 데몬)를 쓰는 환경이라면 주요 파일 변경까지 추적할 수 있습니다.

sudo apt install auditd -y
sudo systemctl enable --now auditd

허용 포트, 차단 트래픽, SSH 로그인 시도 로그를 함께 보여주는 운영 관점의 보안 모니터링 이미지입니다.

4-8. Fail2ban으로 반복 공격 완화

Fail2ban은 로그를 보고 반복 실패한 IP를 자동 차단하는 도구입니다. 엄청 화려한 건 아닌데, 실무적으로 꽤 든든합니다.

sudo apt install fail2ban -y
sudo systemctl enable --now fail2ban

sudo cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local
sudo editor /etc/fail2ban/jail.local

[sshd]
enabled = true
port = 2222
logpath = %(sshd_log)s
maxretry = 5
findtime = 10m
bantime = 1h

설정 후 상태를 확인합니다.

sudo fail2ban-client status
sudo fail2ban-client status sshd

4-9. 자동 업데이트 검토

운영 정책에 따라 다르지만, 보안 업데이트 자동 적용은 꽤 유용합니다. 다만 서비스 영향도를 꼭 고려하세요.

sudo apt install unattended-upgrades -y
sudo dpkg-reconfigure -plow unattended-upgrades

저는 인터넷에 직접 노출된 소규모 서버는 자동 보안 업데이트를 선호하고, 민감한 서비스는 점검 창구를 따로 둡니다.

4-10. 백업과 복구 테스트

여기서 진짜 많이 놓칩니다. 백업이 있는 것과 복구가 되는 것은 다릅니다. 설정 파일, 애플리케이션 데이터, 데이터베이스 덤프를 분리해서 챙기고, 실제로 복원 테스트까지 해보셔야 합니다.

sudo tar czf /backup/etc-$(date +%F).tar.gz /etc
sudo rsync -av /backup backupuser@backup-host:/data/server1/

시스템 보안은 사고를 막는 것만이 아니라, 사고 이후 버틸 수 있는 상태를 만드는 일입니다.

5. ⚠️ 실제로 자주 겪는 문제와 해결 방법

여기서는 제가 많이 겪었거나 주변에서 자주 보는 함정을 정리해보겠습니다.

• SSH 포트만 바꾸고 방화벽에 새 포트를 안 열어둠: 설정 반영 후 바로 접속 불가가 납니다. SSH 재시작 전에 방화벽부터 먼저 수정하세요.
• PasswordAuthentication no를 너무 빨리 적용: 공개키 권한이 틀리면 바로 잠깁니다. 새 세션으로 키 로그인 테스트 후 적용하세요.
• Fail2ban이 로그 경로를 못 읽음: 배포판마다 SSH 로그 위치가 다를 수 있습니다. journalctl 기반인지 파일 기반인지 확인해야 합니다.
• 불필요한 서비스라고 생각하고 무작정 disable: 의존 서비스까지 영향을 줄 수 있습니다. systemctl status와 사용 목적을 먼저 보세요.
• 백업만 있고 복구 절차 문서가 없음: 복원 명령, 순서, 인증 정보 위치를 적어두지 않으면 실제 장애 때 더 혼란스럽습니다.

혹시 이런 경험 있으신가요? 저는 예전에 원격지 장비에서 SSH와 UFW를 한 번에 바꾸다가, 접속이 안 돼서 콘솔 접속권 있는지부터 확인했던 적이 있습니다. 그 뒤로는 꼭 “현재 세션 유지, 새 세션 테스트, 그 다음 재시작” 순서를 지킵니다.

6. 검증: 설정이 제대로 적용됐는지 확인하는 방법

보안 설정은 했다고 끝이 아닙니다. 검증이 빠지면 체크리스트가 아니라 희망사항이 되거든요. 아래 명령으로 확인해보세요.

1. SSH가 원하는 포트로만 열려 있는지 확인
2. root 직접 로그인 차단 여부 확인
3. 비밀번호 로그인 차단 여부 확인
4. 방화벽 허용 포트 목록 확인
5. Fail2ban 차단 상태 확인
6. 로그에 반복 실패 흔적이 줄었는지 확인

sudo ss -tulpn | grep ssh
sudo sshd -t
sudo ufw status numbered
sudo fail2ban-client status sshd
sudo grep "Failed password" /var/log/auth.log | tail

외부 호스트에서 포트 스캔을 점검할 수도 있습니다.

nmap -Pn server-ip

정상이라면 꼭 필요한 포트만 보이고, 인증 실패 로그가 과하게 쌓이지 않으며, root 직접 로그인은 막혀 있어야 합니다. 이런 상태가 되면 드디어 됐다! 싶은 순간이 옵니다. 눈에 띄는 성능 향상은 없지만, 운영자 마음은 훨씬 편해집니다.

포트 점검, Fail2ban 상태, 인증 로그 확인 결과가 정리된 검증 완료 이미지입니다.

7. 리눅스 서버 보안 운영 팁

한 번 설정해두고 끝나는 보안은 거의 없습니다. 운영하면서 계속 봐야 합니다.

• 월 1회 이상 보안 점검 루틴 만들기
• 사용하지 않는 계정 즉시 잠금 또는 삭제
• 새 서비스 배포 시 포트와 권한부터 검토
• 로그 보관 기간과 백업 정책 분리
• 가능하면 테스트 서버에서 설정 검증 후 운영 반영

이전 글에서 다뤘던 Docker 격리와 reverse proxy 구성도 함께 보면 더 도움이 됩니다. 다음 글에서는 리눅스 서버 보안의 연장선으로 침입 탐지(IDS, Intrusion Detection System)와 로그 중앙화 쪽도 다뤄볼 예정입니다.

8. 자주 묻는 질문 FAQ

SSH 포트 변경만으로 충분한가요?

아닙니다. 포트 변경은 소음 감소에는 도움이 되지만 본질적인 인증 강화를 대신하진 못합니다. 공개키 인증, root 로그인 차단, 방화벽 정책이 함께 가야 합니다.

비밀번호 로그인을 꼭 꺼야 하나요?

가능하면 그렇습니다. 특히 외부 공개 서버라면 더 그렇고요. 다만 운영 절차상 필요한 경우엔 MFA(다중 인증)나 IP 제한 같은 추가 통제가 필요합니다.

소규모 홈서버도 이렇게까지 해야 하나요?

인터넷에 노출된다면 규모와 상관없이 기본 점검은 필요합니다. 실제로 홈랩이 더 느슨해지기 쉬워서 오히려 체크리스트가 더 유용합니다.

9. 마무리: 기본기만 잘 지켜도 보안 수준이 달라집니다

오늘 정리한 리눅스 서버 보안 체크리스트 10가지는 화려한 고급 기술이 아닙니다. 그런데 신기하게도, 사고 예방에는 이런 기본기가 제일 오래 갑니다. 저도 처음엔 서버 하드닝이 너무 번거롭게 느껴졌는데, 한 항목씩 루틴으로 만들고 나니까 운영이 훨씬 안정적이더라고요. 특히 SSH 보안 강화, 방화벽 정책, 로그 확인, 백업 검증 이 네 가지는 체감 효과가 큽니다.

처음부터 완벽하게 다 하려고 하기보다, 오늘 바로 할 수 있는 것부터 적용해보세요. 공개키 로그인 전환, root 차단, UFW 기본 deny, 이 세 가지만 해도 출발은 충분합니다. 그리고 마지막으로, 꼭 기억하셔야 할 건 하나입니다. 보안은 설정이 아니라 습관입니다.

10가지 필수 점검 항목을 한 장으로 정리한 요약 인포그래픽 이미지입니다.