보안정보

전문화된 보안 관련 자료, 보안 트렌드를 엿볼 수 있는
차세대 통합보안관리 기업 이글루코퍼레이션 보안정보입니다.

효과적인 WEB Access log 빅데이터 적용 사례

2021.08.20

4,691


 

 

 

 

SPiDER TM V5.0은 이글루시큐리티 보안관제 경험과 빅테이터 활용역량이 집약된 통합보안관리솔루션으로 최초탐지부터 로그/네트워크 패킷 분석까지 일원화 된 관제환경구성을 통해 관제업무의 기민성과 효율성을 높이는 동시에 인프라 전반에 대한 가시성을 확보할 수 있다. 

 

 

01. 웹 로그의 이해와 정의

 

Why? 우리는 왜 웹 로그를 수집 해야 하나? 그에 대한 대답은 “분석“ 입니다. 

웹 서버에서 발생하는 일을 구체적으로 보관하는 데이터가 웹 로그이며 웹 로그는 상당히 많은 데이터를 가지고 있습니다. 웹 서버의 접속 시간부터 접근자의 IP, 사용하는 브라우저 정보, 웹서버 열람 페이지, 페킷의 용량 등 다양한 정보를 보유하고 있기 때문입니다.

그럼 이 웹 로그를 수집하고 또 어떻게 활용을 해야 정확한 분석을 할 수 있는가에 대한 궁금증이 생길 것입니다. 과거 2018년 7월에 실린 효과적인 웹 해킹 탐지와 Access log 빅데이터 분석 1부에서 정의 한 웹 로그의 상세 의미를 다시 상기하여 보겠습니다.

 


[그림 1] 웹 로그 의미 분석

 

 

위의 그림처럼 로그를 이해하고 로그의 정규화(파싱) 과정을 거친 후 정확 한 필드에 오브젝트를 지정하여 단일경보를 설정해야 오탐이 적어지고 정확하게 웹 로그를 분석 할 수 있습니다. 

최적의 로그 수집은 Combined 로그 형식을 수집하여 운용 하는 것이 가장 이상 적인 관제 방향입니다.

 

 

02. 웹 로그 표준화 파서 적용 전과 후의 탐지 사례

 

1) 실제 최적화 되지 않은 필드로 적용 된 사이트의 웹 단일 경보 적용 사례

 

해당 사이트는 그동안 이글루시큐리티에서 보안관제 오브젝트에 등록된 경보를 적용하였으나 앞선 설명의 필드에 대한 이해도가 떨어지는 상황에서 웹 로그의 파싱을 진행 한 후 오브젝트를 설정하여 단일경보를 생성 하였을 때 발생하는 웹 로그의 탐지 결과를 Top5로 표현 하였습니다.

해당 사이트는 웹 모니터링을 위하여 80여개 단일경보가 등록되어 운용 중에 있었으며 해당 사이트의 탐지 비율은 아래와 같습니다.

 

 

 

[그림 2] 1월 웹 탐지 패턴 TOP 5

 

 

 

[그림 3] 2월 웹 탐지 패턴 TOP 5

 

 

상위 5개의 패턴의 탐지 결과에서 보듯 1월 2만7천 여건의 웹 단일경보가 발생하였으며 2월에는 3만9천 여건의 웹 단일경보가 발생 하였습니다. 이렇게 많은 경보가 발생하면 원활한 웹 로그 분석을 수행 하기 어렵습니다.

아울러 일부 로그는 common 로그의 형식도 수집하고 있어 원활한 경보의 적용이 진행 되지 않았습니다.

그렇다면 원인은 앞서 언급 하였듯이 로그 수집에는 문제가 없으나 정확한 정규화가 이루어 지지 않은 웹 로그에 오브젝트를 이용한 경보 설정으로 오탐의 확률이 높아 졌다는 것을 알 수 있습니다.

 

 

2) 실제 최적화 후 필드로 적용 된 사이트의 웹 단일 경보 적용 사례

 

해당 사이트는 시스템 증설 사업에서 로그 재분배 과정을 포함한 로그 수집 작업과 웹 오브젝트를 최적화 한 경우와 약 2달여간 앞선 1,2월의 패턴을 비교하여 분석한 자료 입니다.

 

 

 

[그림 4] 1,2월 비교된 5월 탐지 패턴

 

 

 

[그림 5] 1,2월 비교된 6월 탐지 패턴

 

 

탐지 패턴의 내용을 확인 할 수 있듯이 디폴트 페이지 접근이나 디렉토리 트레버셜은 SCAN성 공격의 패턴은 탐지율이 비슷하지만 기타 SQL Injection과 XSS(크로사이팅스크립트), 웹 쉘 탐지는 앞선 1,2월과 비교하여 상당히 많은 양의 탐지가 줄어들었음을 확인 할 수 있었습니다.

 

비록 동일 패턴 5개 뿐만 아니라 다른 공격 패턴들에 대해서도 많게는 절반에서 작게는 ⅓ 가량의 감소율을 나타내어 관제 및 분석에 있어서 효과가 있음을 확인 하였습니다.

 

위 사례는 실제 고객사에 적용된 사례로 고객의 만족도가 높았으며 담당자의 말을 인용하면 “넉 놓고 보던 웹 경보를 이제는 하루에 한 두개라도 볼 수 있을 것 같다“ 라고 하였습니다.

 

여기에 좀더 효과적인 웹 경보를 적용 한다면 CTI(Cyber Threat Intelligence)의 IP와 접목하고 방화벽 자동차단 기능을 활용하여 좀더 디테일 한 경보를 적용 할 수 있습니다.

 

 

03. 결론

 

웹 로그를 수집 시 디테일한 로그인 Combined로 설정 하여 로그를 수집하는 것이 이상 적이며 정확한 로그의 정규화(파싱) 작업은 웹 로그 분석과 경보를 설정함에 있어 중요한 요건이라 할 수 있습니다.

또한 앞선 2018년 7월호와 8월호를 바탕으로 실제 적용 하게 된다면 더 나은 웹 보안관제를 할 수 있을 것입니다.

 

 

04. 마치며

 

보안은 언제나 바쁩니다. 이 바쁨을 해결 할 방법은 역시 한눈에 들어오는 대시보드 입니다.

앞선 결론을 도출한 내용으로 이글루시큐리티의 Unified Dashboard를 이용하여 웹 서버의 수집 이벤트 및 경보를 한눈에 바라 보면서 관제를 이글루시큐리티에선 아래와 같이 구현이 됩니다.

 

 

 

[그림 6] WEB 대시보드