Block Busting

기존에 AWS EC2의 m3.large에 jira, confluence를 설치형으로 운영하고 있었다.

(nginx, mysql도 같은 인스턴스에 설치하여 운용)

최근들어서 메모리 부족 이슈가 자꾸 발생한다.

•  java.lang.OutOfMemoryError: Java heap space

일단은 스케줄 작업 시간을 분산해보았다.

몇일 괜찮더니 여전히 또 메모리 부족으로 confluence 접근이 안된다.

EC2 사양을 높이고 m3.large -> m3.xlarge로 (7.5G -> 15G) 메모리를 높였다.

메모리 사용하는 프로세스

• java/confluence
• java/jira
• nginx
• mysql

startup.sh 명령을 실행해서 띄웠다.

안되고 500 ERROR가 난다.

아...... 일단 구글링

https://www.google.com/search?newwindow=1&ei=pFg-XcOuMpXMvwTrhKbABA&q=org.apache.catalina.core.StandardHostValve.custom+Exception+Processing+ErrorPage%5BerrorCode%3D500%2C+location%3D%2F500page.jsp%5D&oq=org.apache.catalina.core.StandardHostValve.custom+Exception+Processing+ErrorPage%5BerrorCode%3D500%2C+location%3D%2F500page.jsp%5D&gs_l=psy-ab.3...12614.12614..12886...0.0..0.0.0.......0....2j1..gws-wiz.Xc4qbAH0AaA&ved=0ahUKEwjDkOSgidnjAhUV5o8KHWuCCUgQ4dUDCAo&uact=5

다행히 1번째 결과가 나의 상황과 유사하다.

링크를 열어보니 희망이 생긴다.

https://community.atlassian.com/t5/Confluence-questions/500-Error-on-Confluence-Startup/qaq-p/393445

링크의 댓글을 따라가본다. (That did it for me, thanks! 라고 한다. 이거 왠지 될거 같다.)

• https://confluence.atlassian.com/confkb/how-to-clear-confluence-plugins-cache-297664846.html?_ga=2.182736742.1356167257.1564365849-966154368.1561701121

왠지 느낌이 이거같다. 플러그인 캐쉬 문제

다 풀릴것 같은 문제가 <confluence-home>을 못찾고 또 지연된다.

결국 find로 뒤져보니 저 디렉토리가 똑같이 존재한다.

언급된 디렉토리를 삭제하진 않고 일단 mv 명령어로 다른 path로 옮기고

confluence를 재시작하였다.

시작하면서 저 디렉토리들을 새로 만든다.

그러다보니 기동하는데 오래걸린다.  (참고로 default 8090 port로 띄움)

띄우고나서 확인, 아까는 500 ERROR였는데 200 OK 뜬다. 

잘된다.

스퀴드 프록시 이건 또 뭔가.

분명 어딘가로 넘겨주는 역할을 할텐데..

아마도 내부에서 외부로 넘겨주는 역할이지 싶다.

오징어 프록시라니 미끈미끈한 느낌이 드는것이 

수월하게 잘 넘겨주는 도구 같다.

squid-cache: http://www.squid-cache.org/

소개 글을 한줄 씩 읽어나가본다.

- Squid is a caching proxy for the Web supporting HTTP, HTTPS, FTP, and more.

- It reduces bandwidth 

- It improves response times by caching and reusing frequently-requested web pages.

자주 요청되는 페이지들을 캐쉬해뒀다가 다시 사용해주는 역할을 하나보다.

한글 설명을 한번 찾아본다.

- https://github.com/Yongdae-Kim/HowToUseSquid

ACL 설정이 있는 것으로 보아

캐쉬하면서 엑세스 접근도 해주고있고.

현재 일하는 환경에서는 nginx를 유용하게 사용하다보니 

reverse proxy라는 용어를 자주 사용한다.

그런데 이게 뭔 말인지 머리속에 그려지지가 않는다.

위키(reverse proxy) - https://ko.wikipedia.org/wiki/%EB%A6%AC%EB%B2%84%EC%8A%A4_%ED%94%84%EB%A1%9D%EC%8B%9C

읽어 봤지만 아직 이해를 못하겠다.

일단 forward proxy는 전달하는 개념으로 이해하였다.

출처: https://commons.wikimedia.org/wiki/File:Proxy_concept_en.svg

[가정]

reverse proxy는 forward proxy와 반대개념이니까

단순 전달이 아니라 

수신한 메시지에 상응하는 응답 메시지를 되돌려 준다고 이해하면 되는 것인가?

[확인]

블로그를 뒤져본다.

1. https://www.lesstif.com/pages/viewpage.action?pageId=21430345

2. https://www.ibm.com/support/knowledgecenter/ko/SSKTXQ_9.0.1/admin/config/st_adm_port_rvprxy_overview_c.html

3. https://akal.co.kr/?p=1173

4. http://blog.naver.com/PostView.nhn?blogId=alice_k106&logNo=221190043948&redirect=Dlog&widgetTypeCall=true&directAccess=false

5. http://happymemoryies.tistory.com/13

읽어보니 맞는듯하다. 

다시 원점으로 되돌아와서 위키(reverse proxy)의 그림을 보았다.

출처: https://ko.m.wikipedia.org/wiki/%ED%8C%8C%EC%9D%BC:Reverse_proxy_h2g2bob.svg

그림을 다시 보니 

internet -> proxy -> webserver로 넘어갔다가 reverse로

webserver -> proxy -> internet으로 응답이 간다.

잠깐,

다시 2개의 그림을 보니 응답이 되돌가 가는건 같은거 같은데

forward proxy하고 무슨 차이인거지.

아.. 

웹서버의 실제 주소가 아니라 reverse proxy로 설정된 주소(nginx.conf)로 요청을 주는 방식이라서

요청하는 클라이언트가 진짜 웹 서버의 정보를 알 수 없게 해준다. (5번 링크)

_

서브넷이란 단어를 보면

네트워크를 서브로 나눴다는 느낌이고 

실제로도 부족한 IP자원을 효율적으로 사용하기 위해서 필요하다고 알고 있다.

개념을 이해하기에 더없이 좋은 실제 사용하기 (아래 계산기를 사용하면 훨씬 이해가 쉽다.)

• http://www.adminsub.net/ipv4-subnet-calculator

네트웍쪽을 다룰일이 없으니 서브넷은 생각조차 안해오다가

최근에 신규 IDC로 이전하면서 VPC를 구성하며 서브넷을 구성하는 과정에

내가 그 개념을 다 까먹었음을 인지하였다.

이해를 못한 조건

• 기존 우리가 사용하던 IDC에서는 /21이었는데 /22로 변경되서
• 기존에 약 2000개씩 쓸 수 있던 것이 약 1000개만 사용할 수 있다.

• https://tools.ietf.org/html/rfc950

For example, on a Class B network with a 6-bit wide subnet field, an address would be broken down like this: 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |1 0| NETWORK | SUBNET | Host Number | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

느낌상 왠지 저 그림 하나를 이해하면 될 것 같다.

<network-number><subnet-number><host-number>

기본으로 돌아가서 IP를 확인해보자.

• https://support.microsoft.com/ko-kr/help/164015/understanding-tcp-ip-addressing-and-subnetting-basics
  

•    11000000.10101000.01111011.10000100 -- IP address (192.168.123.132)
     11111111.11111111.11111111.00000000 -- Subnet mask (255.255.255.0)

•    11000000.10101000.01111011.00000000 -- Network address (192.168.123.0)
     00000000.00000000.00000000.10000100 -- Host address (000.000.000.132)
  
  

저러한 IP주소에 아래의 서브넷 마스크를 AND 연산해서 구할 것 같은데..

• https://ko.wikipedia.org/wiki/%EB%B6%80%EB%B6%84%EB%A7%9D

내가 알고 싶은건 /21, /22 인 경우 부분망 당 이용 가능한 호스트 수를 대충 예상해보면 

• /22는 대략 1000개
• /21은 대략 2000개

일 것 같아보이는데 여기에 잘 나와있다.

• https://tools.ietf.org/html/rfc1878

여기부터 보면 확실히 이해가 간다.

• https://tools.ietf.org/html/rfc1878#section-255.255.128.0

255.255.128.0 부터 따라가면 된다.

왜냐하면 위의 서브넷 마스크는 1bit subnet으로서 2개의 네트워크가 구성될 수 있다.

따라서 N.N.0.0과 N.N.128.0 이런식으로 2개로 나눌 수 있다.

그렇다면 이 블로그를 작성한 목적인(내가 이해하고 싶던) 

255.255.252.0 (/22)인 경우에는 아래와 같이

N.N.0.0

N.N.4.0

N.N.8.0

N.N.12.0

N.N.16.0

...

이런식으로 4씩 증가시켜가면서 각각의 서브넷에 IP를 할당해줄 수 있다.

그래서 기존에 255.255.248.0(/21)일때는 각 vlan에 8씩 증가시켜서 할당해줬었군.

사내 JIRA, WIKI 관리하는 서버의 디스크가 꽉차 간다.

$ df -h

Filesystem      Size  Used Avail Use% Mounted on

/dev/xvda1      296G  263G   33G  89% /

devtmpfs        3.7G   56K  3.7G   1% /dev

tmpfs           3.7G     0  3.7G   0% /dev/shm

뒤져보니 작년부터 binary log가 쌓여왔다.

$ ls -al /var/lib/mysql/

... 중략 ...

-rw-rw---- 1 mysql mysql 1073772329 Jan  8  2017 mysql-bin.000179

-rw-rw---- 1 mysql mysql 1073766072 Jan 12  2017 mysql-bin.000180

-rw-rw---- 1 mysql mysql 1073750174 Jan 16  2017 mysql-bin.000181

-rw-rw---- 1 mysql mysql 1073750131 Jan 19  2017 mysql-bin.000182

-rw-rw---- 1 mysql mysql 1073778740 Jan 23  2017 mysql-bin.000183

-rw-rw---- 1 mysql mysql 1073785719 Jan 26  2017 mysql-bin.000184

-rw-rw---- 1 mysql mysql 1073742779 Jan 30  2017 mysql-bin.000185

-rw-rw---- 1 mysql mysql 1073754445 Feb  2  2017 mysql-bin.000186

-rw-rw---- 1 mysql mysql 1073779324 Feb  8  2017 mysql-bin.000187

-rw-rw---- 1 mysql mysql 1073757781 Feb 11  2017 mysql-bin.000188

-rw-rw---- 1 mysql mysql 1073764278 Feb 15  2017 mysql-bin.000189

-rw-rw---- 1 mysql mysql 1073742518 Feb 18  2017 mysql-bin.000190

... 중략 ...

삭제해야지라고 생각했지만 이런 파일은 생각없이 rm으로 지우면 안되지

뒤져보니 설정 1줄 추가하면 된다. 

저렇게 하면 3일치만 남겨놓고 나머지는 다 지운다.

이게 서비스 중인데

2017년부터 안 건드렸다면 함부로 mysql 데몬을 restart할 수가 없다.

이 회사에 온지 몇달 안되서 그간 바뀐 설정이 뭐인지도 모르고, 

stop은 되겠지만 start 가 안되면... 괜히 여러사람 피곤해진다.

쫄아서 찾아보니 reload가 있다.

nginx reload하듯이 설정을 다 읽어와주는 것인가!! (결론은 아니었다. 😭)

% cat /etc/init.d/mysqld

... 중략 ...

  reload)

    exit 3

    ;;

exit 3이니까 SIGQUIT일테고 mysqld에서 지정한 시그널 핸들러에 의해 동작.

찾아보니 table의 grant를 reload 한다. 😭

https://dev.mysql.com/doc/refman/5.5/en/mysqladmin.html

reload

Reload the grant tables.

결국 SET GLOBAL을 이용해서 세팅을 바꿔주었다. 

mysql> SET GLOBAL expire_logs_days = 3;

Query OK, 0 rows affected (0.00 sec)

mysql> show global variables like 'expire_logs_days';

+------------------+-------+

| Variable_name    | Value |

+------------------+-------+

| expire_logs_days | 3     |

+------------------+-------+

1 row in set (0.00 sec)

세팅 바꿔주고 1시간 정도 있다가

df로 줄어들었나 확인해보았다. 

안 줄었다. 😭

언제 줄어드는지 검색해도 안나온다. 

(프로세스 내부에서 뭔가 특정 시간에 주기적으로 돌면서 처리할듯한데.. )

아직 디스크 full 되려면 2~3주 남았으니 일단 퇴근하자.

다음날 출근해서 df로 확인해보니 지워졌다.

$ df

Filesystem     1K-blocks     Used Available Use% Mounted on

/dev/xvda1     309503980 94337032 215066700  31% /

devtmpfs         3822500       56   3822444   1% /dev

tmpfs            3831692        0   3831692   0% /dev/shm

물론 정말 급한 경우였다면 PURGE를 이용해서 바로 지워버릴 수도 있다.