Block Busting

스퀴드 프록시 이건 또 뭔가.

분명 어딘가로 넘겨주는 역할을 할텐데..

아마도 내부에서 외부로 넘겨주는 역할이지 싶다.

오징어 프록시라니 미끈미끈한 느낌이 드는것이 

수월하게 잘 넘겨주는 도구 같다.

squid-cache: http://www.squid-cache.org/

소개 글을 한줄 씩 읽어나가본다.

- Squid is a caching proxy for the Web supporting HTTP, HTTPS, FTP, and more.

- It reduces bandwidth 

- It improves response times by caching and reusing frequently-requested web pages.

자주 요청되는 페이지들을 캐쉬해뒀다가 다시 사용해주는 역할을 하나보다.

한글 설명을 한번 찾아본다.

- https://github.com/Yongdae-Kim/HowToUseSquid

ACL 설정이 있는 것으로 보아

캐쉬하면서 엑세스 접근도 해주고있고.

현재 일하는 환경에서는 nginx를 유용하게 사용하다보니 

reverse proxy라는 용어를 자주 사용한다.

그런데 이게 뭔 말인지 머리속에 그려지지가 않는다.

위키(reverse proxy) - https://ko.wikipedia.org/wiki/%EB%A6%AC%EB%B2%84%EC%8A%A4_%ED%94%84%EB%A1%9D%EC%8B%9C

읽어 봤지만 아직 이해를 못하겠다.

일단 forward proxy는 전달하는 개념으로 이해하였다.

출처: https://commons.wikimedia.org/wiki/File:Proxy_concept_en.svg

[가정]

reverse proxy는 forward proxy와 반대개념이니까

단순 전달이 아니라 

수신한 메시지에 상응하는 응답 메시지를 되돌려 준다고 이해하면 되는 것인가?

[확인]

블로그를 뒤져본다.

1. https://www.lesstif.com/pages/viewpage.action?pageId=21430345

2. https://www.ibm.com/support/knowledgecenter/ko/SSKTXQ_9.0.1/admin/config/st_adm_port_rvprxy_overview_c.html

3. https://akal.co.kr/?p=1173

4. http://blog.naver.com/PostView.nhn?blogId=alice_k106&logNo=221190043948&redirect=Dlog&widgetTypeCall=true&directAccess=false

5. http://happymemoryies.tistory.com/13

읽어보니 맞는듯하다. 

다시 원점으로 되돌아와서 위키(reverse proxy)의 그림을 보았다.

출처: https://ko.m.wikipedia.org/wiki/%ED%8C%8C%EC%9D%BC:Reverse_proxy_h2g2bob.svg

그림을 다시 보니 

internet -> proxy -> webserver로 넘어갔다가 reverse로

webserver -> proxy -> internet으로 응답이 간다.

잠깐,

다시 2개의 그림을 보니 응답이 되돌가 가는건 같은거 같은데

forward proxy하고 무슨 차이인거지.

아.. 

웹서버의 실제 주소가 아니라 reverse proxy로 설정된 주소(nginx.conf)로 요청을 주는 방식이라서

요청하는 클라이언트가 진짜 웹 서버의 정보를 알 수 없게 해준다. (5번 링크)

_

서브넷이란 단어를 보면

네트워크를 서브로 나눴다는 느낌이고 

실제로도 부족한 IP자원을 효율적으로 사용하기 위해서 필요하다고 알고 있다.

개념을 이해하기에 더없이 좋은 실제 사용하기 (아래 계산기를 사용하면 훨씬 이해가 쉽다.)

• http://www.adminsub.net/ipv4-subnet-calculator

네트웍쪽을 다룰일이 없으니 서브넷은 생각조차 안해오다가

최근에 신규 IDC로 이전하면서 VPC를 구성하며 서브넷을 구성하는 과정에

내가 그 개념을 다 까먹었음을 인지하였다.

이해를 못한 조건

• 기존 우리가 사용하던 IDC에서는 /21이었는데 /22로 변경되서
• 기존에 약 2000개씩 쓸 수 있던 것이 약 1000개만 사용할 수 있다.

• https://tools.ietf.org/html/rfc950

For example, on a Class B network with a 6-bit wide subnet field, an address would be broken down like this: 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |1 0| NETWORK | SUBNET | Host Number | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

느낌상 왠지 저 그림 하나를 이해하면 될 것 같다.

<network-number><subnet-number><host-number>

기본으로 돌아가서 IP를 확인해보자.

• https://support.microsoft.com/ko-kr/help/164015/understanding-tcp-ip-addressing-and-subnetting-basics
  

•    11000000.10101000.01111011.10000100 -- IP address (192.168.123.132)
     11111111.11111111.11111111.00000000 -- Subnet mask (255.255.255.0)

•    11000000.10101000.01111011.00000000 -- Network address (192.168.123.0)
     00000000.00000000.00000000.10000100 -- Host address (000.000.000.132)
  
  

저러한 IP주소에 아래의 서브넷 마스크를 AND 연산해서 구할 것 같은데..

• https://ko.wikipedia.org/wiki/%EB%B6%80%EB%B6%84%EB%A7%9D

내가 알고 싶은건 /21, /22 인 경우 부분망 당 이용 가능한 호스트 수를 대충 예상해보면 

• /22는 대략 1000개
• /21은 대략 2000개

일 것 같아보이는데 여기에 잘 나와있다.

• https://tools.ietf.org/html/rfc1878

여기부터 보면 확실히 이해가 간다.

• https://tools.ietf.org/html/rfc1878#section-255.255.128.0

255.255.128.0 부터 따라가면 된다.

왜냐하면 위의 서브넷 마스크는 1bit subnet으로서 2개의 네트워크가 구성될 수 있다.

따라서 N.N.0.0과 N.N.128.0 이런식으로 2개로 나눌 수 있다.

그렇다면 이 블로그를 작성한 목적인(내가 이해하고 싶던) 

255.255.252.0 (/22)인 경우에는 아래와 같이

N.N.0.0

N.N.4.0

N.N.8.0

N.N.12.0

N.N.16.0

...

이런식으로 4씩 증가시켜가면서 각각의 서브넷에 IP를 할당해줄 수 있다.

그래서 기존에 255.255.248.0(/21)일때는 각 vlan에 8씩 증가시켜서 할당해줬었군.

제대로 되었다. 완료

Grafana와 Zabbix를 연동해서

사설 클라우드의 서버를 모니터링하는데 쓰고 있었는데

AWS에서 사용중인 Elasticache, SQS, RDS도 함께 사용하고 있으니

이를 통합해서 보고 싶은 욕구가 생겼다.

역시나 이미 누군가 구현해놨다..😨

Data Sources를 클릭

+Add data srouce 클릭

Type에서 Cloudwatch 선택

AWS의 IAM 인증받고 발급했던 개인 액세스, 시큐릿 키가 있을텐데

(이건 awscli 사용하거나 python boto3를 쓰건 어쨌건 일반적으로 가지고 있으니 패스)

아래처럼 직접 키값을 넣어도 되고

물론 키값을 넣고 나면 일단은 아래처럼 안 보이게 해준다.

센스있는 grafana..

여튼 아래와 같이 설정해주고 Save & Test로 저장한다.

참고로 Default를 체크하고 안하고는 다음에 직접 사용할때와 연관있다.

그럼 이제 진짜 추가해보자.

그래프를 선택하고

Edit 화면에서 Metrics에 가서 저기 default 부분을 눌러준다.

일단 현재 사용하는 곳은 zabbix가 기본이라서 위의 설정에서 Default에 'v' 체크가 없는데

CloudWatch를 주로 사용하면 default로 체크하면 될듯 하다.

대략 아래처럼 해주면 그래프에 모아서 볼 수 있다. (일부 정보는 모자이크 처리)

물론 아래의 그래프는 CloudWatch에 가면 똑같이 볼 수 있다.

참고로 Dimensions를 세팅해줘야 원하는 아이템에 대해서 볼 수 있다.

나머지는 그래프 보기 설정만 만져주면 끝.

생각보다 매우 간단하다.

아,, ssh 키를 뭔가 건드린거 같다. 

접속이 아예 안되서 뭐 어떻게 할 방법이 없다. 😭

디스크를 볼륨을 떼서 다른 EC2 인스턴스에 붙여서 처리하는 수밖에 없지.

근데 뒤져보니 User Data기능이 있다.

부팅할 때 내가 원하는 명령을 실행시켜준다.

#cloud-boothook 을 가장 위에 적어주니까 된다.

아놔.. 어이없는 문제가 하나 더있다.

tar 명령어가 안 먹힌다.

옵션이 문제인가 싶지만 다 안된다. 😭😭

어처구니 없게도 tar 명령 실행하기 전에

change directory 해주면 먹힌다.

사내 JIRA, WIKI 관리하는 서버의 디스크가 꽉차 간다.

$ df -h

Filesystem      Size  Used Avail Use% Mounted on

/dev/xvda1      296G  263G   33G  89% /

devtmpfs        3.7G   56K  3.7G   1% /dev

tmpfs           3.7G     0  3.7G   0% /dev/shm

뒤져보니 작년부터 binary log가 쌓여왔다.

$ ls -al /var/lib/mysql/

... 중략 ...

-rw-rw---- 1 mysql mysql 1073772329 Jan  8  2017 mysql-bin.000179

-rw-rw---- 1 mysql mysql 1073766072 Jan 12  2017 mysql-bin.000180

-rw-rw---- 1 mysql mysql 1073750174 Jan 16  2017 mysql-bin.000181

-rw-rw---- 1 mysql mysql 1073750131 Jan 19  2017 mysql-bin.000182

-rw-rw---- 1 mysql mysql 1073778740 Jan 23  2017 mysql-bin.000183

-rw-rw---- 1 mysql mysql 1073785719 Jan 26  2017 mysql-bin.000184

-rw-rw---- 1 mysql mysql 1073742779 Jan 30  2017 mysql-bin.000185

-rw-rw---- 1 mysql mysql 1073754445 Feb  2  2017 mysql-bin.000186

-rw-rw---- 1 mysql mysql 1073779324 Feb  8  2017 mysql-bin.000187

-rw-rw---- 1 mysql mysql 1073757781 Feb 11  2017 mysql-bin.000188

-rw-rw---- 1 mysql mysql 1073764278 Feb 15  2017 mysql-bin.000189

-rw-rw---- 1 mysql mysql 1073742518 Feb 18  2017 mysql-bin.000190

... 중략 ...

삭제해야지라고 생각했지만 이런 파일은 생각없이 rm으로 지우면 안되지

뒤져보니 설정 1줄 추가하면 된다. 

저렇게 하면 3일치만 남겨놓고 나머지는 다 지운다.

이게 서비스 중인데

2017년부터 안 건드렸다면 함부로 mysql 데몬을 restart할 수가 없다.

이 회사에 온지 몇달 안되서 그간 바뀐 설정이 뭐인지도 모르고, 

stop은 되겠지만 start 가 안되면... 괜히 여러사람 피곤해진다.

쫄아서 찾아보니 reload가 있다.

nginx reload하듯이 설정을 다 읽어와주는 것인가!! (결론은 아니었다. 😭)

% cat /etc/init.d/mysqld

... 중략 ...

  reload)

    exit 3

    ;;

exit 3이니까 SIGQUIT일테고 mysqld에서 지정한 시그널 핸들러에 의해 동작.

찾아보니 table의 grant를 reload 한다. 😭

https://dev.mysql.com/doc/refman/5.5/en/mysqladmin.html

reload

Reload the grant tables.

결국 SET GLOBAL을 이용해서 세팅을 바꿔주었다. 

mysql> SET GLOBAL expire_logs_days = 3;

Query OK, 0 rows affected (0.00 sec)

mysql> show global variables like 'expire_logs_days';

+------------------+-------+

| Variable_name    | Value |

+------------------+-------+

| expire_logs_days | 3     |

+------------------+-------+

1 row in set (0.00 sec)

세팅 바꿔주고 1시간 정도 있다가

df로 줄어들었나 확인해보았다. 

안 줄었다. 😭

언제 줄어드는지 검색해도 안나온다. 

(프로세스 내부에서 뭔가 특정 시간에 주기적으로 돌면서 처리할듯한데.. )

아직 디스크 full 되려면 2~3주 남았으니 일단 퇴근하자.

다음날 출근해서 df로 확인해보니 지워졌다.

$ df

Filesystem     1K-blocks     Used Available Use% Mounted on

/dev/xvda1     309503980 94337032 215066700  31% /

devtmpfs         3822500       56   3822444   1% /dev

tmpfs            3831692        0   3831692   0% /dev/shm

물론 정말 급한 경우였다면 PURGE를 이용해서 바로 지워버릴 수도 있다.