Block Busting

안녕하세요 쿤드입니다. 🍀 

이번엔 EKS Cluster를 생성해 보겠습니다.

Amazon EKS

• Amazon EKS는 Kubernetes의 Control Plain or Node를 설치, 운영 및 유지보수 할 필요 없이 AWS에서 Kubernetes를 손쉽게 실행할 수 있는 관리형 서비스입니다.
  • Kubernetes는 컨테이너화된 애플리케이션의 배포, 조정 및 관리 자동화를 위한 오픈 소스 시스템입니다.

구축하기

Step 1. 클러스터 설정 (Configure cluster)

• Name과 version을 선택합니다.
• Cluster Service로 사용할 IAM role을 미리 생성해두고 선택합니다.
• Tag는 적절하게 추가합니다. (나중에 관리 및 비용 구분하기 용이하도록)

Step 2. 네트워킹 설정 (Specify networking)

VPC(Virtual Private Cloud) 선택

• 원하는 VPC를 선택합니다.
• 필요한 경우 새로운 VPC를 생성합니다.

Subnet 선택

• EKS 클러스터를 생성할때는 2개 이상의 서브넷이 필요합니다.
• 물론 1개의 subnet에 public, private으로 구분할 수도 있는데 그렇게 2개 서브넷을 선택한 경우에는 이런 에러가 발생합니다.

• 노드를 위치시킬 VPC를 기존 사용하던 곳에 할지 완전히 분리하도록 새로운 VPC를 생성할지 결정한 후에 선택합니다.
• Endpoint Access 인 경우는 Private으로 설정하면 local pc에서 kubectl 설정하여 접근할때 아래의 문제로 인해서 추가적인 네트웍 설정이 필요합니다.
  • Unable to connect to the server: dial tcp 172.xx.xxx.xx:443: i/o timeout

나머지는 로깅 할지 여부 설정, 그리고 review 이후에 생성하면 됩니다.

안녕하세요 쿤드입니다. 🍀

S3 버킷에서 어떤 object가 생성되면 그에 대한 이벤트를 SQS로 받아서 처리할 필요가 생겼습니다.

설정대로 맞춰놓고 생성을 했는데 

• [버킷] - [Properties] - Advenced settings [Events] 

에러가 발생합니다.

에러메시지

최초 생성은 IAM role로 접근에 제한을 둔 account로 생성하다가 실패해서 단순히 account에 권한이 없어서 안되는줄 알았습니다.

그래서 ADMIN 권한 (* 접근)을 가진 account로 다시 생성을 했는데 

마찬가지로 에러가 발생합니다.

이제서야 AWS 문서를 찾아서 읽어봤습니다.

https://docs.aws.amazon.com/AmazonS3/latest/dev/ways-to-add-notification-config-to-bucket.html 

읽어보니

SNS를 추가하면 SNS topic에 권한을 설정해주고

SQS를 추가하는 거라면 마찬가지로 SQS Queue에 권한을 추가하라는 말이었습니다.

남은 작업은

이제 정확하게 권한을 추가해주면 되는데 

이게 뭐지? (라고 처음엔 느껴졌지만 작업을 마무리하고 다시 읽어보니 이해가 갑니다.)

일단 stackoverflow에서 비슷한 문제를 찾았습니다.

 stackoverflow.com/q/54791704/8163714

들여쓰기의 차이일 뿐인데 이것을 보니 이해가 갑니다.

https://gist.github.com/marcelog/7b0224b63c90802996ab2dee7d7082e4

이 설정은 SQS에서 QUEUE를 선택하고 

아래 화면에서 볼 수 있었습니다.

여기에 위의 gist에 있는 내용에서 나와 관련된 내용을 추가하고

S3에서 접근할테니 관련 bucket 정보를 추가하면 됩니다.

Bucket이 1개만 추가되지 않을 수도 있는데 2개 이상 추가도 됩니다. 

2개의 bucket을 [   ] 배열로 묶으면 더 보기 좋을텐데 방법을 못 찾았습니다.

Principals는 Everybody(*)로 두었는데, 

account로 제한을 더 두는게 나을 것 같은데 방법을 못 찾겠다. 제한을 좀 더 두고 싶은데..

• arn:aws:iam::계정의ID:root 로만 되는것 같고 *을 줄 수가 없다. 내가 못 찾은걸지도 모르겠지만... 

S3에서 event 생성 잘 됩니다.

안녕하세요 쿤드입니다. 🍀

CloudWatch 요금 폭탄이 나와서 추적하는데 CloudWatch/CloudTrail의 차이를 안다고 생각했는데
말로 설명하려니 말문이 막혀서 찾게 되었습니다.

원작자 허락하에 포스팅

원문: https://medium.com/awesome-cloud/aws-difference-between-cloudwatch-and-cloudtrail-16a486f8bc95

CloudWatch vs CloudTrail in AWS

AWS CloudWatch
CloudWatch는 AWS 서비스 및 자원 활동에 초점을 맞추고, 그 상태와 성능에 대해 보고(report)
CloudTrail은 AWS 환경에서 수행 된 모든 작업의 로그

CloudWatch:

AWS CloudWatch는 AWS 클라우드 리소스와 AWS에서 실행되는 애플리케이션의 모니터링 서비스입니다. 

Amazon CloudWatch를 사용하여 메트릭 수집 및 추적 로그 파일의 수집 및 모니터링, 알람 설정, AWS 리소스 사용량 변화에 자동으로 대응 할 수 있습니다.

CloudTrail:

AWS CloudTrail은 AWS 계정 거버넌스, 컴플라이언스, 운영 감사, 리스크 감사를 가능하게하는 서비스입니다. 

CloudTrail을 사용하면 AWS 인프라 작업 관련 계정 활동을 기록하고 지속적으로 모니터링 및 유지할 수 있습니다. 

CloudTrail은 AWS 관리 콘솔, AWS SDK command line 도구, 기타 AWS 서비스로 실행 된 것을 포함한 AWS 계정 활동 이벤트 기록을 제공합니다. 이 이벤트 기록으로 보안 분석, 자원 변경 추적, 문제 해결이 간소화됩니다.

Comparison between CloudWatch and CloudTrail

CloudWatch : "AWS에서 무슨 일이 일어나고 있나?"특정 서비스 또는 응용 프로그램의 모든 이벤트를 기록합니다.

What is happening on AWS?
CloudTrail : "AWS에서 누가 무엇을합니까?"서비스 또는 리소스에 대한 API 호출.

Who did what on AWS?

CloudWatch는 AWS 리소스와 애플리케이션의 모니터링 서비스입니다. 

CloudTrail은 AWS 계정의 API 활동을 기록하는 웹 서비스입니다. 모두 AWS의 편리한 모니터링 도구입니다.

CloudWatch는 기본적으로 EC2 인스턴스, EBS 볼륨, RDS DB 인스턴스와 같은 자원의 무료 기본 모니터링을 제공합니다. 

AWS 계정을 만들면 CloudTrail도 기본적으로 활성화됩니다.
CloudWatch를 사용하면 메트릭 수집 및 추적 로그 파일을 수집하고 모니터링 및 알람 설정을 할 수 있습니다. 

한편, CloudTrail는 요청을 한 사용자, 사용 된 서비스 실행 된 액션, 매개 변수 및 AWS 서비스에서 반환 된 응답 요소에 대한 정보를 기록합니다. 

CloudTrail 로그는 지정된 S3 버킷 또는 CloudWatch Logs 로그 그룹에 저장됩니다.

일반적으로 CloudTrail은 API 호출에서 15 분 이내에 이벤트를 전달합니다. 

CloudWatch는 기본적인 모니터링은 5 분 간격으로, 자세한 모니터링은 1 분 간격으로 메트릭 데이터를 제공합니다. 

CloudWatch Logs 에이전트는 기본적으로 5 초마다 로그 데이터를 전송합니다.
AWS 리소스의 상세한 모니터링을 사용하여 추가 비용으로 더 자주 메트릭 데이터를 CloudWatch에 전송할 수 있습니다.

CloudTrail은 규정 준수 및 규제 기준의 확보에 도움이됩니다.

CloudWatch Logs는 응용 프로그램 로그에 대한 보고서를 제공하고 

CloudTrail Logs는 AWS 계정에서 발생한 것에 대한 특정 정보를 제공합니다.

CloudWatch 이벤트는 AWS 리소스에 대한 변경을 기술 시스템 이벤트의 실시간 스트림입니다. 

CloudTrail은 AWS 계정의 AWS API 호출에 중점을두고 있습니다.
CloudTrail은 AWS 리전마다 관리 이벤트 로그의 무료 복사본을 하나 전달합니다. 관리 이벤트는 사용자가 계정에 로그인 할 때 등 AWS 계정의 리소스로 실행 된 관리 작업이 포함됩니다. 로깅 데이터 이벤트는 부과됩니다. 데이터 이벤트는 S3 객체 수준의 API 활동과 Lambda 함수 실행 활동 등 자원 자체에서 또는 리소스에서 실행되는 리소스 작업이 포함됩니다.

Hello, I'm Kundu 🍀

https://docs.aws.amazon.com/Route53/latest/DeveloperGuide/dns-failover.html

Goal

- Customer incoming through Nginx(NOT Nginx Plus), and Nginx doesn't support failover like ha-proxy. 

   I'd like to use dns-failover for stable service.

Setup

[Route53] - [Health checks] 

1. Set your Name 
2. Select what to monitor, I select Endpoint
3. Endpoint setup
   1. Public IP address for each Nginx
   2. Host name (I add this '/etc/nginx/conf.d/443_health.conf' --> server_name health.mydomain.com)
   3. HTTPS (443)
   4. Path for Nginx (in my case: /etc/nginx/html/status/health.html) 
   5. set health.html  ( $ echo "alive" > health.html )
4. Set String matching 'Yes'
5. Search string 'alive', I already set 'STEP 3-5'
6. Set Health checker regions

Now I have 2 Health checks

[Route53] - [Hosted zones]

Add 2 Record Sets

Edit Record Set each.

• Routing Policy is up to you. (Multiplevalue Answer, 
• Health Check to Associate must same IP address (Alias Values)

ElasticSearch Version check

• 6.8

Download logstash pkg

Link

• https://www.elastic.co/downloads/past-releases/logstash-6-8-0

Install Command

• wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.0.rpm
• sudo yum install logstash-6.8.0.rpm

Install amazon_es plugin for logstash

• /usr/share/logstash/bin/logstash-plugin list logstash-output

IF 'amazon_es' not exist, install amazone_es for logstash output

• sudo /usr/share/logstash/bin/logstash-plugin install logstash-output-amazon_es

사용자의 실수를 방지하기 위해서 설정할 수 있다.

Termination Protection이 설정 된경우 아래와 같은 경고 화면이 나오고

Yes, Terminate 버튼이 비활성화 되어있다.

설정은 간단하다

Yes, Enable 버튼을 클릭한다.

세팅 끝이고

이 인스턴스를 terminated 시키기 위해서는

같은 메뉴에서 Yes, Disable을 클릭하면 된다.

상황

AWS의 market place에서 구매해서 사용하던 기존 openvpn의 사용자를 넘어서게 되어서

추가 openvpn을 구매하고 다시 세팅을 하게 되었다.

기존 설정하고 전부 동일하게 맞췄지만 다른 VPC로 통신을 못한다. 

맞춘 설정

• Routing Table 설정
• sysctl.conf에 net.ipv4.ip_forward = 1 설정
• OpenVPN Server에서 넘어온 것을 받아줄 다른 VPC에 OpenVPN Client 세팅 (autologin)

별짓을 다해도 안되었는데 팀장님이 찾아주셨다.

설명

EC2 Instaces에서

Networking - Change Source/Dest. Check 옵션

• https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/using-eni.html#change_source_dest_check

Default 설정

• 매뉴얼: 이 속성을 비활성화하면 인스턴스에서 대상이 특별히 해당 인스턴스로 지정되지 않은 네트워크 트래픽을 처리할 수 있습니다.
• 주고받는 패킷의 src, dst를 체크하고 src가 본인이 아니면 막아버리는 옵션으로 보인다.
• 좀 해깔리는데 Status가 Enabled 인것만 확인하면 된다.

즉, 지금하려는 case 처럼 Routing을 수행하려는 EC2 instance 에서는 이 옵션을 꺼야 한다.

매뉴얼에 나와있는대로 특별히 해당 인스턴스로 지정되지 않은 네트워크 트래픽을 처리해야 하는 상황이기때문.

옵션 끄고난 후 화면

제대로 되었다. 완료