TTwY

EC2(Amazon Linux2)에 Jenkins 설치(sh를 통한 빠른 설치)

TTwY — Wed, 20 Apr 2022 13:37:01 +0900

지난 글에서 EC2 인스턴스에 ssh로 접속하여 수동으로 설치하는 방법에 대해서 글을 작성했습니다.

https://longtermsad.tistory.com/51

EC2(Amazon Linux2)에 Jenkins 설치

* Jenkins에서 Java 버전 경고 알림이 발생하여 jdk 11 버전 설치 과정 추가 수정합니다. EC2(Amazon Linux2)에 수동으로 Jenkins를 설치해 보려고 합니다. Docker를 이용한 손쉬운 설치 방법이 있긴 하지만, Cont

longtermsad.tistory.com

Jenkins를 빠르게 설치하여 테스트를 하기 위한 환경 구성을 위해 쉘 스크립트 및 Docker를 통한 설치에 대해 알아보겠습니다.
이번 글에서는 쉘 스크립트(sh)를 사용하여 빠른 설치를 해보겠습니다.

EC2 내부에서 돌릴 쉘 스크립트(sh) 내용은 아래와 같습니다.

여러 플러그인의 호환성 등을 고려하여 java-1.8.0-onpenjdk로 설치하였습니다.

이전글에는 자바 11로 설치, 상황에 맞게 호환성 등을 고려 해야 한다면 호환이 보장된 자바 버전으로 설치하는 것을 권장합니다.

#!/bin/bash

sudo yum -y update;
sudo wget -O /etc/yum.repos.d/jenkins.repo \
    https://pkg.jenkins.io/redhat-stable/jenkins.repo;
sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key;
sudo yum upgrade -y;
sudo amazon-linux-extras install epel -y;

sudo timedatectl set-timezone Asia/Seoul;

sudo yum install -y java-1.8.0-openjdk-devel;
sudo yum install -y jenkins

sudo systemctl daemon-reload;
sudo systemctl start jenkins;

sudo systemctl status jenkins;

vi 등의 에디터를 통해 위의 sh를 작성합니다.

작성한 파일(여기서는 jenkins_install.sh)에 쉘 스크립트를 실행할 수 있도록 실행권한을 부여합니다.

$ chmod +x jenkins_install.sh

$ sh jenkins_install.sh

위의 명령어를 실행하면 내부에 작성된 쉘 스크립트 명령어가 실행이 되어 자동 설치를 진행합니다.

마지막의 jenkins의 status를 출력하는 명령어가 작성되어 있기 때문에 아래와 같은 화면이 나오면 설치가 완료 되었다고 보면 됩니다.

브라우저에 <your url>:8080 으로 접속하면 아래와 같은 화면이 나옵니다. (sg 8080 open 필요)

$ sudo cat /var/lib/jenkins/secrets/initialAdminPassword

위의 명령어를 통해서 나온 password를 입력 하면 아래와 같이 Jenkins를 설정 할 수 있는 화면이 나옵니다.

Jenkins를 전반적으로 살펴 본다면 Install suggested plugins를 선택하여 설치를 진행하면 되며, 필요한 plugin만 설치하여 빠르게 테스트 해보고 싶다면 Select plugins to install을 선택하여 필요한 plugin만 빠르게 설치하여 테스트를 진행하시면 됩니다.

다음번에는 Docker를 이용한 빠른 Jenkins 설치를 해보도록 하겠습니다.

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

감사합니다.

AWS EC2 Instance(Linux) Timezone 설정

TTwY — Wed, 13 Apr 2022 12:43:19 +0900

안녕하세요.

EC2 인스턴스를 구성 후에 Log 등을 확인할 때 서버 시간이 UTC로 되어 있어 Local 시간과의 차이(+09:00)로 인하여 분석이 힘들어지는 경우가 종종 있습니다.

이런 케이스를 해결하기 위하여 AWS에서 제공하는 Linux OS 중 많이 사용하는 3가지(Amazon Linux2, Ubuntu, CentOS)의 Timezone 설정 해보도록 하겠습니다.

* Amazon Linux 2

$ timedatectl

아무런 셋팅을 하지 않았을 때는 기본적(Default)으로 UTC가 설정되어 있습니다.

$ timedatectl list-timezones

list가 많이 나오기 때문에 grep 명령을 이용하여 설정할 timezones이 있는지 확인합니다.

$ timedatectl list-timezones | grep Seoul

$ sudo timedatectl set-timezone Asia/Seoul

sudo 명령으로 timezone을 변경합니다.

위와 같이 Time zone과 Local time이 변경 된 것을 확인 할 수 있습니다.

* Ubuntu 20.04

$ timedatectl

$ timedatectl list-timezones
$ timedatectl list-timezones | grep Seoul

$ sudo timedatectl set-timezone Asia/Seoul

* CentOS 7

$ timedatectl

$ timedatectl list-timezones
$ timedatectl list-timezones | grep Seoul

$ sudo timedatectl set-timezone Asia/Seoul

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

감사합니다.

*참고 페이지

- https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/set-time.html#change_time_zone

AWS Monitoring - 7. CloudWatch 모니터링을 위한 VPC Endpoint 사용(feat.AWS 내부통신, 인터넷 환경 외부 통신X)

TTwY — Wed, 6 Apr 2022 12:55:52 +0900

이전의 글에서 EC2에 CloudWatch Agent를 설치 후 CloudWatch 메트릭에서 지표를 확인을 했습니다.

https://longtermsad.tistory.com/37

AWS Monitoring - 2. CloudWatch Agent 설치[Memory/Disk 수집][Linux OS]

아래의 이전 글에서 CloudWatch Dashboard를 구성해서 AWS Monitoring 하는 기초 방안에 대해서 글을 작성했습니다. https://longtermsad.tistory.com/15 AWS Monitoring - 1. CloudWatch 대시보드 구성 Amazon Cl..

longtermsad.tistory.com

모니터링이 필요한 EC2 인스턴스에 CloudWatch Agent를 설치하고 지표를 대시보드를 생성하여 모니터링을 진행중에 보안 이슈로 인하여 SG(Security Group)의 Outbound에 대해서 all open deny 및 AWS 내부 통신이 가능할 경우 내부 통신을 우선순위로 하라는 내용이 결정되었습니다. CloudWatch Agent의 지표는 아래 그림과 같이 통신을 하고 있는 상황입니다.

기본적으로는 HTTPS(443)에 대한 모든 대역을 열어줘야 메트릭 지표를 CloudWatch에서 확인이 가능합니다.

HTTPS(443)에 대한 통신을 위와 같이 하지만 443 PORT에 대한 0.0.0.0/0(IPv4)가 All open 상황이 보안 이슈로 deny 됨에 따라 CloudWatch 통신 대역대를 열어주면 되지만(해당 서비스의 VPC CIDR로 Open시 CloudWatch Metrics 확인 가능) 정책상으로 AWS 자체 내부 통신으로 구성이 가능한 경우 우선순위로 내부 통신을 하라는 정책에 의해서 아래와 같이 구성을 하여 AWS의 내부 통신을 이용한(VPC endpoint, privateLink) 구성을 아래와 같이 구성하여 모니터링 진행이 가능합니다.

VPC의 Endpoints 를 사용하여 모니터링을 진행하였습니다.

테스트 검증을 하기 위해 Private Subnet 영역에 EC2 인스턴스를 1대 생성하여 테스트를 진행하겠습니다.

우선은 Private Subnet에 CWAgent-Outbound-Pri의 이름을 가진 인스턴스로 Outbound 통제가 없는 환경 구성 내용입니다.

Pirvate Subnet에 속한 EC2 및 Outbound rules이 All traffic으로 열려 있고 현재 정상적으로 CloudWatch Agent대로 설정한 Matrics 가 쌓이고 있습니다.

Security Group의 Outbound Any Open을 삭제 후 지표가 수집 되지 않는 것을 확인할 수 있습니다.

endpoint에 지정할 SG(Security Group)을 생성합니다.

endpoint를 만들어보겠습니다.

연결할 VPC를 선택하고 Private Subnet이 있는 AZ를 선택합니다.

위에서 생성한 SG를 선택합니다.

나머지 설정들은 Default 상태로 둔 후 생성 해줍니다.

생성된 endpoint의 Subnets Tab을 클릭하면 ENI가 2개 생성 되어 있는 것을 확인 할 수 있습니다.

생성된 endpoint를 적용할 EC2 인스턴스의 SG에 연결을 해보겠습니다. 정확하게는 endpoint에 연결된 Security Groups를 SG Outbound에 연결을 하는 것입니다.

연결을 해준 후 CloudWatch의 Metrics를 다시 확인해 보면 아래와 같이 Matrics가 다시 표시 되는 것을 확인 할 수 있습니다.

특수한 상황으로 AWS의 내부 통신만을 이용하여 CloudWatch Agent에서 설정한 Metrics를 쌓는 방법에 대해서 알아보았습니다.

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

감사합니다.

Linux password 없이 sudo(root) 권한 사용하기

TTwY — Mon, 28 Feb 2022 15:30:51 +0900

Linux에서 user를 생성하여 password 없이 sudo(root) 권한을 사용할 수 있도록 설정하는 방법에 대해서 알아보겠습니다.

- Linux 환경 : Amazon Linux 2

별도의 password 입력 없이 ec2-user와 같이 sudo(root) 권한을 획득할 수 있도록 셋팅을 해보도록 하겠습니다.

위와 같이 ec2-user는 별도의 입력없이 sudo(root) 권한을 획득한 것을 볼 수 있습니다.

하지만 다른 필요에 의해서 생성한 user(testuser)는 아래와 같이 [sudo] password for user: 화면을 마주하게 됩니다.

/etc/sudoers.d/90-cloud-init-users 경로의 내용을 아래와 같이 수정해주면 ec2-user와 같이 password 없이 sudo(root)권한 획득이 가능합니다.

해당 내용을 적용 후 다시 sudo(root) 권한을 획득하는 명령어를 입력하면 아래와 같이 password 없이 sudo(root) 권한을 획득한 것을 볼 수 있습니다.

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

EC2(Amazon Linux 2)에 Packer 설치하기

TTwY — Thu, 18 Nov 2021 16:32:44 +0900

이전 글에서 IaC 테스트를 하기 위해 기본 구성한 EC2(Amazon Linux2)를 생성했었습니다. 자세한 내용은 아래의 글을 참고하시면 됩니다.

https://longtermsad.tistory.com/56

IaC 테스트 및 실습을 위한 EC2(Amazon Linux2) 설정[Oh My Zsh, AWS CLI]

IaC 테스트 및 실습을 진행해 보기 위해서 Amazon Linux 2 OS의 EC2 인스턴스를 생성해서 사용하려고 합니다. 업무 PC에 테스트를 하려 하니 뭔가 찜찜해서 테스트 및 실습용 EC2 인스턴스를 필요할 때만

longtermsad.tistory.com

실습을 위해 생성한 EC2에 SSH로 접속합니다.

yum-config-manager 설치

sudo yum install -y yum-utils

yum-config-manager를 이용하여 공식 HashiCorp Linux repository를 추가

sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/AmazonLinux/hashicorp.repo

Packer 설치

sudo yum -y install packer

packer가 설치되었는지 확인하기 위해 몇가지 명령어를 실행해 확인해보겠습니다.

which packer

packer version

자동완성 설정

packer -autocomplete-install

zsh를 재시작하거나 ec2를 재접속 하면 자동완성 기능을 사용할 수 있습니다.

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

* 참고 페이지

packer 공식 홈페이지 - https://learn.hashicorp.com/tutorials/packer/get-started-install-cli?in=packer/aws-get-started

EC2(Amazon Linux 2)에 Terraform 설치하기

TTwY — Thu, 18 Nov 2021 15:03:06 +0900

이전 글에서 IaC 테스트를 하기 위해 기본 구성한 EC2(Amazon Linux2)를 생성했었습니다. 자세한 내용은 아래의 글을 참고하시면 됩니다.

https://longtermsad.tistory.com/56

IaC 테스트 및 실습을 위한 EC2(Amazon Linux2) 설정[Oh My Zsh, AWS CLI]

longtermsad.tistory.com

실습을 위해 구성한 EC2에 SSH로 접속을 합니다.

yum-config-manager를 설치

sudo yum install -y yum-utils

yum-config-manager를 이용하여 공식 HashiCorp Linux repository를 추가

sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/AmazonLinux/hashicorp.repo

terraform 설치

sudo yum -y install terraform

terraform이 설치되었는지 확인하기 위해 몇가지 명령어를 실행해 확인해보겠습니다.

which terraform

terraform version

Tab을 사용하여 자동완성 설정하기

이전 설정에서 ZSH 테마를 변경하기 위해 접근한 적이 있던 ~/.zshrc에 아래의 명령어를 실행하면 자동으로 추가가 됩니다.

terraform -install-autocomplete

zsh를 재시작하거나 ec2를 재접속 후 terr[tab] pl[tab]을 입력하시면 자동완성 되는 것을 확인할 수 있습니다.

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

감사합니다.

* 참고 페이지

terraform 공식 홈페이지 - https://learn.hashicorp.com/tutorials/terraform/install-cli?in=terraform/aws-get-started

AWS EC2에 도커 설치(OS: Amazon Linux 2)

TTwY — Tue, 2 Nov 2021 09:54:51 +0900

이전에 AWS EC2에 도커 설치(OS:Ubuntu 18.04)에 대한 글을 게시했습니다. 일반적인 테스트나 Study를 위해서 Ubuntu에 설치를 많이 해서 테스트 하지만 Amazon Linux2에 대한 사용도 많아 지고 있는 추세라고 개인적으로 생각이 되어, Amazon Linux2에 도커를 설치하는 글을 작성하게 되었습니다.

EC2 인스턴스에 SSH 접속을 합니다.(OS: Amazon Linux2)

- yum 업데이트를 진행합니다.

$ sudo yum update -y

- 최신 도커 엔진 패키지를 설치

$ sudo amazon-linux-extras install docker

- 도커 서비스 시작

$ sudo service docker start

- sudo 명령어 없이 Docker commands를 실행할 수 있도록 ec2-user 권한 추가

$ sudo usermod -a -G docker ec2-user

- ssh 연결을 끊고 재접속

- sudo 명령어 없이 ec2-user가 도커 명령을 실행할 수 있는지 확인

$ docker info

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

감사합니다.

* 참고페이지

AWS 공식 Doc - https://docs.aws.amazon.com/ko_kr/AmazonECS/latest/developerguide/docker-basics.html

IaC 테스트 및 실습을 위한 EC2(Amazon Linux2) 설정[Oh My Zsh, AWS CLI]

TTwY — Tue, 26 Oct 2021 17:19:44 +0900

IaC 테스트 및 실습을 진행해 보기 위해서 Amazon Linux 2 OS의 EC2 인스턴스를 생성해서 사용하려고 합니다.

업무 PC에 테스트를 하려 하니 뭔가 찜찜해서 테스트 및 실습용 EC2 인스턴스를 필요할 때만 Running 시켜 사용할 예정입니다.

이번 글은 테스트 및 실습용 EC2에 IaC를 하기 위한 기본 설정[Oh My Zsh과 AWS CLI v2]를 셋팅 해보려고 합니다.

EC2 인스턴스 생성 방법 및 SSH 접속 방법에 대한 내용은 자세히 나온 좋은 글들이 많기에 생략하며, SSH로 접속 후 설정하는 방법에 대해서 알아보겠습니다.

- 현재 쉘(SHELL) 확인

$ echo $SHELL

- ec2-user 패스워드 설정

$ sudo passwd ec2-user

- zsh 설치

$ sudo yum install zsh -y

- 기본 쉘 변경을 위한 chsh 명령어 사용을 위한 utill 설치(Amazon Linux2의 경우, Ubuntu는 기본으로 chsh 명령어 사용 가능)

$ sudo yum install util-linux-user.x86_64

- chsh 명령어로 기본 쉘을 zsh로 변경

$ chsh -s /bin/zsh

- Oh My Zsh 설치를 위한 git 설치

Oh My Zsh를 다운 받기 위해서는 git이 설치되어 있어야 합니다.

$ sudo yum install git -y

- Oh My Zsh 설치

$ curl -L https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh | sh

- Oh My Zsh 테마변경

$ sudo vi ~/.zshrc

ZSH_THEME="ys"

원하는 테마가 있을 시 해당 테마를 입력하면 됩니다.(ys, agnoster 등)

테마에 종류가 더 많으니 아래의 github에 들어가서 맘에 드는 것을 찾아 ZSH_THEME에 넣어주면 됩니다.

https://github.com/ohmyzsh/ohmyzsh/wiki/Themes

GitHub - ohmyzsh/ohmyzsh: A delightful community-driven (with 1900+ contributors) framework for managing your zsh configu

A delightful community-driven (with 1900+ contributors) framework for managing your zsh configuration. Includes 300+ optional plugins (rails, git, macOS, hub, docker, homebrew, node, php, pytho...

github.com

- 종료 후 재접속

위와 같이 Oh My Zsh이 적용 되어 사용이 가능합니다.

- aws cli 설치

$ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"

$ unzip awscliv2.zip

아래의 명령어로 install 해줍니다.

- 버전 확인

$ /usr/local/bin/aws --version

- 종료 후 재접속하여 버전확인

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

감사합니다.

*참고 페이지

https://terraform101.inflearn.devopsart.dev/preparation/install-terraform-aws/
03_AWS Linux 2에 Oh My Zsh 설치 하기 & Agnoster 적용하기- https://codingrabbit.tistory.com/28

AWS Monitoring[Certificate Manager] - AWS ACM 인증서 만료일자 체크 Slack 알람

TTwY — Tue, 28 Sep 2021 09:27:11 +0900

AWS Certificate Manager는 AWS 서비스 및 연결된 내부 리소스에 사용할 공인 및 사설 SSL/TLS(Secure Sockets Layer/전송 계층 보안) 인증서를 손쉽게 프로비저닝, 관리 및 배포할 수 있도록 지원하는 서비스입니다.

https://docs.aws.amazon.com/ko_kr/acm/latest/userguide/acm-overview.html

란 무엇입니까?AWSCertificate Manager - AWS Certificate Manager

이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오.

docs.aws.amazon.com

ACM(AWS Certificate Manager)의 인증서를 이용하여 https 통신 설정시 SSL Certificate 값으로 설정합니다.
ACM은 인증서에 대한 관리 갱신 기능을 제공합니다. ACM이 인증서를 자동으로 갱신(DNS 유효성 검사를 사용하는 경우)하며, 만료가 다가오면 전자 메일 알림을 보냅니다.
가져오기 등으로 ACM 인증서를 등록한 경우는 자동으로 갱신되지 않으며, 마찬가지로 만료가 다가오면 전자 메일 알림을 보냅니다.

하지만 보통 IAM으로 콘솔이나 코드를 통한 AWS Resource를 관리하고 있기 때문에 메일을 확인하지 못하는 경우가 생각보다 많습니다. 인증서 유효기간을 놓쳐 인증서가 만료되면 https 통신에 장애가 발생하기 때문에 제공하고 있는 서비스에 영향을 미치는 장애가 발생하게 됩니다.
이런 장애를 방지하고자 AWS ACM 인증서에 대해서 만료일자를 체크하여 Slack으로 Message 발생시키는 방법에 대해서 글을 작성해보았습니다.

구성진행 순서

1. IAM Role 생성

2. Lambda Function 만들기
3. CloudWatch > Events > Rules
4. Lambda Code 수정
5. 테스트

1. IAM Role 생성

Lambda Funtion에 사용 할 IAM Role을 생성하도록 하겠습니다.

Lambda Function을 생성하면 만들어지는 기본 IAM Role(역할)을 사용할 수도 있지만 IAM Role(역할) 생성하여 권한 설정을 통해서 구성을 해보도록 하겠습니다.

아래와 같이 Lambda 를 선택한 후 다음:권한을 클릭합니다.

아래와 같이 4개의 권한을 선택합니다.

역할 이름을 작성하고, 역할 만들기를 클릭합니다.

위와 같은 화면이 보이면 IAM Role(역할) 생성이 완료 되었습니다.

2. Lambda Funtion 만들기

Slack Message를 받기 위한 Lambda Function 생성 및 Slack 기본 설정은 아래의 글에 자세하게 설명되어 있으니 상세 설정 부분에 대해서 아래 글을 보고 초반부 세팅을 하고 다시 본글로 오시면 됩니다.

https://longtermsad.tistory.com/49

AWS Monitering[CloudWatch] - 1. CloudWatch Alarm을 Slack 연동하기

AWS에서는 Amazon CloudWatch Alarm(경보)를 사용하여 모니터링 할 수 있으며 Alarm(경보)를 설정하고 해당 내용에 대해서 알람을 받을 수 있습니다. https://docs.aws.amazon.com/ko_kr/AmazonC..

longtermsad.tistory.com

Lambda Function 생성 설정을 아래와 같이 설정 후 함수 생성을 클릭합니다.

Lambda 함수 생성 후 구성 > 기본 설정 > 편집 버튼을 클릭하여 제한 시간을 1분으로 늘려줍니다.

구성 > 환경 변수를 클릭하여 Slack 에 대한 환경 변수를 입력합니다.

3. CloudWatch > Events > Rules

Rules를 생성하여 Lambda Function에 Trigger를 설정하도록 하겠습니다.

Create Rule 버튼을 클릭하여 Rules을 생성하겠습니다.

Event Source에서 Schedule로 선택 후 Cron expression에 0 0 * * ? * 을 입력합니다. 아래에 예정된 10개의 Trigger Date가 표시되게 됩니다. 간략하게 설명 드리자면 매일 00시 00분 00초(GMT 시간)에 이 Event가 발생하게 하겠다 라고 설정을 하는 것입니다. 한국 시간으로 계산을 하려면 +09:00 를 해야 하기 떄문에 한국시간으로는 매일 오전 9시에 이 이벤트 Rules가 발생하게 하는 것을 설정한 것입니다.

Targets은 위에서 만들어 주었던 Lambda function을 선택합니다.

필수값인 Name을 작서애 주고 Create rule를 선택해 rule을 생성합니다.

위와 같이 생성되었으면 이상없이 rule을 설정하였습니다.

4. Lambda Code 수정

Lmabda funtion의 Trigger도 설정해주었기 때문에 Trigger 발생 시 Slack의 메시지를 발송하는 Lambda Code를 작성해보도록 하겠습니다.

import boto3
import json
import logging
import os
import datetime

from boto3.session import Session
from base64 import b64decode
from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError

HOOK_URL = os.environ['HOOK_URL']
SLACK_CHANNEL = os.environ['slackChannel']

logger = logging.getLogger()
logger.setLevel(logging.INFO)


def lambda_handler(event, context):
   
    s_req = Session()
    
    regions = s_req.get_available_regions('acm')
    state ='인증서만료'
    
    for region in regions :
        try :
            client = boto3.client('acm',region_name=region)
            certificates=client.list_certificates(MaxItems=1000)
            certs = certificates.get('CertificateSummaryList')
            for c in certs :
                
                rep=client.describe_certificate(CertificateArn=c.get('CertificateArn'))
                cert=rep.get('Certificate')
                if (( cert.get('NotAfter')-datetime.datetime.now(datetime.timezone.utc)).days < 700 ) :
                    arn = cert.get('CertificateArn')
                    adomain = cert.get('SubjectAlternativeNames')
                    f_adomain = str(adomain)[1:-1]
                    domain = cert.get('DomainName')
                    notafter = cert.get('NotAfter').strftime('%Y-%m-%d')
                    renewable = cert.get('RenewalEligibility')
                    if renewable == "INELIGIBLE":
                        renewable = "사용 불가능"
                    elif renewable == "ELIGIBLE":
                        renewable = "사용 가능"
                    else:
                        renewable = "알 수 없음"
                    
                    slack_message ={
                    "channel": SLACK_CHANNEL,
                    "text": "*[인증서 만료 알림]* %s "% (arn),
                    "attachments": [
                        {   
                            "color" : "danger",
                		    "text": "도메인 : %s \n 추가도메인 : %s \n 만료일자 : %s \n 갱신자격 : %s" %(domain, f_adomain, notafter, renewable)
                        }
                    ]
                        
                    }
                    req = Request(HOOK_URL, json.dumps(slack_message).encode('utf-8'))
                    try:
                        response = urlopen(req)
                        response.read()
                        logger.info("Message posted to %s", slack_message['channel'])
                    except HTTPError as e:
                        logger.error("Request failed: %d %s", e.code, e.reason)
                    except URLError as e:
                        logger.error("Server connection failed: %s", e.reason)
                
                    
        except Exception as e : 
            ec2_client = boto3.client('ec2')
            r=ec2_client.describe_regions(RegionNames=[region])
            if(r.get('Regions')[0].get('OptInStatus')=='not-opted-in') :
                continue
            else :
                logger.error("failed to get certificate information")

Lambda Code를 저장(Deploy) 하면 Lambda Code 수정이 끝납니다.

5. 테스트

Lmabda Code를 작성하는 곳에서 저장(Deploy) 버튼 옆에 Test 버튼을 확인 할 수 있습니다.

Test 버튼을 클릭하고 아래와 같이 제목만 설정한 후 Save를 클릭합니다. Lambda로 전달해 줄 인자값이 없으므로 특별한 값을 입력하지 않아도 됩니다.

Save 후 Test 버튼을 클릭하면 테스트가 진행됩니다.

Test 전에 수정해야 할 부분이 한 곳 있습니다. 모든 Region의 인증서에 대해서 조회 후 처리하기 때문에 runtime 시간이 조금 길게 나옵니다. 그렇기 떄문에 Lambda의 Runtime의 시간을 늘려주도록 하겠습니다.

구성(Configuration) > 일반 구성(General configuration)을 클릭하여 제한 시간(timeout)을 1분으로 늘려줍니다.

변경 후 Test 버튼을 클릭합니다.

우와 같이 Lmabda function이 정상적으로 수행되었으며, 아래와 같은 Slack Message를 받게 됩니다.

Test를 위해 Lambda Code 상에서 인증서 만료 일자 계산을 > 700 으로 해두었습니다. 본인이 Slack Message를 받고 싶은 일자로 변경하여 사용하시면 됩니다.

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

감사합니다.

AWS Monitoring[CloudTrail] - AWS Console Login 시 Slack 알람

TTwY — Thu, 16 Sep 2021 16:36:52 +0900

AWS Console Login 발생 시 Slack을 통해 Message를 받는 방법에 대해서 알아보겠습니다.

AWS에서는 Root Account로 Console에 접속하는 방법 대신 IAM을 통한 Console 접속을 통한 작업을 권장합니다.

현업에서 Root Account로 작업하는 경우는 없습니다. IAM에 권한을 부여하여 자기의 권한에 맞는 작업을 진행하고 있습니다.

아래와 같은 구성을 통하여 Slack Message를 받아 보도록 하겠습니다.

검정선의 행동이 이루어 질 때 파란색 선의 절차에 따라 Slack으로 Message를 받게 됩니다.

구성진행 순서

1. CloudTrail 생성 및 설정

2. Lambda Function 만들기

3. CloudWatch > Events > Rules 만들기

4. Lambda Code 수정하기

5. 테스트

6. (번외)Rules를 수정하여 세밀하게 컨트롤 하기

1. CloudTrail 생성 및 설정

CloudTrail을 생성해야 여기서 발생하는 CloudTrail 정보를 가지고 Slack으로 Message를 받을 수 있습니다.

CloudTrail > Trail > Create Trail 순서로 클릭합니다.

Trail name 작성 및 이미 Trail 용 S3 버킷을 생성하였다면 Use exsiting S3 bucket을 선택, 위와 같이 신규로 생성한다면 Create new S3 bucket를 선택 후 Trail log bucket and folder를 유일한 값으로 작성해주면 됩니다.

디폴트로 Log file SSE-KMS encryption 이 선택되어있지만 저는 따로 암호화를 하지는 않을 것이기 때문에 체크를 해제 했지만 암호화가 필요하신 분들은 info를 눌러 본인에 맞게 설정을 하시기를 바랍니다.

특별히 추가 해야 할 부분은 없기 때문에 Next 하였습니다.

위와 같은 내용이 생긴다면 CloudTrail 생성은 모두 완료되었습니다.

2. Lambda Function 만들기

https://longtermsad.tistory.com/49

AWS Monitering[CloudWatch] - 1. CloudWatch Alarm을 Slack 연동하기

longtermsad.tistory.com

Lambda Function을 만들어 보도록 하겠습니다. 여기서 가장 중요한 설정 사항이 있습니다.

리전을 반드시 N.Virginia(us-east-1)로 변경하여 작업을 수행하여야 합니다. CloudTrail이나 글로벌 서비스에 대한 CloudWatch 서비스는 N.Virginia(us-east-1)에 대부분 기록되게 됩니다.(예외가 있는경우가 있으나 거의 대부분 N.Virginia에 기록된다고 보시면 됩니다.)

[22년부터 IAM쪽의 Console login의 리다이렉션이 https://us-west-2.signin.aws.amazon.com/ << us-west-2(Oregon)로 되는 것이 확인됩니다. 그렇기 때문에 N.Virginia에 적용 후 us-west-2(Oregon)에도 같은 작업을 진행해주셔야 누락이 발생하지 않습니다.]

위와 같이 람다 함수를 생성합니다.

위와 같은 Lambda 기본 설정은 위쪽에 링크해둔 글에서 더욱 자세히 설명하였으니, 참조 부탁드립니다.

3. CloudWatch > Events > Rules 만들기

AWS Console을 이용해서 접속 했을 때 그 이벤트가 발생했을 때 람다 펑션에 트리거가 발생 할 수 있도록 설정을 하는 부분입니다.

Create Rule 클릭하여 Rule을 생성하도록 하겠습니다.

Service Name을 AWS Console Sign-in으로 그러면 Event Type 선택 항목이 여러개 나옵니다. 그 중에 Sign-in Event를 선택하여 진행합니다.

Targets 부분에서는 Lambda function 선택 CloudWatch Event 만들기 전에 미리 만들어둔 Function을 선택합니다.

필수 값인 Name을 작성 후 Create rule을 클릭합니다.

위와 같이 초록색 표시로 리스트로 나오게 되면 설정 완료입니다.

4. Lambda Code 수정하기

Rules을 설정하여 Lambda에 Trigger를 걸었습니다. 이전에 만들어둔 Lambda Function을 새로고침 하면 Trigger 부분에 Event Bridge(CloudWatch event)가 자동으로 설정되어 있는 것을 확인할 수 있습니다.

Trigger 설정도 자동으로 설정 됨으로, Code를 수정하여 Slack으로 message를 날릴 수 있도록 해보겠습니다.

import boto3
import json
import logging
import os
import time

from datetime import datetime
from datetime import timedelta
from base64 import b64decode
from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError

HOOK_URL = os.environ['HOOK_URL']
SLACK_CHANNEL = os.environ['slackChannel']


logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    
    logger.info("Event: " + str(event))
    data = event['detail']
    
    accountType = data['userIdentity']['type']
    
    # Root 인지 IAMUser 인지 구분
    if accountType == "Root":
        accountUserName = "Root"
    elif accountType == "IAMUser":
        accountUserName = data['userIdentity']['userName']
    else:
        accountUserName = " "
        
    # KST 시간 변환
    state_login_time = data['eventTime'][:19]
    kst_login_time = datetime.strptime(state_login_time, '%Y-%m-%dT%H:%M:%S') - timedelta(hours=-9) #KST 시간 변환
    
    # Slack Message Title
    title = "[%s]%s AWS Console Login" %(accountType, accountUserName)
    
    # sourceIPAddress
    sourceIPAddress = data['sourceIPAddress']
    
    # MFA 사용 유무
    usedMFA = data['additionalEventData']['MFAUsed']
    
    # 접속 성공 유무
    loginStatusCheck = data['responseElements']['ConsoleLogin']
    
    slack_message = {
        'channel': SLACK_CHANNEL,
        'text': "*%s*\n>>>*접속시간*\n%s\n*접속 IPAddress*\n%s\n*Console Login 결과*\n%s\n*MFA 사용유무*\n%s" % (title, kst_login_time, sourceIPAddress, loginStatusCheck, usedMFA)
    }

    req = Request(HOOK_URL, json.dumps(slack_message).encode('utf-8'))
    try:
        response = urlopen(req)
        response.read()
        logger.info("Message posted")
    except HTTPError as e:
        logger.error("Request failed: %d %s", e.code, e.reason)
    except URLError as e:
        logger.error("Server connection failed: %s", e.reason)

이전 Slack 연동하기에서는 slackChannel을 Environment variables에 선언만 하고 사용하지 않았지만, 이번글에서는 사용을 한번 하기 위해 slack_message의 'channel' 부분을 추가하였습니다. 위와 같이 슬렉 채널로 구분할 필요가 있다면 위와 같은 방식으로 작성하시면 됩니다.

코드에 대한 설명은 주석으로 표시하였습니다.

5. 테스트

Lambda Code 까지 완료 하였으면 Console 접속 시 Slack을 통한 Message가 오는지 확인을 해보겠습니다. 테스트 계정 AWS Console sign out 후 재접속을 합니다.

재접속 시 Slack 에서 아래와 같은 Message가 옵니다.

Slack으로 보낼 수 있는 인자값은 더 많으므로 CloudWatch > Logs > Log groups에서 해당 Lambda Function Log를 확인하면 더 많은 인자값을 확일 할 수 있습니다. 그 값에서 본인이 필요한 값을 추출해서 Lambda Code를 수정하면 됩니다. (CloudWatch Logs를 확인했는대, 내용이 안보인다 하면 본인의 계정이 설정된 리전을 확인하시길 추천드립니다. 저는 Seoul로 되어 있어서 설정을 잘못했나 설정했던 부분을 다시 살펴보는 그런 행동을.... 했습니다 ^^)

6. (번외)Rules를 수정하여 세밀하게 컨트롤 하기

위와 같이 설정을 하면 root 및 콘솔로 접속할 수 있는 모든 IAM User들의 접속 Slack Message가 발생합니다. 보통은 어떤 특정 IAM User 나 root 콘솔 접속 등을 알기 위해서 위와 같은 설정을 많이 합니다. 일반적으로 root 계정은 사용하지 않기 때문에 root 계정으로 접속이 되었다는 것은 해킹이 되었을 가능성이 있거나 일반적이지 않은 접속이기 때문에 Console에 접속하는 특정 IAM이나 root만 콘솔 접속에 대해서 체크를 해야 할일이 더 많을 것이기 때문에 추가적으로 Rules 수정을 통하여 원하는 IAM 혹은 root만 접근하는 것에 대해서 알아보겠습니다.

위와 같이 접근해서 Edit을 클릭합니다.

Any user 에서 Specific user(s) by ARN을 선택 후 아래 칸에 ARN을 입력하면 Event Pattern Preview에 자동적으로 반영이 됩니다. 위에서는 root만 추가하였지만 필요한 IAM의 ARN을 추가로 입력하면 입력된 대상의 AWS Console 로그인에 대해서만 Slack Message를 받을 수 있습니다.

질문 사항이나 제가 전달한 내용이 잘못되었거나, 다른 부분이 있으면 댓글로 남겨 주시면 답변 드리도록 하겠습니다.

감사합니다.

*참고 페이지

- AWS 멀티 계정 환경에서 취약한 Security Group 설정 모니터링(https://techblog.woowahan.com/2665/)