Certification

AWS Certified Data Engineer - Associate - 합격후기

DEA-C01 합격 후기를 쓰러왔다.

AWS Certified Data Engineer - Associate 자격증은 2024년 3월 12일 정식으로 출시되었으며, 취득일은 3월 14일이다.

먼저 DEA 시험은 Beta 시기를 거쳐서 오픈했는데, 그 이전에 https://explore.skillbuilder.aws/learn 에서 강의를 이미 오픈했다. 나는 사실 자격증을 얼른 취득하고 싶어서 조금씩 공부를 해놓고 있었다.

(올서티가 마려웠다.)

https://aws.amazon.com/ko/certification/certified-data-engineer-associate/


공부의 시작은 시험안내서 이다.

https://d1.awsstatic.com/ko_KR/training-and-certification/docs-data-engineer-associate/AWS-Certified-Data-Engineer-Associate_Exam-Guide.pdf

내가 본 안내서에서 중요하다 생각하는 부분이다.

  • 프로그래밍 개념을 적용하면서 데이터를 수집 및 변환하고 데이터 파이프라인을
  • 오케스트레이션합니다. - Glue / Step Function
  • 최적의 데이터 스토어를 선택 및 데이터 모델을 설계하고 데이터 스키마를
    카탈로그화하고 데이터 수명 주기를 관리합니다. - S3 / RDS(PostgresSQL) / RedShift / Dynamodb
  • 데이터 파이프라인을 운영화하고 유지 관리 및 모니터링합니다. 데이터를 분석하고
    데이터 품질을 보장합니다. - Kinesis / Glue
  • 적절한 인증, 권한 부여, 데이터 암호화, 프라이버시 및 거버넌스를 구현하고 로깅을
    사용합니다. 로깅을 활성화합니다. - CloudTrail / lake formation

서론만으로도 데이터엔지니어의 역할이 보인다. 적절한 데이터 스토어(데이터 레이크 / 데이터 웨어하우스 / 데이터베이스등) 에 파이프라인을 통하여 수집 변환 적제를 하는것이 핵심이고, 이과정에서 암호화, 모니터링, 거버넌스틀 통한 제어를 하는것이다.

어떤 시험을 볼때도 안내서가 제일 중요하다. 재대로 안보면 시험에서 어이없게 떨어질수 있다. 테스크 설명을 보면서 AWS의 서비스를 연상할수 있는게 가장 중요한 포인트이다.

그러면 예를 들어서 시험안내서의 1.1 데이터수집에서 <데이터를 수집하는 AWS 서비스의 처리량 및 지연 시간 특성> 에 대해서 이야기 해보겠다. 일반적으로 AWS에서는 데이터를 수집하는 Kinesis 이다. Kinesis 는 보통 Stream 과 Firehose 로 구분된다. 이 두가지를 헷갈리는 사람이 많은데, 나 같은 경우엔 이두가지를 이렇게 나눈다

기능/특징Kinesis Data StreamsKinesis Data Firehose
주요 용도 실시간 데이터 스트리밍 처리 및 분석을 위한 고수준 API 제공. 사용자가 스트림 데이터를 자세히 제어하고 관리할 수 있음.데이터를 실시간으로 수집하고, 변환하여 S3, Redshift, Elasticsearch, Splunk 등의 AWS 서비스로 쉽게 로드.
데이터
스토리지
스트림 내의 데이터는 최대 7일까지 저장 가능. 데이터 보존 기간 사용자 설정 가능.Firehose는 스스로 데이터를 저장하지 않음. 바로 다음 대상으로 전송.
데이터
처리
사용자는 스트림 데이터를 읽고 처리하기 위해 자체 소비자(예: EC2 인스턴스, Lambda 함수)를 관리해야 함.데이터 변환 및 필터링 기능 내장. Lambda를 사용하여 데이터 변환 가능.
대상
서비스
통합
Kinesis Data Streams 자체는 직접적인 데이터 저장 대상을 제공하지 않음. 소비자가 데이터를 읽고 처리한 후 저장소에 저장 필요.S3, Redshift, Elasticsearch 및 Splunk로 데이터를 직접 전송할 수 있음.
관리
편의성
높은 수준의 관리와 모니터링 필요. 사용자가 스트림과 데이터 소비자를 직접 관리.관리가 훨씬 쉬움. AWS가 대부분의 관리 작업을 자동으로 처리.
시작
난이도
설정과 관리에 더 많은 단계와 고려 사항이 있음.설정이 간단하며, 몇 분 내에 데이터 스트리밍 시작 가능.
실시간
처리
거의 실시간으로 데이터 처리 및 분석 가능.거의 실시간으로 데이터를 수집하고 대상 서비스로 전송.
비용데이터 스트림의 샤드 수, PUT 요청 수, 데이터 전송량 등에 따라 비용이 결정됨.전송된 데이터의 양에 따라 비용이 결정됨.

이런형태의 차이점을 이해하고 있으면 이제 두가지 서비스를 고려할때 바로 판단할수 있다. 또한 이 두가지 서비스는 실시간이 아니다. 거의(실시간)이다. 더 실시간으로 처리해야한다면 큐서비스를 사용해야한다.

시험 안내서의 범위는 너무 넓으니 속성으로 공부하고 싶다면 이제 사전테스트를 해야한다.

https://explore.skillbuilder.aws/learn/course/external/view/elearning/18868/exam-prep-official-pretest-aws-certified-data-engineer-associate-dea-c01-korean

나는 사전테스트를 여러차례 풀었고 해체하 듯 하나하나 Docs를 찾아가며 봤다. 예제문제가 훨씬어렵다. 예제문제 85%이상이면 시험을 봐도 좋을거 같다.

나는 다시 AWS의 모든 자격증을 획득했다.

읽어주셔서 감사하고 좋은하루 되시라!

AWS-ALL-Certification-Review

50일간의 챌린지를 끝냈다.

근래의 나는 다시금 내한계를 부수고 성장하는 과정을 거쳤다. 어느 순간부터 일하는것도 너무 쉬웠다.
공부하는건 시험이라는 부담감은 있었지만 공부가 어렵진 않았다.

50일간의 긴 시간이었다. 평균 5일에 1개의 자격증을 취득했다.

2023.12 CKAD: Certified Kubernetes Application Developer
2023.12 AWS Certified cloud practitioner
2023.12 AWS Certified Solutions Architect - Associate
2023.12 AWS Certified Developer – Associate
2023.12 AWS Certified SysOps Administrator – Associate
--------------------------------2024----------------------------------
2024.01 AWS Certified Database - Specialty
2024.01 AWS Certified Security - Specialty
2024.01 AWS Certified Advanced Networking - Specialty
2024.01 AWS Certified Solutions Architect - Professional
2024.01 AWS Certified: SAP on AWS - Specialty
2024.02 AWS Certified DevOps Engineer – Professional

시험응시료만 1,609,128원을 사용했다. 업무와 공부를 병행하는것도 어려웠다. 새벽 2시까지 매일같이 ChatGPT와 공부했다.

먼저 내가 공부한 방법을 설명하겠다. 나는 집중한 시간만 공부한 시간으로 잡았다. 자격증 평균 10시간정도의 공부시간을 가졌다. 공부시간은 스탑워치를 켜고 집중이 깨지면 스탑워치를 멈췄다. 평균 12분정도의 집중을 가질수 있었다.

그리고 공부는 보통은 이해를 하기위해 시험안내서를 읽었다. 공부의 시작과 끝은 시험안내서였다.

https://aws.amazon.com/ko/certification/certified-cloud-practitioner/

자격증 소개 페이지에 시험안내서가 있다. 이 시험안내서를 기반으로 분석한다.

여기 링크를 다보면 시험을 볼준비가 30%정도 완료 된거다. 그러면 이제 어떤 공부를 하냐?
안내서엔 도메인과 서비스가 있다.

태스크 설명 1.1: AWS 클라우드의 이점 정의.
관련 지식:

  • AWS 클라우드 가치 제안
    기술:
    • 규모의 경제에 대한 이해(예: 비용 절감)
    • 글로벌 인프라의 이점 이해(예: 배포 속도, 글로벌 도달 범위)
    • 고가용성, 탄력성 및 민첩성의 장점 이해

도메인은 다음과 같은 설명을 해주는데 그럼 이제 한줄한줄을 가지고 ChatGPT와 이야기를 하며 내가 모르는 키워드를 정리한다.

https://chat.openai.com/share/e84fb046-f996-4938-bd2d-c1526e3ee2fe
잠깐 예를들어서 질문을 한내용을 첨부한다. 내가 사용하는 프롬프트는 주로 자세하게 / 쉽게 / 키워드 추출 / 시험 내용 추천 / 등이다.

물론 나는 이미 한번 시험을 모두 본터라, 그동안 안다뤄본 서비스들을 따라가는 시간이라 좀더 수월함이 있었다.

그래도 나는 갱신의 시간을 가지면서 그동안 못다뤄본 서비스를을 만들어보거나 어떤방식으로 구성된지 확인하는 시간을 거치며 한층더 촘촘한 아키텍처구상력을 가지게 되었다.

올해의 첫 목표는 2달정도 빠르게 끝냈다. 이제 좀 쉬고 다음 목표를 향해 달려보려한다.

이글이 도움이 되면 좋겠다.
읽어줘서 감사하다.

좋은저녁 되시라!

AWS CLF/SAA/DVA/SOA-Review

2023년의 마지막에 이르러 나는 각성을 맞이했다.

급 다시 불타 올라서 스스로의 챌린지를 시작했다. 12월 16일 부터 27일까지 총 5개의 자격증을 진행했고, 모두 합격했다.

4개의 시험을 보면서 느낀점은 AWS는 계속 달라지고 있다는 거다. 나는 AWS를 아주 좋아하는 사람으로 다양한 AWS의 변화에 함께했다. 그런데 시험을 보면서 느낀점은 이 변화에 오롯이 내가 모두다 깔끔하게 적응한것은 아니라는 것이다.

자격증 갱신을 내려놓는 순간이 있었는데, 이건 내가 좀 잘못 생각한거였다. 자격증 갱신은 실무에도 커리어에도 도움이 된다. 4개의 자격증을 재취득하면서 얻은바와 느낀바가 크다.

실무로만 플랫폼을 접하고 공부한것과 자격증을 공부하면서 보게된 시야가 다르다는것을 익히 경험했으면서도 다안다고 생각했다. 아니다 나는 아직도 배울게 많다. 다시금 정진하려 한다.

11 x AWS Certification

저는 System Engineer 였습니다.

레거시중의 레거시에 위치한 hosting 을 제공하는 회사에 있었습니다.

하드웨어 서버에 익숙하고, 서버의 자원을 조금이라도 잘쓰기 위해서 여러 방안을 강구하고 매일 테스트했습니다.

자동화 설치를위해서 Clonezilia로 PXE 자동화 설치를 만들고, Hyper-V기반의 DB호스팅을 만들며, 이런저런 오픈소스를 테스트하고, L4, WAF, IPS등 여러 장비들을 다룰줄알고 셋팅도 하였지만, 남들보다 조금 손이 빠른 그저 그런 잡부중 하나일 뿐이었습니다.

그러던 중에 AWS를 만나며, 새로운 세상을 만났습니다. 그동안 힘들었던 서버 설치는 버튼클릭 몇번이면 되고, 비싸서 사용할수 없었던 솔루션, 고객에게 추천하기 어려웠던 구성들까지 그 야말로 세상의 관념이 변하는 느낌을 받았습니다.

그게 2017년이었습니다.

2017년 11월 부터 자격증을 취득하였습니다.

제 시험기록입니다. 10월 21, 2017 - 1월 03, 2022 까지입니다.

59217 번대의 등록번호에서 2163089번대의 등록번호입니다.
200만명을 시험보는동안 11개의 자격증을 취득한것입니다.

시험은 중간에 3번정도 변경되었습니다. Big data / alexa / data analytics 등으로 생기고 없어졌습니다. 지금 Beta에 있는 ERP SAP도 있지만 이건 무시하겠습니다.

시험을 보고 공부하고, 시간이 지나며, 2017년부터 저는 많이 변했습니다.

호스팅업체의 SE에서 지금은 CSP의 SA로 일하고 있습니다.
SE로서 길렀던 능력은 다양한 시스템을 겪고 트러블을 해결하면서 어떤시스템도 어렵지 않게 파악할수 있는 능력이 생겼고, 이 능력을 기반으로 다양한 서비스와 솔루션을 연계하고 옳은 방향으로 비즈니스를 이끌수 있는 방법을 배웠습니다. 그 덕분에 SA로 일할수 있게 되었습니다.

직무를 수행하면서 뿐만아니라 자격증을 공부하고 테스트하면서 간접적으로 느끼고 배운것들까지 저에게 녹아들면서 아키텍팅에대해서 자신감이 붙었습니다.

그러면서 저또한 공부하는 버릇이 붙었고, 그게 저 자신을 만들어갔습니다.

8년차까지 자격증에 대해서 전혀 관심도 없던 저였는데, 어느순간 18개가 넘는 자격증을 취득하게 되었습니다.

자격증은 전문가라는 뜻이 아닙니다. 관심이 있고, 공부를했다는 증명인것입니다. 이것을 업무에 녹이는것은 또 개인의 능력이나, 클라우드 프로바이더의 자격증은 일종의 롤플레잉을 부여하는 방식으로 질문을 던지기 때문에 유사경험이 가능하고, 이것은 나중에 업무를 처리할때 기준을 제시할수 있습니다.

이제 AWS의 11개의 자격증을 모두 취득함으로 소기의 목적을 달성했습니다.

정말 기분이 좋아서 치킨시켜먹었습니다.

정말 쓰고싶은 말이 많았는데, 막상 키보드위에 손을 올리니 정리가 안되네요.

언제든 도움이 필요하신분은 아래 오픈채팅으로 들어오세요.

https://open.kakao.com/o/gMCqYXxb

읽어 주셔서 감사합니다.

AWS Certified Data Analytics - Specialty - DAS-C01 - Review

Data Analytics 까지 시험을 봤습니다.

이 사태의 원인은 세웅님이었습니다.
치명적인 속도로 AWS 자격증을 클리어하는 것이 제가 나태한것 같이 느껴졌습니다.

그래서 MLS를 끝내고 DAS를 바로 시작했습니다.

DAS는 DBS-DAS-MLS 순으로 보면 좋은시험 같았습니다.

DAS는 주로 ETL 과 Analytics에 관련한 문제가 나옵니다.

https://jayendrapatil.com/aws-certified-data-analytics-specialty-das-c01-exam-learning-path/

제 블로그를 봐온 분들이라면 다들 아시겠지만 저는 jayendra 님의 블로그로 먼저 시험을 준비합니다. 도메인 분리도 잘되어있고, 요약정리가 정말 깔끔하기 때문입니다.

요약정리를 다 읽고 AWS에서 주로 사용할 서비스에 대한 이해가 필요합니다.

kinesis stream와 firehose 의 차이를 알면 정말 편해집니다.

firehose는 거의 실시간으로 동작하는 실은 1분마다 동작하는 batch 에 가깝습니다.

또 너무 비싸서 사용해볼수 없는 redshift는 경험을 쌓기 너무 어려우므로 docs가 닳도록 읽었습니다.

그외엔 사실 AWS에 익숙하다면 반쯤은 상식으로 먹고 들어가는 내용들이 많기때문에
-SAP를 취득하지 않았다면 먼저 취득하고 오십시오...(?) -
-DBS를 취득하지 않았다면 먼저 취득하고 오십시오...(?) -
아직 SAP가 없는 상태라면 SAP취득을 추천합니다.

실제로 시험은 모르는 내용이 아주 많았습니다.

하지만 풀수는 있었습니다. 샤딩이 뭔지 파티셔닝이 뭔지 ETL이 뭔지 등등 기본적인 개념들을 알고있다면 질문하는 의도와 정답을 알수있기 때문입니다.

예를 들어 stram 과 firehose 를 비교하게 되는 문제에서 실시간인지 거의 실시간인지만 파악할수 있다면 선택지를 하나를 줄일수 있게 되는것입니다. - 이것이 시험공학-

이번에 연습시험을 보려고 하니, 결제가 되지않았습니다. 바우처는 발급이 되었는데..

이젠 바우처를 사용하지 않아도 연습시험을 볼수있습니다.

AWS 에서 제공하는 무료 연습시험 모음집
11가지 시험의 연습문제를 제공해줍니다.

이렇게요!

DAS 연습문제를 각잡고 풀어본결과 70%가 나왔습니다.

시험은 미루지않는 것이 지론이고 떨어지면 칼을갈아서 다시 보면 되는거지만 벼랑끝에 매달린 심정으로 안되는 공부를 억지로 이어갔습니다.

그리고 오늘 오전일찍 시험을 봤습니다.

두구두구두구구두구 827점으로 통과.

그런데 이게 조금 아쉽긴 합니다. 만반의 준비를해서 시험이 수월하지않고, 요령으로 푼문제가 많아서 조금 아쉬웠습니다. 그렇지만 꼭 해내고 싶었고 자격증을 취득하였습니다.

2017년11월 부터 시작해서 2022년 1월까지의 장점이 마무리되었습니다.

제글을 읽어주셔서 감사합니다.