프로젝트 내용

• 서버리스 데이터 레이크 아키텍처 설계
• Amazon S3를 스토리지를 사용하여 데이터를 Data Lake로 수집하는 데이터 처리 파이프라인 구축
• 실시간 스트리밍 데이터에 Amazon Kinesis 사용
• AWS Glue를 사용하여 데이터세트 자동 분류
• AWS Glue 개발 엔드포인트에 연결된 Amazon SageMaker Jupyter 노트북에서 대화형 ETL 스크립트 실행
• Glue에서 Amazon Redshift로 데이터 적재
• Amazon Athena를 사용하여 데이터를 쿼리하고 Amazon QuickSight를 사용하여 시각화

프로젝트 상세 블로깅

🔗 Link

[AWS]AWS 기반 데이터분석 파이프라인 구축 - Analytics on AWS 워크숍 [시작]

[AWS]AWS 기반 데이터분석 파이프라인 구축 - Analytics on AWS 워크숍 [1]

[AWS]AWS 기반 데이터분석 파이프라인 구축 - Analytics on AWS 워크숍[2]

[AWS]AWS 기반 데이터분석 파이프라인 구축 - Analytics on AWS 워크숍[3]

[AWS]AWS 기반 데이터분석 파이프라인 구축 - Analytics on AWS 워크숍[4]

[AWS]AWS 기반 데이터분석 파이프라인 구축 - Analytics on AWS 워크숍[5]

[AWS]AWS 기반 데이터분석 파이프라인 구축 - Analytics on AWS 워크숍[6]

[AWS]AWS 기반 데이터분석 파이프라인 구축 - Analytics on AWS 워크숍[마무리]