Amazon Redshift
Redshift는 분석용으로 정리한 데이터를 적재해 반복 집계와 대시보드를 빠르게 돌리는 데이터 웨어하우스입니다. 운영 트랜잭션 저장소와 분리된 분석 전용 계산 자리를 제공합니다.
▶아키텍처 다이어그램
📊 데이터 흐름 다이어그램점선 애니메이션은 데이터 또는 요청의 흐름 방향을 나타냅니다
운영 데이터베이스에 BI 질의를 같이 태우면 사용자 요청과 집계 쿼리가 서로를 방해합니다. 분석용 데이터가 따로 정리돼 있지 않으면 리포트가 늘수록 운영 시스템이 먼저 흔들립니다.
운영 DB 위에 보고서를 얹는 방식은 규모가 커질수록 실제로 무너지기 시작했습니다. 트랜잭션 처리용 OLTP 데이터베이스에서 수억 행 집계 쿼리를 돌리면 수십 분씩 걸리거나, 쿼리 자체가 운영 DB 성능에 영향을 줘 실사용자 응답이 느려지는 일이 반복됐습니다. 분석과 운영을 같은 저장소에서 처리하는 것이 현실적으로 어려워지면서, 분석 전용 저장 구조와 분산 처리 엔진을 갖춘 웨어하우스 방식이 자리 잡았습니다.
Redshift는 컬럼형 저장과 대규모 병렬 처리로 구조화·반정형 데이터를 빠르게 집계하는 데이터 웨어하우스입니다. 데이터는 보통 S3와 Glue를 거쳐 적재되고, BI 도구는 클러스터에 연결해 반복 리포트와 대시보드를 만듭니다.
Redshift와 Athena는 둘 다 SQL 분석이 가능하지만 적재 전략이 다릅니다. Redshift는 데이터를 웨어하우스에 적재해 반복 분석하는 데 강하고, Athena는 S3 파일을 바로 읽는 데 강합니다. 반복 대시보드와 대규모 집계를 위해 데이터를 정리해 적재할 수 있으면 Redshift를 보고, 적재 없이 파일을 바로 탐색적으로 조회하려면 Athena를 보면 됩니다.
대시보드, 정기 리포트, 대규모 집계, 여러 소스 데이터를 한데 모은 분석에 적합합니다. 임시 조사성 쿼리만 간헐적으로 실행하는 경우에는 과합니다.