스마일샤크 차민혁 PSA와 알아보는 10분 만에 읽는 AWS re:Invent 주요 발표 총정리
Written by Minhyeok Cha
안녕하세요. 스마일샤크 차민혁입니다.
지난 참관기에 이어 이번에는 제가 현장에서 직접 들었던 기조연설 발표 내용을 정리해 보았습니다. 특히 앞으로 클라우드 기술의 방향을 제시하는 중요한 발표들이 많았는데요. 컴퓨팅 성능부터 Generative AI, 데이터 관리, 보안 등 각 분야의 혁신을 세션별로 빠르게 살펴보도록 하겠습니다.
Amazon S3
Amazon S3 Tables: 데이터 레이크와 웨어하우스의 결합
Amazon S3 Tables는 Apache Iceberg 표준을 기반으로 테이블 형식의 데이터를 저장하고 관리할 수 있는 완전 관리형 서비스입니다. Amazon S3 테이블을 이해하기 위해 먼저 Apache Iceberg의 개념을 살펴보겠습니다.
Apache Iceberg란? Apache Iceberg는 데이터 레이크의 대규모 데이터 세트를 위한 오픈소스 테이블 형식으로, 분산 환경에서 데이터를 효율적으로 관리하고 쿼리 성능을 최적화할 수 있는 구조를 제공합니다. 기존 데이터 레이크의 단점인 성능 저하와 데이터 관리의 복잡성을 해결하기 위해 설계되었습니다.
Amazon S3 Tables의 주요 특징
구조화된 데이터 관리: 행과 열로 구성된 테이블 형식 데이터를 지원하며 데이터베이스처럼 직관적으로 관리할 수 있습니다.
AWS 분석 서비스와의 통합: Athena, Redshift, EMR, QuickSight 등 다양한 AWS 분석 서비스와 원활히 연동됩니다.
AWS Glue Data Catalog 연동: S3 테이블 버킷에서 카탈로그를 자동으로 미러링하며, Glue Data Catalog를 활성화해야 사용할 수 있습니다.
💡 현재는 프리뷰 단계로 일부 리전에서만 사용이 가능합니다.
Amazon S3 Metadata: 데이터 관리의 새 지평
Amazon S3 Metadata는 데이터를 더욱 빠르고 효율적으로 관리할 수 있도록 돕는 기능으로, S3 Tables와 결합해 최적의 성능을 발휘합니다.
Amazon S3 Metadata의 주요 특징
자동 메타데이터 생성: S3 객체가 추가되거나 수정되면 메타데이터가 자동으로 생성되어 S3 Tables에 즉시 저장됩니다.
데이터 분석 간소화: Amazon Athena 및 QuickSight와 통합되어 데이터 준비 없이 바로 분석을 시작할 수 있습니다.
유연한 확장성: 대규모 데이터를 처리하는 기업이 실시간 데이터 분석 및 의사결정을 빠르게 할 수 있도록 지원합니다.
💡 S3 Metadata는 S3 Tables와 함께 사용해야 최대의 성능을 발휘합니다.
Amazon RDS
Amazon Aurora DSQL: 서버리스 분산 SQL의 혁신
Amazon Aurora DSQL은 고가용성, 서버리스, 분산 SQL 기능을 제공하며, PostgreSQL과 호환됩니다.
Aurora DSQL의 주요 특징
무제한 수평 확장: Aurora DSQL은 읽기, 쓰기, 컴퓨팅 및 스토리지를 독립적으로 확장할 수 있는 유연성을 제공하며, 사실상 무제한의 수평 확장을 지원합니다. 이는 대규모 애플리케이션에서도 안정적으로 작동할 수 있도록 설계되었습니다.
액티브-액티브 모드: 여러 리전에서 동시에 데이터를 읽고 쓸 수 있는 액티브-액티브 모드를 지원합니다. 이는 데이터베이스를 하나의 글로벌 클러스터로 운영할 수 있도록 해주며, 데이터의 복제와 동기화를 자동으로 처리합니다.
다중 리전 내구성 및 가용성: 데이터를 여러 리전에 걸쳐 분산 저장하여 높은 가용성을 제공합니다. 이와 동시에 데이터 손실 방지와 빠른 복구를 위한 Witness Region 기능을 포함합니다.
Active-Active 기능으로 인해 다른 DB와의 가용성 차이가 확연하게 드러납니다.
💡 아키텍처에 보이는 Witness Region은 연결된 클러스터의 데이터를 수신하지만, 클러스터나 엔드포인트는 포함하지 않습니다. 대신 암호화된 트랜잭션 로그를 제한된 기간 동안 저장하여 다중 리전 내구성과 가용성을 제공합니다.
Amazon Bedrock
Guardrails: 생성형 AI의 안정성 강화
AWS Bedrock에서 발표된 Guardrails는 생성형 AI 모델의 안정성을 강화하기 위한 기능입니다. 유해 콘텐츠를 차단하고 개인정보와 같은 민감 정보를 찾아 자동으로 마스킹하며, 근거와 관련성 임계값을 넣어 AI 답변의 정확성을 높이는 데 초점을 맞췄습니다.
Guardrails의 주요 특징
사진처럼 각 필터에 대한 필터링 레벨을 커스텀할 수 있으며, 욕설뿐만 아니라 사용자가 차단할 단어, 문구도 기입할 수 있습니다.
Amazon Nova: 멀티모달 AI의 진화
Amazon Bedrock에서 Nova 모델을 사용할 수 있게 되었습니다. Nova는 텍스트, 이미지뿐만 아니라 비디오도 생성이 가능한 멀티모달 AI모델입니다. 다음 사진과 같이 콘솔 상에서 프롬프트를 사용해 이미지와 영상을 만들 수 있습니다.
영상의 경우 S3 버킷을 하나 만들면, 영상이 다 만들어진 후 해당 버킷에 자동으로 저장됩니다.
Nova 모델의 종류
Nova Micro: 텍스트 전용, 빠른 응답과 낮은 비용이 특징
Nova Lite: 텍스트, 이미지, 비디오를 빠르게 처리하는 비용 효율적인 모델
Nova Pro: 멀티모달 작업에서 정확성, 속도, 비용 간 완벽한 균형 제공
Nova Premier: 복잡한 추론 및 사용자 정의 모델 학습을 위한 고급 모델로 가장 진보된 모델 (2025년 1분기 출시)
Nova Canvas: 고급 이미지 생성 모델
Nova Reel: 단일 이미지를 비디오로 변환하는 비디오 생성 모델
Amazon Q
Q Developer: AI 기반 개발자 도구
Amazon Q developer는 개발자 중심의 생성형 AI 도구로, 설계부터 빌드, 테스트, 배포 및 유지 관리를 통합 지원합니다.
개발 환경에서도 다음 사진과 같이 Amazon Q를 사용할 수 있도록 앱이 출시되었습니다.
Amazon Q Developer의 주요 특징
AI 기반 코드 생성: 자연어 프롬프트를 통해 코드 스니펫을 즉시 생성하고 기존 코드를 확장합니다.
단위 테스트 자동화: 특정 소스 파일에서 단위 테스트를 자동으로 생성하여 테스트 품질을 향상시킵니다.
리뷰 및 디버깅 지원: 코드 리뷰를 자동화하고, 디버깅 과정을 간소화하여 개발 생산성을 높입니다.
💡 현재 한글 지원이 불가능하며, 높은 등급의 버전을 사용하려면 AWS IAM Identity Center에서 인증이 필요합니다.
Amazon SageMaker Unified Studio
SageMaker Lakehouse: 데이터 통합 관리의 미래
S3에 Apache Iceberg 기능이 추가되면서 데이터 레이크에 대한 쿼리가 훨씬 간편해졌습니다. 이러한 변화에 따라, 데이터 레이크와 데이터 웨어하우스를 단일 인터페이스에서 통합 관리할 수 있는 SageMaker Lakehouse가 출시되었습니다.
이 기능은 Amazon SageMaker Unified Studio 내에서 실행되며, 데이터를 준비, 집계, 분석, 그리고 AI/ML 모델링 작업까지 통합적으로 처리할 수 있는 환경을 제공합니다.
위 그림은 SageMaker Lakehouse의 작동 프로세스이며, 그림에서 보시다시피 Glue의 Catalog, Lake Formation이 기반으로 운용되며, Lakehouse를 통해 Redshift나 Amazon DynamoDB, SnowFlake 등과 같은 데이터 소스를 가져와 RMS(Redshift Managed Storage), S3를 사용해 데이터를 적재 및 관리합니다.
SageMaker Lakehouse 주요 특징
단일 인터페이스 제공: 데이터 레이크와 웨어하우스를 한 곳에서 관리할 수 있어 사용 편의성을 극대화합니다.
다양한 데이터 소스 지원: Redshift, DynamoDB, Snowflake 등 다양한 데이터 소스를 RMS(Redshift Managed Storage)와 S3로 적재 및 관리할 수 있습니다.
Glue Data Catalog와 Lake Formation 기반: Glue Data Catalog와의 통합으로 데이터 준비 및 관리가 간소화되며, Lake Formation을 통해 데이터 접근 제어를 효율적으로 수행합니다.
AI/ML 모델 통합: Unified Studio 내에서 SageMaker 도구를 사용해 AI/ML 모델링 작업을 손쉽게 수행할 수 있습니다.
확장성과 성능: 대규모 데이터 분석 및 AI 모델링을 안정적으로 지원하며, 실시간 데이터 처리도 가능합니다.
💡 SageMaker Lakehouse는 데이터 과학자와 엔지니어 모두에게 데이터 준비부터 분석, AI 모델링까지 통합적인 솔루션을 제공합니다.
마무리
이번 AWS re:Invent는 AI와 클라우드 컴퓨팅의 혁신을 제시하며, 업계 선두 주자로서 AWS의 입지를 다시 한번 확인시켜 준 자리였습니다. Amazon Q Developer와 Guardrails, S3 Tables와 같은 혁신적인 서비스들은 AWS가 지속적으로 기술 혁신을 선도하고 있음을 보여줬습니다. 특히, 보안과 비용 최적화는 이번 기조연설에서도 중요한 키워드로 자리 잡으며, 기업이 더 효율적이고 안전한 클라우드 환경을 구축할 수 있도록 설계된 기능들이 주목받았습니다.
이러한 서비스들은 단순히 기술적 가능성을 넘어서, 실제 비즈니스 환경에서의 생산성과 효율성을 증대시키는 데 큰 영향을 미칠 것입니다. 앞으로 AWS 생태계에서 이러한 서비스와 기능들이 어떤 역할을 할지 기대가 됩니다.
더 많은 AWS re:Invent 2024 정보가 궁금하시다면 아래 링크를 참고해 주세요
AWS re:Invent 2024 현장이 궁금하다면 👉 AWS re:Invent 2024 참관 후기 | 앰버서더와 함께 알아보는 리인벤트 현장과 팁
AWS re:Invent의 모든 공지 사항이 궁금하다면 👉 Top announcements of AWS re:Invent 2024 | AWS News Blog
AWS re:Invent의 Keynote(기조연설)을 보고 싶다면 👉 AWS re:Invent 2024 | CEO Keynote Recap
ความคิดเห็น