2023 가천대 Elastic 옵저버빌리티 해커톤 멘토링 후기 : AWS 기술 지원
Written by Hyeonmin Kim
안녕하세요. 스마일샤크에서 Solutions Architect 직무를 맡고 있는 김현민입니다.
2023년 8월 26~27일, 무박 2일 일정의 가천대 엘라스틱 옵저버빌리티 해커톤에 AWS 기술 멘토로 참여하였습니다.
인하대에서 진행한 "INHA SW NET-Zero 해커톤"을 다녀온 지 벌써 한 달만인데요, 이번에는 Elastic을 필두로 한 Observability가 메인이었기 때문에 저 또한 배우고자 하는 마음가짐으로 다녀왔습니다.
해커톤 소개
대회 개요
이번 해커톤은 가천대학교 SW전문인재양성사업단이 주최하고, Elastic Cloud(이하 Elastic)와 AWS의 후원하에 개최된 행사입니다. 가천대학교 IT 유관 학과 재학생 50여 분이 참가하여 Observability를 활용한 데이터 분석이라는 주제로 다양한 대시보드를 아웃풋으로 도출해 주셨습니다.
대시보드를 구축하려면, 그 대상이 필요하겠죠? 실제로 학생들이 운영 중인 웹 애플리케이션을 대시보드로 구성한 팀도 있었으며 저희 측에서 제공하는 샘플 앱을 모니터링 한 팀도 있었고, AWS Sagemaker을 사용한 GenAI를 포함하여 기발한 웹 서비스를 현장에서 구축해 이를 분석한 팀도 있었습니다.
저는 이번 가천대 해커톤에서 AWS 기술 분야를 서포트하였기 때문에, 기존 웹앱을 AWS로 마이그레이션 하는 부분과 기타 AWS 서비스를 사용하는 데 있어 어려움을 겪는 부분에 대해 지원해 드렸습니다.
가천대 해커톤 시작
Elastic의 후원하에 진행된 이번 Observability 해커톤은, 학생들에게 옵저버빌리티 자체가 생소할 수 있어 엘라스틱에서 교육을 진행하였고, 8시간의 사전 교육과 토요일 당일 2시간의 오프라인 강의를 통해 간단한 빌딩 가이드를 제공하였습니다.
개인적으로 아쉬웠던 점은 옵저버빌리티라는 것이 모니터링에서 더 나아가 서비스 운영에 초점을 맞추는, 나름 심화된 내용이라 10시간의 교육이 부족하였다고 생각합니다. 또한 오프라인 세션에서 직접 Logging, Ingestion, dashboard 등을 만져볼 수 있었으면 좋았을 것 같네요. 짧은 사전 교육이 해커톤을 진행할 때마다 아쉽습니다.
해커톤 멘토링 시작
이번에도 슬랙의 워크플로우 봇으로 질문을 받아 멘토링을 진행하였습니다. 저번 해커톤과 달라진 부분이 있다면 참고용 캔버스를 첨부할 수 있는 항목을 추가했다는 점입니다.
문의 사항 대한 내용을 워크플로 봇으로만 처리하기 힘들었는데, notion과 비슷한 Slack의 canvas 기능을 사용하여 참고용 캔버스를 받아 처리할 수 있도록 개선되었습니다. 질문 사항에 대해 더 자세히 파악할 수 있어서 좋았습니다. 자세히 참고할 수 있는 만큼 더 적절한 멘토 배치가 이뤄졌다고 생각합니다.
저는 이번 해커톤에서 주로 기존 애플리케이션을 AWS로 마이그레이션 하는 작업과 팀 아이데이션을 맡았습니다. 학생들에게 옵저버빌리티라는 용어는 생소하기 때문에 옵저버빌리티를 위한 서비스를 구현하려는 시도를 많이 했었는데요, “가장 중요한 것은 서비스를 위한 옵저버빌리티를 구현하는 것”이라는 조언을 많이 했습니다.
가천대 해커톤 멘토링 기술 스택 TOP 5
슬랙을 통해 집계된 Q&A에서 가장 활발하게 멘토링이 진행되었던 기술 스택 TOP 5는 Elastic, EC2, Lambda, Vega, Cloud9이었습니다. 이유는 다음으로 추측해 볼 수 있을 것 같습니다.
1. Elastic(ELK, Ingestion Pipeline) (42.5%)
이번 해커톤에 메인이 되었던 Elastic입니다. 다양한 모니터링 툴, 대시보드 툴이 있지만 이번 해커톤은 Elastic을 사용하는 것이 필수 사항이었기 때문에, 그만큼 문의가 많았습니다. Elastic은 ELK라는 로그, 트레이스 수집 파이프라인이 잘 구성되어 있는데요, 그 때문에 학생들이 ELK 파이프라인을 사용하려고 했고, 그 구성에 있어서 문의 사항이 많았던 것으로 생각됩니다.
2. EC2 (15.0%)
위에서 “서비스를 위한 옵저버빌리티를 구현하라”고 기술한 부분이 있는데요, 그 서비스를 운영하기 위한 컴퓨팅머신으로 AWS EC2를 사용하였습니다. 기존 애플리케이션을 마이그레이션 해오는 부분, 조금 더 AWS의 워크로드에 맞게 최적화하는 부분에 있어서 새로운 AWS 서비스를 추가하고, 이를 연동하는 부분 등에 대해 질문이 많았습니다. 또한 위에서 언급한 ELK 파이프라인 역시 EC2 내부에서 구성되므로, EC2의 비중은 꽤 높았다고 이야기할 수 있겠네요
3. Lambda (7.5%)
일반적인 ELK 스택을 사용하지 않고, 외부에서 소스를 가져오거나(크롤링), EC2와 연결된 CloudWatch 데이터를 가져오는 등 “인제스쳔”을 목적으로 Lambda를 사용하는 팀들이 꽤 있었습니다. Elastic 자체도 RESTful API로 동작하므로, 이를 호출하고 데이터를 받아올 수 있는 Lambda 함수가 꽤 사용되었습니다.
4. Vega (7.5%)
Vega는 Elastic의 대시보드인 Kibana에서 부족한 시각화를 보충해 줄 수 있는 프로그래밍 언어입니다. Vega를 사용하면 Elastic에서 제공하는 시각화 디자인을 조금 더 높은 수준으로 커스터마이즈하고 제어할 수 있습니다. 또한 유저와 상호작용 할 수 있는 대화식 시각화를 구축할 수 있는데요, 그만큼 심화된 내용이기 때문에 이 부분에 있어서 Q&A가 꽤 들어온 것 같네요.
5. Cloud9 (5.0%)
이전 해커톤과 비교하면 AWS의 스토리지 서비스인 S3와 데이터베이스 서비스인 RDS등에 대한 내용 질의가 현저히 감소함을 알 수 있었습니다. RDS의 경우는 엘라스틱을 데이터베이스로 사용할 수 있기 때문에 이번에는 선택받지 못한 것 같네요. S3는 주로 운영 중인 서비스의 에셋들을 스태틱으로 호스팅하는데 사용됨에 그쳤습니다. 어딜가나 항상 주목받는 서비스들이었는데 이번에는 찬밥 신세를 면하지 못했네요.
가천대 해커톤 평가 항목
이번 해커톤의 주요 평가 항목은 다음과 같았습니다. 이번에는 세부적인 내용을 공유해 드리려고 합니다.
1. 문제 정의와 목표 설정 타당성
“서비스를 위한 옵저버빌리티의 구현”이 해당 평가 항목에 가장 잘 맞는다고 생각되는데요, 분석 주제의 중요성과 필요성, 즉 왜 필요한지에 대해 설명하고 이를 어떻게 분석하고 처리할지에 대해 평가되는 항목이었습니다. 해당 항목들에 있어서 학생들이 실제로 학생들이 운영했던 애플리케이션을 마이그레이션 해오는 경우 목적을 가지고 있는 서비스가 분명했기 때문에 높은 점수를 받을 수 있었습니다.
2. 아키텍쳐 완성도
이번 해커톤은 AWS와 Elastic을 사용하는 것이 필수 조건이었으므로, 해당 솔루션을 사용하여 적절한 아키텍쳐를 구현했는지가 주 평가 대상이 되었습니다.
3. 결과 해석 및 토의
1번에서 정의한 분석 주제의 중요성과 필요성, 분석 결과를 통해 얻을 수 있는 인사이트와 의미, 유의성 등이 주 평가 대상이 되었습니다. 단지 “잘 구현하였음”이 아닌 구현하면서 “정확한 검증”과 “한계점” 등을 잘 설명한 팀이 높은 점수를 받았습니다.
4. 보고서 구성 및 표현
최종 보고서의 내용에서 구성의 명확성, 체계성을 평가하였습니다. 표와 그래프 등의 다이어그램을 적절하게 사용했는지, 표현력과 글쓰기 품질 또한 평가 항목에 포함되었네요.
5. 창의성 및 독창성
문제에 있어서 얼마나 창의적이고 독창적인지도 평가대상이었는데요, 분석 방법이 창의적인지, 결과가 창의적인지를 모두 포함하여 평가되었습니다.
6. 팀워크 및 협업
해커톤 멘토링을 할 때마다 제가 가장 중요하게 여기는 부분입니다. 핸즈온을 하러 다니다 보면 정말 합이 잘 맞는 팀이 있는 반면에, 팀워크가 처참한 수준을 보이는 경우도 있습니다. 팀원 간의 협업과 소통 능력, 분업의 적절함, 맡은 역할에 대한 책임 등을 주로 평가하였습니다. 해당 부분은 해커톤 진행 내내 멘토들에게 평가되므로, 제가 해커톤 참가자라면 이 부분을 유의해야겠네요.
가천대 해커톤 종료
AWS와 함께하는 해커톤은 이번이 6번째입니다. 올해도 벌써 목표하고자 하는 교육 행사의 절반이 지나갔습니다. 시간이 참 빠르네요.
이번 가천대 해커톤은 저에게도 의미하는 바가 큽니다. 해커톤의 주제였던 “옵저버빌리티”는 저도 평소에 관심이 많은 분야였으나, 관심도에 비해 처참한 숙련도를 보여줬기에 그만큼 저를 다시 돌아보는 좋은 기회가 되었다고 생각합니다. 저도 더 분발하여 도약을 준비해야 하는 시기가 왔다고 생각하네요.
이번 해커톤도 무사히 진행될 수 있게 해주신 가천대 SW전문인재양성사업단, AWS 그리고 엘라스틱 관계자분들에게 감사의 말씀을 전합니다. 또한 소중한 주말, 해커톤에 참여하기 위해 애쓰신 모든 학생분들, 해커톤 멘토링 지원을 위해 아낌없이 도움을 주신 멘토님들, 스태프분들에게 박수를 보냅니다.
저는 다음 예정된 숙명여대 AI/빅데이터 Streamlit 해커톤을 마치고 다시 한번 후기로 찾아뵙겠습니다!
감사합니다.
🤤