6개월간의 데이터엔지니어 부트캠프를 마치며

6개월이라는 시간은 길 것 같았는데, 매일 새로운 과제와 문제를 해결하며 배우다 보니 어느새 시간이 훌쩍 지나 있었다.

부트캠프를 시작하기 전, 나는 데이터 기반 그로스 마케터로서 3년간 열심히 일해왔다.

MySQL을 사용해 데이터를 분석하고, 그 데이터를 바탕으로 성과를 만들어내는 과정은 익숙했고, 즐겁기도 했다.

특히 앱 데이터를 분석하며 여러 가지 인사이트를 발견했을 때, 데이터가 주는 가치를 실감했다. 그 데이터를 바탕으로 B2B 프로젝트를 기획했고, 결과적으로 한 달 만에 300개의 B2B 리드를 유치하며 기업 고객의 유지율을 10% 높이는 성과를 낼 수 있었다.

 

하지만 그 과정에서 깨달았다.

단순히 데이터를 분석하는 것을 넘어, 데이터를 처음부터 끝까지 설계하고 대규모 데이터를 효율적으로 처리하는 기술적인 역량이 중요하다는 것을.

그래서 고민만 하지 말고 부딪혀 보기로 했다. 부트캠프에 참여한 이유다.

데이터를 이해하고 설계하며, 최적화된 방식으로 처리하는 데이터 엔지니어링 기술을 배우고 싶었다.

처음 부트캠프에 들어왔을 때는 모든 것이 낯설었다.

서버, 데이터 파이프라인, 클라우드 환경, 실시간 데이터 스트리밍 등 익숙하지 않은 용어와 개념이 가득했다. 하지만 반복되는 실습과 프로젝트를 통해 점점 익숙해졌고, 몰랐던 기술을 내 것으로 만드는 재미를 알게 되었다. 데이터를 단순히 해석하는 것을 넘어 처음부터 끝까지 설계하고 전달하는 과정을 배우며, 이전에는 경험하지 못한 성취감도 느꼈다.

물론, 쉽지만은 않았다. Spark 분산처리와 같은 고급 주제들은 특히 어려웠다. 밤늦게까지 오류를 해결하느라 씨름하는 날도 많았다.

가끔은 "내가 이 길을 잘 갈 수 있을까?"라는 생각이 들기도 했다. 하지만 그런 순간이 나를 더 단단하게 만들어 주었다. 내가 가진 마케터로서의 경험을 기술 학습에 연결하며 "이 기술이 비즈니스에 어떤 가치를 가져올까?"라는 질문을 던진 덕분에 더 효과적으로 배울 수 있었다.

이제 부트캠프를 마치며 한 가지 확신이 든다. 나는 데이터 엔지니어로서의 길을 걷고 싶고, 또 잘할 수 있을 것 같다.

데이터를 설계하고, 실시간 데이터 시스템을 구축하며 얻은 경험은 앞으로 나아갈 든든한 발판이 될 것이다.

앞으로 어떤 길이 펼쳐질지 모르지만, 그 길이 기대되고 설렌다.

데이터로 더 나은 세상을 만들어 나가고 싶다. 그리고 무엇보다, 그 길 위에서 나는 내가 꾸준히 성장하고 있음을 느낄 것이다.

 

데이터 엔지니어가 하는 일이 뭐야? 라고 누군가 묻는다면, 나는 이렇게 대답할 것 같다.

"데이터가 필요한 사람들이 좋은 데이터를 쉽게 사용할 수 있도록 기술적으로 해결하는 사람이다." 라고.

여기서 "좋은 데이터"라고 함은 신뢰할만하고 접근이 쉬운 데이터이다.

 

 

배운 점과 성장

 

마케터로서 쌓아온 경험과 엔지니어링 기술을 결합하여 데이터 기반 의사결정의 전반적인 과정을 설계할 수 있는 시각이 생겼다.
단순히 데이터를 분석하는 데 그치지 않고, 데이터가 생성되고 저장되며 분석 가능한 형태로 전환되는 과정을 설계하고 구현하는 경험을 통해 데이터 흐름의 전반적인 구조를 명확히 이해하게 되었다.

 

예전엔 단순히 "왜 이 데이터가 없지?" 라는 단순한 생각을 가지고 있었다.

데이터를 분석할 때, 원하는 데이터가 없으면 그저 아쉬운 마음만 들었고, 어떻게든 데이터를 채워 넣거나 다른 방법을 찾는 데 집중했다.

하지만 이제는 그 생각이 훨씬 깊어진다.

데이터가 왜 없는지, 그 데이터가 어디에서 오는지, 그 데이터를 어떻게 효율적으로 수집하고 저장할 수 있을지에 대한 고민이 생겼다.

단순히 데이터를 찾는 데 그치지 않고, 데이터를 "어떻게 얻을 수 있을까?", "어떻게 설계할 수 있을까?", "어떻게 관리하고 처리할 수 있을까?" 라는 질문이 자연스럽게 떠오른다.

이 과정에서 데이터를 처음부터 끝까지 설계하는 것의 중요성을 깨달았다.

데이터를 어떻게 수집하고 저장하는지부터, 그 데이터를 어떻게 분석할 수 있는 형태로 가공할지, 그리고 그 데이터가 실제로 필요한 사람들이 쉽게 접근하고 활용할 수 있도록 만드는 과정까지 모든 부분이 중요한 역할을 한다는 것을 알게 되었다.

이제는 "왜 이 데이터가 없지?" 가 아니라 "이 데이터가 왜 없을 수밖에 없을까?", "이 데이터를 어떻게 만들고 확보할 수 있을까?" 라는 더 넓은 시각에서 문제를 바라본다.

데이터의 흐름을 보다 잘 이해하고, 필요한 데이터를 적시에 제공할 수 있는 시스템을 설계하는 것이 얼마나 중요한지 깨달았다.

이러한 생각의 변화는 내가 마케팅을 하던 시절과는 다른, 훨씬 더 기술적이고 전략적인 접근 방식을 가능하게 했다.

결국, 내가 이전에 데이터를 분석하는 데 집중했다면,

지금은 데이터를 "어떻게 효율적으로 설계하고 관리할 것인가?" 라는 관점에서 바라보게 되었다.

이제는 "이 데이터는 왜 필요한가?" 라는 질문을 던지고, 그 데이터가 비즈니스에 어떤 가치를 더할 수 있는지, 그리고 어떻게 하면 더 효율적으로 데이터를 흐르게 할 수 있을지 고민하는 단계에 이르렀다.

데이터 엔지니어링 기술을 배우면서 나는 데이터가 어떻게 생겨나는지, 어떻게 흐르는지를 이해하게 되었고, 그 과정에서 더욱 폭넓은 시각을 가지게 되었다.

 

앞으로의 방향

 

그래서 결국 내가 찾은 다음 커리어의 방향은 마케팅의 도메인 지식을 갖춘 데이터 엔지니어링이 되는 것이다.

마케터로서의 경험을 토대로, 데이터를 단순히 처리하는 데 그치지 않고, 비즈니스와 기술을 연결하는 역할을 맡고 싶다. 유관부서에서 필요로 하는 정확한 데이터 요구 사항을 이해하고, 이를 효율적으로 처리할 수 있는 데이터 파이프라인과 시스템을 구축하는 것이 내 목표다.

 

마케팅은 결과를 빠르게 도출해야 하는 분야이다. A/B 테스트, 고객 여정 분석, 서비스 퍼널 최적화 등의 작업을 수행한다.

따라서 실시간 데이터 처리와 빠른 분석이 필수적이다. 이 부분에서 나는 데이터 엔지니어로서의 기술적 역량을 바탕으로 실시간 데이터 스트리밍이나 빅데이터 처리와 같은 고급 기술들을 마케팅 전략에 맞게 적용할 수 있는 능력을 키워나가고 싶다. 예를 들어, 고객 행동 데이터를 실시간으로 수집하고 분석하는 시스템을 구축하여 마케팅 캠페인을 즉각적으로 최적화하거나, 고객 세그멘테이션을 보다 정교하게 만들 수 있는 데이터 모델을 설계하는 작업을 해보고싶다.