안녕하세요.
현재 소위 네카라쿠배에서 일하고 있는 데이터 엔지니어 10년차 웃대인입니다(시작은 별로 알려지지 않은 중소기업이었는데 최근에 이직을 하였습니다. 혹시나 해서 말씀드리면 자랑도 안되지만… 절대 자랑하려고 소속을 말하는 것은 아니고 제 경험을 말씀드려야 제 이야기가 조금이라도 신뢰를 받을 수 있을 것 같아 말씀드렸습니다. 혹시 불편하신 분이 계시면 죄송합니다). 남을 웃기는 재주는 없어 눈팅만 하는데 웃대에서 종종 빅데이터 분야 취업에 대해 말씀하시는 분들이 계셔서 저의 부족한 경험이라도 도움이 될까 싶어 글을 남겨 봅니다. 데이터 엔지니어, 데이터 분석가, 데이터 사이언티스트 채용을 위해 신입/경력 면접도 여러 차례 보았습니다. 그렇지만 제 개인의 경험을 바탕으로 작성하였기 때문에 다른 분들의 경험이나 생각과 다를 수 있음을 미리 밝혀둡니다.


1. 직업 분류

저는 데이터 엔지니어로서 데이터 분석가와 주로 협업하였기 때문에 데이터 엔지니어와 데이터 분석가에 대해서만 상세히 작성하였습니다. 나머지 직군은 제가 자세히 모르기 때문에 제가 옆에서 보거나 들은 것을 바탕으로 간단히만 작성하였습니다.

1.1 데이터 엔지니어
데이터의 입수, 저장, 처리 등을 담당합니다. 좀 더 구체적으로 아래와 같은 역할을 합니다.

- 입수, 저장, 처리를 위한 인프라를 설계/구축/운영
- 입수한 데이터를 처리하고 저장하고 용도에 맞게 변환
- 데이터 분석가, 데이터 사이언티스트 등이 데이터를 사용하는데 필요한 것을 지원

보통 데이터 엔지니어라고 하면 많은 회사에서 위와 같은 업무를 담당합니다. 몇몇 회사에서는 데이터 엔지니어의 업무가 좀 더 세부적으로 나뉘기도 하는데 인프라를 전담하는 데이터 엔지니어와 데이터 처리와 지원 업무를 담당하는 데이터 엔지니어, 이렇게 분류하는 경우도 있는 것 같습니다. 그렇지만 이렇게 딱 나누어서 일하는 경우보다는 아직은 두 분야를 모두 담당하는 것이 일반적인 것 같습니다. 이런 분류는 채용 공고를 읽어보시면 알 수 있고 애매한 경우에는 채용 담당자에게 물어봐서 확인하는 것도 가능한 것 같습니다.

과거에도 데이터 엔지니어와 비슷한 업무를 하는 사람들은 있었을 것이라고 생각합니다. 과거와 다른 점은 데이터의 중요성을 사람들이 인식하고 그 활용처가 넓어진데다 데이터를 저장하고 처리하는 데 들어가는 비용이 과거보다 저렴해졌기 때문에 데이터를 활용하려는 곳이 많아진 것이 아닐까 싶습니다.


1.2 데이터 분석가
데이터 엔지니어가 저장/변환한 데이터를 이용하여 데이터를 분석합니다. 데이터 사이언티스트와 비슷한 업무를 수행하는 조직도 있다고 하는데 제가 지금까지 본 조직은 대부분 데이터 분석가와 데이터 사이언티스트가 엄격히 구분되었습니다. 데이터 사이언티스트는 아래에서 더 자세히 말씀드리겠습니다. 데이터 분석가는 보통 비즈니스나 서비스를 이용하는 사용자 분석이나 서비스의 효율성 분석, A/B테스트의 설계와 분석 등을 담당합니다. 여기에 회사마다 다르기는 하지만 아래에 있는 PM이나 PO를 포함한 다른 부서의 요청을 받아 데이터를 추출하거나 보고서를 작성하기도 합니다. 데이터 추출은 회사의 업무 체계에 따라 데이터 엔지니어가 담당하거나, 데이터 엔지니어와 데이터 분석가가 같이 작업하는 경우도 있습니다. 


1.3 데이터 사이언티스트 (ML 엔지니어라고 부르기도 하는 것 같습니다)
데이터 엔지니어가 저장/변환한 데이터를 이용한 서비스나 기능을 개발한다고 알고 있습니다. 이 부분도 회사마다 차이가 있을 수 있는데 제가 지금까지 옆에서 보거나 같이 협업을 한 경우에는 대부분 이에 해당했습니다. 데이터 분석가가 비즈니스 도메인의 지식과 통계를 바탕으로 업무를 한다면 데이터 사이언티스트는 머신러닝, AI 등을 이용해서 서비스와 기능을 개발합니다. 


1.4 데이터 라벨링
최근에 머신러닝이나 AI 분야가 주목을 받으면서 데이터 처리에 집중한 업무 분야나 스타트업도 나타나는 것 같습니다. 제가 본 회사들에서는 보통 해당 비즈니스 도메인의 전문가와 데이터 엔지니어, 데이터 분석가, 데이터 사이언티스트들이 협업해서 라벨링을 하는 것이 보통이었는데 라벨링을 전문으로 하는 회사의 경우 전담 인력을 두는 경우도 있는 것 같습니다.


1.5 기획자, 프로젝트 매니저 (PM), 프로젝트 오너 (PO)
기획자, 프로젝트 매니저, 프로젝트 오너는 회사마다 그 정의가 미묘하게 다를 수 있고 혼용될 수도 있는 것 같습니다. 다만 그 이름을 어떻게 부르던 데이터 드리븐(데이터 중심)으로 일하는 것은 다르지 않는 것 같습니다. 신규 서비스나 기능 개발은 A/B 테스트를 필수로 하는 경우가 일반적이며 사용자를 이해하는 데 많은 공을 들이는 것 같습니다. 그래서 데이터 분석 담당자들과 협업하는 일이 일반적이고, 데이터 분석에 대한 기본적인 이해도 필요한 것 같습니다.

이 직군은 직접적으로 데이터를 분석하는 경우는 드물지만 회사에 따라서는 직접 데이터를 분석하기도 하고 데이터 분석을 직접 수행하지 않더라도 데이터 분석에서 멀어질 수 없는 직군이라고 생각하여 이번 내용에 추가하였습니다.


2. 필요 역량

공통적으로는 의사 소통 능력이 가장 중요한 것 같습니다. 업무를 진행하다보면 여러 난관에 부딪히기 마련인데 그런 부분을 슬기롭게 넘어가려면 동료와 효율적으로 의사소통할 수 있는 능력이 가장 중요한 것 같습니다.

2.1 데이터 엔지니어

- 리눅스에 대한 이해
공통적으로 리눅스 환경에 익숙하면 도움이 되는 것 같습니다. 제가 있던 회사는 CentOS를 사용하는 것이 일반적이었는데 최근 라이센스 정책이 바뀌면서 여기에도 변화가 생길 것 같습니다. 현재는 아직 어떤 방법이 주류로 올라서지는 못한 상태라 저도 향후 방향을 고민하고 있는 단계입니다.

- 회사에서 사용하는 프로그램에 대한 충분한 이해
몇 년전만 해도 빅데이터를 한다고 하면 Hadoop을 떠올리곤 했습니다. 그런데 최근에는 AWS, GCP, Azure같은 퍼블릭 클라우드를 이용해서 빅데이터를 처리하는 경우도 흔합니다 (많은 스타트업들이 여기에 해당하고, 큰 회사 중에는 넥슨이 AWS를 많이 이용한다고 들었습니다). 어떤 환경에서 업무를 하던 회사에서 이용하는 프로그램에 대한 깊이있는 이해를 하는 것은 매우 중요합니다. 레퍼런스 문서든 서적이든 블로그든 정보를 얻을 수 있는 곳이라면 많이 찾아보고 공부하는 것이 좋습니다. 제가 겪었던 오류나 장애들 중에는 충분한 이해없이는 해결하기가 어렵거나 불가능한 것들도 있었습니다.

보통 학교에서는 경험하기 힘들기 때문에 신입은 회사 입사하고 나서 공부해도 될 겁니다.

- 분산 시스템에 대한 이해
빅데이터 시스템은 그 태생부터 분산 시스템이기 때문에 분산 시스템을 구성하는 기본적인 이론을 충분히 이해하고 있는 것이 좋습니다. Hadoop같은 것을 공부하다보면 정족수(quorum)같은 것을 이해하게 되지만 분산 시스템의 구성 원리에는 그 이상의 것이 있습니다. 그래서 이런 것들을 체계적으로 공부해두는 것이 유리한 것 같습니다. 다행히 이 분야에도 여러 좋은 책들이 있는데 번역본 중에는 아래의 책이 가장 유용했던 것 같습니다.

데이터 중심 애플리케이션 설계 - http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791158390983&orderClick=LAG&Kc=

위와 마찬가지로 신입에게는 필수는 아닙니다.

- SQL
SQL은 잘 다루면 잘 다룰 수록 도움이 됩니다. 10여년 이상 꾸준히 사용되어왔고 아직도 많이 사용하는 Hive부터 빠른 성능 때문에 많이 사용하는 Impala, Presto 등 SQL Engine을 이용해서 데이터를 처리하거나 질의하는 경우가 많습니다. 이런 SQL Engine 외에 Spark 같은 데이터 처리 엔진에서도 SQL을 이용해 데이터 처리가 가능합니다.

주의할 점은 이런 Hive, Impala, Presto 등은 표준 SQL을 완벽히 지원하지는 않는다는 점입니다. 지원하는 Function들도 모두 제각각이기 때문에 레퍼런스 문서를 충분히 읽고 그 차이를 알고 있는 것이 중요합니다. 데이터 엔지니어는 내부적인 동작 과정도 이해하고 있으면 더욱 좋습니다. 저는 이런 내용은 오픈 소스를 이용해서 상품을 개발하는 업체 (Impala/Hive는 Cloudera, Spark는 Data bricks, SQL Engine은 아니지만 Kafka는 Confluent)의 블로그를 보거나 오라일리에서 출판된 서적을 참고합니다.


- 성능 분석과 최적화
위의 네 가지를 잘해도 주니어라면 대단히 잘해내고 계신 것이지만 여기에 한 가지를 더한다면 성능 분석과 최적화가 아닌가 싶습니다. 아무리 돈이 많은 회사라도 빅데이터 규모의 인프라를 여유있게 구축하기에는 비용이 매우 많이 들기 때문에 다소 빠듯하게 운영하는 경우가 많은 것 같습니다. 좀 더 구체적으로 살펴보면 서버 한대가 적게는 수 백만원에서 많게는 수 천만원 이상이 들고 데이터 규모에 따라 다르지만 대당 천만원 서버를 이용해 50대 규모의 클러스터를 구축한다면 벌써 5억이 듭니다. 여기에 랙 비용, 스위치 비용, 네트워크 비용, 이중화나 재해 복구까지 고려한다면 곱절 이상의 비용이 들어갈 겁니다. 이 비용은 스타트업은 당연하고 어느 정도 규모가 있는 빅테크 기업에서도 고민없이 지불하기에는 적지 않습니다(컨퍼런스에서 듣기로 카카오나 라인, 네이버는 클러스터의 규모가 서버 수 백대에서 수 천대라고 합니다). 

위와 같은 이유로 적정 수준의 장비를 갖고 최적의 성능을 발휘할 수 있는 방법을 안다면 인프라 운영과 데이터 처리에 큰 이점을 가질 수 있습니다. 이 부분에서는 제가 아주 흥미롭게 읽었고 많은 도움을 얻었던 책을 몇 권 추천드릴 수 있을 것 같습니다.

자바 성능 튜닝 (원서로는 2판이 나옴) - http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791186697139
시스템 성능 분석과 최적화 - http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791158390181

신입에게 필수는 아닙니다. 다만 자신이 잘 다루는 언어에 대한 이해도가 높다면 플러스가 될 확률이 높습니다.


2.2 데이터 분석가

- SQL
데이터 분석가는 보통 서버에 직접 접속하여 데이터를 분석하거나 처리하는 일은 극히 드문 것 같습니다. 제가 있던 회사 중에는 데이터 분석가가 보통의 개발자만큼 서버에 익숙해야 하는 경우도 있었는데 데이터 분석가의 생산성 측면에서 너무나도 비효율적이었기 때문에 개인적으로 이런 환경이 재미가 있거나 흥미가 있는 것이 아니라면 피하는 것이 좋지 않나 생각합니다.

어느 정도 환경이 잘 구비된 경우에는 데이터 분석가가 잘 정의된 테이블을 바탕으로 SQL을 이용해 데이터를 분석하는 경우가 일반적인 것으로 보여집니다. 그 아래 환경은 Impala일 수도 있고 전통적으로 많이 사용하는 Hive 일 수도 있는데 SQL 자체가 크게 차이가 나지는 않지만 프로그램의 성능 차이, SQL 기능 지원 여부, Function 지원 여부 등에 따라서 사용성이 달라지므로 회사에서 주어지는 환경에 대해 이해하는 것은 필요합니다. 특히 아무리 잘 정의된 테이블이 있다고 하더라도 원하는 결과를 얻기 위해 데이터를 다양하게 변환하는 일이 필요한 경우가 매우 흔합니다. 그래서 데이터를 이리 바꾸고 저리 바꿀 수 있는 방법을 알고 있는 것은 매우 큰 도움이 됩니다.

보통 위에서 제가 말씀드린 SQL Engine 들은 책도 있고 레퍼런스 문서도 꽤 잘 정리가 되어 있기 때문에 SQL을 알고 계시다면 금방 그 차이를 이해하실 수 있을 것이라고 생각합니다.

- Python or R
Python이나 R이 필요한 상황은 여러가지가 있습니다. 그 중 첫 번째는 보통 SQL로 데이터를 분석하기는 하지만 잘 정의된 네모난 테이블로 데이터를 분석하는 일은 여전히 쉽지 않습니다. 자비없이 쏟아지는 현업의 여러 데이터 분석 의뢰를 수행하다보면 기존에는 없던 조건으로 데이터를 분석하기 위해 데이터를 처리해야 하는 경우가 있습니다. 이것을 SQL로 다 처리할 수 있거나 데이터 엔지니어의 빠른 지원을 받을 수 있다면 좋겠지만 그렇지 못한 경우에는 직접 데이터를 처리해야 할 수도 있습니다. 그런 경우 Python이나 R을 사용해서 전처리를 할 수도 있습니다.

또 다른 경우로는 시각화 부분입니다. 회사가 어느 정도 여유가 있다면 데이터 시각화를 위해 Tableau같은 BI툴을 구매했을 것이기 때문에 Python이나 R까지 갈 필요가 없을 수도 있습니다. 그러나 이 부분은 데이터 분석가의 선호도도 작용하기 때문에 Tableau가 있다고 해서 Python이나 R을 무조건 대신하지는 않는 것 같습니다. 데이터 분석가에 따라서는 Tableau가 있어도 가장 손에 있는 Python이나 R을 더 좋아하는 경우도 흔하게 볼 수 있었습니다.
 

- 통계
감에 의존한 분석이 아닌 수치에 근거한 판단을 내리려면 꼭 필요한 능력이 아닌가 싶습니다. 저도 그렇고 같이 일했던 데이터 분석가 분도 의사소통 능력을 가장 중요하게 생각했고, 그 다음으로 통계에 대한 이해 수준을 중요하게 보았습니다.


- 도메인 지식
데이터 분석을 위해서 서비스나 기능에 대한 이해가 매우 중요합니다. 검색 서비스에 대한 이해 없이 네이버 검색에 대한 사용자 분석이나 서비스의 효율성을 분석할 수 없을테고 금융에 대한 이해 없이 은행 서비스나 은행 이용자들의 성향 등을 분석할 수 없을 것입니다. 이 부분은 자신이 지원하는 회사가 어떤 회사인지 알고 있다면 그 회사의 비즈니스나 도메인에 대한 조사를 어느 정도 해두는 것이 좋지 않나 생각합니다. 물론 지원자가 완벽히 이해하고 있을 것이라고 생각하지 않기 때문에 면접에 질문이 나올 것을 대비해서 대표적인 질문이나 이 회사에 입사하면 이런 분석을 해보고 싶다 정도를 준비해두면 좋지 않을까 싶습니다.


3. 회사를 조사하거나 면접 볼 때 질문하면 좋을 내용들

- 자신이 속할 조직의 역할과 규모
저는 가장 중요한 부분 중 하나라고 생각합니다. 데이터 조직이 신설되었으면 규모도 적고 역할이 분명하지 않을 수 있습니다. 또한 기반 인프라가 충분하지 않아 맨땅에 헤딩하는 꼴이 될 수 있습니다. 이런 환경에서도 재미나게 일할 수 있다고 생각하시면 나쁘지 않지만 이런 환경에서 필요한 것들을 하나하나 만들어가는 것이 생각보다 지치는 일일 수 있기 때문에 잘 판단하셔야 될 부분이라고 생각됩니다.

- 환경
데이터 엔지니어라면 인프라가 AWS, GCP 같은 퍼블릭 클라우드인지, 아니면 프라이빗 클라우드인지, 그것도 아니라면 온프레미스인지 확인하는 것이 좋습니다. 신입이라면 본인이 선호하는 환경은 없겠지만 향후 커리어를 고민하고 계시다면 주니어 시절부터 잘 설계를 해두시는 것이 좋을 것 같습니다. 물론 여기에서 한 쪽을 선택했다고 하여 다른 쪽으로 가지 못하는 것은 아닙니다. 어느 쪽이든 본인의 역량을 잘 발전시켰다면 어느 회사에서나 필요한 인재라고 볼 것입니다.

데이터 분석가라면 어떤 환경에서 분석하는 지 물어보는 것이 조직의 역할과 규모에서 말씀드린 이유때문에 중요합니다. 본인이 처음부터 만들어가야 하는 환경인지 확인하는 차원에서 물어보는 것이 좋을 것 같습니다.


4. 기타

- 어떤 회사가 좋을까?
이것은 제 주관이 강하게 작용하는 부분인 것 같습니다. 저는 IT 회사를 선호하기 때문에 삼성전자같은 제조업이나 전통적인 은행같은 금융으로는 아예 쳐다도 안봤습니다(이 회사들이 나쁘다는 이야기는 아닙니다). 현재 네카라쿠배에 있는 이유도 같은 이유입니다. IT 회사를 좋아하는 이유는 대체로 중견 기업이나 일반적인 대기업과 다르게 업무 환경이 자유롭고 비교적 수평적이기 때문입니다(이런 부분은 팀바팀이 심하긴 합니다만…). 처우로 본다면 제조업이나 금융쪽이 결코 뒤지지 않을 수 있지만 요즘은 IT 회사에서도 처우 수준이 많이 올라왔기 때문에 제조업이나 금융과 비교해서 절대 뒤지지 않을 것 같습니다. 만약 이 부분이 궁금하시다면 잡플래닛이나 블라인드를 적극 활용하시면 좋을 것 같습니다.

- 대학원 학위가 필요할까?
종종 빅데이터 분야로 취업하려면 대학원 학위가 필요하다는 글을 보곤 합니다. 절대 사실이 아닙니다. 개인에 따라 선호할 수는 있지만 제가 같이 일해본 데이터 엔지니어나 데이터 분석가들의 절반 이상은 대학원 학위가 없었습니다(대학원 학위를 가진 분이 꽤 있긴 했습니다만…). 대학원 학위가 있다고 해서 더 좋은 대우를 받거나 더 일을 잘하는 것은 아닙니다. 대학원 학위가 없어도 일을 잘한다면 좋은 대우를 받을 것이고, 대학원 학위가 있더라도 일을 못한다면 좋지 못한 대우를 받을 것입니다. 이것은 너무 당연한 이야기인 것 같습니다.

이 부분은 잔인한 부분일 수 있는데 제가 IT 기업을 선호하는 이유와도 어느 정도 일맥상통합니다. 그냥 연차가 올라갔다고 해서 그 사람을 인정하는 것이 아니라 그 사람의 능력을 보고 평가하기 때문에 연차가 오르는 것이 마냥 반갑지만은 않습니다. 연차가 높다고 해서 능력이 있다는 것을, 고연봉을 보장하지 않습니다. 한국 사회 특성상 아예 무시하지는 않지만 면접보고 이직하고 처우협상을 해보면 결국 능력이 있느냐 없느냐가 가장 중요했던 것 같습니다.

- 비전공자에 대한 대우는 어떨까?
학위과 결국 같은 이야기입니다. 능력이 충분하다면 비전공자인지는 아무도 신경쓰지 않습니다. 제가 있던 회사에서는 신입이 전공자인지 비전공자인지, 어떤 학교를 나왔는지, 성적은 어땠는지 아무도 물어보지 않았습니다. 다만 신입이라면 서류 단계에서는 포트폴리오, 면접 단계에서는 컴퓨터 관련 전공 질문에서 비전공자들이 많이 불리했던 것은 사실인 것 같습니다.

데이터 엔지니어의 경우 많은 기업에서 서류와 면접 사이에 코딩 테스트를 두는 데 제가 본 비전공자들의 95%는 이 코딩 테스트에서 대부분 떨어졌습니다. 물론 전공자들도 많이 떨어집니다. 특히 신입 코딩 테스트는 경력보다 난이도가 높은 경우도 있어서 경력자라고 해도 신입 문제를 풀어보면 만만치 않은 경우가 있습니다. 그래서 좋은 회사에 취업하는 것이 목표라면 코딩 테스트도 합격 선을 유지하는 것이 좋습니다. 제 개인적인 경험 상 leetcode에서 medium 이상을 풀 수 있어야 하지 않나 생각합니다.

데이터 분석가는 보통 코딩 테스트가 없는 경우가 많은 데 회사에 따라서는 SQL 시험이나 이론 시험을 보는 경우도 있었던 것 같습니다. 그래서 이런 부분은 평소 포트폴리오 준비하시면서 공부해두시면 좋을 것 같습니다.

극소수의 비전공자 경우일 수는 있지만 정말 열심히 노력해서 성공한 비전공자분도 봤기 때문에 막연히 걱정하기 보다는 본인의 능력을 어떻게 키우고 증명할지를 고민하는 게 더 좋을 것 같습니다.

————————————————————————————————————

도움이 되는 글인지 모르겠습니다.
아무튼 여기까지 긴 글 읽어주셔서 감사합니다.
위 내용과 관련이 있던 없던 궁금하신 게 있으신 분은 댓글이나 쪽지로 말씀주십시오.
제가 아는 범위 내에서 꼭 말씀 드리겠습니다.

다시 한 번 읽어주셔서 감사합니다.