1년 간 데이터 분석가 채용에 참여하며 느낀 점

최근에 면접 들어갔다가 나오면서 문득 아 이제 면접관으로 들어가는 것도 좀 익숙해진 것 같다 라는 느낌을 받았다. 그 김에 되짚어 보니, 팀에서 분석가를 뽑는 데 처음 참여하기 시작했던 게 딱 1년 전쯤이었다. 처음에는 서류/과제 검토하고 1차 면접(흔히 말하는 직군 면접 or 기술 면접) 위주로 들어갔었고, 지금은 팀 리더로 전체적인 프로세스에 관여를 하고 있다.

1년 전의 나는 연차가 별로 안 많은 건 둘째치고, 인턴 했던 회사에 계속 다니면서 이직 경험도 없는 케이스기 때문에 면접관은커녕 지원자로서 면접 경험 자체도 매우 부족했다. 그래서 처음에는 제가..면접을 들어가라고요..? 제가 그럴 레벨인가요..? 하는 마음이었다.

면접관 그거 어케하는건데 ..

하지만 모든 것이 그렇듯이 역시 하다 보면 익숙해진다! 그리고 어쨌든 함께 일할 좋은 분을 모시는 것은 매우 중요한 일이므로 어떻게 하지..(패닉) 보다는 어떻게 (잘) 하지? 라는 생각을 하는 게 맞았다. 처음에는 다른 면접관 분들이 어떻게 진행하고 질문하시는지 미어캣처럼 열심히 보고 그랬다.

아무튼 1년이 된 김에 그간 채용에 참여하면서 느낀 점들을 한번 간단히 정리해 보려고 한다. 요즘 업계 전반적으로 채용이 좀 침체된 것 같은데 그 와중에도 데이터 분석가를 뽑아야 하는 팀이나 지원자 입장에서 조금 도움이 되기를 바라며…? 물론 아래 적을 모든 내용은 나 개인의 경험에 기반한 것이므로 감안하고 보면 된다. 회고성 글에 가까우므로 평소 글과 달리 편한 말투로 적는다.

들어가기 전에 약간의 배경설명: 나는 게임 데이터 기반의 솔루션(데이터 프로덕트)를 만드는 데이터 분석가로 이루어진 팀에서 일하고 있다. 상시 채용을 하고 있고, 일반적으로 서류 - 과제 - 2차례 면접의 프로세스로 진행한다. 우리 팀 분석가들 업무는 주로 지표와 모델 개발이고 어디 가서 하는 일을 설명하면 데이터 분석가보다는 데이터 사이언티스트 아닌가요? 라고 하지만, 개인적으로는 데이터 사이언티스트라는 말이 좀 애매하다고 생각하며 모델링보다는 문제 정의와 분석을 잘 할 줄 아는 분석가가 되고자 하고 그런 분석가와 같이 일하는 것을 선호한다.

참여하는 팀 구성원들

• 가능하다면 (팀이 충분히 크다면…) 여러 명의 분석가로 이루어진 미니 채용 팀을 꾸리는 게 좋다! 왜냐면
  • 각 팀원 입장에서는 채용도 하나의 업무이다.
    • 서류나 과제를 평가하는 데도 시간이 들어가며, 면접의 경우 1시간 본다 치면 앞서서 준비하는 시간+끝나고 논의하는 시간까지 2시간 이상이 소요된다. 수시채용의 경우 한참 서류가 많이 들어오지 않다가 어떤 때는 와르르 들어오기도 하는데 만약 굉장히 소수의 인원이 이걸 전담해서 본다고 한다면 굉장히 빡셀 것이다. 면접도 면접에 들어갈 수 있는 분석가 풀을 4~5명으로 두고 그때그때 가능한 사람이 나눠서 들어간다면 부담을 줄일 수 있다.
  • 여러 명의 의견은 대체로 도움이 된다.
    • 아무리 평가 기준의 컨센서스를 맞춰 놨다고 한들 정작 매 단계에서 각자의 의견은 조금씩 다르다. 같은 자질을 두고도 어떤 사람은 긍정적으로 보고 다른 사람은 단점이라고 생각할 수 있다.
    • 이걸 하나의 의견으로 수렴하는 게 힘들지 않나 라고 생각할 수도 있지만, 내가 생각하는 이 방식의 가장 좋은 점은 내가 편협하게 보아 놓칠 수 있던 지원자를 놓치지 않게 해준다는 것이다. 실제로 과제 기준 나는 탈락 의견이었던 지원자 분을 면접관 한 분이 좋게 보아 면접을 보았는데 면접에서는 나도 긍정적인 평가를 했던 적이 있다.
    • 어쨌든 같이 채용에 참여하는 팀원들끼리는 서로의 판단을 신뢰하고 있기 때문에, 내가 별로라고 생각했던 지원자도 다른 사람이 매우 긍정적으로 평가한다면 한 번 더 볼 의지가 있다.

어떤 사람을 원하는지 확실히 하기 (근데 빨리 하기)

• 좀 구린 비유를 하자면 소개팅을 주선한다고 치자. 어떤 사람이 좋냐고 물었을 때 그냥 뭐 다 괜찮아 라고 두루뭉술하게 대답하는 친구보다는 나는 키 xx 이상 나랑 비슷한 업계 다니는 사람 만나고 싶어 라고 말하는 친구가 더 시켜주기 쉽다. 그리고 실제로 만나서도 빠르게 아 내가 원한 건 이런 사람이 아냐 하고 그만 만날수록 양측이 편하다. 채용도 딱 그런 것 같다.
• 어떤 사람을 원한다의 문제는 이 분이 실제로 팀에 들어 왔을 때 어떤 일을 하기를 원하는지와도 직결된다. 빠르게 실무에 적응해서 일손을 줄여줄 사람을 원할 수도 있고, 기존 인원들이 하지 못했던 새로운 방법으로 기존에 산재해 있던 문제를 해결해 줄 사람을 원할 수도 있다. 아니면 가장 간단하게 이미 있던 구성원이 나가서 그 사람이 하던 일을 대체해 줄 사람을 원할 수도 있다.
• 물론 무슨 일을 맡겨도 다 잘하는 올라운더를 뽑고 싶어! 라고 할 수도 있지만 세상에 그런 지원자가 얼마나 있겠어요. 모든 사람은 강점과 약점이 있고 강점이 우리 팀 빈 자리에 맞아야 함.
• 어떤 사람을 원하는지는 당연히 미리 공고 JD에도 일부 표현이 되어 있어야 하고 팀 내부에도 협의가 있어야 한다. 채용 전형이 뒤로 갈수록 점점 구체적으로 지원자가 그런 사람인지 검증하고, 사실 마지막에는 지원자에게도 우리가 원하는 것이 어느 정도 전달이 되어야 한다(채용 전형은 지원자도 우리를 평가하는 과정이기 때문에).
• 아무리 훌륭한 지원자라 한들 지금 우리가 원하는 목적과 맞지 않으면 서로에게 시간낭비인데, 이걸 전형이 많이 진행되기 전에 빨리 깨달을수록 좋다.
  • 개인적으로 내가 어려웠던 것은 1) 우리 팀에서 필요한 사람이 딱 한 가지 유형이 아니고 2) 전형이 더 진행되기 전에 이 지원자가 어떤 유형인지를 명확히 파악하기가 어렵기 때문이다. 면접 보기 전에 면접관들이 모여서 제일 먼저 하는 말이 이 분 (만약 입사한다면 팀 내에서) 어떤 역할로 생각하세요? 인데 그것에 답하기가 항상 쉽지는 않다.

서류와 과제

• 최소한 서류나 과제에 한해서는 평가 기준을 세우고 결과를 정량화하는 게 도움이 된다. 우선 정량화할 기준을 세우기 위해서 팀원들이 모여서 논의를 하는 과정에서 앞서 말한 우리가 어떤 사람을 원하는지가 구체적으로 정립이 되어서 좋다. 정리가 되고 나서부터는 해당 기준에 따라서 평가를 하고 합불을 결정하는데, 체크리스트를 체크하는 수준이기 때문에 그냥 이 사람 이러저러해서 합격시키자 하고 의견을 내는 것에 비해 사실상 인지적인 자원도 훨씬 덜 들어간다.
• 과제를 보는 이유는 과제를 통해 생각보다 정말 많은 것들을 알 수 있기 때문이다. 기본적으로 분석/코딩 역량이 되는지 스킬 수준의 능력부터 논리적인 전개나 문서 전달력까지 볼 수 있으므로 면접 때 기초적인 기술 역량을 검증하는 데 시간을 덜 쓸 수 있다.
• 다만 어떤 과제(문제)가 좋은 과제이냐에 대해서는 아직까지도 고민이 많다. 다시 어떤 사람을 원하는지로 돌아가서, 팀별로 과제도 목적에 맞게 출제가 되어야 한다. 출제 시에 trade-off가 발생할 수 있는 부분은 과제 문제나 지시문이 구체적이고 명확할수록,
  • (+) 지원자가 과제를 포기할 확률이 낮고 (잘 설계되었다면) 우리가 보고자 하는 걸 볼 수 있다.
  • (-) 지원자 스스로 문제 정의를 하고 분석을 설계하는 능력을 보기는 어려울 수 있으며 모든 과제 결과물이 찍어낸 듯 천편일률적인 슬픈 상황을 맞닥뜨릴 수도 있다.

면접

• 모든 면접 전에는 면접관들이 모여서 이 지원자 분에게 어떤 내용이 궁금한지(어떤 질문들을 할지) 정리하고 들어간다. 하지만 그 전에도 이미 주로 물어보는 질문 리스트와 흐름이 정해져 있으면 좋다. 면접이야말로 상황과 지원자에 따라 변수가 많은 영역이고, 그냥 꼬리물기 질문으로 30분이 지나갈 때도 있지만.
• 다음은 그냥 면접 보면서 내가 느낀 점과 고민들이다.
  • 기본적인 것은 어느 정도까지 물어봐야 하나?
    • 다른 거 물어볼 거 많은데 너무 많이 시간 쓰면 낭비 아닌가 싶지만 놀랍게도 가끔 이력서에 XX(진짜 기본 ML 지식이 있으면 아는 모델)를 사용해서 프로젝트를 했다고 썼는데 XX가 뭔지 설명해 달라고 하면 설명 못하시는 분이 있다.
    • 그리고 당연히 알 것 같은 개념이나 모델이라도, 질문을 함으로써 지원자 분의 설명하시는 능력을 볼 수 있다. 나는 이 개념을 제가 통계알못이라고 치고 저한테 설명해주세요 라는 질문도 종종 한다. 왜냐면 실제 우리의 고객은 대부분 통계알못이므로..
  • 긴장 풀어드리기
    • 내가 잘 못하는 영역으로 거의 한번도 적극적으로 해본 적은 없다. 약간이라도 웃음 포인트가 생길 때 최대한 웃어드리기가 끝…
    • 가끔 신입 면접인 경우 너무 긴장하시는 경우가 있는데, 같이 들어간 면접관 분들이 이걸 잘하시는 걸 보면 배워야지 한다. 지원자 분이 긴장해서 해야 할 말도 못하시고 충분히 능력을 표현하지 못하면 우리도 손해이다.
  • 면접의 목적이 뭘까
    • 서류와 과제를 통해 이미 내 머릿속에 어느 정도 파악된 지원자의 특성이 있고, 그 특성이 좋으니까 면접을 보기로 한 것이다. 이제 면접은 그걸 뒷받침하는 근거를 얻을 수 있는 자리이다. 면접관이 그 근거를 잘 파낼 수 있는 질문을 던지도록 노력하고 지원자가 앞선 전형과 일관성 있는 모습을 보여준다면 면접이 어느 정도 잘 흘러간다고 생각한다. 일관성 있는 모습이라면 예를 들어 이런 건데, 지원자가 서류에 나는 꾸준하게 새로운 걸 학습하는 사람이라고 적었다면 최근에 공부한 거 뭐 있어요? 소개해주세요 라는 질문에 뭐라도 답이 나와야 한다.
  • 커뮤니케이션
    • 오직 면접에서만 검증할 수 있는 능력이다. 우선 질문이 오고 갈 때 막히는 구석 없이 매끄럽게 흘러가는지가 중요한데(질문의 요지를 잘 파악하고 적절한 대답을 하는지), 당연히 모든 말을 아무 버벅거림 없이 서로 알아듣기란 어려울 것이다. 질문을 잘 못 알아들었다면 다시 한 번 말해달라고 하거나 내가 이렇게 이해한 게 맞는지 되묻는 것 아주 좋다. 업무를 할 때도 그렇게 해야 하기 때문이다(못 알아들었는데 대충 알아들은 척 답변하는 것 = 그렇게 일을 진행해버리면 보통 망함).
    • 그리고 이력서 상에 있는 내용에 대해 어떻게 진행했고 어떤 역할을 했는지 설명해달라고 했을 때 그 내용 자체만큼이나 어떤 방식으로 설명하는지를 보는 것도 중요하다. 너무너무 당연한 소리지만 우리 팀 아니라 세상의 어떤 회사에서도 분석가라고 분석만 하는 경우는 없기 때문이다. 분석한 내용을 설명해야 하고, 설명을 잘 해서 남들을 설득해야 하는데, 보통 그 남들에는 내가 개떡같이 말해도 찰떡같이 알아듣는 같은 분석가 동료만 있는 것이 아니고 나에겐 간단한 용어조차 익숙하지 않은 다른 직군의 사람이나 봐야 할 프로젝트가 오백 개라 내 작은 프로젝트에 쏟을 시간은 별로 없는 상위 리더 등이 포함되어 있으므로 사실 핵심적인 능력이라 할 수 있겠다.
  • ‘바람직한’ 답변
    • 흔히 말하는 social desirabilty가 엄청 높으신 분들이 있다. 물론 지원자라면 당연히 면접관이 원하는 대답을 하고 싶어 한다. 나라도 그럴 것 같다. 하지만 정말 분석가로서의 성향이나 선호, 커리어의 지향을 묻는, 답이 정해져 있지 않은 질문에서 모조리 그런 방향으로 대답하는 건 좋지 않다. 그걸로 그 분이 별로라고 생각한다는 게 아니라, 질문을 아무리 해도 알아낼 수 있는 게 별로 없어서 좋지 않다는 것이다.
    • 물론 쪼렙 면접관인 나의 스킬 탓일 수도 있다. 이 분에 대해서는 이걸 꼭 검증하고 싶다는 내용이 있을 때 그걸 안 들키고(?) 알아내기가 참 어렵다. 예를 들어 우리는 A를 하는 사람을 원하는데 상대방이 B 쪽에 흥미가 있고 강점이 있는 사람인 것 같아서 조금 걸린다고 치면, 최악은 이런 질문인 것 같다. B 쪽을 주로 해오셨고 재밌다고 하셨는데 뭐 다른 것들도 있잖아요, A 도 있고… 어떤 게 더 중요하다고 생각하세요? 그러면 조금이라도 눈치가 있는 사람은 바로 A 좋죠 라는 식으로 방향을 틀어버리고 어디까지가 그 분의 진짜 생각인지를 알 수가 없다. 지원자가 (B는 알겠고) A도 잘 할 줄 아는 사람일지 궁금해! 라는 내 목적을 전혀 달성할 수 없는 것이다.
  • 마지막 질문 타임
    • 당연히 모든 면접 끝에는 지원자 분에게 면접관들에게 궁금한 걸 물어봐 달라고 한다. 이 시간은 지원자 입장에서 회사와 팀에 대해 궁금한 걸 알아갈 수 있을 뿐더러 본인의 관심이나 능력까지도 어필할 수 있는 시간이라고 생각한다.
    • 일단 질문을 하나 정도 의례적으로 하시고 더 궁금한 게 없다고 하시면 확실히 좀 아쉽다. 아니 데이트를 해도 나만 상대방한테 계속 물어보면 얜 나한테 관심이 없구나 이건 글렀구나 하지 않겠나. 이럴 땐 사실 진짜 궁금한 거 더 없으세요? 해도 될 법하지만, 이 단계에 와서 면접 결과까지 뒤집히기는 어렵기 때문에 여러 이유로 굳이 그렇게는 안 하는 듯.
    • 질문의 내용이라고 치면 가장 기본적인 게 입사해서 할 일이 어떤 일이고 어떤 환경(팀 구성, 데이터나 인프라, 업무 체계나 방식 등)일지가 있는데, 이런 질문을 신입일수록 많이 안 하신다. 당연히 궁금할 내용인데 왜 안 하시는지 의문이다.
    • 그 외에도 우리 도메인에 대한 나름의 생각이나 고민을 하시고 그것에 대해 우리 의견을 물어보는 분들이 종종 계신데 그 자체로 1) 그만큼 진짜 이 일에 관심이 있다 2) 이 정도까지 고민할 수 있는 사람이다를 보여주는 것이라서 좋게 보인다.
    • 이 시간에 면접 자체나 지원자로서 본인에 대한 피드백을 달라고 하는 건 뭐 할 만한 질문이라고 생각하지만, 개인적으로 앞으로 분석가가 되기 위해 어떤 걸 공부하고 준비하면 좋겠는지를 물어보는 건 상황에 적절한 질문인지는 잘 모르겠다. 물론 물어보시면 답은 해 드린다.