데이터 분석가로 취업한 이후의 현실과 난관 극복기

외부기관으로부터 데이터를 전달 받게 된 계기

내가 회사에 데이터 사이언티스트로 채용 되고 나서 알게 된 사실은, 우리 회사에는 사실 분석할 데이터가 없다는 것이었다. 의외로 실제로 이런 일이 종종 있다고 한다. 데이터 분석가를 채용하면서 면접 볼 때에는 그 회사에 데이터가 다 축적이 되어있다고 하고서는 나중에 입사해서 실제로 알고보면 데이터가 없는 말도 안되는 경우이다. 그나마 희망적이었던 것은 우리회사와 관련있는 다른 외부 기관으로부터 데이터를 전달받아 이를 분석하여 제품 품질관리에 사용할 수 있는 기회가 있었다. 나는 팀장님께 말씀드려 해당 프로젝트를 맡고 싶다고 자원했고, 팀장님께서는 승낙 해 주셨다. 하지만 난관의 시작은 그때 부터였다. 외부 기관의 직원들은 협업을 원하지 않았다. 그 프로젝트는 그들의 업무 성과로 인정받지 못하기 때문에 그들의 입장에서는 그 프로젝트를 할 동기부여가 전혀 되어있지 않고 비협조적이었다. 하지만 나는 결국 몇차례의 시도 끝에 해당 기관의 임원분의 도움을 받게 되어 그 기관의 매출과 고객확보에 도움이 될 만한 구체적인 분석 요청사항을 듣게 되었다. 분석 요청사항은 구두로 들은것이었고 매우 간략했기 때문에 이를 연구 목적 및 방법으로 구체화하여 문서화 하는 작업을 했고 이를 그 임원분께 컨펌 받았다.

애자일한 업무처리의 필요성

외부 기관의 엑셀형식의 데이터에는 개인 민감정보가 포함되어 있으며 수많은 폴더에 엑셀 파일이 흩어져 있기 때문에 이를 일일이 클릭하여 민감정보를 지우는 것이 불가능한 이슈가 발생했으며 이는 내가 직접 처리하기에는 내 능력 밖의 일이었다. 이에 팀내 인력을 활용해서 민감정보를 자동으로 암호화 하고 흩어진 엑셀파일을 하나의 DB로 통합하는 프로그램을 제작하도록 요청했다. 엑셀 파일들이 워낙 형식이 다양하여 통합하기 쉽지 않았지만, 많은 시행 착오 끝에 프로그램을 완성하여 데이터 분석을 시작 할 수 있었다.

 

그 프로그램이 개발되는 긴 기간 동안에도 데이터를 확보하지 못한다는 이유로 아무것도 못하고 있을 수 만은 없었다. 실제 데이터를 못본다면 시뮬레이션 해서라도 분석에 필요한 코딩을 미리 하는것이 좋아보였다. 나중에는 이 프로젝트의 마감기한이 예상치 못하게 앞당겨졌음에도 불구하고, 이렇게 미리 코드를 시뮬레이션 된 데이터를 기반으로 작성을 한 것 덕분에 빠른 시일 내에 마감기한을 지켜 데이터 분석을 마무리 할 수 있었다. 데이터를 분석하면 그것으로 끝나는 것이 아니라 실제로 의사 결정을 해야 하는 인사이트를 도출해야 한다. 나는 외부 기관에서 매일 사용되는 장비 신호의 이상치를 분석하고 공통적으로 이상치에서 나타나는 패턴을 찾아 특정 장비의 특정 파트에서 이상 신호가 많이 발생하는 것을 알게 되어 해당 기관에 그 장비를 체크해 볼 것을 권장했다. 그리고 그 외부 기관에서 요구했던 품질관리 지표 산출 방식 알고리즘을 개발하여 그 알고리즘이 외부 기관에서 제공한 실제 데이터에 잘 부합함을 설명 하여 이러한 지표를 사용할 것을 제안했다. 이러한 내용을 담은 최종 보고회는 성공적이었고, 임원분은 매우 만족해 하며 이를 다음 해에 더 확장하여 진행할 것을 제안해 주었다. 데이터 분석가로서 더 빛을 볼 수 있는 기회가 열리게 되어 뿌듯하고 기뻤다.

프로젝트 추진 시 협업의 중요성

하지만 내가 있던 회사에서는 예상치 못한 조직개편으로 인해 내가 속한 팀에서 확장된 프로젝트를 더이상 하지 못하고 다른 업무를 맡게 되고 이를 다른 팀에 넘겨야 할 상황에 처하게 되었다. 팀장님께서도 이에 대해 안타까워하며 내가 직접 내가 속한 조직의 임원을 설득하여 조직개편이 되더라도 계속 그 일을 할 수 있게 설득 해볼 것을 권유했고 나는 그러기로 했다. 외부 기관에서 요청한 주제 외에도, 내가 속한 팀에서 계속 이 프로젝트를 진행하지 않았을 경우 회사에서 발생할 수 있는 리스크에 초점을 맞춰 추가적으로 분석을 했고, 이를 바탕으로 임원을 설득했다. 거기에 외부기관의 임원분까지 내가 속한 조직의 임원분을 설득 하여 정식으로 회사의 사업 계획서에 포함되게 되었다.

물론 이 프로젝트를 이끈 것은 나였지만, 나만의 노력으로 얻은 성과는 결코 아니었고 팀원간의 협업의 중요성에 대해 알게 되었다. 실력있는 팀원들이 프로젝트에 필요한 코딩을 연구 주제별로 맡아 진행하고, 매일 스크럼 미팅을 통해 나를 포함한 모든 팀원들이 같은 페이지에 있는지 공유하고 확인했다. 그리고 외부 기관의 임원분께서도 이 프로젝트를 이끌어 주신 덕분에 여기까지 올 수 있었다. 결국 대외적으로는 외부 기관, 대내적으로는 팀원간의 협업이 원활하게 되었기 때문에 프로젝트를 마치고 성공적으로 올해에 해당 프로젝트를 더 확장하여 더 많은 데이터를 분석 할 수 있게 된 것이다.