가능성의 문을 열어가는 방법

｜WORK ①새로운 프로젝트 시작 4월부터 0.5는 기존 프로젝트에, 0.5는 새로운 프로젝트에 참가하게 되었다. 새 프로젝트는 라인야후 그룹사중 하나인 B2C 커머스 기업의 데이터 분석 프로젝트인데, 광고 효과를 측정하는 레포트 운영을 담당하게 되었다. 주 업무는 빅쿼리에 적재된 각 배너 광고의 데이터를 ETL툴로 가공한 뒤, 가공한 데이터로 엑셀 레포트를 작성하여 고객에게 제공하는 것이다. 사실 4월에 딱 만 2년을 채우고 3년차가 되기도 했고, 상반기에는 조금 더 챌린징한 업무를 할 수 있으면 좋겠다고 생각했는데, 담당하게 된 업무는 회사 사정상 담당하게 된 루틴 워크라서 약간 김빠지긴 했지만.. 루틴워크이긴 해도 지금까지 경험해 본 적 없는 대규모 B2C 커머스의 데이터를 직접 다룰 수 있는 좋은..

현재 담당하고 있는 데이터 마트 설계나 태블로를 이용한 대시보드 구축 업무와 가장 맞닿아 있어서 재미있게 읽은 파트였다. 도서명 / 저자 : 빅데이터를 지탱하는 기술 / 니시다 케이스케 2-3 애드 혹 분석과 시각화 도구 | 대시보드 도구 - 정기적으로 집계 결과를 시각화하기 대시보드 도구와 BI도구의 차이는 엄밀하지 않음 대시보드 도구 : 새로운 그래프 추가 등을 중시 -> 정해진 지표의 일상적 변화 모니터링 하고 싶은 경우, 정기적 업데이트가 요구됨 BI도구 : 대화형 데이터 탐색 중시 -> 그래프 클릭하여 상세 표시로 전환, 집계의 기반이 되는 로우 데이터 표시 등, 시간 들여 데이터를 보고 싶은 경우 | 데이터 마트는 필요 없어질까? 컴퓨터의 성능 향상으로 데이터 마트 만들지 않아도 되는 경우가 ..

현재 업무 내용과 가장 연관도가 높은 챕터라 아는 부분은 스킵하고 모르는 내용 위주로 읽었다. 도서명 / 저자 : 빅데이터를 지탱하는 기술 / 니시다 케이스케 2-1 크로스 집계의 기본 | 트랜잭션 테이블, 크로스 테이블, 피벗 테이블 크로스 테이블 (Cross table) : 행과 열이 교차하는 부분에 숫자 데이터가 입력되는 형식 데이터베이스에서는 다루기 어려운 데이터 형식 ex) 엑셀, 스프레드 시트 트랜잭션 테이블 (Transaction table) : 행 방향으로만 증가하고 열 방향 데이터는 증가하지 않는 형식으로 작성 크로스 집계 (Cross tabulation) : 트랜잭션 테이블 -> 크로스 테이블 변환 피벗 테이블 (Pivot table) : 스프레드 시트에서 소량의 데이터를 크로스 집계 ..

지금까지 어사인된 프로젝트에서는 태블로를 이용한 시각화 업무를 메인으로 진행해왔는데, 2023년 하반기 새롭게 어사인된 프로젝트에서 시각화와 더불어 데이터 마트를 설계하는 업무도 하게 되었다. 고객사의 데이터 팀과 협업하고 소통해야하는 상황이 늘어났기 때문에, 업무를 더 원활하게 진행하기 위해 이 책을 읽기 시작했다. 현재 업무와 관계도가 높은 챕터 -> 낮은 챕터 순으로 내용을 정리할 예정이다. 여담이지만, 일본에서 데이터 관련 직종에 종사하는 사람으로서 원문은 어떤 단어로 쓰였을지 생각하면서 읽는 것이 재미있었다. 도서명 / 저자 : 빅데이터를 지탱하는 기술 / 니시다 케이스케 1-3 스크립트 언어에 의한 특별 분석과 데이터 프레임 | 데이터 프레임, 기초 중의 기초 데이터 프레임이란? 표 형식의 데..