Data Engineering
[강의] 15일간의 빅데이터 파일럿 프로젝트 - 섹션 3.파일럿 프로젝트 환경 구성 (~3.4 VM 통합 환경 구성)
1. 파일럿 프로젝트 도메인의 이해프로젝트 진행의 기본: 구축할 시스템에 대한 도메인과 도메인에 해당하는 유스케이스 이해 (= 무엇을 하는 시스템이고, 어떤 프로세스를 통해 사용자에게 가치를 만들어내는가?)파일럿 프로젝트 도메인: 스마트카 서비스구성IoT 센서, 차량 상태 정보 실시간 생성중앙 빅데이터 시스템에서 수집, 적재, 처리, 탐색 및 응용 단계를 거쳐 운전자에게 스마트카 서비스로 제공됨➡ 스마트카에서 발생하는 수많은 데이터로부터 가치와 통찰력을 찾기 위한 빅데이터 시스템을 파일럿 프로젝트로 진행핵심 요구사항 1차량의 다양한 장치로부터 발생하는 **로그 파일**을 **수집**해서 기능 별 상태를 점검한다.데이터 특징데이터 발생 위치: 100대의 시범 운행 차량발생 데이터 종류: 대용량 로그 파일..
