빅데이터란?
- 4차 산업혁명과 함께 회자되기 시작한 '핫한' 용어
- 빅데이터는 3V를 이용해서 정의한다.
- Volume 크기
- Variety 다양성
- Velocity 속도
빅데이터란, 데이터의 크기 Volume, 다양성 Variety, 속도 Velocity 측면에서 방대하고, 정제되지 않은 다양한 데이터가 실시간으로 생성되는 것이다(Ward & Barker, 2013).
교육에서의 빅데이터에는🤔
Name | Created | Tags |
---|---|---|
전국 학생의 디지털교과서 로그 파일, 성적 데이터 | ||
대학 LMS 내에 쌓이는 데이터 | ||
A기업 임직원의 데이터 - 모바일 러닝 사용 시점, 위치 정보, 직급/직무, 고과, 근무교대시간, 건강검진기록, 점심식사 메뉴 | ||
B 대학 학생 중 학사경고 고위험군 학생의 일 단위 명단 |
등등 다양하다.
빅데이터의 특성
- 빅데이터 자체의 특성을 표현하는 V3(Volume, Velocity, Variety)에서
- 빅데이터를 관리, 분석하는 과정까지를 포괄하기 위해 다음 3가지 V가 추가되었다.
- Veracity 비정형성
- Verification 검증과 보안
- Value 가치 지향성
- 즉, 빅데이터는
- 규모가 크고, 형태가 다양하고, 빠른 속도로 생성되는 특성을 갖기 때문에→ 비정형 데이터를 마이닝하는 기술
- → 검증, 보안에 대한 정책/처리과정을 필요로 한다.
- 궁극적으로 개인, 조직, 사회에서 필요로 하는 가치를 형성하기 위한 개념으로 이해해야 한다.
빅데이터의 유형, 분석 기법
빅데이터의 유형
빅데이터는 데이터의 정형성 측면에서 정형, 비정형, 반정형으로 구분된다.
- 정형 structured data데이터베이스, 스프레드시트처럼 필드로 구분된 테이블 형태의 데이터
- 비정형 unstructured data이미지, 동영상, 웹페이지/온라인 포럼/블로 등에서 생성되는 데이터 등
- 반정형 semi structured data데이터 구성 요소를 어느 정도 식별할 수 있는 데이터
빅데이터의 처리 워크플로우
수집 data collection- 데이터 저장 및 처리 store and processing
- 데이터 분석데이터의 유형에 따라 분석 기법이 달라진다.
- 텍스트 마이닝 - NLP 등
- 오피니언 마이닝 - 평판분석
- 소셜네트워크 분석
- 클러스터 분석
- 데이터 시각화 및 응용
- EX - D3 Data Driven Documents
Uploaded by Notion2Tistory v1.1.0