Educational Technology/Learning Analytics

학습분석학의 이해 | 1. 빅데이터

토마토. 2021. 11. 6. 22:40

빅데이터란?

 

 

  • 4차 산업혁명과 함께 회자되기 시작한 '핫한' 용어
  • 빅데이터는 3V를 이용해서 정의한다.
    • Volume 크기
    • Variety 다양성
    • Velocity 속도
빅데이터란, 데이터의 크기 Volume, 다양성 Variety, 속도 Velocity 측면에서 방대하고, 정제되지 않은 다양한 데이터가 실시간으로 생성되는 것이다(Ward & Barker, 2013).

 

 

등등 다양하다.

 

빅데이터의 특성

  • 빅데이터 자체의 특성을 표현하는 V3(Volume, Velocity, Variety)에서
  • 빅데이터를 관리, 분석하는 과정까지를 포괄하기 위해 다음 3가지 V가 추가되었다.
    • Veracity 비정형성
    • Verification 검증과 보안
    • Value 가치 지향성

 

  • 즉, 빅데이터
    • 규모가 크고, 형태가 다양하고, 빠른 속도로 생성되는 특성을 갖기 때문에→ 비정형 데이터를 마이닝하는 기술
    • → 검증, 보안에 대한 정책/처리과정을 필요로 한다.
    • 궁극적으로 개인, 조직, 사회에서 필요로 하는 가치를 형성하기 위한 개념으로 이해해야 한다.

 

빅데이터의 유형, 분석 기법

 

빅데이터의 유형

빅데이터는 데이터의 정형성 측면에서 정형, 비정형, 반정형으로 구분된다.

빅데이터의 유형(정형, 비정형, 반정형).
https://www.selecthub.com/big-data-analytics/types-of-big-data-analytics/
https://www.researchgate.net/figure/Unstructured-semi-structured-and-structured-data_fig4_236860222
  1. 정형 structured data데이터베이스, 스프레드시트처럼 필드로 구분된 테이블 형태의 데이터
  1. 비정형 unstructured data이미지, 동영상, 웹페이지/온라인 포럼/블로 등에서 생성되는 데이터 등
  1. 반정형 semi structured data데이터 구성 요소를 어느 정도 식별할 수 있는 데이터

 

빅데이터의 처리 워크플로우

https://www.inforcehub.com/2017/07/end-to-end-data-analytics/데이터
수집 data collection
데이터 최초 생성지 → API Application programming Interface → 데이터 저장
  1. 데이터 저장 및 처리 store and processing
  1. 데이터 분석데이터의 유형에 따라 분석 기법이 달라진다.
    • 텍스트 마이닝 - NLP 등
    • 오피니언 마이닝 - 평판분석
    • 소셜네트워크 분석
    • 클러스터 분석
  1. 데이터 시각화 및 응용

 

 

x-special/nautilus-clipboard
copy
file:///home/tomato/Pictures/Screenshot%20from%202021-11-06%2022-47-22.png