1. 빅데이터의 개념
1) 빅데이터의 정의
-1 위키백과 : 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 심지어
데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출하고
결과를 분석하는 기술
-2 오라클 : 우리가 매일 사용하는 컴퓨터, 모바일 기기, 기계 센서에서 흐르는 방대한 제타바이트급 데이터로
구성된 정보의 바다
-3 SAP : 우리가 매일 사용하는 컴퓨터, 모바일 기기, 기계 센서에서 흐르는 방대한 제타바이트급 데이터로 구성된
정보의 바다
-4 구글 : 규모와 복잡성으로 인해 많은 비즈니스 인텔리전스 도구에서 관리하거나 분석하기 힘든 조직에서 사용할
수 있는 방대한 데이터
-5 마이크로소프트 : 다양하고 방대하며 빠르게 변화하는 데이터 세트
직관적으로 떠오르는 느낌 "매우 많은 데이터"
대량의 정형화 및 비정형화 데이터를 분석하여 유의미한 가치를 추출하고 결과를 분석하는 기술
* 대량 : 목적을 달성할 만큼의 크기 (일반적 수치로는 수십 테라바이트에서 수 페타바이트)
* 정형화 : 직관적으로 보면 알만한 규칙과 패턴, 그리고 의미를 갖는 데이터
* 비정형화 : 정해진 규칙과 패턴 등이 없는 데이터
2) 빅데이터 특징
-1 초기
(a) Volume (규모) : 가장 기본적인 단순 저장되는 물리적인 데이터 크기 속성
(b) Variety (다양성) : 정형과 비정형 등의 다양한 종류의 데이터를 포함하는 속성
(c) Velocity (속도) : 데이터가 얼마나 빠르게 생성, 저장, 시각화 등이 되는지에 대한 속성
-2 중기 (가치창줄 강조)
(a) Veracity (정확성) : 데이터가 사용할 만한 것인지에 대한 속성
(b) Value (가치) : 비즈니스나 연구 등에서 유용한 가치를 가지는지에 대한 속성
-3 현재 (데이터 자체 이해도)
(a) Validity (정확성) : Veracity와 비슷한 개념이나 물리적 오류보다 논리적 오류에 대한 속성
(b) Volatility (휘발성) : 장기적인 관점에서의 데이터로서의 유지력
-4 미래
(a) Variability (가변성) : 동일한 문장이 SNS 확산에 따라 다른 문맥으로 정의되는 속성
(b) Visualization (시각화) : 중요 정보를 쉽게 이해할 수 있는 시각적 속성
2. 빅데이터와 인공지능
1) 단계별 기법
| 데이터 수집 | 데이터 저장 | 데이터 처리 | 데이터 분석 | 시각화 |
| IoT 센서 데이터 스프레드 쉬트 스크래핑 크롤링 |
파일, DBMS, 하둡 (정형, 반정형, 비정형) |
배치 실시간 분산 |
데이터 마이닝 기계학습 예측분석 시계열 분석 |
정보 시각화 데이터 요약 |
2) 활용 관계
-1 빅데이터 : 분석과 가치 창출의 대상
-2 인공지능 : 데이터의 패턴을 확인하고 예측하여 미래를 대비하는 기술
-3 빅데이터와 인공지능 : 인공지능의 예측력을 높이기 위한 학습 정보
(a) 데이터 생성, 보관, 유통 등의 데이터 관리와 접근성 제고 영역 담당
(b) 빅데이터를 이용하여 향상된 인공지능을 만들고 다양한 분야의 서비스로 탄생
3) 서비스 구현 사례
-1 카카오페이 자산관리
(a) 사용자의 결제 이력, 관심사, 소비 성향 등을 분석하여 맞춤형 카드 추천 서비스
(b) 다양한 자산의 증감 현환 시각화
(c) 서비스 구현 기획
- 서비스 정의 : 사용자의 결제 이력, 관심사, 소비 성향 정보를 이용한 카드 추천
- 데이터셋 : 결제 데이터, 후기글 및 질문답변글, 지불 업체정보, 지불카드 종류
-2 당근마켓 품목관리
(a) 주류, 담배, 동물, 가품 등 거래 금지 품목 설명 게시글 비노출 필터링
(b) 문제 게시글을 자동 인식 및 처리
(c) 서비스 구현 기획
- 서비스 정의 : 거래 금지에 해당하는 품목에 해당하는 설명 게시글은 노출되지 않도록 서비스
- 데이터셋 : 등록일시, 등록사용자, 품목 대분류, 품목 중분류, 품목 세분류, 품목의 설명 데이터, 노출여부
- 데이터셋 수집 : 내부 데이터 및 외부 품목 설명 데이터 (조달청-물품목록제도, 중소벤처기업부-상품정보시스템,
각 제조사)
-3 서비스 발전 방안
(a) 인공지능을 완성하고 보다 예측력이 높은 모델을 위한 빅데이터
(b) 빅데이터 기반 기술의 발전
- 자원활용의 한계를 벗어나기 위한 병렬처리 기술
- 데이터 전송 기술
- 데이터 분산 처리 기술
(c) 인공지능 윤리 발전