터칭 데이터

빅데이터의 정의와 예 빅데이터란 무엇이며 어떤 예들이 있는가? 빅데이터의 정의 1 “서버 한대로 처리할 수 없는 규모의 데이터” 2012년 4월 아마존 클라우드 컨퍼런스에서 아마존의 data scientist인 존 라우저(John Rauser)가 내린 정의 분산 환경이 필요하느냐에 포커스 판다스로 처리해야할 데이터가 너무 커서 처리가 불가능하다면 어떻게 할 것인가? 빅데이터의 정의 2 “기존의 소프트웨어로는 처리할 수 없는 규모의 데이터” 대표적인 기존 소프트웨어 오라클이나 MySQL과 같은 관계형 데이터베이스 분산환경을 염두에 두지 않음 Scale-up 접근방식 (vs. Scale-out) - 메모리 추가, CPU 추가, 디스크 추가 빅데이터의 정의 3 4V (Volume, Velocity, Varie..

Contents 1. 빅데이터 정의와 예 2. 빅데이터 처리가 갖는 특징 3. 하둡의 등장과 소개 4. YARN의 동작 방식 5. 맵리듀스 프로그래밍 소개 6. 하둡 설치와 맵리듀스 프로그래밍 실습 7. Spark 소개 8. Spark 프로그램 실행 옵션