터칭 데이터

클러스터 생성 AWS의 신규회원으로 가입해 $300의 무료 크레딧을 받을 수 있는 사용자를 기준으로 설명합니다. 먼저 AWS에 회원가입을 진행합니다. 우측 상단에서 사용할 서버의 지역을 선택할 수 있습니다. 미국이 오리곤이 저렴하다고 하지만 저는 최대한 강의 내용을 따라가기 위해 서울로 선택했습니다. 그리고 서비스 검색에서 Redshift를 검색해 선택합니다. 네임스페이스, IAM 그 어떤 것도 손대지 않고 초기 선택된 디폴트 옵션으로 Serverless 클러스터를 생성했습니다. 이제 콘솔 홈에서 생성한 클러스터를 방문하여 무료 평가판의 크레딧이 얼마나 남았고 언제 만료되는지 확인할 수 있습니다. Google Colab 연동 Serverless 대시보드에서 작업 그룹을 클릭합니다. 편집을 눌러 퍼블릭 액..

Redshift: Scalable SQL 엔진 Amazon Redshift는 Amazon Web Services(AWS)에서 제공하는 완전 관리형, 페타바이트 규모의 데이터 웨어하우스 서비스입니다. Redshift 역시 SQL입니다. Redshift의 특징 (1) 2 PB까지 지원 문제는 2페타바이트에 가까워질수록 성능상에 문제가 발생합니다. 이론상 최대 용량이라고 생각하시는게 좋습니다. Still OLAP 데이터 웨어하우스가 그렇듯 응답속도가 아닌 데이터 크기에 집중했으므로 프로덕션 데이터베이스로는 사용 X Columnar storate 기존의 프로덕션 데이터베이스는 행별로 데이터가 추가되었습니다. 반면에 Redshift는 컬럼별 압축이 가능합니다. 덕분에 컬럼을 추가, 삭제와 쿼리 실행이 아주 빠르며..

클라우드 쉽게 말하면 아마존, 마이크로소프트, 구글과 같은 다른 업체가 이미 준비해둔 컴퓨터를 네트워크(인터넷 등)를 이용해 언제 어디서나 사용할 수 있는 서비스입니다. 클라우드의 키워드는 2가지가 있습니다. "No Provisioning" 준비할 필요 없다. "Pay As You Go" 사용한 만큼만 지불하라 덕분에 클라우드 클라이언트는 서버를 직접 구매 및 구축할 필요가 없고 트래픽량에 따른 컴퓨터 리소스를 유연하게 조절할 수 있습니다. AWS 트래픽이 가장 치솟는 블랙 프라이데이, 사이버 먼데이 기준으로 구축한 서버가 평시에 놀게 두지 않고 필요한 개발자에게 임대 제공하기 시작했던 것이 시초입니다. AWS는 Amazon Web Services의 약자로, 아마존닷컴이 제공하는 클라우드 컴퓨팅 서비스 ..

데이터 웨어하우스 데이터 웨어하우스: 회사에 필요한 모든 데이터를 저장 여전히 SQL 기반의 관계형 데이터베이스 프로덕션 데이터베이스와는 별도이어야 함 그래서 회사에 존재하는 모든 데이터를 데이터 웨어하우스에 복사해두고 사용합니다. 서비스 개발자들이 사용하는 프로덕션 데이터베이스와 분리되어있기 때문에 서비스에 지장이 없습니다. OLAP (OnLine Analytical Processing) vs. OLTP (OnLine Transaction Processing) AWS의 Redshift, Google Cloud의 Big Query, Snowflake 등이 대표적 고정비용 옵션 vs. 가변비용 옵션 데이터 웨어하우스는 고객이 아닌 내부 직원을 위한 데이터베이스 처리속도가 아닌 처리 데이터의 크기가 더 중요..

관계형 데이터베이스 (Relational Database Management System) 구조화된 데이터를 저장할 수 있는 것이 핵심입니다. (강점) 비구조화된 데이터를 다루는데 적합하지 않습니다. (약점) 비구조화 데이터를 다룰 수 있는 빅데이터의 부상에도 불구하고 대부분의 데이터는 구조화되어 있으므로 여전히 중요한 핵심 기술입니다. RDBMS는 SQL(Structured Query Language)을 이용하여 데이터를 조회하고 조작합니다. 구조화 데이터 & 비구조화 데이터란? 구조화된 데이터(structured data)와 비구조화된 데이터(unstructured data)는 데이터의 형태와 조직 방식에 따라 구분됩니다. 구조화된 데이터: 이는 정의된 데이터 모델에 따라 구성되며, 일반적으로 데이터..