터칭 데이터

이번 학습에 있어 중점을 두어야할 포인트 K8s의 학습은 어려움! 서버 운영에 관련된 부분이나 순수개발자에게는 쉽지 않음 모든 걸 다 설명하려는 것보다는 아래에 방점을 둘 예정임 왜 필요하고 어떤 기능을 해주는지 그리고 Docker와 어떻게 서로 보완적인 관계인지 이해 (개념적인 이해)하고 기본적인 사용법을 익힌다 수많은 Container Orchestration 툴 중 왜 K8s가 가장 널리 사용되는지 알아보자 Kubernetes (K8s) 소개 (1) 컨테이너 기반 서비스 배포/스케일/관리 자동화를 해주는 오픈소스 프레임웍 구글에서 사용하던 Borg를 서비스를 오픈소스화함 (2015년) 클라우드나 on-prem 모두에서 잘 동작 어느 컨테이너이면 가능하지만 주로 Docker Container들이 대상..

앞서 Docker를 살펴보았는데 Docker Container의 수가 많아지면 어떤 일이 필요한지 살펴보자 다수의 Container들을 잘 관리해보자! 이걸 Container Orchestration이라고 부름 앞서 언급했던 다양한 문제들을 효율적으로 관리하기 위한 도구 DevOps팀의 노가다를 줄이자! Container Orchestration 기능 - 요약 한 클러스터 안에 다양한 서비스들이 공존 DB, Web Service, Backend, … 자원 요청을 받아 마스터가 자원을 할당 다양한 기능 제공: 배포, 스케일링, 네트워크, 인사이트 등등 Container Orchestration 기능 - 소프트웨어 배포 서비스 이미지를 Container로 배포 이상이 감지되면 이전 안정 버전으로 롤백 v1에..

DevOps팀이 겪는 서버 관리의 어려움 복잡한 다수의 서버로 구성된 시스템을 효율적으로 관리한다는 것은 어려운 일이다 관리해야하는 서버의 수가 늘어나면? 어느 서버가 문제가 있는지? 어느 서비스가 문제를 갖고 있는지? 이런 문제들을 얼마나 빨리 알고 해결할 수 있을지? 새로 들어온 사람이나 주니어를 잘 온보딩하려면? 문제들은 밤낮없이 연휴에도 발생 해결방안 1. 문서화 지금 서비스 상황과 셋업 방법 문서화 다양한 문제 발생시 해결 방법 문서화 문서를 현재 상황에 맞게 업데이트하는 것은 엄청난 노력 또한 상황에 따라 의미가 없는 경우도 많음 또 몇백대의 서버를 일일히 관리하고 명령을 실행한다는 것은 거의 불가능 해결방안 2. 문서화가 아닌 코드로 대신 Infrastructure As Code: DevOp..

앞서 배운 Docker에 대해서 정리를 해보자 Docker 관련 용어들 Docker Image Dockerfile Docker Container Docker Hub (hub.docker.com) Docker Compose 다수의 Docker Container들을 관리 docker-compose.yml - Services - Networks - Volumes: host/anonymous/named volumes Docker를 실제 Production 환경에서 사용할 때 유념할 점 Docker volumes Host volume은 보통 개발시 소스코드를 바로 container안으로 마운트하기 위함 (터미널을 2개 띄우고 한쪽은 호스트 파일 시스템으로 코드를 작성하고 다른 터미널에서 결과를 바로 조회하는 식으..

Docker 기반 Airflow 실행 Docker 기반 Airflow 설치 문서 참조 먼저 터미널 프로그램을 실행하고 적당한 폴더로 이동 airflow-setup Github repo를 클론 git clone https://github.com/keeyong/airflow-setup.git airflow-setup 폴더로 이동하고 2.5.1 이미지 관련 yml 파일 다운로드 cd airflow-setup curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml' 다음 2개의 명령을 수행 (이미지 다운로드와 컨테이너 실행) docker-compose -f docker-compose.yaml pull docker-co..

앞서 매뉴얼하게 실행해본 voting application를 docker-compose를 통해 실행해보자 1. Docker 명령 정리와 2장 퀴즈 2. Docker Volume이란? 3. 다수의 Container로 구성된 소프트웨어 실행 4. Docker-Compose로 다수 Container로 실행해보기 5. Airflow Docker docker-compose.yml 리뷰 지난 시간 voting application을 메뉴얼하게 구성하는 실습으로 1~3번을 진행했습니다. 그리고 바로 이전 게시물에서 같은 프로그램을 docker-compose 방식으로 실습하며 4번 과정도 진행했습니다. 이제는 5번 과정에 앞서 4번 실습에서 사용한 yaml 파일 리뷰를 진행하겠습니다. 아까 사용한 docker-comp..

dockerignore와 맥 port 5000 에러 다수의 Container 프로그램 실행하기, Docker-Compose 개념 Docker-Compose로 다수의 Container 프로그램 실행하기 (실습 개요) Docker-Compose로 다수의 Container 프로그램 실행하기 (실습) voting application의 docker-compose.yml 개선하기 Airflow Docker docker-compose.yml 리뷰

앞서 매뉴얼하게 실행해본 voting application를 docker-compose를 통해 실행해보자 1. Docker 명령 정리와 2장 퀴즈 2. Docker Volume이란? 3. 다수의 Container로 구성된 소프트웨어 실행 4. Docker-Compose로 다수 Container로 실행해보기 5. Airflow Docker docker-compose.yml 리뷰 지난 시간 voting application을 메뉴얼하게 구성하는 실습으로 1~3번을 진행했습니다. 이번에는 같은 프로그램을 docker-compose 방식으로 실습하며 4번 과정을 진행하겠습니다. 데모(실습) - 사전 준비 1. git clone https://github.com/learndataeng/example-voting-..

앞서 매뉴얼하게 실행해본 voting application를 docker-compose를 통해 실행해보자 1. Docker 명령 정리와 2장 퀴즈 2. Docker Volume이란? 3. 다수의 Container로 구성된 소프트웨어 실행 4. Docker-Compose로 다수 Container로 실행해보기 5. Airflow Docker docker-compose.yml 리뷰 지난 시간 voting application을 메뉴얼하게 구성하는 실습으로 1~3번을 진행했습니다. 이번에는 같은 프로그램을 docker-compose 방식으로 실습하며 4번 과정을 진행하겠습니다. 바로 이전 게시물에서 Docker-compose 개념을 익혔으니 이제 실습을 해보려 합니다. 그전에 실습의 개요를 설명드리겠습니다. V..

앞서 매뉴얼하게 실행해본 voting application를 docker-compose를 통해 실행해보자 1. Docker 명령 정리와 2장 퀴즈 2. Docker Volume이란? 3. 다수의 Container로 구성된 소프트웨어 실행 4. Docker-Compose로 다수 Container로 실행해보기 5. Airflow Docker docker-compose.yml 리뷰 지난 시간 1~3번을 진행했습니다. 이번에는 4, 5번 과정을 진행하겠습니다. Docker-Compose란 무엇인가? (1) 다수의 Container로 소프트웨어가 구성되는 경우 사용할 수 있는 툴 + 환경설정파일 docker-compose.yml로 설정 여기서 다양한 테스트등도 수행가능 다양한 버전을 만드는 것도 일반적 (dev,..