killog

쿠버네티스 패턴 4장. 정상 상태 점검 정상 상태 점검(health probe pattern) 은 애플리케이션이 쿠버네티스와 정상상태 여부를 통신하는 방법에 관한 패턴이다. 쿠버네티스가 클라우드 네이티브 애플리케이션의 실행여부와 , 요청 처리 준비 상태 여부를 감지할 수 있어야함. 클라우드 네이티브 애프리케이션은 애플리케이션 상태를 유추 가능하도록 잘 관측될 수 있어야함. 이러한 관측은 파드의 수명주기 관리 및 트래픽이 애플리케이션으로 라우팅되는 방식에 영향을 준다. 문제 애플리케이션이 예상대로 작동중이며, 컨슈머에게 서비스를 제공할 수 있는 지 여부를 확인할 방법이 필요하다. 이상: 쿠버네티스는 컨테이너 프로세스의 상태를 주기적으로 확인하고, 문제가 감지되면, 컨테이너를 다시 시작한다. 현실: ( JV..

4장. 레플리케이션과 그 밖의 컨트롤러 : 관리되는 파드 배포 pod 가 있고 이걸 죽으면 다시 재생시키겠다 : 레플리카셋, 레플리카 컨트롤러(웹서버같은 친구들) pod 가 있는데요 작업 끝나면 죽이거나 작업 크론잡을 돌려요 : 잡, 크론잡 pod 가 있는데요 노드당 한 대 씩 배정 : 데몬셋(로그 , 프로메테우스) (개인 의견: 에어플로가 레플리카셋 , airflow 위에 태스크들은 잡 형태가 되지 않을까,,) 4.0 다루는 내용 파드의 안정적인 유지 동일한 파드의 여러 인스턴스 실행 노드 장애시, 자동으로 파드 재스케줄링 파드의 수평스케줄링 각 클러스터 노드에서 시스템 수준의 파드 실행 배치 잡 실행 잡을 주기적으로, 또는 한번만 실행하도록 스케줄링 파드 : 배포 가능한 기본 단위 파드를 수동적으로 ..

채택 사유 HDFS는 구글이 2003년에 발표한 **Google File System (GFS)**을 클론한 것이다. 그래서 이 논문이 얼마나 위대한지! 한번 리뷰해보고 싶었다. HDFS: Hadoop File System은 대용량 데이터를 저장하기 위한 분산 파일시템이다. 거대한 데이터를 여러 컴퓨터에 나누어 저장하는 파일시스템 레이어를 제공하여 데이터의 양이나 시스템의 연산 능력에 선형확장성을 부여한다. 온라인 논문 링크 https://storage.googleapis.com/pub-tools-public-publication-data/pdf/035fc972c796d33122033a0614bc94cff1527999.pdf 정리 Abstract 우리는 대규모 분산 데이터 집약적인 애플리케이션을 위한 확..

라섹수술한지 얼마 안돼서 도무지 pc 로 할 엄두가 나지 않아 수기로 작성했습니다.

2. 도커와 쿠버네티스 첫 걸음 학습목표 도커를 사용한 컨테이너 이미지 생성, 실행, 공유 로컬에 단일 노드 쿠버네티스 클러스터 실행 구글 쿠버네티스 엔진에서 쿠버네티스 클러스터 설치d kubectl CLI 클라이언트 설정과 사용 쿠버네티스에서 애플리케이션의 배포와 수평스케일링 2.1. 도커를 사용한 컨테이너 이미지 생성, 실행, 공유하기 쿠버네티스는 워커노드를 하나의 플랫폼으로 제공 워커 노드들은 파드 조합들로 구성, 파드(1개 이상의 컨테이너 그룹) https://kubernetes.io/ko/docs/concepts/workloads/pods/ 도커 : 컨테이너화할 수 있는 가상화 플랫폼 2.1.1. HelloWorld 컨테이너 실행 도커 설치: https://www.docker.com/get-st..

항상 참고할만한 문헌 전체 소스코드와 yaml 매니페스트는 https://github.com/luksa/kubernetes-in-action 쿠버네티스 웹사이트: https://kubernetes.io 쿠버네티스 블로그 : http://blog.kubernetes.io 쿠버네티스 커뮤니티 슬랙 채널 : http://slack.k8s.io 쿠버네티스와 클라우드 네이티브 컴퓨팅 재단(CNCF) 유투브 채널 http://www.youtube.com/channel/UCZ2bu0qutTOM0tHYa_jkIwg http://www.youtube.com/channel/UCvqbFHwN-nwalWPjPUKpvTA 쿠버네티스가 오픈소스인만큼 쿠버네티스의 소스 자체에 풍부한 정보가 있다. 소스코드는 https://gith..

이 장에서는 스파크에서 사용가능한 여러 유형의 집계 연산에 대해 알아보았다. 그룹화, 윈도우함수, 롤업, 큐브도 알아보았다. 집계 연산¶집계(aggregation)은 빅데이터 분석의 초석입니다. 집계를 수행하려면 key와 group을 지정하고, 하나 이상의 칼럼을 변환하는 방법을 지정하는 집계함수를 사용합니다. Spark는 모든 데이터 타입을 다루는 것 외에도 다음과 같은 그룹화 데이터 타입을 생성할 수 있습니다. 가장 간단한 형태의 그룹화는 select 구문에서 집계를 수행해 DataFrame의 전체 데이터를 요약한다. group by는 하나 이상의 키를 지정할 수 있고, 값을 가진 컬럼을 변환하기 위해 다른 집계함수를 사용할 수 있다. 윈도우(window)는 하나이상의 키를 지정할 수 있고, 값을 가..

다양한 데이터 타입 다루기¶이 장에서는 스파크의 구조적 연산에서 가장 중요한 내용인 표현식을 만들고, 다양한 데이터 타입을 다루는 방법에 대해 알아봅시다. 불리언 타입 수치 타입 문자열 타입 date와 timestamp 타입 null값 다루기 복합 데이터 타입 사용자 정의 함수 API는 어디서 찾을끼?¶나중에 버전이 바뀌고 바뀌어도, Spark의 데이터 변환용 함수를 찾기 위해 핵심적으로 다뤄야할 부분은 다음과 같습니다. DataFrame(Dataset) 메서드 Column Method In [77]: df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("./data/retail-data/by-d..