killog

쿠버네티스 패턴 4장. 정상 상태 점검 정상 상태 점검(health probe pattern) 은 애플리케이션이 쿠버네티스와 정상상태 여부를 통신하는 방법에 관한 패턴이다. 쿠버네티스가 클라우드 네이티브 애플리케이션의 실행여부와 , 요청 처리 준비 상태 여부를 감지할 수 있어야함. 클라우드 네이티브 애프리케이션은 애플리케이션 상태를 유추 가능하도록 잘 관측될 수 있어야함. 이러한 관측은 파드의 수명주기 관리 및 트래픽이 애플리케이션으로 라우팅되는 방식에 영향을 준다. 문제 애플리케이션이 예상대로 작동중이며, 컨슈머에게 서비스를 제공할 수 있는 지 여부를 확인할 방법이 필요하다. 이상: 쿠버네티스는 컨테이너 프로세스의 상태를 주기적으로 확인하고, 문제가 감지되면, 컨테이너를 다시 시작한다. 현실: ( JV..

4장. 레플리케이션과 그 밖의 컨트롤러 : 관리되는 파드 배포 pod 가 있고 이걸 죽으면 다시 재생시키겠다 : 레플리카셋, 레플리카 컨트롤러(웹서버같은 친구들) pod 가 있는데요 작업 끝나면 죽이거나 작업 크론잡을 돌려요 : 잡, 크론잡 pod 가 있는데요 노드당 한 대 씩 배정 : 데몬셋(로그 , 프로메테우스) (개인 의견: 에어플로가 레플리카셋 , airflow 위에 태스크들은 잡 형태가 되지 않을까,,) 4.0 다루는 내용 파드의 안정적인 유지 동일한 파드의 여러 인스턴스 실행 노드 장애시, 자동으로 파드 재스케줄링 파드의 수평스케줄링 각 클러스터 노드에서 시스템 수준의 파드 실행 배치 잡 실행 잡을 주기적으로, 또는 한번만 실행하도록 스케줄링 파드 : 배포 가능한 기본 단위 파드를 수동적으로 ..

채택 사유 HDFS는 구글이 2003년에 발표한 **Google File System (GFS)**을 클론한 것이다. 그래서 이 논문이 얼마나 위대한지! 한번 리뷰해보고 싶었다. HDFS: Hadoop File System은 대용량 데이터를 저장하기 위한 분산 파일시템이다. 거대한 데이터를 여러 컴퓨터에 나누어 저장하는 파일시스템 레이어를 제공하여 데이터의 양이나 시스템의 연산 능력에 선형확장성을 부여한다. 온라인 논문 링크 https://storage.googleapis.com/pub-tools-public-publication-data/pdf/035fc972c796d33122033a0614bc94cff1527999.pdf 정리 Abstract 우리는 대규모 분산 데이터 집약적인 애플리케이션을 위한 확..

라섹수술한지 얼마 안돼서 도무지 pc 로 할 엄두가 나지 않아 수기로 작성했습니다.

what is black? 공식 도큐먼트 : https://black.readthedocs.io/en/stable/ 파이썬 코드 자동 포맷팅 도구이다. flake8이 단순히 "이거 틀렸어요!"라고 가르쳐 준다면, 이 툴은 알아서 포맷팅을 진행한다. 일종의 협업툴이라 볼 수 있다. install $ pip install black use this in vim black .pyblack $PWD # 현재 폴더 하위의 모든 파이썬 파일에 재귀적으로 black 포맷팅을 적용 use this in pycharm plugin file watcher 다운받기 Preference -> Plugins 에서 FileWatcher를 다운받는다. black 이 설치된 위치 확인 $ which black 결과 : usr/loc..

1장. 아파치 스파크란¶ 아파치 스파크는 통합 컴퓨팅 엔진이며 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합입니다. 스파크는 널리 쓰이는 파이썬, 자바, 스칼라, R 을 지원하고 SQL 뿐만 아니라 스트리밍, 머신러닝에 이르기 까지 넓은 범위의 라이브러리를 제공합니다. 스파크는 저장소 시스템의 데이터를 연산하는 역할 스파크는 데이터 저장 위치에 관계 없이 처리에 집중하게 만들어졌습니다. (자바 8이어야 돌아감. 파이썬 3.9이하여야한다는 썰이 많음) 2장. 스파크 간단히 살펴보기¶ 2.1. 스파크 기본 아키텍처¶ 컴퓨터 클러스터는 여러 컴퓨터의 자원을 모아 하나의 컴퓨터처럼 사용할 수 있게 만듭니다. 컴퓨터 클러스터에서 작업을 조율하는프레임워크가 바로 "스파크"입니다. 스파크는 클러스터의 데..

HTTP 와 HTTPS 의 차이점은 보안이 좀 더 강화되었다는 것이다. 현재 Lets encrypt 같은 무료 HTTPS 인증서부터 다양한 HTTPS 인증서 발급 방법이 있는데 그렇다면 그들의 차이점이 있을까? 이번 시간에는 HTTPS 등급에 대해서 알아보고자 한다. 사이트 HTTPS 인증서 확인 예시로 가져온 사이트는 애플이다.크롬 브라우저에서 https 가 인증되었다는 표시인 저 를 클릭하면 현재 도메인에서 사용되는 인증서의 종류에 대해서 확인할 수 있다. 인증서 뿐만아니라 js 허용 여부, 사용 쿠키에 대해서도 확인할 수 있다. 보는 바와 같이 발급자, 유효기간, 발급 대상 등의 인증서 정보를 확인할 수 있다. 인증서 등급 확인 그렇다면, 인증서에 등급을 매길 수 있을까? https:..

Intro 이번에 @LoginRequired 를 구현하면서 계속된 에러의 원인(로그에도 안찍히고 구동이 안됨)은 .aj 확장자를 이용해 만들어서 스프링 빈으로 등록되지 않았기 때문이였다. 생성자를 만들어 로그를 찍어보고 나서야 깨달았다. 그렇다면 요 미운 .aj 는 어디에 쓰이는걸까? 한번 탐구해보자. 이번 글의 한줄 요약. 스프링 AOP 는 간단 스프링용 AOP 이고, 완전체는 AspectJ 이다.(확장자 .aj assertj 컴파일러 사용). 스프링용 AOP 는 등록된 빈의 메소드 실행에만 사용이 가능하다. 여담이지만, 스프링 AOP 만들때, AspectJ 만든 사람이 CTO 로 있었다고 한다. 큰틀은 비슷하지 않을까 추정한다. AOP 개념 Aspect : 어플리케이션의 여러위치에흩어져있고, 일반적으..