killog

9월 18,19,20 추석이 시작하는 첫 2박 3일동안 울진 킹스톤 리조트에 가서 스킨스쿠버 다이빙 어드밴스드 자격증을 땄다. 처음에는 가는길부터 험난했다. 건대입구 역은 설계가 잘못돼있다고 거의 확신을 하는데, 나와 내친구 둘다 반대방향으로 타서 정말 10시 30분차를 10시 30분에 탔다. 그와중에 친구는 화장실에 가고 싶어했지만, 아저씨의 호통때문에 눈물을 찔끔 머금고 1시간 반동안의 진정을 하면서 출발했다. 리조트 도착예정시간은 3시. 그렇게 마이너리티 리포트 영화를 재탕하다가 자다가 하면서 갔는데, 오후 3시쯤에 눈을 떠보니, 동해시터미널이었다. 순간 당황했고, 울진은 안가나 싶어서 그 상태로 전전긍긍해하다가 추석때문에 차가 막혔고, 경유지였다는 것을 확실히 이해한건 4시 도착할 때쯤이었다. 도..

what is black? 공식 도큐먼트 : https://black.readthedocs.io/en/stable/ 파이썬 코드 자동 포맷팅 도구이다. flake8이 단순히 "이거 틀렸어요!"라고 가르쳐 준다면, 이 툴은 알아서 포맷팅을 진행한다. 일종의 협업툴이라 볼 수 있다. install $ pip install black use this in vim black .pyblack $PWD # 현재 폴더 하위의 모든 파이썬 파일에 재귀적으로 black 포맷팅을 적용 use this in pycharm plugin file watcher 다운받기 Preference -> Plugins 에서 FileWatcher를 다운받는다. black 이 설치된 위치 확인 $ which black 결과 : usr/loc..

보호되어 있는 글입니다.

유향 비순환 그래프(DAG), 방향 비순환 그래프는 수학, 컴퓨터 과학 분야의 용어의 하나로서 방향 순환이 없는 무한 유향 그래프이다. 출처: https://ko.wikipedia.org/wiki/유향_비순환_그래프

이 장에서는 스파크에서 사용가능한 여러 유형의 집계 연산에 대해 알아보았다. 그룹화, 윈도우함수, 롤업, 큐브도 알아보았다. 집계 연산¶집계(aggregation)은 빅데이터 분석의 초석입니다. 집계를 수행하려면 key와 group을 지정하고, 하나 이상의 칼럼을 변환하는 방법을 지정하는 집계함수를 사용합니다. Spark는 모든 데이터 타입을 다루는 것 외에도 다음과 같은 그룹화 데이터 타입을 생성할 수 있습니다. 가장 간단한 형태의 그룹화는 select 구문에서 집계를 수행해 DataFrame의 전체 데이터를 요약한다. group by는 하나 이상의 키를 지정할 수 있고, 값을 가진 컬럼을 변환하기 위해 다른 집계함수를 사용할 수 있다. 윈도우(window)는 하나이상의 키를 지정할 수 있고, 값을 가..

다양한 데이터 타입 다루기¶이 장에서는 스파크의 구조적 연산에서 가장 중요한 내용인 표현식을 만들고, 다양한 데이터 타입을 다루는 방법에 대해 알아봅시다. 불리언 타입 수치 타입 문자열 타입 date와 timestamp 타입 null값 다루기 복합 데이터 타입 사용자 정의 함수 API는 어디서 찾을끼?¶나중에 버전이 바뀌고 바뀌어도, Spark의 데이터 변환용 함수를 찾기 위해 핵심적으로 다뤄야할 부분은 다음과 같습니다. DataFrame(Dataset) 메서드 Column Method In [77]: df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("./data/retail-data/by-d..

https://edu.goorm.io/learn/lecture/557/%ED%95%9C-%EB%88%88%EC%97%90-%EB%81%9D%EB%82%B4%EB%8A%94-node-js/lesson/174358/%EC%A0%84%EC%97%AD-%EA%B0%9D%EC%B2%B4-global