killog

intro 이번에 cka를 땄습니다. 예, 영롱하네요... 이번에 cka 라는 영어로된 쿠버네티스 공인 시험을 준비하면서, 생생한 기억으로 팁을 적어보겠습니다. 시험비 자체를 40만원 조금 넘게 낸 것 같네요,, 후,,, 붙어서 다행입니다. 쿠버네티스자격증 준비하시는 분들 화이팅입니다! 시험 준비 팁 유용한 블로그 : 킴드래곤님 블로그 글 10개 넘게 본 것 같다. 그만큼 최고다. 욱이님 블로그 : 실제 psi 브라우저도 그려놓으셨다. 이분, 진심으로 후기하셨음. 실제 북마크했던 목록. 이제 시험에서 쓸 수 없지만, 키워드 숙지에 좋았다. 기초 다지기 기초 다지기 전에 리눅스재단 해당 링크 미리 가입해놓고, 구독해놓자. 상시 열려있는 15프로 할인 쿠폰 찾으면 있지만(저에욤 ㅎㅎ) , 블랙프라이데이 하면..

https://killer.sh 모의고사 오답노트입니다. Question 18 | Fix Kubelet Q. There seems to be an issue with the kubelet not running on cluster3-worker1. Fix it and confirm that cluster has node cluster3-worker1 available in Ready state afterwards. You should be able to schedule a Pod on cluster3-worker1 afterwards. Write the reason of the issue into /opt/course/18/reason.txt. worker1 에서 kubelet 이 동작하지 않는 것 같다...

https://killer.sh 모의고사 오답노트입니다. Question 20 | Update Kubernetes Version and join cluster Your coworker said node cluster3-worker2 is running an older Kubernetes version and is not even part of the cluster. Update Kubernetes on that node to the exact version that's running on cluster3-master1. Then add this node to the cluster. Use kubeadm for this. 너의 동료가 말하길 cluster3-worker2 가 구버전 쿠버네티스 버전을 쓰고,..

intro Spark Join전략과 hint라는 주제로 공부를 해보았습니다. 광대한 스파크 세계.. 아직도 너무 모르는게 많네요, 열심히 공부해야겠습니다. -- apache spark 에서 가장 자주 사용되는 변환 중 하나는 join 작업이다. apache spark 에서의 join은 개발자가, 키를 기반으로 두 개 이상의 데이터 프레임을 결합할 수 있게 한다. join 동작 구문은 단순하지만, 그 뒤에 동작하는 내용이 손실되는 경우가 왕왕있다. 내부적으로 apache spark 는 join 알고리즘을 제안해, 그 중 하나(BroadcastHash Join, Sort Merge Join, Shuffle Hash Join,Cartesian Product (=shuffle_replicate_nl))를 선택하..

intro 그래서 내가 하고 싶은 말은.. 피처스토어가 뭔지, 왜 필요한지, 그리고 이것을 주로 파는종류들을 이야기하려합니다. 코드 1줄도 없이 왜 필요한지가 주 논점이기때문에, 다소 글과 그림으로 이뤄진 글이 될 것같아요 그래서 피처스토어란? 한 마디로, 피처들을 위한 중앙저장소입니다. 피처스토어는 미가공 데이터를 피처값으로 변환하고, 저장하고, 모델학습과 온라인 예측을 위해 제공됩니다. 이 단계를 자동화해, 피처 스토어는 데이터사이언티스트가 피처를 몇 개월단위가 아니라, 몇 시간 단위내로 구축하고, 배포할 수 있게 하는 것이 목표라고 할 수 있습니다. 이것을 이해하기 위해서는 머신러닝 사이클에 대해 이해가 필요한데요, 머신러닝을 위해서는 우리는 흔히, 데이터를 수집하고 → 전처리, 피처를 생산한 다음..

Intro 네.. 요즘 쿠베플로우에 관심을 주고 있어요.. 이 꼴뚜기 예찬자가 머선일? 🧐 이러면 이거도 꼴뚜기에요……. 🥺 쿠버플로우 파이프라인을 이용해보려고 하는데요, 제약사항은 저는 데엔 관점에서 쿠베플로우를 쓰고 있기때문에,수많은 쿠베플로우 기능 전체를 이용한 것이 아니라는 점입니다. 굉장히 많은 기능을 안고 있기 때문에, 다른 기능들이 궁금하시다면, 도큐먼트를 차근차근 따라가 보는 것도 좋을 것 같아요😊 저는, 슥슥 지나가고, 그 중에 일부인 파이프라인 이용법에대해서만 이야기 해볼겁니다! kubeflow란? 개념 : Kubernetes를 활용한 머신 러닝 툴킷 Kubeflow는 Kubernetes를 활용한 머신 러닝 툴킷입니다. 쿠버네티스와 + 머신러닝툴들이 결합된 총 키트라고 보면됩니다. ML..

서론 DataSet을 dataFrame 처럼, 바로 구글링 해서 이용하려고 했더니, 했더니, datafram 이 완벽 호환 되는 개념이 아니라, 써야하는 조인연산, 필터 연산이 너무 달라지는 것 같아 당황해서 롤백한 적이 있습니다. (아마, group 연산을 진행하면서 그렇게 느꼈던 것 같아요.) 한 번 dataframe 과 무슨 차이인지, 배워보려합니다! 고정관념 DataSet vs dataframe vs rdd 속도차이는, 빌드 타임에 DataSet 이 정의되니까 어찌되었던 빠를 것이다. (⇒ 연산에 따라 달라진다.) DataFrame 이랑 동일하게 api 를 이용할 것이다 (⇒ 맞다.) 궁금증 느린데, 왜 만든 것 일까? ⇒ 이용하는 시기 부분에 등장하지만, 타입 안정성을 요구하는 경우를 위해 만든..

서론 argo workflow를 사용하면서, airflow 개발자분들과 서로의 워크플로우 툴이 훨씬 편하다 라는 언쟁이 붙었습니다. argo workflow 는 그 자체가 k8s 를 이용하는 것이라, k8s 에 좀더 친화적이라고 열심히 어필했지만, airflow 에도 k8s 를 지원하는데?? 라고 하니까 말문이 막히더군요. 아니 그러니까 일반인 토니스타크가 아크리액터를 손에 들고 다니기 vs 아크리액터 심장 토니스타크 둘중에 누가 쎄겠냐구요!!!!!!! 아무튼 k8s 이용한 워크플로 툴로는 argo 승이라 생각합니다.. 아무튼 흠흠,, 그런데 막상 우리 툴이 더 좋아~ 라고 하기엔 생각보다 지식이 빈약하더군여 그래서 이번에 준비했습니다. airflow 와 argo workflow 를 한 번 비교해보겠습니..