2022년 회고 오늘은 2022년 마지막날... 지난 2022년 회고를 말도안되게 열량 높은 땅콩샌드와 함께 해볼까한다. 1. 우선 목표한 바의 3개(운전면허, cka, saa) 중에 2개를 했다.. 마지막 1개는 12월을 꿈꿨는데, 변명아닌 변명을 해보자면 교육과정이 바뀐다고 해서 시험 종목을 유지해야하는지 바꿔야하는지 우왕좌왕하다가 결국 1~3월로 미루게된 것같다. 계획을 세우지 않았더라면, 아무것도 하지 않았을것 같기 때문에 뿌듯하다. 남들에게 반쪽짜리 실현일지언정, "했다"라는 말은 충분히 즐거움을 주기 좋은 것같다. 2. 그리고 데이터엔지니어로의 꿈을 꾸게되어, 추천 ops 팀에서 데이터데이터한 팀으로의 전환을 꿈꿨다가, 불발되었다. 이유는, 여러가지 들 수 있겠지만, 떠나기 위한 역치가 부족했..
intro 이번에 cka를 땄습니다. 예, 영롱하네요... 이번에 cka 라는 영어로된 쿠버네티스 공인 시험을 준비하면서, 생생한 기억으로 팁을 적어보겠습니다. 시험비 자체를 40만원 조금 넘게 낸 것 같네요,, 후,,, 붙어서 다행입니다. 쿠버네티스자격증 준비하시는 분들 화이팅입니다! 시험 준비 팁 유용한 블로그 : 킴드래곤님 블로그 글 10개 넘게 본 것 같다. 그만큼 최고다. 욱이님 블로그 : 실제 psi 브라우저도 그려놓으셨다. 이분, 진심으로 후기하셨음. 실제 북마크했던 목록. 이제 시험에서 쓸 수 없지만, 키워드 숙지에 좋았다. 기초 다지기 기초 다지기 전에 리눅스재단 해당 링크 미리 가입해놓고, 구독해놓자. 상시 열려있는 15프로 할인 쿠폰 찾으면 있지만(저에욤 ㅎㅎ) , 블랙프라이데이 하면..
https://killer.sh 모의고사 오답노트입니다. Question 18 | Fix Kubelet Q. There seems to be an issue with the kubelet not running on cluster3-worker1. Fix it and confirm that cluster has node cluster3-worker1 available in Ready state afterwards. You should be able to schedule a Pod on cluster3-worker1 afterwards. Write the reason of the issue into /opt/course/18/reason.txt. worker1 에서 kubelet 이 동작하지 않는 것 같다...
https://killer.sh 모의고사 오답노트입니다. Question 20 | Update Kubernetes Version and join cluster Your coworker said node cluster3-worker2 is running an older Kubernetes version and is not even part of the cluster. Update Kubernetes on that node to the exact version that's running on cluster3-master1. Then add this node to the cluster. Use kubeadm for this. 너의 동료가 말하길 cluster3-worker2 가 구버전 쿠버네티스 버전을 쓰고,..
intro Spark Join전략과 hint라는 주제로 공부를 해보았습니다. 광대한 스파크 세계.. 아직도 너무 모르는게 많네요, 열심히 공부해야겠습니다. -- apache spark 에서 가장 자주 사용되는 변환 중 하나는 join 작업이다. apache spark 에서의 join은 개발자가, 키를 기반으로 두 개 이상의 데이터 프레임을 결합할 수 있게 한다. join 동작 구문은 단순하지만, 그 뒤에 동작하는 내용이 손실되는 경우가 왕왕있다. 내부적으로 apache spark 는 join 알고리즘을 제안해, 그 중 하나(BroadcastHash Join, Sort Merge Join, Shuffle Hash Join,Cartesian Product (=shuffle_replicate_nl))를 선택하..
intro 그래서 내가 하고 싶은 말은.. 피처스토어가 뭔지, 왜 필요한지, 그리고 이것을 주로 파는종류들을 이야기하려합니다. 코드 1줄도 없이 왜 필요한지가 주 논점이기때문에, 다소 글과 그림으로 이뤄진 글이 될 것같아요 그래서 피처스토어란? 한 마디로, 피처들을 위한 중앙저장소입니다. 피처스토어는 미가공 데이터를 피처값으로 변환하고, 저장하고, 모델학습과 온라인 예측을 위해 제공됩니다. 이 단계를 자동화해, 피처 스토어는 데이터사이언티스트가 피처를 몇 개월단위가 아니라, 몇 시간 단위내로 구축하고, 배포할 수 있게 하는 것이 목표라고 할 수 있습니다. 이것을 이해하기 위해서는 머신러닝 사이클에 대해 이해가 필요한데요, 머신러닝을 위해서는 우리는 흔히, 데이터를 수집하고 → 전처리, 피처를 생산한 다음..
Intro 네.. 요즘 쿠베플로우에 관심을 주고 있어요.. 이 꼴뚜기 예찬자가 머선일? 🧐 이러면 이거도 꼴뚜기에요……. 🥺 쿠버플로우 파이프라인을 이용해보려고 하는데요, 제약사항은 저는 데엔 관점에서 쿠베플로우를 쓰고 있기때문에,수많은 쿠베플로우 기능 전체를 이용한 것이 아니라는 점입니다. 굉장히 많은 기능을 안고 있기 때문에, 다른 기능들이 궁금하시다면, 도큐먼트를 차근차근 따라가 보는 것도 좋을 것 같아요😊 저는, 슥슥 지나가고, 그 중에 일부인 파이프라인 이용법에대해서만 이야기 해볼겁니다! kubeflow란? 개념 : Kubernetes를 활용한 머신 러닝 툴킷 Kubeflow는 Kubernetes를 활용한 머신 러닝 툴킷입니다. 쿠버네티스와 + 머신러닝툴들이 결합된 총 키트라고 보면됩니다. ML..
서론 DataSet을 dataFrame 처럼, 바로 구글링 해서 이용하려고 했더니, 했더니, datafram 이 완벽 호환 되는 개념이 아니라, 써야하는 조인연산, 필터 연산이 너무 달라지는 것 같아 당황해서 롤백한 적이 있습니다. (아마, group 연산을 진행하면서 그렇게 느꼈던 것 같아요.) 한 번 dataframe 과 무슨 차이인지, 배워보려합니다! 고정관념 DataSet vs dataframe vs rdd 속도차이는, 빌드 타임에 DataSet 이 정의되니까 어찌되었던 빠를 것이다. (⇒ 연산에 따라 달라진다.) DataFrame 이랑 동일하게 api 를 이용할 것이다 (⇒ 맞다.) 궁금증 느린데, 왜 만든 것 일까? ⇒ 이용하는 시기 부분에 등장하지만, 타입 안정성을 요구하는 경우를 위해 만든..
- Total
- Today
- Yesterday
- 자바 인강이 듣고 싶다면 => https://bit.ly/3ilMbIO
- 패스트 캠퍼스
- EC2
- linter
- 자바
- 크론탭
- 마크다운
- 자바 인강
- 세션불일치
- 언제나 함께해요
- 패스트캠퍼스
- 디비
- 주피터노트북 설치
- 유용한웹사이트
- 쿠버네티스
- 자스계의백과사전
- 스프링 프레임워크 핵심 기술
- pycharm
- hot
- CKA
- django
- 환경세팅
- 파이참
- 배포
- 참고 링크
- 쉘스크립트
- https://cupjoo.tistory.com/96
- AWS
- 자바인강
- vim
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |