![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/m0IZ2/btrJ745DMWA/A2FiGqb6f4orsbmq9ebUU1/img.jpg)
Intro 네.. 요즘 쿠베플로우에 관심을 주고 있어요.. 이 꼴뚜기 예찬자가 머선일? 🧐 이러면 이거도 꼴뚜기에요……. 🥺 쿠버플로우 파이프라인을 이용해보려고 하는데요, 제약사항은 저는 데엔 관점에서 쿠베플로우를 쓰고 있기때문에,수많은 쿠베플로우 기능 전체를 이용한 것이 아니라는 점입니다. 굉장히 많은 기능을 안고 있기 때문에, 다른 기능들이 궁금하시다면, 도큐먼트를 차근차근 따라가 보는 것도 좋을 것 같아요😊 저는, 슥슥 지나가고, 그 중에 일부인 파이프라인 이용법에대해서만 이야기 해볼겁니다! kubeflow란? 개념 : Kubernetes를 활용한 머신 러닝 툴킷 Kubeflow는 Kubernetes를 활용한 머신 러닝 툴킷입니다. 쿠버네티스와 + 머신러닝툴들이 결합된 총 키트라고 보면됩니다. ML..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/7TrLI/btrIPUv5Sdm/eHkpmypIs5jkgIB4e6twGk/img.png)
서론 DataSet을 dataFrame 처럼, 바로 구글링 해서 이용하려고 했더니, 했더니, datafram 이 완벽 호환 되는 개념이 아니라, 써야하는 조인연산, 필터 연산이 너무 달라지는 것 같아 당황해서 롤백한 적이 있습니다. (아마, group 연산을 진행하면서 그렇게 느꼈던 것 같아요.) 한 번 dataframe 과 무슨 차이인지, 배워보려합니다! 고정관념 DataSet vs dataframe vs rdd 속도차이는, 빌드 타임에 DataSet 이 정의되니까 어찌되었던 빠를 것이다. (⇒ 연산에 따라 달라진다.) DataFrame 이랑 동일하게 api 를 이용할 것이다 (⇒ 맞다.) 궁금증 느린데, 왜 만든 것 일까? ⇒ 이용하는 시기 부분에 등장하지만, 타입 안정성을 요구하는 경우를 위해 만든..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/bw0eeA/btrGTx3yKS5/DX5UuY3UuyLZKNLPGKQAL0/img.png)
서론 argo workflow를 사용하면서, airflow 개발자분들과 서로의 워크플로우 툴이 훨씬 편하다 라는 언쟁이 붙었습니다. argo workflow 는 그 자체가 k8s 를 이용하는 것이라, k8s 에 좀더 친화적이라고 열심히 어필했지만, airflow 에도 k8s 를 지원하는데?? 라고 하니까 말문이 막히더군요. 아니 그러니까 일반인 토니스타크가 아크리액터를 손에 들고 다니기 vs 아크리액터 심장 토니스타크 둘중에 누가 쎄겠냐구요!!!!!!! 아무튼 k8s 이용한 워크플로 툴로는 argo 승이라 생각합니다.. 아무튼 흠흠,, 그런데 막상 우리 툴이 더 좋아~ 라고 하기엔 생각보다 지식이 빈약하더군여 그래서 이번에 준비했습니다. airflow 와 argo workflow 를 한 번 비교해보겠습니..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/B7lxO/btrExFW31a8/C2GZdapsZeBZ1b3F3OA9EK/img.png)
안녕하세요! 이번시간에는 Argo Event 의 개념과 아키텍처에 대해서 알아보고자 합니다. ArgoWorkflow 를 이용하고 있는 개발자라면, Argo Event 탭에 대해대해서 궁금증을 가지고 있을텐데요 (그게 제이야기 입니다.) 이번 시간에 한번 Argo Event 에 대한 개념을 잡고 가는 것도 좋을 것같습니다. 출처는 공식문서입니다. https://github.com/argoproj/argo-events https://argoproj.github.io/argo-events/ 요약: Argo Events - Kubernetes를 위한 event dependency 트리거 관리자. 외부 event → 이해할 수 있는 Kubernetes용 이벤트로 전환하고 (event Source)→ 해당 even..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/bvatwu/btrCKkPr5aI/3SvBgEkxoXWAzVFAhEMZr0/img.png)
안녕하세요~ 이번에는 스파크 공부하면서, 역시 공부 시작은 시초논문이지🧐 하면서 Spark: Cluster Computing with Working Sets 논문 내용 정리와 개인적인 결론(사견) 을 넣어보았습니다. 개인적으로 스파크의 사용법과 메모리 관리에만 신경을 썼었는데, 스파크를 왜 만들었는지에 대한 정수를 이해하게 되는 기분이었습니다. 스파크 이용자라면, 한번쯤 읽어봤거나, 읽어보거나, 저의 블로그를 한번 읽어보시면 좋을거같아요 ☺️ 이 글이 즐거웠거나.. 이 친구 열심히 했자낭...하면 광고 한번 눌러주세요! 내가 생각하는 결론 맵리듀스 사용자 모아놓고 불편해서 내가 이렇게 만들었다! 라는 생각이 시초였던 것같음. 맵리듀스 캐싱을 위한 rdd라는 개념의 도입 +(shared variable )..
문제 설명 길이가 같은 두 1차원 정수 배열 a, b가 매개변수로 주어집니다. a와 b의 내적을 return 하도록 solution 함수를 완성해주세요. 이때, a와 b의 내적은 a[0]*b[0] + a[1]*b[1] + ... + a[n-1]*b[n-1] 입니다. (n은 a, b의 길이) 제한사항 a, b의 길이는 1 이상 1,000 이하입니다. a, b의 모든 수는 -1,000 이상 1,000 이하입니다. 입출력 예 [1,2,3,4] [-3,-1,0,2] 3 [-1,0,1] [1,0,-1] -2 입출력 예 설명 입출력 예 #1 a와 b의 내적은 1*(-3) + 2*(-1) + 3*0 + 4*2 = 3 입니다. 입출력 예 #2 a와 b의 내적은 (-1)*1 + 0*0 + 1*(-1) = -2 입니다. ..
https://www.facebook.com/groups/geultto/ 글또 활동 계기 글또를 시작하는 처음 마음가짐일거 같아 글또를 어떤 마음가짐으로 시작하게되었는지 쓰려합니다. 글또를 하려는 이유는, 여러가지가 있겠지만, 내 말투로 읽기 쉬운 글을 쓰고 다른 사람들의 글을 많이 보면서 즐거운 추억을 쌓고싶어서! 이 3개가 되지 않을까 싶어요. 늘 하는 말이지만, 처음 개발을 시작할 때부터+ 지금까지도, 모르는 것이 있으면, 왼쪽에 공식문서, 오른쪽에 블로그, 찾다찾다 어려우면 유투브.. 코드는 깃허브 (👍🏼따봉) 이런 순으로 검색을 진행하게 되는거 같은데, 항상 공식문서 그 이상으로 친절하게 설명해주는 블로거분들이 있었기에, 제가 여태까지 개발을 포기하지 않을 수 있었다 생각합니다. 아마, 불과 1..
file_name=`basename "$0"` directory=$(pwd) echo "same as $(realpath)/$(basename "$0")" echo "this is $(pwd)/$(basename "$0")" echo "also in $(cd "$(dirname "$1")" && pwd -P)/$(basename "$1")$(basename "$0")" echo "my name is ${directory}/${file_name}" ## test/answer.sh:4: command not found: realpath same as /answer.sh this is /Users/giljaeeun/Documents/work_dir/answer.sh also in /Users/giljaeeun..
- Total
- Today
- Yesterday
- 쉘스크립트
- 디비
- CKA
- linter
- django
- hot
- 패스트 캠퍼스
- EC2
- AWS
- 자바
- 참고 링크
- vim
- 세션불일치
- pycharm
- 스프링 프레임워크 핵심 기술
- https://cupjoo.tistory.com/96
- 자바인강
- 파이참
- 배포
- 쿠버네티스
- 언제나 함께해요
- 자바 인강이 듣고 싶다면 => https://bit.ly/3ilMbIO
- 패스트캠퍼스
- 주피터노트북 설치
- 환경세팅
- 자바 인강
- 유용한웹사이트
- 마크다운
- 자스계의백과사전
- 크론탭
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |