killog

리얼 요약 : more meta data, more control 요약 더 깔끔한 데코레이터 형식 more meta data(=Data Management) KFP 버전2 업그레이드에서는 MLMD 스토어로 , 로그(커스텀포함)를 저장한다. machine learning pipeline에 의해 생성된 모든 데이터와 그것이 어떻게 computing되었는지 쉽게 추적할 수 있게 한다!!!!!! MLMD 강화된 표현을 위한 UI 변경 more control 컴파일러를 더 멍청하게, 그리고 런타임 주입을 강화하는 형태로, argo yaml 에서 독립할 수 있는, runtime 으로 주입시키는 형태로 가려고 한다. (argo yaml 에서의 한계를 느껴서 컴파일러에 제약을 두고 런타임에 초점을 두려합니다. ) KF..

참고 문헌 https://www.kubeflow.org/docs/components/pipelines/v1/concepts https://www.kubeflow.org/docs/components/pipelines/v1/introduction/ pipeline A pipeline is a description of a machine learning (ML) workflow, including all of the components in the workflow and how the components relate to each other in the form of a graph. The pipeline configuration includes the definition of the inputs (param..

서론 블로그 포스트의 목표 및 주제 소개 요즘 cicd 업무가 많아지고 있다.. cicd 는 절대적으로 팀내 문화적 지정과 ci와 cd 간의 그 간격, 그리고 ct에 대한 정리도 필요하기때문에 이번에 우아한기술블로그에 AI 서비스와 MLOps 도입기도 재밌게 읽은 기념으로 구글 클라우드 도큐먼트에서 데이터, mlops와 data 관련된 CICD 찾아보기 글을 진행해보려한다. CI/CD? 일단 들어가기 전에 CICD 가 뭔지부턴 알아야하는데, redhat 문서에 따르면, CI/CD (Continuous Integration/Continuous Delivery)는 애플리케이션 개발단계를 자동화하여 애플리케이션을 더욱 짧은 주기로 고객에게 제공하는 방법이다. CI/CD의 "CI"는 개발자를 위한 자동화 프로세..

Kubeflow Pipeline이란? Kubeflow pipeline Concept 컴파일러 호출 dsl-compile 명령어 함수 분석 파이프라인 YAML 파일 컴파일 과정 + 컴파일된 리소스 확인 Kubeflow Pipeline이란? Kubeflow Pipelines is a platform for building and deploying portable, scalable machine learning (ML) workflows based on Docker containers. Kubeflow Pipeline은 Docker 컨테이너를 기반으로 한 확장 가능한 휴대용 기계 학습(ML) 워크플로우를 구축하고 배포하기 위한 플랫폼입니다. What is Kubeflow Pipelines? The Kubefl..

1. 이 글을 어떻게 쓰게 되었냐면.. python 을 주 언어로 사용하고 있는 백엔드 개발자입니다. 이번에, application 에 logging 을 달면서, python logging 에 대한 글을 쓰려고 했는데, 기왕이면 python print 문과 python logging 중에, 어떤 상황에 무엇을 쓰면 더 적합한지 , 그 둘의 차이에 대해 작성해보면 좀 더 재밌는 글이 될 것같이 이 글을 쓰게 되었습니다. 우선, 로그에 대해 이해를 하고, 로그를 언제 쓰는지, 꼭 써야하는지, 그리고 로깅을 한다고 했을때 고려할점에 대해서 이야기를 하겠습니다. 이후, print 에 대해 이야기하고, logging 에 대해 설명한 뒤, 그 둘의 차이점을 비교하는 형태로 글을 이어나가볼까 합니다. 2. 로그 파일..

intro 요즘 스파크 관련해서 빅데이터에 눌린 삶을 살고 있는데,, 스파크 튜닝에 대해 좀 더 자세히 알고자 이 글을 작성해보았습니다. 한달 정도 고통받고 있는 것 같은데, 스파크에 대한 고찰은 상당히 많이 하고 있는 것같아요. 이 글은 내가 언제 보게 되는것일까? 내 스파크 드라이버에서 제공하는 memory, executor 수의 최고점을 알게됐을때, 익스큐터가 더이상 작업 노동자로 보이지 않고, 통신노드로 보일때, 갑자기 spark 익스큐터가 자바이길 포기할때 보면된다. (TB 이상의 데이터를 사용한다면이라는 말과 동일하다.) 우선 우리는 바보가 아니기 때문에 넓은 기간의 데이터를 한 번에 처리하는 것이 아니라, 단기간의 데이터를 먼저 처리하는 것에 성공하고, 이후에 기간을 배수로 처리하고자 할 것..

intro 이번에 Kserve 로 서비스를 배포하면서 locust 테스트를 이용했는데, 좀더 잘 알고 싶어서, 해당 글을 작성하게 되었으나, 예상보다도 테스트라는 분야가 넓고 깊고 방대해서 감동받고 후일 스터디를 계획하게됐다는 이야기로 시작을 해보려합니다.. 아니 이전에 그라파나부터 공부해야겠네요 Why we test? Testing Applications on the Web 이라는 책을 제가 하고 싶은 말을 너무 잘 정리해놓아주셔서 인용해왔습니다. 웹 애플리케이션의 장점은 여러 사용자가 동시에 시스템 리소스에 액세스 할 수 있다는 것이다.(동시에 서로 다른 서비스를 요청하고 다양한 기능에 액세스 할 수 있음). 다중사용자 지원(multiuser support)이 웹 애플리케이션의 성공을 판가름하는 핵심..

글또 8기를 또 시작하는 심경 벌써 글또 7기가 끝나고 8기라니 믿겨지지가 않네요... 글또 7기 이후론 놀랍게도 글을 안썼습니다! 물론 8기에 지원할거라도 있지만,, 이렇게 글며든 저.. 이래도 괜찮은걸까요 하핳.. 지난 글또 7기 다짐글 우선 시작하는 마음가짐은 새해 마음 가짐과 같습니다. 더 많은 지식의 습득과 정리! 그리고 조금의 재미 ++ 있는 글을 써냈으면 좋겠는 마음가짐을 한번 추가해보겠습니다. 저도 보다 더 좋은글, 유익한 글로 남들에게 참고한 문헌 이런식으로 들어갈 글들을 많이 주는(?) 슈퍼블로거😎😎가되고 싶다! 이런말을 자주했던것같은데, 현실은, 아직도 개발에서 깊이를 더하는게 아니라, 항상 새로운거 배우기에 급급해서, 남들에게 뭔갈 공유하는게 아니라, 강의필사? 책 필사?! 정도의 ..