killog

요즘 감정의 변화가 심상치 않다.2021년으로 돌아간 것 같다. 2021년의 나는 어두운 바다 속에서 헤엄치는 기분이었는데, 지금도 마찬가지다. 끝이 있을 거라는 확신만 품은 채 하염없이 울릉도의 가재굴을 헤매고 있다.어둡고 냉정하고 살짝 슬프다. 인생의 반복인건지 내가 퇴화하고 있는건지, 재밌는 것같기도. 만약 내가 2021년의 나로 돌아간다고 해도, 같은 선택을 했을 것 같고 똑같이 어두운 동굴을 헤쳐 나갔을 거다. 그리고 그 끝이 있었다는 것을 알고 있기 때문에, 나는 무섭지 않다.다만, 평화롭고 안전한 내가 되기를, 그리고 내가 좋아하는 많은 것들이 나를 영원히 좋아해 주기를 바란다. 내가 더 많이 노력했으면 좋겠다.감정 그만쓰자

https://docs.vllm.ai/en/latest/design/arch_overview.html2024.11.24 에 작성한 글입니다. 업데이트를 반영하지 않았습니다.  Table of ContentsEntrypointsLLM ClassOpenAI-compatible API serverLLM EngineLLMEngineAsyncLLMEngineWorkerModel RunnerModelClass HierarchyEntrypointsvLLM은 시스템과 상호작용하기 위한 여러 entrypoint를 제공합니다. 아래 다이어그램은 이들 간의 관계를 보여줍니다.LLM Classhttps://docs.vllm.ai/en/latest/dev/offline_inference/llm.htmlLLM 클래스는 별도의 m..

vLLM은 asyncLLMEngine이라는 클래스를 사용해 요청을 처리하며, 이 엔진은 *Continous Batching을 담당합니다. LLM 엔진은 VM 내부에서 작동하며, 루프를 실행하는데, 이 루프는 세 가지 단계로 구성됩니다: 첫 번째는 스케줄링(Scheduling), 두 번째는 실행(Executing), 세 번째는 출력 처리(Processing Outputs)입니다.스케줄러(Scheduler)는 "무엇을 처리할지"를 결정합니다. 특정 요청이 완료되었는지, 새로운 요청이 들어왔는지를 확인하며,이러한 요청을 처리하기 위해 KV 캐시에 필요한 메모리를 할당합니다.본질적으로 스케줄러는 각 model executor 가 배칭 단계에서 수행해야 할 작업을 결정합니다. => 스파크드라이버랑 사실상 유사해...

리얼 요약 : more meta data, more control 요약 더 깔끔한 데코레이터 형식 more meta data(=Data Management) KFP 버전2 업그레이드에서는 MLMD 스토어로 , 로그(커스텀포함)를 저장한다. machine learning pipeline에 의해 생성된 모든 데이터와 그것이 어떻게 computing되었는지 쉽게 추적할 수 있게 한다!!!!!! MLMD 강화된 표현을 위한 UI 변경 more control 컴파일러를 더 멍청하게, 그리고 런타임 주입을 강화하는 형태로, argo yaml 에서 독립할 수 있는, runtime 으로 주입시키는 형태로 가려고 한다. (argo yaml 에서의 한계를 느껴서 컴파일러에 제약을 두고 런타임에 초점을 두려합니다. ) KF..

참고 문헌 https://www.kubeflow.org/docs/components/pipelines/v1/concepts https://www.kubeflow.org/docs/components/pipelines/v1/introduction/ pipeline A pipeline is a description of a machine learning (ML) workflow, including all of the components in the workflow and how the components relate to each other in the form of a graph. The pipeline configuration includes the definition of the inputs (param..

서론 블로그 포스트의 목표 및 주제 소개 요즘 cicd 업무가 많아지고 있다.. cicd 는 절대적으로 팀내 문화적 지정과 ci와 cd 간의 그 간격, 그리고 ct에 대한 정리도 필요하기때문에 이번에 우아한기술블로그에 AI 서비스와 MLOps 도입기도 재밌게 읽은 기념으로 구글 클라우드 도큐먼트에서 데이터, mlops와 data 관련된 CICD 찾아보기 글을 진행해보려한다. CI/CD? 일단 들어가기 전에 CICD 가 뭔지부턴 알아야하는데, redhat 문서에 따르면, CI/CD (Continuous Integration/Continuous Delivery)는 애플리케이션 개발단계를 자동화하여 애플리케이션을 더욱 짧은 주기로 고객에게 제공하는 방법이다. CI/CD의 "CI"는 개발자를 위한 자동화 프로세..

Kubeflow Pipeline이란? Kubeflow pipeline Concept 컴파일러 호출 dsl-compile 명령어 함수 분석 파이프라인 YAML 파일 컴파일 과정 + 컴파일된 리소스 확인 Kubeflow Pipeline이란? Kubeflow Pipelines is a platform for building and deploying portable, scalable machine learning (ML) workflows based on Docker containers. Kubeflow Pipeline은 Docker 컨테이너를 기반으로 한 확장 가능한 휴대용 기계 학습(ML) 워크플로우를 구축하고 배포하기 위한 플랫폼입니다. What is Kubeflow Pipelines? The Kubefl..

1. 이 글을 어떻게 쓰게 되었냐면.. python 을 주 언어로 사용하고 있는 백엔드 개발자입니다. 이번에, application 에 logging 을 달면서, python logging 에 대한 글을 쓰려고 했는데, 기왕이면 python print 문과 python logging 중에, 어떤 상황에 무엇을 쓰면 더 적합한지 , 그 둘의 차이에 대해 작성해보면 좀 더 재밌는 글이 될 것같이 이 글을 쓰게 되었습니다. 우선, 로그에 대해 이해를 하고, 로그를 언제 쓰는지, 꼭 써야하는지, 그리고 로깅을 한다고 했을때 고려할점에 대해서 이야기를 하겠습니다. 이후, print 에 대해 이야기하고, logging 에 대해 설명한 뒤, 그 둘의 차이점을 비교하는 형태로 글을 이어나가볼까 합니다. 2. 로그 파일..