killog

https://docs.vllm.ai/en/latest/design/arch_overview.html2024.11.24 에 작성한 글입니다. 업데이트를 반영하지 않았습니다.  Table of ContentsEntrypointsLLM ClassOpenAI-compatible API serverLLM EngineLLMEngineAsyncLLMEngineWorkerModel RunnerModelClass HierarchyEntrypointsvLLM은 시스템과 상호작용하기 위한 여러 entrypoint를 제공합니다. 아래 다이어그램은 이들 간의 관계를 보여줍니다.LLM Classhttps://docs.vllm.ai/en/latest/dev/offline_inference/llm.htmlLLM 클래스는 별도의 m..

vLLM은 asyncLLMEngine이라는 클래스를 사용해 요청을 처리하며, 이 엔진은 *Continous Batching을 담당합니다. LLM 엔진은 VM 내부에서 작동하며, 루프를 실행하는데, 이 루프는 세 가지 단계로 구성됩니다: 첫 번째는 스케줄링(Scheduling), 두 번째는 실행(Executing), 세 번째는 출력 처리(Processing Outputs)입니다.스케줄러(Scheduler)는 "무엇을 처리할지"를 결정합니다. 특정 요청이 완료되었는지, 새로운 요청이 들어왔는지를 확인하며,이러한 요청을 처리하기 위해 KV 캐시에 필요한 메모리를 할당합니다.본질적으로 스케줄러는 각 model executor 가 배칭 단계에서 수행해야 할 작업을 결정합니다. => 스파크드라이버랑 사실상 유사해...

리얼 요약 : more meta data, more control 요약 더 깔끔한 데코레이터 형식 more meta data(=Data Management) KFP 버전2 업그레이드에서는 MLMD 스토어로 , 로그(커스텀포함)를 저장한다. machine learning pipeline에 의해 생성된 모든 데이터와 그것이 어떻게 computing되었는지 쉽게 추적할 수 있게 한다!!!!!! MLMD 강화된 표현을 위한 UI 변경 more control 컴파일러를 더 멍청하게, 그리고 런타임 주입을 강화하는 형태로, argo yaml 에서 독립할 수 있는, runtime 으로 주입시키는 형태로 가려고 한다. (argo yaml 에서의 한계를 느껴서 컴파일러에 제약을 두고 런타임에 초점을 두려합니다. ) KF..

참고 문헌 https://www.kubeflow.org/docs/components/pipelines/v1/concepts https://www.kubeflow.org/docs/components/pipelines/v1/introduction/ pipeline A pipeline is a description of a machine learning (ML) workflow, including all of the components in the workflow and how the components relate to each other in the form of a graph. The pipeline configuration includes the definition of the inputs (param..

서론 블로그 포스트의 목표 및 주제 소개 요즘 cicd 업무가 많아지고 있다.. cicd 는 절대적으로 팀내 문화적 지정과 ci와 cd 간의 그 간격, 그리고 ct에 대한 정리도 필요하기때문에 이번에 우아한기술블로그에 AI 서비스와 MLOps 도입기도 재밌게 읽은 기념으로 구글 클라우드 도큐먼트에서 데이터, mlops와 data 관련된 CICD 찾아보기 글을 진행해보려한다. CI/CD? 일단 들어가기 전에 CICD 가 뭔지부턴 알아야하는데, redhat 문서에 따르면, CI/CD (Continuous Integration/Continuous Delivery)는 애플리케이션 개발단계를 자동화하여 애플리케이션을 더욱 짧은 주기로 고객에게 제공하는 방법이다. CI/CD의 "CI"는 개발자를 위한 자동화 프로세..

Kubeflow Pipeline이란? Kubeflow pipeline Concept 컴파일러 호출 dsl-compile 명령어 함수 분석 파이프라인 YAML 파일 컴파일 과정 + 컴파일된 리소스 확인 Kubeflow Pipeline이란? Kubeflow Pipelines is a platform for building and deploying portable, scalable machine learning (ML) workflows based on Docker containers. Kubeflow Pipeline은 Docker 컨테이너를 기반으로 한 확장 가능한 휴대용 기계 학습(ML) 워크플로우를 구축하고 배포하기 위한 플랫폼입니다. What is Kubeflow Pipelines? The Kubefl..

1. 이 글을 어떻게 쓰게 되었냐면.. python 을 주 언어로 사용하고 있는 백엔드 개발자입니다. 이번에, application 에 logging 을 달면서, python logging 에 대한 글을 쓰려고 했는데, 기왕이면 python print 문과 python logging 중에, 어떤 상황에 무엇을 쓰면 더 적합한지 , 그 둘의 차이에 대해 작성해보면 좀 더 재밌는 글이 될 것같이 이 글을 쓰게 되었습니다. 우선, 로그에 대해 이해를 하고, 로그를 언제 쓰는지, 꼭 써야하는지, 그리고 로깅을 한다고 했을때 고려할점에 대해서 이야기를 하겠습니다. 이후, print 에 대해 이야기하고, logging 에 대해 설명한 뒤, 그 둘의 차이점을 비교하는 형태로 글을 이어나가볼까 합니다. 2. 로그 파일..

intro 요즘 스파크 관련해서 빅데이터에 눌린 삶을 살고 있는데,, 스파크 튜닝에 대해 좀 더 자세히 알고자 이 글을 작성해보았습니다. 한달 정도 고통받고 있는 것 같은데, 스파크에 대한 고찰은 상당히 많이 하고 있는 것같아요. 이 글은 내가 언제 보게 되는것일까? 내 스파크 드라이버에서 제공하는 memory, executor 수의 최고점을 알게됐을때, 익스큐터가 더이상 작업 노동자로 보이지 않고, 통신노드로 보일때, 갑자기 spark 익스큐터가 자바이길 포기할때 보면된다. (TB 이상의 데이터를 사용한다면이라는 말과 동일하다.) 우선 우리는 바보가 아니기 때문에 넓은 기간의 데이터를 한 번에 처리하는 것이 아니라, 단기간의 데이터를 먼저 처리하는 것에 성공하고, 이후에 기간을 배수로 처리하고자 할 것..