killog

Online and Offline inferencevLLM은 온라인과 오프라인, 두 가지 모드로 작동합니다. 오프라인 추론에서는 PyTorch 모듈과 유사하게 작동하여 입력 데이터로 실행할 수 있습니다. 반면 온라인 추론은 서버와 유사하게 작동합니다. 일단 시작되면 클라이언트의 요청을 기다리며 여러 요청을 동시에 처리할 수 있습니다.두 모드 모두 겉보기에는 다르지만, 동일한 inference engine을 공유합니다. 서버, 엔진 초기화, 새로운 요청 처리, 엔진의 메인 루프, 그리고 스케줄러의 다섯 가지 코드 섹션을 살펴보겠습니다. 1. vLLM ServervLLM은 FastAPI를 사용하여 서버를 호스팅합니다. 서버 내에서 AsyncLLMEngine이 인스턴스화됩니다. 이름과 달리 AsyncLLMEn..

https://huggingface.co/docs/transformers/generation_strategies#decoding-strategieshttps://huggingface.co/blog/how-to-generatehttps://dytis.tistory.com/53 1. 이야기 주제이번에는 LLM에서 Greedy Decoding 외에 어떤 디코딩 전략들이 있는지를 설명합니다.2. 이야기할 전략은 총 네 가지입니다Greedy Decoding (기본)Sampling (Top-k, Top-p)Beam SearchContrastive Search (최신 기법)3. 결론부터 말하면디코딩은 LLM이 다음 토큰을 선택하는 방식이며,각 전략은 속도, 다양성, 정확성 간의 trade-off를 조절합니다.→ 상..

이 책은 혁펜하임님의 최신 딥러닝 기초 이론서로, 딥러닝을 처음 배우는 사람에게 추천드리고 싶습니다. 2024년 11월에 출간된 이 책은 인공신경망, 딥러닝, CNN, RNN, 트랜스포머 등 다양한 주제를 다루고 있습니다. 혁펜하임님의 강의 스타일이 잘 반영되어 있습니다. 세줄 리뷰로 하자면, 정말 딥러닝 기초 관련된 모든 지식을 쉽게, 잘 이해시키려고 하는게 느껴진 책이었습니다. 딥러닝 공부를 시작하고, 딥러닝 관련  영상, 책은 많지만, 독자를 생각한다라고 느껴진 책은 많이 없었어서 더 많이 열심히 보게됐고, 많이 배웠습니다. 좋은 책이고 후속편 기대합니다. 기초 딥러닝 책과 비교해서 장점은 크게 3개입니다.혁펜하임님(https://www.youtube.com/@hyukppen)의 강의 스타일이 반영..

https://docs.vllm.ai/en/latest/design/arch_overview.html2024.11.24 에 작성한 글입니다. 업데이트를 반영하지 않았습니다.  Table of ContentsEntrypointsLLM ClassOpenAI-compatible API serverLLM EngineLLMEngineAsyncLLMEngineWorkerModel RunnerModelClass HierarchyEntrypointsvLLM은 시스템과 상호작용하기 위한 여러 entrypoint를 제공합니다. 아래 다이어그램은 이들 간의 관계를 보여줍니다.LLM Classhttps://docs.vllm.ai/en/latest/dev/offline_inference/llm.htmlLLM 클래스는 별도의 m..

vLLM은 asyncLLMEngine이라는 클래스를 사용해 요청을 처리하며, 이 엔진은 *Continous Batching을 담당합니다. LLM 엔진은 VM 내부에서 작동하며, 루프를 실행하는데, 이 루프는 세 가지 단계로 구성됩니다: 첫 번째는 스케줄링(Scheduling), 두 번째는 실행(Executing), 세 번째는 출력 처리(Processing Outputs)입니다.스케줄러(Scheduler)는 "무엇을 처리할지"를 결정합니다. 특정 요청이 완료되었는지, 새로운 요청이 들어왔는지를 확인하며,이러한 요청을 처리하기 위해 KV 캐시에 필요한 메모리를 할당합니다.본질적으로 스케줄러는 각 model executor 가 배칭 단계에서 수행해야 할 작업을 결정합니다. => 스파크드라이버랑 사실상 유사해...

리얼 요약 : more meta data, more control 요약 더 깔끔한 데코레이터 형식 more meta data(=Data Management) KFP 버전2 업그레이드에서는 MLMD 스토어로 , 로그(커스텀포함)를 저장한다. machine learning pipeline에 의해 생성된 모든 데이터와 그것이 어떻게 computing되었는지 쉽게 추적할 수 있게 한다!!!!!! MLMD 강화된 표현을 위한 UI 변경 more control 컴파일러를 더 멍청하게, 그리고 런타임 주입을 강화하는 형태로, argo yaml 에서 독립할 수 있는, runtime 으로 주입시키는 형태로 가려고 한다. (argo yaml 에서의 한계를 느껴서 컴파일러에 제약을 두고 런타임에 초점을 두려합니다. ) KF..

참고 문헌 https://www.kubeflow.org/docs/components/pipelines/v1/concepts https://www.kubeflow.org/docs/components/pipelines/v1/introduction/ pipeline A pipeline is a description of a machine learning (ML) workflow, including all of the components in the workflow and how the components relate to each other in the form of a graph. The pipeline configuration includes the definition of the inputs (param..

서론 블로그 포스트의 목표 및 주제 소개 요즘 cicd 업무가 많아지고 있다.. cicd 는 절대적으로 팀내 문화적 지정과 ci와 cd 간의 그 간격, 그리고 ct에 대한 정리도 필요하기때문에 이번에 우아한기술블로그에 AI 서비스와 MLOps 도입기도 재밌게 읽은 기념으로 구글 클라우드 도큐먼트에서 데이터, mlops와 data 관련된 CICD 찾아보기 글을 진행해보려한다. CI/CD? 일단 들어가기 전에 CICD 가 뭔지부턴 알아야하는데, redhat 문서에 따르면, CI/CD (Continuous Integration/Continuous Delivery)는 애플리케이션 개발단계를 자동화하여 애플리케이션을 더욱 짧은 주기로 고객에게 제공하는 방법이다. CI/CD의 "CI"는 개발자를 위한 자동화 프로세..