killog

이 책은 혁펜하임님의 최신 딥러닝 기초 이론서로, 딥러닝을 처음 배우는 사람에게 추천드리고 싶습니다. 2024년 11월에 출간된 이 책은 인공신경망, 딥러닝, CNN, RNN, 트랜스포머 등 다양한 주제를 다루고 있습니다. 혁펜하임님의 강의 스타일이 잘 반영되어 있습니다. 세줄 리뷰로 하자면, 정말 딥러닝 기초 관련된 모든 지식을 쉽게, 잘 이해시키려고 하는게 느껴진 책이었습니다. 딥러닝 공부를 시작하고, 딥러닝 관련  영상, 책은 많지만, 독자를 생각한다라고 느껴진 책은 많이 없었어서 더 많이 열심히 보게됐고, 많이 배웠습니다. 좋은 책이고 후속편 기대합니다. 기초 딥러닝 책과 비교해서 장점은 크게 3개입니다.혁펜하임님(https://www.youtube.com/@hyukppen)의 강의 스타일이 반영..

https://docs.vllm.ai/en/latest/design/arch_overview.html2024.11.24 에 작성한 글입니다. 업데이트를 반영하지 않았습니다.  Table of ContentsEntrypointsLLM ClassOpenAI-compatible API serverLLM EngineLLMEngineAsyncLLMEngineWorkerModel RunnerModelClass HierarchyEntrypointsvLLM은 시스템과 상호작용하기 위한 여러 entrypoint를 제공합니다. 아래 다이어그램은 이들 간의 관계를 보여줍니다.LLM Classhttps://docs.vllm.ai/en/latest/dev/offline_inference/llm.htmlLLM 클래스는 별도의 m..

vLLM은 asyncLLMEngine이라는 클래스를 사용해 요청을 처리하며, 이 엔진은 *Continous Batching을 담당합니다. LLM 엔진은 VM 내부에서 작동하며, 루프를 실행하는데, 이 루프는 세 가지 단계로 구성됩니다: 첫 번째는 스케줄링(Scheduling), 두 번째는 실행(Executing), 세 번째는 출력 처리(Processing Outputs)입니다.스케줄러(Scheduler)는 "무엇을 처리할지"를 결정합니다. 특정 요청이 완료되었는지, 새로운 요청이 들어왔는지를 확인하며,이러한 요청을 처리하기 위해 KV 캐시에 필요한 메모리를 할당합니다.본질적으로 스케줄러는 각 model executor 가 배칭 단계에서 수행해야 할 작업을 결정합니다. => 스파크드라이버랑 사실상 유사해...

리얼 요약 : more meta data, more control 요약 더 깔끔한 데코레이터 형식 more meta data(=Data Management) KFP 버전2 업그레이드에서는 MLMD 스토어로 , 로그(커스텀포함)를 저장한다. machine learning pipeline에 의해 생성된 모든 데이터와 그것이 어떻게 computing되었는지 쉽게 추적할 수 있게 한다!!!!!! MLMD 강화된 표현을 위한 UI 변경 more control 컴파일러를 더 멍청하게, 그리고 런타임 주입을 강화하는 형태로, argo yaml 에서 독립할 수 있는, runtime 으로 주입시키는 형태로 가려고 한다. (argo yaml 에서의 한계를 느껴서 컴파일러에 제약을 두고 런타임에 초점을 두려합니다. ) KF..

참고 문헌 https://www.kubeflow.org/docs/components/pipelines/v1/concepts https://www.kubeflow.org/docs/components/pipelines/v1/introduction/ pipeline A pipeline is a description of a machine learning (ML) workflow, including all of the components in the workflow and how the components relate to each other in the form of a graph. The pipeline configuration includes the definition of the inputs (param..

서론 블로그 포스트의 목표 및 주제 소개 요즘 cicd 업무가 많아지고 있다.. cicd 는 절대적으로 팀내 문화적 지정과 ci와 cd 간의 그 간격, 그리고 ct에 대한 정리도 필요하기때문에 이번에 우아한기술블로그에 AI 서비스와 MLOps 도입기도 재밌게 읽은 기념으로 구글 클라우드 도큐먼트에서 데이터, mlops와 data 관련된 CICD 찾아보기 글을 진행해보려한다. CI/CD? 일단 들어가기 전에 CICD 가 뭔지부턴 알아야하는데, redhat 문서에 따르면, CI/CD (Continuous Integration/Continuous Delivery)는 애플리케이션 개발단계를 자동화하여 애플리케이션을 더욱 짧은 주기로 고객에게 제공하는 방법이다. CI/CD의 "CI"는 개발자를 위한 자동화 프로세..

Kubeflow Pipeline이란? Kubeflow pipeline Concept 컴파일러 호출 dsl-compile 명령어 함수 분석 파이프라인 YAML 파일 컴파일 과정 + 컴파일된 리소스 확인 Kubeflow Pipeline이란? Kubeflow Pipelines is a platform for building and deploying portable, scalable machine learning (ML) workflows based on Docker containers. Kubeflow Pipeline은 Docker 컨테이너를 기반으로 한 확장 가능한 휴대용 기계 학습(ML) 워크플로우를 구축하고 배포하기 위한 플랫폼입니다. What is Kubeflow Pipelines? The Kubefl..

1. 이 글을 어떻게 쓰게 되었냐면.. python 을 주 언어로 사용하고 있는 백엔드 개발자입니다. 이번에, application 에 logging 을 달면서, python logging 에 대한 글을 쓰려고 했는데, 기왕이면 python print 문과 python logging 중에, 어떤 상황에 무엇을 쓰면 더 적합한지 , 그 둘의 차이에 대해 작성해보면 좀 더 재밌는 글이 될 것같이 이 글을 쓰게 되었습니다. 우선, 로그에 대해 이해를 하고, 로그를 언제 쓰는지, 꼭 써야하는지, 그리고 로깅을 한다고 했을때 고려할점에 대해서 이야기를 하겠습니다. 이후, print 에 대해 이야기하고, logging 에 대해 설명한 뒤, 그 둘의 차이점을 비교하는 형태로 글을 이어나가볼까 합니다. 2. 로그 파일..