killog

Online and Offline inferencevLLM은 온라인과 오프라인, 두 가지 모드로 작동합니다. 오프라인 추론에서는 PyTorch 모듈과 유사하게 작동하여 입력 데이터로 실행할 수 있습니다. 반면 온라인 추론은 서버와 유사하게 작동합니다. 일단 시작되면 클라이언트의 요청을 기다리며 여러 요청을 동시에 처리할 수 있습니다.두 모드 모두 겉보기에는 다르지만, 동일한 inference engine을 공유합니다. 서버, 엔진 초기화, 새로운 요청 처리, 엔진의 메인 루프, 그리고 스케줄러의 다섯 가지 코드 섹션을 살펴보겠습니다. 1. vLLM ServervLLM은 FastAPI를 사용하여 서버를 호스팅합니다. 서버 내에서 AsyncLLMEngine이 인스턴스화됩니다. 이름과 달리 AsyncLLMEn..

https://huggingface.co/docs/transformers/generation_strategies#decoding-strategieshttps://huggingface.co/blog/how-to-generatehttps://dytis.tistory.com/53 1. 이야기 주제이번에는 LLM에서 Greedy Decoding 외에 어떤 디코딩 전략들이 있는지를 설명합니다.2. 이야기할 전략은 총 네 가지입니다Greedy Decoding (기본)Sampling (Top-k, Top-p)Beam SearchContrastive Search (최신 기법)3. 결론부터 말하면디코딩은 LLM이 다음 토큰을 선택하는 방식이며,각 전략은 속도, 다양성, 정확성 간의 trade-off를 조절합니다.→ 상..