killog

안녕하세요 vllm 0.5 , 0.6 버전으로의 디자인 변화만으로 throughput 20% 높이기 를 주제를 들고왔습니다. 이전에 포스팅한글인데, v1 아키텍처가 나오면서 부랴부랴 포스팅합니다. 업그레이드가 빠르네요, vllm 0.6버전 업데이트이후 throughput이 향상되었는데요, 왜 향상 되었을지에 대해서 vllm 디자인과 함께 설명해보고자합니다.3줄 요약하자면, 다음과 같습니다.vLLM 0.6 버전 업데이트 있다. GPU 최적화 어느정도 진행해서 CPU 오버헤드가 커보여 개선했다. 효과 있다.https://blog.vllm.ai/2024/09/05/perf-update.html Dataset: ShareGPT 500 prompts randomly sampled from ShareGPT ..