killog

llm-d is a Kubernetes-native distributed inference serving stackhttps://llm-d.ai, https://github.com/llm-dwhy llm-d왜 llm-d 로 가야하는가는 명확합니다.멀티노드의 vllm 을 쿠버네티스 위에 올리는 가장 , 이상적인 최적화된 방법이 무엇일까요? 쿠버네티스 만든 사람이 멀티노드 llm 서빙을 만드는 것입니다. 앗 그럼 멀티노드 llm 서빙을 쿠버네티스 하는 사람들이 모르면 어쩌죠? 현존하는 멀티노드 llm 서빙툴(예. production stack, kserve, dynamo )을 차용해 확장 가능하게끔 구현하면됩니다.즉, llm-d 는 쿠버네티스 개발자들이 현존하는 멀티노드 llm 서빙툴을 차용해 확장 가능하게..