
llm-d is a Kubernetes-native distributed inference serving stackhttps://llm-d.ai, https://github.com/llm-dwhy llm-d왜 llm-d 로 가야하는가는 명확합니다.멀티노드의 vllm 을 쿠버네티스 위에 올리는 가장 , 이상적인 최적화된 방법이 무엇일까요? 쿠버네티스 만든 사람이 멀티노드 llm 서빙을 만드는 것입니다. 앗 그럼 멀티노드 llm 서빙을 쿠버네티스 하는 사람들이 모르면 어쩌죠? 현존하는 멀티노드 llm 서빙툴(예. production stack, kserve, dynamo )을 차용해 확장 가능하게끔 구현하면됩니다.즉, llm-d 는 쿠버네티스 개발자들이 현존하는 멀티노드 llm 서빙툴을 차용해 확장 가능하게..
카테고리 없음
2025. 5. 30. 14:48
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- CKA
- 환경세팅
- 마크다운
- 쿠버네티스
- linter
- 크론탭
- 패스트 캠퍼스
- 딥러닝책
- 주피터노트북 설치
- 쉘스크립트
- 패스트캠퍼스
- 참고 링크
- 자스계의백과사전
- 자바
- 디비
- 언제나 함께해요
- AWS
- 세션불일치
- 유용한웹사이트
- https://cupjoo.tistory.com/96
- 스프링 프레임워크 핵심 기술
- hot
- EC2
- 자바 인강
- 자바인강
- 혁펜하임
- 자바 인강이 듣고 싶다면 => https://bit.ly/3ilMbIO
- 파이참
- 딥러닝
- pycharm
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함