ShrinkLabs REV 0.9.0

FIG.00 — AI SERVING, SHRINK-WRAPPED

흩어진 GPU를 하나로.
모델은 알맞은 자리에.

ShrinkLabs는 여러 GPU 클러스터를 하나의 콘솔로 묶고, 모델을 하드웨어에 맞춰 배포하는 AI 서빙 플랫폼입니다. 웹에서 모델을 고르면 배치, 라우팅, 장애 복구는 ShrinkLabs가 맡습니다.

기능 살펴보기 주간 노트 →
ShrinkLabs 통합 대시보드: 클러스터, 인스턴스, GPU 사용률, 서빙 성능을 한 화면에 보여준다
FIG.00 — 통합 대시보드

FIG.01 — PROBLEM

GPU는 늘었는데, 관리는 더 번거로워졌다

01

서버마다 따로

GPU 서버가 늘수록 접속할 곳도, 확인할 대시보드도 늘어납니다.

02

배포는 YAML 편집

모델 하나를 올리려면 서버에 들어가 매니페스트를 고치고, 빈 GPU를 직접 찾아야 합니다.

03

놀고 있는 GPU

아무도 호출하지 않는 모델이 GPU를 붙잡고 있어도 알아채기 어렵습니다.

FIG.02 — FEATURES

하나의 콘솔, 하나의 엔드포인트

01 · CLUSTERS

멀티클러스터 통합 관리

여러 Kubernetes GPU 클러스터를 하나의 컨트롤 플레인에 등록합니다. NAT나 방화벽 뒤에 있는 클러스터도 연결할 수 있습니다.

02 · ENDPOINT

OpenAI 호환 API 하나로

모델이 어느 클러스터에 있든 같은 /v1 엔드포인트로 호출합니다. API 키, RPM·TPM 제한, 스트리밍을 지원합니다.

03 · DEPLOY

모델 저장소와 배포 마법사

모델을 고르면 Hugging Face 메타데이터를 자동으로 채우고, 4단계 마법사로 배포합니다. vLLM, TEI, llama.cpp 런타임을 지원합니다.

04 · FAILOVER

장애 자동 복구

클러스터 장애를 감지하면 다른 클러스터로 서빙을 옮깁니다. 런타임 이미지는 미리 캐싱해 재배포를 앞당깁니다.

05 · OBSERVE

실시간 관측

TPS, TTFT, GPU 사용률과 온도, 노드 실사용률, Pod 로그를 한곳에서 봅니다. 배포 실패는 알림 센터로 모입니다.

06 · ORGS

조직과 권한

조직·그룹 단위로 자원을 나누고, 역할 기반 권한과 감사 로그로 누가 무엇을 했는지 남깁니다.

FIG.03 — CONSOLE FLOW

모델을 고르면, 나머지는 ShrinkLabs가

  1. STEP 1모델 선택
  2. STEP 2배치 정책 추천
  3. STEP 3배포
  4. STEP 4실시간 확인
모델 저장소 화면: 등록된 모델과 런타임 목록
① 모델 저장소
배포 마법사 화면: 모델과 런타임을 고르는 첫 단계
② 배포 마법사
모니터링 화면: 서빙 메트릭과 Pod 로그
③ 실시간 모니터링

FIG.04 — ARCHITECTURE

추론 엔진은 그대로, 그 위의 운영을 맡습니다

ShrinkLabs는 vLLM 같은 검증된 추론 엔진을 대체하지 않습니다. 그 위에서 어느 클러스터에 올릴지, 요청을 어디로 보낼지, 장애가 나면 어디로 옮길지를 결정합니다.

WORKS WITH — Kubernetes · vLLM · Prometheus

FIG.05 — FOR

이런 팀을 위해 만듭니다

GPU 서버를 따로 운영하는 팀

수 대에서 수십 대의 GPU 서버를 하나로 묶어 쓰고 싶은 곳.

서빙 전담 인력이 없는 스타트업

자체 모델을 서비스해야 하지만 인프라 엔지니어를 따로 두기 어려운 곳.

연구실과 소규모 데이터센터

종류가 다른 GPU가 섞여 있고, 여러 사람이 함께 쓰는 곳.

FIG.06 — STATUS · REV 0.9.0 TECHNICAL PREVIEW

지금 되는 것과 만들고 있는 것

● 동작

  • 여러 클러스터에 걸친 모델 등록, 배포, API 호출
  • 모든 모델을 하나의 OpenAI 호환 엔드포인트로 호출
  • vLLM, TEI, llama.cpp 서빙 런타임
  • TPS, 지연 시간, GPU 메트릭과 Pod 로그
  • 이미지 사전 캐싱, 장애 감지, 클러스터 간 페일오버
  • 조직·권한 체계, 관리자 콘솔, 라이트·다크 모드

○ 진행 중

  • 모델 요구량에 따른 자동 배치
  • 모델 가중치 분산 캐시로 콜드 스타트 단축
  • 명령 한 줄로 끝나는 클러스터 연결 패키지

매주 진행 상황을 주간 노트로 공유합니다.