MLOps, 또는 기계 학습 운영은 기계 학습(ML), 데이터 엔지니어링 및 DevOps를 결합하여 ML 모델 생애 주기를 효율적으로 자동화하는 일련의 관행입니다. MLOps는 현재 데이터 과학 워크플로의 필수 요소입니다. 이는 현대 정보 기술 환경의 기본 구성 요소이며, 앞으로 몇 년간 그 영향력이 크게 증가할 것으로 예상됩니다. 데이터 처리, 모델 개발에서 배포, 모니터링, 지속적인 개선에 이르기까지 모든 것을 포괄하여 기계 학습을 생산 환경에 통합하는 데 있어 중요한 분야가 됩니다.
그러나 MLOps에서 중요한 도전 과제는 기계 학습 작업의 고유한 요구 사항을 처리할 수 있는 확장 가능하고 유연한 인프라에 대한 수요입니다. 개발 주기가 종종 실험적인 경우가 많고, 일반적으로 Jupyter 노트북과 같은 인터랙티브 도구를 사용하지만, 프로덕션 배포는 자동화와 확장성을 요구합니다.
Kubernetes는 컨테이너 또는 오케스트레이션 도구로, MLOps를 대규모로 지원하기 위해 필수적인 인프라를 제공하여 다양한 ML 워크플로에 대한 유연성, 확장성 및 효율적인 자원 관리를 보장합니다. 그 중요성을 더 잘 이해하기 위해, 간단한 실제 예를 사용하여 설명해 보겠습니다.
1. 확장성 및 자원 관리
Kubernetes는 기계 학습 워크플로우의 확장성에 탁월한 지원을 제공하며, 이는 종종 상당한 컴퓨팅 자원을 요구합니다. 특히 딥 러닝 모델의 경우, 훈련 및 추론 단계 동안 변동하는 작업 부하를 관리하기 위해 동적 확장이 매우 중요합니다. Kubernetes는 리소스 오케스트레이션을 자동화하여 실시간 수요에 따라 컨테이너화된 서비스의 수평 확장을 가능하게 합니다. MLOps 파이프라인에서 작업 부하는 일반적으로 큰 데이터 세트, 여러 기능 엔지니어링 작업 및 리소스를 많이 소모하는 모델 훈련을 포함합니다. Kubernetes는 이러한 작업을 클러스터 내의 노드에 효과적으로 분산시키고, 각 작업의 요구 사항에 따라 CPU, GPU 및 메모리 자원을 동적으로 할당합니다. 이러한 접근 방식은 인프라 규모에 관계없이 ML 워크플로우 전반에 걸쳐 최적의 성능을 보장합니다. 또한, Kubernetes의 자동 확장 기능은 저수요 기간 동안 사용되지 않는 자원을 줄여 비용 효율성을 높입니다.
예시
예를 들어, 추천 시스템(넷플릭스가 영화를 추천하는 것과 같은)을 운영하는 회사는 하루 중 특정 시간에 더 높은 수요를 경험할 수 있습니다. Kubernetes는 시스템이 피크 시간 동안 더 많은 요청을 처리할 수 있도록 보장하고, 조용할 때는 다시 축소합니다. 비슷하게, Airbnb는 개인화된 검색 및 추천을 위한 기계 학습 작업 부하를 관리하기 위해 Kubernetes를 사용합니다. 사용자 트래픽이 변동할 때, Airbnb는 Kubernetes를 활용하여 ML 서비스를 자동으로 확장합니다. 예를 들어, 여행 성수기 동안 Kubernetes는 증가된 사용자 요청을 처리하기 위해 더 많은 자원을 동적으로 할당하여 비용을 최적화하고 높은 가용성을 보장합니다.
2. 환경 간 일관성
MLOps의 핵심 도전 과제 중 하나는 머신러닝 실험과 모델의 재현성을 보장하는 것입니다. 마치 케이크를 구울 때 집에서 구우나 상업용 주방에서 구우나 같은 결과를 얻고 싶다고 상상해 보세요. 일관성을 보장하기 위해 같은 레시피를 따릅니다. Kubernetes는 컨테이너를 사용하여 비슷한 작업을 수행합니다. 이 컨테이너는 머신러닝 모델과 모든 종속성(소프트웨어, 라이브러리 등)을 패키징하여 개발자의 노트북에서 테스트할 때나 대규모 클라우드 환경에서 실행할 때 동일하게 작동하도록 합니다. 이는 ML 프로젝트에서 매우 중요합니다. 설정의 작은 차이도 예기치 않은 결과를 초래할 수 있기 때문입니다.
예시
Spotify는 Kubernetes를 채택하여 머신러닝 모델을 컨테이너화하고 다양한 환경에서 재현성을 보장하고 있습니다. 모든 종속성을 포함하여 모델을 컨테이너에 패키징함으로써, Spotify는 배포 중 발생할 수 있는 불일치를 최소화합니다. 이러한 관행은 Spotify가 개발, 테스트 및 운영 환경에서 모델의 성능 일관성을 유지하고 ‘내 컴퓨터에서는 작동하는데’ 문제를 줄이는 데 도움을 주었습니다.
3. 작업 자동화하기
전형적인 MLOps 워크플로우에서는 데이터 과학자들이 코드와 모델 업데이트를 버전 관리 시스템에 제출합니다. 이러한 업데이트는 자동화된 CI 파이프라인을 활성화하여 컨테이너화된 환경 내에서 모델의 빌드, 테스트 및 검증을 처리합니다. Kubernetes는 이 프로세스를 간소화하여 컨테이너화된 작업을 조정하고, 모델 개발 및 테스트의 각 단계를 확장 가능하고 격리된 환경에서 수행되도록 보장합니다. 이 과정에서, 모델은 검증 후 Kubernetes의 기본 배포 및 확장 기능을 사용하여 프로덕션 환경에 원활하게 배포되어 기계 학습 모델에 대한 지속적이고 신뢰할 수 있으며 지연 시간이 낮은 업데이트를 가능하게 합니다.
예시
예를 들어, 새로운 ML 모델 버전이 준비되면(예: Gmail의 스팸 필터), Kubernetes는 이를 자동으로 롤아웃하여 성능을 보장하고 중단 없이 이전 버전을 대체할 수 있습니다. 마찬가지로, 유럽의 주요 패션 소매업체인 Zalando는 ML 모델 업데이트를 위한 CI/CD 파이프라인에서 Kubernetes를 사용합니다.
4. 강화된 모니터링 및 모델 거버넌스
프로덕션에서 기계 학습 모델을 모니터링하는 것은 데이터 입력의 지속적인 변화와 모델의 시간이 지남에 따라 진화하는 행동으로 인해 상당히 도전적일 수 있습니다. Kubernetes는 Prometheus 및 Grafana와 같은 통합 모니터링 도구와 자체 기본 로깅 기능을 제공함으로써 ML 시스템의 가시성을 크게 향상시킵니다. 이러한 도구를 통해 데이터 과학자와 MLOps 엔지니어는 시스템 성능과 관련된 필수 메트릭(예: CPU, 메모리 및 GPU 사용량) 및 예측 정확도, 응답 시간, 드리프트 감지와 같은 모델 특정 메트릭을 모니터링할 수 있습니다.
예시
예를 들어, Kubernetes의 기능은 NVIDIA가 기계 학습 모델과 관련된 맞춤형 메트릭을 정의하는 데 도움을 주며, 모델 드리프트나 시간 경과에 따른 정확도 변화와 같은 메트릭을 포함합니다. 그들은 이러한 메트릭이 허용 가능한 임계값을 벗어날 때 데이터 과학자와 MLOps 엔지니어에게 알림을 설정합니다. 이러한 사전 모니터링은 모델 성능을 유지하고 모델이 의도한 대로 작동하는지 확인하는 데 도움이 됩니다.
5. 분산 훈련 및 추론의 오케스트레이션
Kubernetes는 대규모 기계 학습 모델의 분산 훈련 및 추론을 조정하는 데 필수적입니다. 복잡한 모델, 특히 심층 신경망을 훈련하는 데는 종종 여러 머신이나 노드에 컴퓨팅 작업을 분산시켜야 하며, 자주 GPU나 TPU와 같은 특수 하드웨어를 사용합니다. Kubernetes는 TensorFlow, PyTorch 및 Horovod와 같은 분산 컴퓨팅 프레임워크에 대한 기본 지원을 제공하여 기계 학습 엔지니어가 클러스터 전체에서 모델 훈련을 효율적으로 확장할 수 있도록 합니다.
예시
예를 들어, Uber는 라이드 쉐어링 및 음식 배달을 포함한 다양한 서비스에서 사용되는 기계 학습 모델의 분산 훈련을 위해 Kubernetes를 사용합니다. 또한 Kubernetes는 실시간으로 모델을 제공하여 사용자에게 예상 도착 시간(ETA)과 가격 정보를 저지연으로 전달하며, 피크 시간대에는 수요에 따라 확장합니다.
6. 하이브리드 및 멀티 클라우드 유연성
MLOps에서 조직은 종종 온프레미스, 퍼블릭 클라우드 및 엣지 장치를 포함한 다양한 환경에 모델을 배포합니다. Kubernetes의 클라우드에 중립적인 디자인은 하이브리드 및 멀티 클라우드 설정에서 원활한 오케스트레이션을 가능케 하며, 데이터 주권 및 저지연 요구사항에 중요한 유연성을 제공합니다. Kubernetes는 인프라를 추상화함으로써 ML 모델을 지역 및 공급업체 간에 배포하고 확장할 수 있어서, 공급업체 락인 없이 중복, 재해 복구 및 규정 준수를 지원합니다.
예시
예를 들어, 알리바바는 온프레미스 데이터 센터와 퍼블릭 클라우드 환경 간에 기계 학습 워크로드를 실행하기 위해 Kubernetes를 사용합니다. 이 하이브리드 설정을 통해 알리바바는 수요에 따라 워크로드를 확장할 수 있는 유연성을 제공하면서 데이터 주권 문제를 관리할 수 있습니다. Kubernetes의 클라우드에 중립적인 기능을 활용하여 알리바바는 다양한 환경에서 효율적으로 모델을 배포하고 관리하여 성능과 비용을 최적화할 수 있습니다.
7. 장애 허용성
Kubernetes의 내결함성은 머신 러닝 워크로드가 개별 노드나 컨테이너가 실패해도 원활하게 진행될 수 있도록 보장합니다. 이 기능은 분산 훈련에서 중요한데, 노드의 손실로 인해 전체 훈련 프로세스를 다시 시작해야 할 수도 있어 시간과 컴퓨팅 자원을 낭비할 수 있기 때문입니다. Kubernetes 제어 평면은 계속해서 노드와 파드의 상태를 모니터링하며, 노드 실패를 감지하면 해당 파드를 “비정상”으로 자동으로 표시합니다. Kubernetes는 그런 다음 실패한 파드의 작업을 클러스터 내 다른 건강한 노드로 재스케줄링합니다. GPU 노드가 있는 경우 Kubernetes는 자동으로 하나를 선택하여 훈련을 중단시키지 않고 계속할 수 있도록 합니다.
예시
우버는 분산 딥 러닝 모델 훈련을 위해 Horovod와 함께 Kubernetes를 활용하고 있습니다. 이 설정에서 Kubernetes는 내결함성을 제공하며, Horovod 워커가 실행 중인 노드가 실패하면 Kubernetes가 자동으로 다른 노드에서 워커를 다시 시작합니다. 체크포인팅을 통합함으로써 우버의 훈련 작업은 그러한 실패에서 최소한의 손실로 복구할 수 있습니다. 이 시스템을 통해 우버는 가끔의 하드웨어나 네트워크 문제에도 더 신뢰성 있게 대규모 모델을 훈련할 수 있습니다.
결론
Kubernetes는 MLOps에서 필수 요소가 되었으며, 머신 러닝 워크플로우를 효과적으로 관리하고 확장할 수 있는 강력한 인프라를 제공합니다. 자원 오케스트레이션, 컨테이너화, 지속적인 배포 및 모니터링에서의 강점은 ML 모델 수명 주기의 전체 과정을 간소화하여 개발부터 생산까지 이어집니다. 머신 러닝 모델이 기업 운영 내에서 복잡성과 중요성이 증가함에 따라, Kubernetes는 MLOps 관행의 확장성, 효율성 및 신뢰성을 향상시키는 데 계속해서 중요한 역할을 할 것입니다. 기술 구현을 지원하는 것을 넘어, Kubernetes는 AI 기반 시스템에서 혁신과 운영 우수성을 이끌어냅니다.
Source:
https://dzone.com/articles/the-importance-of-kubernetes-in-mlops