MLOps Tools

• No.1
  • 데이터
    • 데이터 수집 파이프라인
    • → Sqoop, Flume, Kafka, Flink, Spark streaming, Airflow
    • 데이터저장
    • → MySQL, Hadoop, Amazon S3, MinIO
    • 데이터관리
    • → TFDV, DVC, Feast, Amundsen
  • 모델
    • 모델개발
    • → Jupyter Hub, Docker, Kubeflow, Optuna, Ray, katib
    • 모델버전관리
    • → Git, MLflow, Github Action, Jenkins
    • 모델학습 스케줄링 관리
    • → Grafana, Kubernetess
  • 서빙 → 데이터를 받으면 ML 모델에 predict 함수를 돌리는게 아닌 API 서버를 통해 제공하는 서비스
    • 모델패키징
    • → Docker, Flask, FastAPI, BentoML, Kubeflow, TFServing, seldon-core
    • 서버모니터링
    • → Prometheus, Grafana, Thanos
    • 파이프라인 매니징
    • → kubeflow, argo workflows, Airflow
  • 전체 서비스 제공
    • AWS SageMaker
    • GCP Vertex AI
    • Azure Machine Learning

 

 

관련 Github

https://github.com/kelvins/awesome-mlops

GitHub - kelvins/awesome-mlops: A curated list of awesome MLOps tools

https://github.com/graviraja/MLOps-Basics

GitHub - graviraja/MLOps-Basics

https://github.com/visenger/awesome-mlops

GitHub - visenger/awesome-mlops: A curated list of references for MLOps

https://github.com/cdfoundation/sig-mlops

GitHub - cdfoundation/sig-mlops: CDF SIG MLOps

https://github.com/kelvins/awesome-mlops

GitHub - kelvins/awesome-mlops: A curated list of awesome MLOps tools