MinIO

VAR-As-A-Service는 MLOps 접근 방식으로, 통계 모델과 기계 학습 모델 배포 파이프라인의 통합 및 재사용을 위한 것입니다. 이는 다양한 통계 및 기계 학습 모델, 기존 DAG 도구를 사용하여 구현된 데이터 파이프라인, 클라우드 기반 및 대체 온프레미스 솔루션을 사용하는 스토리지 서비스와 관련된 실험을 나타내는 일련의 기사 중 두 번째입니다. 이 기사에서는 기계 학습 모델에도 적용 가능하고 사용되는 접근 방식으로 모델 파일 스토리지에 중점을 둡니다. 구현된 스토리지는 AWS S3 호환 객체 스토리지 서비스로서의 MinIO를 기반으로 합니다. 또한 이 기사에서는 대체 스토리지 솔루션에 대한…

Trino는 오픈 소스 분산 시스템 SQL 쿼리 엔진으로, 하나 이상의 이질적인 데이터 소스에 분산된 대량의 데이터 세트를 쿼리하도록 설계되었습니다. Trino는 많은 양의 데이터를 처리하고 보고서를 생성하여 데이터 货파우함, ETL, 대화형 분석을 수행하도록 설계되었습니다.  Alluxio는 대규모 분석 및 AI를 위한 오픈 소스 데이터 오케스트레이션 플랫폼입니다. Alluxio는 Trino 및 Apache Spark와 같은 계산 프레임워크와 Amazon S3, Google Cloud Storage, HDFS, MinIO와 같은 다양한 스토리지 시스템 사이에 위치합니다.  이것은 Trino용 Iceberg 커넥터를 사용하여 Alluxio를 캐싱 계층으로 배포하는 방법에 대한 튜토리얼입니다. Trino에 캐싱이 왜…

이 게시물의 저자는 MinIO 기사에 제시된 관점에 의문을 제기하며, POSIX가 객체 저장소에 적합한 선택이 아니라고 제안합니다. 그는 MinIO s3fs-fuse와 JuiceFS를 포함한 종합적인 테스트를 실시했습니다. 결과는 MinIO와 JuiceFS가 우수한 성능을 제공하는 반면 s3fs-fuse는 뒤쳐졌다는 것을 나타냅니다. 작은 파일 덮어쓰기 시나리오에서 JuiceFS FUSE-POSIX는 다른 솔루션들을 능가합니다. 최근 MinIO 블로그에 게시된 “객체 저장소 위에 파일 시스템을 올리는 것은 나쁜 생각이다. 이유는 다음과 같다.”라는 제목의 기사를 접했습니다. 저자는 s3fs-fuse를 예로 들어 POSIX 방식으로 MinIO 데이터에 접근할 때 발생하는 성능 문제를 설명하며, 직접 MinIO에 접근하는…