MinIO

VAR-As-A-Service представляет собой MLOps подход к унификации и повторному использованию статистических моделей и конвейеров развертывания моделей машинного обучения. Это второй из серии статей, основанных на данном проекте, демонстрирующих эксперименты с различными статистическими и машинными моделями, данными конвейерами, реализованными с использованием существующих DAG инструментов, и решениями для хранения данных, как облачными, так и альтернативными локальными вариантами. В данной статье основное внимание уделяется хранению файлов моделей с использованием подхода, также применимого и используемого для машинных моделей обучения. Реализованное хранилище основано на MinIO…

Trino — это открытый исходный распределенный движок запросов SQL, предназначенный для запроса больших наборов данных, распределенных по одному или нескольким гетерогенным источникам данных. Trino был разработан для обработки хранилищ данных, ETL и интерактивного анализа больших объемов данных и создания отчетов.  Alluxio — это открытый источник оркестрации данных для масштабного анализа и ИИ. Alluxio находится между вычислительными фреймворками, такими как Trino и Apache Spark, и различными системами хранения данных, такими как Amazon S3, Google Cloud Storage, HDFS и MinIO.  Это учебник…

Автор этого поста ставит под сомнение представленный в статье MinIO взгляд, который утверждает, что POSIX не является подходящим выбором для объектных хранилищ. Он провел комплексные тесты, включая MinIO s3fs-fuse и JuiceFS. Результаты показывают, что MinIO и JuiceFS демонстрируют отличную производительность, в то время как s3fs-fuse отстает. В сценариях перезаписи маленьких файлов, JuiceFS FUSE-POSIX превосходит другие решения. Недавно я наткнулся на статью на блоге MinIO под названием “Наложение файловой системы на объектное хранилище – плохая идея. Вот почему.” Автор использовал s3fs-fuse…