MinIO

שירות VAR-As-A-Service הוא גישה MLOps ליישום ומיתוג של מודלים סטטיסטיים ומודלים ללמידה מלאכותית, ולשימוש חוזר בזרמי פלט של מודלים אלה. זהו הפרק השני בסדרת המאמרים שנבנה על פי הפרויקט, המייצג ניסויים עם מודלים סטטיסטיים ומודלים ללמידה מלאכותית שונים, זרמי נתונים שהונצלו באמצעות כלים DAG קיימים, ושירותי אחסון, גם מבוססי אינטרנט וגם פתרונות מקומיים חלופיים. מאמר זה מתמקד באחסון קבצי המודל באמצעות גישה שניתן ליישם גם למודלים ללמידה מלאכותית. האחסון שהונצל מבוסס על MinIO כשירות אחסון אובייקטים מתאים ל-AWS S3. בנוסף,…

Trino הוא גרסה חופשית של מנוע חיפוש SQL מרובע המיועד לבדיקת קבצים גדולים של נתונים המפולגים על אחד או יותר מקורות נתונים שונים. Trino תוכנן לטפל באחסון נתונים, ETL, וניתוח אינטראקטיבי על ידי כמויות גדולות של נתונים וייצור דוחות. Alluxio היא פלטפורמת ארגון נתונים חופשית לניתוח בקנה מידה גדול ו AI. Alluxio יושב בין ממשקים חישוב כגון Trino ו- Apache Spark לבין מערכות אחסון כגון Amazon S3, Google Cloud Storage, HDFS, ו- MinIO. זהו מדריך לפרוסטורות Alluxio כשכבת מטמון עבור…

הפורטל מערער על הנקודת המבט שהוצגה במאמר של MinIO, שמציע ש-POSIX אינו מתאים לאחסון אובייקטים. הוא ביצע בדיקות מקיפות הכוללות את MinIO s3fs-fuse ו-JuiceFS. התוצאות מצביעות על כך ש-MinIO ו-JuiceFS מספקים ביצועים מצוינים בעוד s3fs-fuse מגרד. בתרחישי החלפת קבצים קטנים, JuiceFS FUSE-POSIX עוקף אחרות פתרונות. לאחרונה נתקלתי במאמר בבלוג MinIO בשם "לשים מערכת קבצים מעל אחסון אובייקט הוא רעיון רע. הנה למה." הפורטל השתמש ב-s3fs-fuse כדוגמה לאתגרי הביצועים שנתקלים כשמשתמשים בשיטות POSIX של מערכת ההפעלה הניידת (POSIX) לגשת לנתוני MinIO,…