Точка монтирования для Amazon S3 теперь общедоступна для доступа к контейнеру как к локальной файловой системе.

во время последнего День хранилища AWS Событие, Amazon объявила Общая доступность точки монтирования для Amazon S3. Новый файловый клиент с открытым исходным кодом через файловый интерфейс обеспечивает гибкое хранилище и пропускную способность для Amazon S3, поддерживая передачу данных со скоростью до 100 Гбит/с между каждым экземпляром EC2 и хранилищем объектов.

Объявленный в предварительном просмотре ранее в этом году, Точка монтирования для Amazon S3 Он предназначен для таких рабочих нагрузок, как приложения озера данных, которые выполняют последовательную запись, последовательное чтение и случайную выборку и не нуждаются в полной семантике POSIX. Джефф БаррВице-президент и главный евангелист AWS Объяснять:

Многие клиенты AWS используют S3 API и AWS SDK для создания приложений, которые могут отображать, получать доступ и управлять содержимым корзины S3. Однако у многих клиентов есть существующие приложения, команды, инструменты и рабочие процессы, которые знают, как обращаться к файлам в стиле UNIX: читать каталоги, открывать и читать существующие файлы, а также создавать и записывать новые. Эти клиенты просили нас предоставить официальный корпоративный клиент, поддерживающий эффективный доступ к S3 в любом масштабе.

Другими популярными вариантами использования нового клиента с открытым исходным кодом являются обучение машинному обучению, рендеринг изображений, моделирование автономных транспортных средств и ETL. Mountpoint поддерживает передачу данных в до 100 Гбит/с между каждым экземпляром EC2 и корзиной S3, транслируя вызовы API локальной файловой системы в вызовы API объектов S3 и снижая затраты по сравнению с управляемой сетевой файловой системой (NFS). Барр добавляет:

Под прикрытием виртуальная файловая система Linux (VFS) переводит эти операции в вызовы точки монтирования, которая, в свою очередь, переводит их в вызовы S3: LIST, GET, PUT и т. д. Mountpoint стремится эффективно использовать пропускную способность сети, повысить производительность и позволить вам снизить затраты на вычисления, выполняя больше работы за меньшее время.

по популярности Реддит темаРазные пользователи спрашивают, чем новый продукт отличается от существующего с открытым исходным кодом. s3fs и коммерческие продукты ObjectiveFS. Фернандо Шуберт, старший облачный архитектор Human Made, Комментарии:

Интересно, что теперь это официально поддерживается, но s3fs /fuse на самом деле делает это некоторое время, стремясь сравнить функции и тесты.

Юкка Форсгрен, старший архитектор решений, AWS, Основные моменты Одна из целей клиента AWS:

В моей предыдущей компании я работал круглосуточно и без выходных с большим количеством сред AWS для клиентов. Одно из распространенных предупреждений было связано с зависанием монтирования S3 в инстансах EC2 Linux, которые нам часто приходилось исправлять посреди ночи. В свете этого было приятно отметить, что мы всего лишь GA, у нас есть собственный клиент под названием Mountpoint для Amazon S3, стабильность которого является одной из основных целей проектирования.

Точка монтирования не является сетевой файловой системой общего назначения и имеет некоторые ограничения на операции с файлами. На основе библиотеки AWS Common Runtime (CRT) клиент с Rust может читать файлы размером до 5 ТБ, Существующие файлы не могут быть изменены или удаление каталогов, и он не поддерживает символические ссылки или блокировку файлов.

В настоящее время поддерживаются не все классы хранилища S3, поскольку Mountpoint не поддерживает классы архивов Glacier Flexible Retrieval, Glacier Deep Archive, Intelligent-Tiering Archive Access Tier и Intelligent-Tiering Deep Archive Access Tier.

Плата за использование Mountpoint не установлена, разработчики платят на основании S3 операции. Точка монтирования доступна в формате RPM, а дорожная карта доступна по адресу гитхаб.