storage pool что это

Дисковые пространства: начало работы

В это заметке Я рассмотрю процесс работы с дисковым пулом и виртуальными томами.

Вводная статья по теме тут:

Для начала возьмем компьютер с несколькими жесткими дисками. В моём случае это виртуальная машина.

Примерно так выглядят диски в диспетчере устройств.

Далее в панели управления найдем «Дисковые пространства» и приступим к созданию первого пула. Следует отметить те диски, что должны участвовать в пуле. Данные на дисках будут уничтожены. Это могут быть, как IDE, SATA, SAS, iSCSI, SCSI или USB диски любого размера.

Для создания пула потребуются административные привилегии. Выбираем диски.

Сразу после создания пула нам будет предложено создать первый виртуальный том. Из предыдущей заметки вы знаете о видах томов и скорее всего, знаете свой выбор. Вы можете выбрать тип устойчивости и букву с меткой тома. Вам следует указать размер тома. Это будет полезный размер тома. Этот объем будет доступен для данных. В поле ниже указан размер, занимаемый данными с учетом избыточности. Во избежание сложностей, советую задавать размер тома таким образом, что-бы пространства пула хватило для данных с избыточностью. Несложно рассчитать для случая, если томов будет несколько. Всегда можно увеличить объем тома.

После создания тома мы видим созданный дисковый пул и элементы управления томами.

Для наглядности я создал по одному тому каждого вида. Посмотрим, как это отразится в системе:

В диспетчере устройств появились новые накопители.

В проводнике виртуальные тома отображаются как обычные накопители

Теперь рассмотрим работу с томами. Томами управлять очень легко. Тома можно создавать, удалять и увеличивать.

1) Добавление виртуального тома

Новый том добавляется предельно просто. Требуется указать объём, выбрать букву и тип избыточности.

Параметры создаваемого тома. Система сразу сообщает Размер тома включая избыточность.

2) Удаление виртуального тома

Операция удаления виртуального тома приводит к уничтожению всего его содержимого. Операция необратима. Для удаления используется соответствующий пункт напротив тома.

3) Увеличение виртуального тома

Существует простой механизм мгновенного увеличения виртуальных томов. Для этого достаточно нажать кнопку изменить и указать новый размер. Я специально создал много томов.

Том Е до увеличения. Ёмкость составляет 21,8 Гб.

Увеличение объёма тома Е. Изменим размер до 3 Тб. Не нуачо?!

Новый объем тома Е

Рассмотрим работу с пулами. Любые действия с пулами подразумевают сохранность данных в виртуальных томах. Если для работы виртуального тома требуются ещё диски, система попросит добавить. Если захотите убрать диск, при условии наличия свободного пространства, это можно сделать. Можно заменить маленький диск на большой или старый на новый.

1) Добавление дисков

При нехватке свободного пространства в пуле имеется возможность добавить новые диски. Информация на добавляемом диске будет уничтожена.

Если отмечена оптимизация использования дисков, то начнется процесс перераспределения данных между физическими дисками пула. Это обеспечит равномерную нагрузку на диски.

Виртуальные тома используют пространство пула наиболее равномерно. Но разные типы избыточности могут привести к неравномерному использованию пространства. При исчерпании свободного пространства на дисках требуется добавить диски и/или оптимизировать дисковое пространство.

При этом будет заблокирована запись на тома, для которых свободного пространства не хватает.

Тома заблокированы из-за недостатка свободного пространства

Свободное пространство первых трех дисков исчерпано.

Начиная с Windows 10 появился функционал удаления дисков. Удаление дисков может использоваться в следующих случаях:

— Удаление изношенного диска

— При перемещении диска в другой пул

— При замене диска на более ёмкий

Перед удалением диска следует его освободить от хранящихся на нем данных. Для этого воспользуемся пунктом «Удалить из пула» раздела «Физические диски».

Выбор диска для удаления

Подтверждаем начало процесса

Началась оптимизация дискового пространства

После окончания оптимизации, удаляемый диск будет отмечен восклицательным знаком и следует окончательно его удалить.

Диск готов к удалению

Удаление диска из пула

Важно: для удаления диска данные с него будут перераспределены между другими дисками пула. Это значит, что в пуле должно быть достаточное количество свободного пространства и минимальное количество дисков исходя из выбранного типа избыточности. Например, если в пуле размещен виртуальный том с трехсторонним зеркалированием, то в пуле должно остаться не менее пяти дисков. На изображении ниже как раз такая ситуация.

К удалению доступны не все диски

Дисковые пространства обладают хорошей переносимостью. Переносить можно только сразу все диски пула. Более новые версии Windows поддерживают пулы более старых. Обратная совместимость не гарантируется.

Рассмотрим пример. Пул был создан в Windows 8 и перенесен в Windows 10 1803. Как мы видим, Windows 10 корректно определила пул и виртуальные диски в нем. Windows 10 поддерживает следующие новые функции работы с пулами:

Для активации перечисленных выше функций следует обновить пул. Следует помнить, что это прервет совместимость с Windows 8. Для обновления воспользуемся соответствующим пунктом.

Иногда бывает, что система просит добавить ещё диски, но свободного пространства достаточно. Тогда следует обратить внимание на использование каждого диска пула. Пример, как проходит оптимизация, можно увидеть ниже.

Начало оптимизации пула

Мы видим, что технология дисковых пространств позволяет работать с томами легко и непринужденно, абстрагируясь от дисков.

Процесс создания дискового пула и виртуальных томов достаточно упрощен для пользователя. Есть конечно вариант создания через Power Shell, но об этом в другой раз.

Баяномерт нес какую-то дичь. Все материалы оригинальные сделаны мной.

Лига Сисадминов

662 поста 12.4K подписчиков

Правила сообщества

— # mount /dev/good_story /sysodmins_league

— # mount /dev/photo_it /sysodmins_league

— # mount /dev/best_practice /sysodmins_league

— # mount /dev/tutorial /sysodmins_league

20 подписчиков! Раз такая пьянка, ушел писать следующий пост про обработку аварийных ситуаций.

Создать пул, создать том, создать на нём несколько виртуальных дисков для вирт. машины, создать в ней из этих дисков пул..

да прикольно, а вопрос если подымал на 10ке а потом систему поменял скажем на семерку заведется? или делал на 2012 а переехал на 2016 тоже заведется? есть практический опыт у вас?

Я так понимаю, если просто вытащить жесткий из пула и воткнуть его в другой комп, то Винда не увидит там никакого раздела?

Расскажи, если возможно, о подключении по iscsi

Странные орфографические ошибки.

я правильно понял 10тка может из кучи мелких физических дисков сделать 1 большой логический?

Если есть опыт работы с фри-нас, то обзор сравнением

Автор знает толк в извращениях))) такое проще под фряхой на ZFS провернуть)

REFS — Resilient file system

В предыдущей заметке Я обещал рассказать о REFS. Это новая файловая система, призванная со временем заместить NTFS. REFS унаследовала от NTFS множество функций и обрела новый функционал. REFS полностью раскрывает свой потенциал при использовании Storage Spaces. Однако свой профит она вносит и при использовании на одиночном накопителе.

Когда я начинаю говорить о REFS, я обычно слышу схожие вопросы, поэтому попробую их обобщить:

— Какие функции NTFS убрали в REFS?

— Что нового в REFS, чего нет в NTFS?

— Какие основные преимущества REFS перед NTFS?

REFS поистине защищена от сбоев: Если мы рассматриваем простой том, то метаданные хранятся в двух экземплярах и контролируются контрольными суммами. перед каждой операцией чтения/записи, данные проверяюся на наличие ошибок и корректируются при необходимости. Раз в четыре недели запускается задание, в фоновом режиме сканирующее том на наличие повреждений. Исправления вносятся на лету. Поэтому при попытке натравить проверку диска на такой том, получим сообщение:

По умолчанию потоки целостности включены только для метаданных — это позволяет держать файловую систему в непротиворечивом состоянии. Однако, потоки целостности можно включить для всего тома или выбранных файлов/папок. В этом случае REFS гарантирует, что считанные данные являются тем, что Вы когда-то записали. Если контрольная сумма не совпадает — REFS сообщит об ошибке и удалит файл. Это будет сигналом к восстановлению файла из резервной копии: Вы точно знаете, что этот файл был поврежден.

Всё становится интересней, если потоки целостности для данных включены на томе с избыточностью: Четность, двух- или трехстороннее зеркало. В этом случае, обнаружив ошибку контрольной суммы REFS попробует восстановить данные.

Стоит так-же упомянуть и нововведения производительности:

— Четность с зеркальным ускорением позволяет эффективно хранить данные на томе, используя многоуровневое хранилище.

— Клонирование блоков обеспечит огромный прирост производительности снимкам виртуальных машин, особенно их слияние.

— Разреженный метод VDL позволяет мгновенно создавать фиксированные VHD диски большого размера.

О преимуществах рассказал, теперь сравним её с NTFS

Функции NTFS, недоступные в REFS

По разным причинам, функционал файловых систем отличается. Какие-то функции никогда в ней не появятся (например имена в формате 8.3), какие-то появляются в процессе развития. Например, дедупликация данных, недоступная ранее, появилась в версии 3.2. Подробнее о версиях и их поддержке хорошо написано в Википедии. Ниже я привел список:

— Сжатие файловой системы

— Шифрование файловой системы (EFS)

— Загрузка операционной системы

— Поддержка файла подкачки

— Поддержка съемных дисков

Функции общие для REFS и NTFS

— Дедупликация данных ( Windows Server, v.1709 and later)

— Поддержка общих томов кластера

— Поддержка отказоустойчивого кластера

— Списки управления доступом

— Точки повторного анализа

— Моментальные снимки томов

Функции, доступные только в REFS

— Разреженный метод VDL

Таким образом можно сделать вывод, что REFS идеальна как хранилище виртуальных машин и критически важных данных данных.

В следующей заметке я расскажу об обслуживании REFS в рамках Storage Spaces и о том, как дефрагментатор WIndows перестал им быть.

Источник

Как устроен Storage Spaces

Storage Spaces в Windows Server 2012 R2

Как устроен Storage Spaces

Storage Spaces — технология виртуализации дискового пространства, которая впервые появилась в Microsoft Windows Server 2012. Storage Spaces является дальнейшим развитием механизма управления динамическими дисками в Windows. Основой является широко применяемая в решениях различных вендоров концепция дисковых пулов: отдельные физические диски сервера объединяются в один или несколько пулов, на базе которых создаются тома с различными уровнями производительности и отказоустойчивости. Использование Storage Spaces вместо аппаратного RAID-контроллера имеет ряд преимуществ и недостатков, которые будут подробно рассмотрены ниже.

Термины

Ограничения

Столбцы и количество дисков в ВД:

Тип ВД	Минимальное число столбцов	Соотношение столбцы/диски	Минимальное число дисков	Максимальное число столбцов
Simple (простой)	1	1:1	1	—
Two-way mirror (двойное зеркало)	1	1:2	2	—
Three-way mirror (тройное зеркало)	1	1:3	5	—
Single parity (одиночная чётность)	3	1:1	3	8
Dual parity (двойная чётность)	7	1:1	7	17

Storage Spaces в кластерах

Одна из самых востребованных возможностей Storage Spaces — использование в failover-кластере Windows. Архитектура решения предельно проста: требуются диски SAS (см. дополнительные требования к дискам и организации томов), SAS JBOD (дисковая полка) с двумя SAS-экспандерами и минимум двумя разъемами для подключения к каждому из экспандеров (для двухузлового кластера). На серверах в качестве контроллеров используются обычные SAS HBA. Мы рекомендуем LSI (любые SAS2 и SAS3 HBA с внешними портами, например LSI 9207-8e), но можно использовать и Adaptec серий 6H и 7H.

Минимальной конфигурация выглядит так: два сервера, в каждом из них двухпортовый SAS HBA с подключением к 2-экспандерному SAS JBOD’у на базе корпуса Supermicro и SAS диски.

Для использования в качестве SAS JBOD’а можно использовать любой корпус Supermicro с двумя экспандерами (E26 или E2C в наименовании для SAS2 и SAS3 соответственно). Каждый экспандер в корпусах Supermicro имеет минимум два разъема x4 SAS (SFF-8087 или SFF-8643), которые можно использовать в качестве входов. При наличии третьего разъема его можно использовать для каскадирования (подключения дополнительных дисковых полок) или для построения топологии с тремя узлами в кластере.

Существуют варианты в одном корпусе, т.н. Cluster-in-a-box (CiB): готовые комплекты SSG-6037B-CIB032 и SSG-2027B-CIB020H на базе Supermicro Storage Bridge Bay с предустановленным Windows Storage Server 2012 R2 Standard, которые отлично подходят для построения отказоустойчивых файловых и/или iSCSI серверов:

Производительность

Решение на базе Storage Spaces может масштабироваться до более чем миллиона IOPS при использовании SSD и зеркальных томов. Но производительность на запись в Parity и Dual Parity по-прежнему оставляет желать лучшего, и такие конфигурации без write-back кэша на SSD подходят лишь для узкого круга задач с преимущественной нагрузкой на чтение.

Всестороннее исследование производительности Storage Spaces в разных конфигурациях было проведено компанией Fujitsu. В нашей тестовой лаборатории мы повторили некоторые из этих тестов, дополнив измерение IOPS и пропускной способности значениями средней и максимальной задержек.

Условия тестирования

Для наглядности использовались шаблоны аналогичные использованным в тестах от Fujitsu:

Шаблон	Доступ	Чтение	Запись	Размер блока, КиБ
File copy	случайный	50%	50%	64
File server	случайный	67%	33%	64
Database	случайный	67%	33%	8
Streaming	последовательный	100%	0%	64
Restore	последовательный	0%	100%	64

Результаты

RAID-10 vs Storage Spaces 2-way mirror

Шаблоны Database (IOPS), File copy, File Server (пропускная способность). Для шаблона Database используется логарифмическая шкала. По графикам видно, что 2-way mirror заметно уступает в производительности традиционному аппаратному RAID-10: в два с лишним раза на шаблонах Database и File copy, примерно в 1,5 раза на шаблоне File Server. Выравнивание результатов с ростом глубины очереди больше 16-ти нельзя рассматривать с точки зрения практического использования из-за неприемлемого роста задержек (графики ниже). Серьезный рост производительности обеспечивает использование SSD в качесте кэша на запись и быстрого яруса. Всего пара даже устаревших на сегодняшний день Intel 710 поднимает производительность на случайном доступе малыми блоками на порядок. Есть смысл использовать такое сочетание не только для OLTP, но и для нагруженных файловых серверов.

RAID-6 vs Storage Spaces dual parity

Шаблоны Database (IOPS), File copy, File Server (пропускная способность). Storage Spaces с Dual Parity существенно отстаёт от аппаратного RAID во всех сценариях со случайным доступом. Это не удивительно с учётом того, что в распоряжении Adaptec 6805 есть 512МБ RAM-кэша, что позволяет существенно оптимизировать неудобный для RAID-6 доступ на случайную запись. Среди тестов, проведённых Fujitsu, есть вариант «RAID-6 8xHDD против Dual Parity 8xHDD + 1ГБ WB кэша на 3xSSD» — на всех трёх шаблонах производительность при добавлении WB-кэша на SSD не уступает аппаратному RAID, причём без использования ярусного хранения.

Преимущества и недостатки Storage Spaces

Преимущества

Для простых проектов с одиночным сервером: SAS HBA или чипсетный контроллер вместо аппаратного RAID-контроллера; возможность использовать недорогие диски SATA, формально не совместимые с аппаратными RAID (например, WD Red) вместо дисков nearline класса.

Для проектов с одиночной неотказоустойчивой СХД и большими требованиями к плотности размщениния дисков можно использовать такие платформы (72 диска в 4U, до 432ТБ сырой ёмкости при использовании 6ТБ дисков):

Для кластерных решений: простые дисковые полки (SAS JBOD’ы) вместо дорогостоящих СХД.

Использование tiering’а (ярусного хранения) в сочетании с кэширование записи на SSD в Storage Spaces в большинстве случаев работает эффективнее, обходится дешевле и имеет большие пределы масштабирования в сравнении с реализацией SSD кэша на аппаратных RAID-контроллерах (например, LSI CacheCade или Adaptec MaxCache).

Для всех видов томов, за исключением использования в кластере, томов с ярусным хранением и томов Dual Parity поддерживается Thin Provisiong (тонкое выделение ресурсов) — это позволяет выделять ёмкость только по мере реального использования.

Недостатки

Определенный тип нагрузки на запись (случайный доступ небольшими блоками, сосредоточенный в определённой области) может быть легко компенсирован добавлением SSD в качестве быстрого яруса и кэша на запись. Но продолжительную линейную нагрузку на запись компенсировать не получится, так что рекомендовать использование Storage Spaces, например, для видеонаоблюдения нельзя.

Для бюджетных кластерных решений под Windows (с похожей архитектурой на базе SAS JBOD) с высокой нагрузкой на запись мы советуем использовать вместо Storage Spaces специальные RAID-контроллеры LSI Syncro CS.

Советы по оптимальному использованию Storage Spaces

Пример (виртуальный диск Dual Parity, 13 столбцов, 1000ГиБ, Fixed Provisioning):

Источник

дисковые пространства в Windows

дисковые пространства помогает защитить данные от сбоев дисков и расширить объем хранилища при добавлении дисков на компьютер. Она позволяет сгруппировать несколько дисков (два и более) в пул носителей, а затем использовать его емкость для создания виртуальных дисков — дисковых пространств. В дисковых пространствах обычно хранятся две копии данных, поэтому в случае сбоя одного из дисков у вас по-прежнему будет неповрежденная копия. Если емкость заканчивается, в пул носителей можно просто добавить другие диски.

Вам нужно хотя бы два дополнительных диска (в дополнение к диску, где Windows установлен). Это может быть внутренний или внешний жесткий диск или твердотельный накопитель. В дисковых пространствах можно использовать разнообразные типы дисков, в том числе USB, SATA и SAS.

Добавьте или подключите диски, которые вы хотите сгруппировать в дисковом пространстве.

Перейдите на панель задач, введите дисковые пространства в поле поиска и выберите дисковые пространства в списке результатов поиска.

Выберите Создать новый пул и дисковое пространство.

Выберите диски, которые вы хотите добавить в новое дисковое пространство, и нажмите кнопку Создать пул.

Придай диску имя и букву, а затем выберите макет. Структуры Двухстороннее зеркало, Трехстороннее зеркало и Четность помогут защитить файлы в дисковом пространстве от сбоя диска.

Введите максимальный размер дискового пространства и выберите Создать дисковое пространство.

Простые пространства обеспечивают высокую производительность, но не защищают файлы от сбоя диска. Они лучше всего подходят для временных данных (например, файлов обработки видео), черновиков в редакторе изображений и файлов промежуточных объектов компилятора. Для простых пространств требуется по крайней мере два диска.

Зеркальные пространства обеспечивают высокую производительность и защищают файлы от сбоя диска, храня несколько копий. В пространствах типа «двухстороннее зеркало» создается две копии файлов. Они обеспечивают защиту от сбоя одного диска, а пространства типа «трехстороннее зеркало» — от сбоя двух дисков. Они хорошо подходят для хранения разнообразных данных, от универсальной общей папки до библиотеки виртуальных жестких дисков. Если зеркальное пространство отформатировано с помощью файловой системы Resilient File System (ReFS), то Windows будет автоматически поддерживать целостность данных, что обеспечит дополнительную защиту от сбоя диска. Для двухнабных зеркальных пробелов требуется не менее двух дисков, а для трехнабных зеркальных пробелов — не менее пяти.

Пространства с контролем четности обеспечивают эффективность хранения и защищают файлы от сбоя диска, храня несколько копий. Они лучше всего подходят для архивных данных и потокового мультимедиа, например музыки и видео. Для защиты от сбоя одного диска в этой структуре хранилища требуется по крайней мере три диска, а для защиты от сбоя двух дисков — по крайней мере семь.

После обновления до Windows мы рекомендуем обновить существующие пулы. Обновленный пул позволяет оптимизировать использование дисков и удалять диски из пула, не влияя на защиту пула от сбоев дисков.

Примечание: Обновленные пулы несовместимы с предыдущими версиями Windows.

При добавлении новых дисков в существующий пул мы емким оптимизировать использование дисков. При этом некоторые данные будут перемещены на новый диск, чтобы оптимизировать использование емкости пула. Это происходит по умолчанию при добавлении нового диска в обновленный пул Windows вы увидите Windows чтобы распространить существующие данные на все диски, выбранные при добавлении диска. Однако если вы сняли этот флажок или добавили диски до обновления пула, вам нужно вручную оптимизировать использование диска. Для этого в поле поиска на панели задач введите дисковые пространства, выберите Дисковые пространства из списка результатов поиска, а затем щелкните Optimize drive usage.

Читайте также: unc монеты что это такое

Если вы создали пул Windows или обновили существующий пул, вы сможете удалить диск из него. Данные, хранимые на этом диске, будут перемещены на другие диски в пуле, и вы сможете использовать диск для другого пользования.

В поле поиска на панели задач введите дисковые пространства и выберите пункт Дисковые пространства из списка результатов поиска.

Выберите Изменить параметры > Физические диски, чтобы просмотреть все диски в пуле.

Найдите нужный диск и выберите Prepare for removal > Prepare for removal. Не отключайте компьютер, пока диск не будет готов к удалению. Это может занять несколько часов, в зависимости от количества сохраненных на нем данных.

Когда статус диска изменится на Ready to remove, выберите Удалить > Удалить диск. Теперь вы можете отключить диск от компьютера.

Примечание: Если у вас возникают проблемы при попытке подготовить диск к удалению, возможно, в пуле недостаточно свободного пространства для хранения всех данных с диска, который вы хотите удалить. Добавьте в пул новый диск такого же размера, как и диск, который вы собираетесь удалить, и повторите попытку.

Добавьте или подключите диски, которые вы хотите сгруппировать в дисковом пространстве.

Выберите Создать новый пул и дисковое пространство.

Выберите диски, которые вы хотите добавить в новое дисковое пространство, и нажмите кнопку Создать пул.

Введите максимальный размер дискового пространства и выберите Создать дисковое пространство.

Примечание: Обновленные пулы несовместимы с предыдущими версиями Windows.

Выберите Изменить параметры > Физические диски, чтобы просмотреть все диски в пуле.

(Необязательно) Чтобы ускорить подготовку диска, не переводить компьютер в спящий режим. В поле поиска на панели задач введите Параметры питания и спящего режима, а затем выберите Параметры питания и спящего режима. В разделе При питании от сети переходить в спящий режим через выберите Никогда.

Источник