Лучшие практики хранения данных в Hyper-V

Хранилище является одним из самых важных компонентов, связанных с серверами; это включает виртуализационные серверы с установленным гипервизором и запущенные виртуальные машины. Хранилище может вызывать высокую или низкую производительность, а также обеспечивать высокую или низкую надежность сохранения данных ВМ и виртуальных дисков. В гипервизорной среде Hyper-V могут использоваться различные типы хранилищ, и администратор должен сделать правильный выбор перед настройкой сервера или развертыванием виртуальных машин.

Цель этого блога – помочь вам изучить различные варианты хранилищ для выбора оптимального варианта, который лучше всего подходит для вашей среды и соответствует вашим требованиям эффективно.

Рекомендации по хранилищу Hyper-V

Хранилище, которое можно подключить к серверу Hyper-V, может быть двух типов: локальное или удаленное хранилище.

Локальное хранилище состоит из нескольких дисков, которые непосредственно подключены к серверу. Такие диски обычно подключаются с помощью интерфейса SAS (Serial Attached SCSI) к контроллеру RAID (Redundant Array of Independent Disks) в корпусе сервера. Использование дисков SAS предпочтительнее по сравнению с дисками SATA (несмотря на совместимость – диски SATA можно подключить к портам SAS, но не наоборот), из-за более высокого уровня надежности дисков SAS. Локальное хранилище может быть более доступным, чем удаленное. Если вы не планируете развертывание кластера Hyper-V, вы можете использовать локальное хранилище.

Удаленное хранилище располагается отдельно от сервера Hyper-V и подключается к серверу по протоколам iSCSI, Fibre Channel или SMB 3.0. Fibre Channel и iSCSI предоставляют хранение на уровне блоков, в то время как SMB 3.0 предоставляет хранение на уровне файлов. Fibre Channel требует специального физического интерфейса для подключения серверов к хранилищу, такого как SAN (система хранения данных). FCoE (Fibre Channel over Ethernet) можно использовать для подключения хранилища через сети Ethernet. Протокол iSCSI можно использовать для подключения сервера к SAN или NAS (сетевое хранилище). Устройство NAS выглядит как мини-сервер с контроллером RAID с разъемами для жестких дисков внутри и различными портами для подключения к сети снаружи. Стендальный сервер также может быть настроен для использования в качестве NAS. SAN и NAS могут обеспечить избыточность данных для большей надежности.

При развертывании кластера с отказоустойчивостью необходимо использовать общее удаленное хранилище, разделяемое всеми узлами в кластере. В этом случае такое хранилище называется общим.

Используйте RAID 1 или RAID 10

RAID – это избыточный массив независимых дисков. Избыточность данных на вашем хранилище может защитить ваши данные в случае отказа диска. Существует несколько типов RAID.

RAID 0 не является избыточным и называется дисковым стрипингом. Здесь нет избыточности – отказ одного диска приводит к отказу всего массива. Увеличение производительности может быть упомянуто как сценарий использования (например, кеширование прямых трансляций для телевизионной индустрии). Для построения этого типа RAID требуется как минимум 2 диска.

RAID 1 является избыточным. Все блоки на одном диске зеркалируются на другой диск, следовательно, достигается 100% избыточность. Если один из дисков выходит из строя, данные на втором диске могут быть доступны и использованы для восстановления массива. Вероятность успешного восстановления массива высока. RAID 1 может использоваться для резервного хранения. Минимум 2 диска требуется для построения этого типа RAID.

RAID 10 является комбинацией RAID 0 и RAID 1. Преимущества обоих типов массивов используются, итогом является отказоустойчивый массив с более высокой производительностью. Зеркальные диски объединяются в полосу. Минимум 4 диска требуется для построения этого типа RAID. Если RAID 10 состоит из 4 дисков, данные могут быть защищены в случае отказа любого из дисков. Кроме того, 4-дисковый массив может продолжить работу, если выйдут из строя два диска из разных зеркал.

RAID 5 предоставляет полосовое распределение с четностью. Блоки распределяются по дискам, но информация о четности, которая может использоваться для восстановления, также сохраняется на дисках. Пространство, занимаемое информацией о четности, равно объему одного диска. Например, информация о четности занимает примерно 25% пространства для массива из 4 дисков. Это не 100% избыточно, как RAID 1. В теории, RAID 5 может продолжить работу, если один из дисков выйдет из строя. Минимум 3 диска требуется для построения этого типа RAID.

RAID 6 обеспечивает полосовое распределение с двойной четностью. Это аналогично концепции RAID 5, но информация о четности хранится на двух дисках, а не на одном. RAID 6 может продолжать работать в случае отказа до двух дисков. Минимум 4 диска требуется для построения этого типа RAID.

На первый взгляд, RAID 5 и RAID 6 кажутся привлекательными, но давайте ближе рассмотрим. RAID 5 был разработан десятки лет назад, когда объем дисков был довольно мал. В современном мире объем жестких дисков растет быстрее, чем скорость диска, следовательно, если один диск выходит из строя, восстановление RAID 5 может занять много времени. Нагрузка на каждый диск в RAID 5 значительно возрастает во время восстановления, особенно если сервер интенсивно использует хранилище для выполнения регулярных задач в то же время. На дисках, принадлежащих RAID 5, может быть редко используемые данные, и нельзя быть уверенным, что эти данные можно успешно прочитать. Это увеличивает вероятность ошибки. Если произойдет ошибка во время восстановления массива, то весь массив может выйти из строя. Когда в RAID 5 один из дисков выходит из строя, этот массив работает как RAID 0, и данные находятся под угрозой.

RAID 6 имеет вдвое больше данных о четности, которые можно использовать для восстановления по сравнению с RAID 5. В результате вероятность выживания при отказе одного диска, а также вероятность успешного восстановления выше. RAID 6 имеет еще одну проблему – его производительность самая низкая по сравнению с RAID 10 и RAID 5. Проблемы с производительностью особенно заметны во время восстановления.

Как видно, RAID 1 и RAID 10 обеспечивают самую высокую надежность, поэтому они рекомендуются для использования для хранения Hyper-V. Аппаратный RAID можно настроить как на физическом сервере, так и на устройстве NAS.

Используйте высокоскоростное хранилище

Производительность хранения ввода/вывода имеет значительное влияние на обеспечение достаточной производительности ВМ. Самые быстрые жесткие диски (HDD) должны использоваться для хранения ВМ. Существует широкий ассортимент современных жестких дисков с высокой производительностью, которые обеспечивают высокую скорость по доступной цене за гигабайт. Если скорости жесткого диска недостаточно для ваших ВМ, можно использовать твердотельный накопитель (SSD). В отличие от классических вращающихся HDD, в SSD отсутствуют подвижные части, что обеспечивает более высокую скорость, но за более высокую цену. Стоимость за гигабайт SSD выше, а общая емкость обычно меньше, чем у HDD. Используя диски с наивысшей производительностью для хранения Hyper-V, ВМ могут работать без задержек.

Используйте отдельный том для хранения ВМ

Воздержитесь от хранения ВМ на системных томах. Системный том обычно занят чтением или записью системных файлов, используемых операционной системой (C:\ всегда является системным томом по умолчанию). Таким образом, хранение файлов ВМ на системном томе может снизить производительность ВМ. Другая проблема, которая может возникнуть, – недостаточное количество свободного места на томе. Эта ситуация может возникнуть, когда системные файлы занимают всё свободное место на диске, или когда файлы ВМ, такие как виртуальные диски, занимают всё пространство на диске. В результате ВМ, на которых хранятся файлы в пределах системного тома, подвергаются риску отказа. Кроме того, хост Hyper-V также может некорректно работать без достаточного количества свободного места для записи системных файлов. Используйте отдельные тома для хранения операционных систем и ВМ. Кроме того, воздержитесь от хранения системных файлов, таких как файлы подкачки, на дисках, используемых для данных ВМ.

Храните файлы ВМ в одном месте

Некоторые основные файлы виртуальной машины Hyper-V: VHDX (VHD) – файлы виртуального диска, AVHDX – файлы виртуального диска с отличиями, VMCX – файлы конфигурации и VMRS – файлы состояния выполнения. Файлы ВМ могут храниться в различных местах по умолчанию, которые неудобны для администраторов. Чтобы избежать этого, укажите один каталог для хранения всех файлов, принадлежащих текущей ВМ. На скриншоте ниже можно видеть, что все файлы, принадлежащие ВМ с именем Server2016-01, хранятся в подкаталогах одного каталога, который называется Server2016-01.

Оставьте место для файлов BIN (VMRS)

Файлы BIN занимают дисковое пространство для хранения состояния памяти. Для этой цели на томах, где хранятся файлы ВМ, следует оставить зарезервированное пространство. С момента Hyper-V 2016 расширение этого типа файлов было изменено с BIN на VMRS. Этот тип файлов занимает второе место по объему дискового пространства после виртуальных дисковых файлов VHDX. Размер файла BIN (VMRS) равен размеру виртуальной памяти ВМ. Например, если у вашей ВМ виртуальный диск размером 30 ГБ и 8 ГБ виртуальной памяти, вы должны зарезервировать как минимум 38 ГБ на вашем носителе. Если для ВМ настроена динамическая виртуальная память, то размер файла BIN (VMRS) будет равен количеству выделенной памяти на текущий момент времени.

Какую файловую систему использовать: NTFS или ReFS?

NTFS (New Technology File System) – это файловая система, созданная Microsoft в 1993 году, и широко используется в современных окружениях Windows.

ReFS (Resilient File system) – это новейшая файловая система Microsoft, выпущенная вместе с Windows Server 2012, которая имеет улучшения, такие как:

• Защита данных от повреждения с использованием контрольных сумм для метаданных и файлов
• Интеграция с хранилищами
• Автоматическая проверка целостности данных и исправление ошибок (если произойдет ошибка)
• Технология блочного клонирования (которая полезна при клонировании виртуальных машин)
• Увеличенная устойчивость к сбоям питания
• Поддержка шифрования с помощью BitLocker
• Увеличенный максимальный размер файла и длина имени файла
• Увеличенный максимальный объем
• Более быстрое создание фиксированных виртуальных дисков

Как можно видеть, файловая система ReFS имеет длинный список преимуществ и разработана для более эффективного удовлетворения требований к хранению сервера. Однако также присутствуют некоторые недостатки:

• Windows не может быть загружена с тома ReFS
• Сжатие данных, файловая дедупликация на основе Windows, шифрование файлов, жесткие ссылки, расширенные атрибуты, квоты дисков не поддерживаются
• Его нельзя использовать для кластеризованных общих томов
• Он не обеспечивает поддержку устаревших имен файлов 8.3

Наконец, выбор файловой системы лежит на администраторе. Использование ReFS для хранения Hyper-V рекомендуется, если ограничения ReFS не имеют значения для вашей системы.

Используйте сеть хранения высокой скорости

При использовании удаленного хранилища сетевое соединение является ключевым фактором. Если у вас есть диски высокой скорости в вашем NAS или SAN, но медленное сетевое соединение, общая производительность хранилища будет снижена. Поэтому рекомендуется использовать выделенную сеть высокой скорости с низкой задержкой. Рекомендуется использовать сетевое соединение 10 Гбит для обеспечения приемлемой скорости. Также полезно использовать объединение каналов сетевого интерфейса (NIC teaming) для агрегации пропускной способности.

Избегайте хранения ВМ с контроллером домена на общем ресурсе SMB3

Для корректной работы общего ресурса SMB 3.0 требуется доступ к контроллеру домена. Если хост с общим ресурсом SMB 3.0 или хост Hyper-V не может получить доступ к контроллеру домена, аутентификация не может быть пройдена, и соединение не может быть установлено. В этой ситуации сервер Hyper-V не может запустить ВМ с контроллером домена, размещенным на общем ресурсе SMB 3.0. Для предотвращения этой проблемы храните ВМ с контроллером домена на локальном хранилище вашего хоста Hyper-V.

Используйте общие тома кластера для кластерного хранилища

При развертывании кластера следует настроить общее хранилище. При использовании традиционного хранилища без CSV только один узел (хост Hyper-V) может получить доступ к одному и тому же диску/LUN в одно время. Общие тома кластера (CSV) могут решить эту проблему, обеспечивая одновременный доступ к хранилищу для нескольких узлов без перезагрузки томов и изменения владельца с разрешениями. С общими томами кластера можно использовать кластерную файловую систему поверх NTFS или ReFS для Hyper-V.

Избегайте использования проходных дисков

A pass-through disk is a physical disk (LUN) that is connected to a virtual machine. This type of disk is used as a storage device and is connected directly to the disk controller of a VM. For the first versions of Hyper-V, using pass-through disks helped increase performance. Nowadays, formats of virtual disks are progressive enough – thus, including performance and using pass-through disks does not make sense because of the issues that may occur when using them. You cannot easily move a pass-through disk with a virtual machine, and backup software cannot make a backup of a VM with this disk type on a host level.

Какой тип виртуального диска предпочтительнее – VHD или VHDX?

VHD – это устаревший формат виртуальных дисков для виртуальных машин, который был представлен в 2003 году. VHDX – это более прогрессивный формат (выпущенный с Windows Server 2012), который имеет более высокий предел емкости виртуального диска (до 64 ТБ), поддерживает блоки размером 4 КБ, имеет возможность изменения размера виртуального диска в реальном времени и имеет непрерывное обновление структуры метаданных, что снижает вероятность повреждения данных из-за потери питания. По этой причине рекомендуется использовать виртуальные диски VHDX в вашей среде Hyper-V.

Использование фиксированных и динамически расширяющихся виртуальных дисков

A fixed virtual disk is a VHDX (VHD) file that consumes all pre-allocated space on storage, despite the amount of space used inside the virtual disk. The advantages of using a fixed virtual disk are that they work faster, no issues may be caused by over-provisioning, and the fragmentation of the VHDX file is the same after creation. The disadvantages of using a fixed virtual disk are that their creation may take a longer time on NTFS volumes, and more space on storage is needed for disk creation.

Динамически расширяющийся виртуальный диск начинается с небольшого размера нескольких килобайтов после предварительного выделения, он увеличивается после записи файлов внутри виртуального диска до тех пор, пока не достигнет максимального размера, который был предварительно выделен при создании диска. Динамический диск не может быть автоматически уменьшен, когда данные на диске этого типа удаляются. Преимущества использования динамических дисков заключаются в том, что они экономят место, быстро создаются и включают предварительное выделение места. Недостатки заключаются в том, что динамические диски медленнее фиксированных дисков, включают более высокий уровень фрагментации, а предварительное выделение места может вызвать недостаточное свободное пространство на носителе после увеличения динамических дисков.

Вы можете использовать как фиксированные, так и динамические виртуальные диски в зависимости от ваших потребностей.

Дифференциальные виртуальные жесткие диски

A differencing virtual hard disk is a virtual disk file (AVHDX or AVHD) that is created in the VM directory with virtual disks after checkpoint creation. The purpose of differencing the virtual disk is storing changes that are written to a parent virtual disk of a VM after creating a checkpoint. A parent virtual disk can be a fixed, dynamic, or differencing disk. When a checkpoint is deleted, the differencing virtual disk that has been created with this checkpoint is merged with a parent virtual disk. Differencing virtual disk can also be created with Hyper-V’s new virtual hard disk wizard. It is important to note that creating a high number of checkpoints causes the creation of growing differencing virtual disks, which results in performance decreases.

Мониторинг состояния и производительности диска

Регулярный мониторинг состояния диска может предотвратить возможное повреждение диска, которое может вызвать повреждение данных. Воспользуйтесь утилитами, которые могут отслеживать данные S.M.A.R.T. (Self-Monitoring, Analysis, and Reporting Technology) жестких дисков, включая диски, принадлежащие к массивам RAID. Чем раньше вы обнаружите диск с проблемами, тем выше вероятность, что ваши данные будут в безопасности. Также следует отслеживать производительность диска, чтобы определить, какие диски могут быть перегружены. Это может помочь вам принять решение о перераспределении виртуальных машин с дисково-интенсивными операциями между другими носителями для оптимизации общей производительности.

Вывод

Хранение является ключевым компонентом для серверов, потому что данные, содержащиеся в хранилище, особенно важны для большинства IT-компаний. Сегодняшний пост в блоге рассмотрел лучшие практики хранения для Hyper-V, которые могут помочь оптимизировать производительность ВМ и обеспечить высокую надежность хранения. Из всех вышеперечисленных рекомендаций выберите те, которые подходят для вашей среды.

Даже если у вас лучшее хранилище, важно правильно создавать резервные копии данных ваших виртуальных машин Hyper-V. NAKIVO Backup & Replication может помочь вам создать резервные копии ваших виртуальных машин Hyper-V наиболее эффективным образом.