Удаленный доступ к ВМ с GPU с помощью Citrix
В данном руководстве подробно описаны шаги, которые необходимо выполнить при подготовке удаленного доступа к виртуальным рабочим столам с помощью технологии, которую предлагает компания Citrix.
Оно будет полезно тем, кто недавно познакомился с технологией виртуализации рабочих столов, так как является сборником полезных команд, собранных из
10 мануалов, многие из которых доступны на сайтах Citrix, Nvidia, Microsoft, после авторизации.
Данная реализация содержит этапы подготовки удаленного доступа к виртуальным машинам (ВМ) с графическими ускорителями Nvidia Tesla M60 и операционной системой Centos 7.
Итак, начнём.
Подготовка гипервизора для хостинга виртуальных машин
Как скачать и установить XenServer 7.4?
Как добавить XenServer в Citrix XenCenter?
Как скачать и установить Nvidia драйвер?
Как изменить режим Nvidia Tesla M60?
Как примонтировать хранилище?
XenServer 7.4
Ссылка для скачивания XenServer 7.4 доступна, после авторизации на сайте Citrix.
Выполним установку XenServer.iso на сервер с 4x NVIDIA Tesla M60 штатным способом. В моем случае iso монтируется через IPMI. Для серверов Dell управление контроллером BMC выполняется через IDRAC. Этапы установки практически совпадают с установкой Linux подобных ОС.
Мой адрес XenServer c GPU — 192.168.1.100
Установим XenCenter.msi на локальный компьютер, с которого будем управлять гипервизорами и виртуальными машинами. Добавим туда сервер с GPU и XenServer, нажав по вкладке «Server», затем «Add». Введем логин и пароль root, указанный при установке XenServer.
В XenCenter, после нажатия по имени добавленного гипервизора, будет доступна вкладка «Console». В меню выберем «Remote Service Configuration» и включим авторизацию по SSH — «Enable/Disable Remote Shell».
Nvidia driver
Дам волю эмоциям и скажу, что за всё время работы с vGPU я ни разу не зашел на сайт nvid.nvidia.com с первой попытки. Если авторизация не будет работать, то рекомендую Internet Explorer.
Скачаем zip c vGPU, а так же GPUMode Change Utility:
Следим за версиями. В названии скаченного архива указана версия подходящих драйверов NVIDIA, которые можно в дальнейшем устанавливать на виртуальные машины. В моем случае это 390.72.
Перекидываем zip-ы на XenServer и распаковываем.
Поменяем режим GPU и установим драйвер vGPU
Mount storage
Настроим общую директорию с помощью NFS на любом компьютере в сети.
В XenCenter выберем XenServer и на вкладке «Storage» выберем «New SR». Укажем тип хранилища — NFS ISO. Путь должен указывать на общую директорию NFS.
Citrix Master Image на основе Centos 7
Как создать виртуальную машину с Centos 7?
Как подготовить виртуальную машину для создания каталога?
Образ Centos 7
С помощью XenCenter создадим виртуальную машину с GPU. В вкладке «VM» нажмем «New VM».
Выбираем необходимые параметры:
VM template — Other install media
Name — template
Install from ISO library — Centos 7 (скачать), выбираем из примонтированного хранилища NFS ISO.
Number of vCPUs — 4
Topology — 1 socket with 4 cores per socket
Memory — 30 Gb
GPU type — GRID M60-4Q
Use this virtual disk — 80 Gb
Network
После создания, виртуальная машина появится в вертикальном списке слева. Нажмём на нее и перейдём во вкладку «Console». Дождемся загрузки инсталятора Centos 7 и выполним необходимые шаги для установки ОС с оболочкой GNOME.
Подготовка образа
Подготовка образа с Centos 7 заняла у меня много времени. В последствии получился набор скриптов, который облегчает первичную настройку Linux и позволит создать каталог виртуальных машин с помощью Citrix Machine Creation Services (MCS).
DHCP сервер, установленный на ws-ad, присвоил новой виртуальной машине IP адрес 192.168.1.129.
Далее приведу основные настройки.
В XenCenter в вкладке «Console» смонтируем guest-tools.iso в DVD привод виртуальной машины и выполним установки XenTools для Linux.
При настройке XenServer мы использовали архив NVIDIA-GRID-XenServer-7.4-390.72-390.75-391.81.zip, скаченный с сайта NVIDIA, в котором, помимо NVIDIA драйвера для XenServer, находится нужный нам драйвер NVIDIA для клиентов vGPU. Скачаем и установим его на ВМ.
Скачаем Linux Virtual Delivery Agent 1811 (VDA) для Centos 7. Ссылка для скачивания Linux VDA доступна, после авторизации на сайте Citrix.
В Citrix Studio создадим Machine Catalog и Delivery group. Перед этим необходимо установить и настроить Windows Server.
Windows Server с Domain Controller
Как скачать и установить Windows Server 2016?
Как установить компоненты Windows Server?
Как настроить Active Directory, DHCP и DNS?
Windows server 2016
Так как виртуальной машине (ВМ) с Windows Server не нужны GPU, мы будем использовать в качестве гипервизора сервер без GPU. По аналогии с описанием выше, установим еще один XenServer для хостинга системных виртуальных машин.
После этого создадим виртуальную машину для Windows Server с Active Directory.
Скачаем Windows Server 2016 с сайта Microsoft. Лучше пройти по ссылке с помощью Internet Explorer.
С помощью XenCenter создадим виртуальную машину. В вкладке «VM» нажмем «New VM».
Выбираем необходимые параметры:
VM template — Windows Server 2016 (64-bit)
Name — ws-ad.domain.ru
Install from ISO library — WindowsServer2016.iso, выбираем из примонтированного хранилища NFS ISO.
Number of vCPUs — 4
Topology — 1 socket with 4 cores per socket
Memory — 20 Gb
GPU type — none
Use this virtual disk — 100 Gb
Network
После создания, виртуальная машина появится в вертикальном списке слева. Нажмём на нее и перейдём во вкладку «Console». Дождем загрузки инсталятора Windows Server и выполним необходимые шаги для установки ОС.
Установим в ВМ XenTools. Правой кнопкой по ВМ, далее «Install Citrix VM Tools. ». После этого будет примонтиван образ, который нужно запустить и установить XenTools. По окончанию установки потребуется перезагрузка ВМ.
Настроим сетевой адаптер:
IP адрес — 192.168.1.110
Маска — 255.255.255.0
Шлюз — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4
Если Windows Server не активирован, то выполним активацию. Ключ можно взять там же, откуда скачивали образ.
Настроим имя компьютера. В моем случае это ws-ad.
Установка компонентов
В диспетчере серверов выберем «Добавить роли и компоненты». Отметим для установки DHCP-сервер, DNC-сервер и Доменные службы Active Directory. Отметим галочку «Перезагрузить автоматически».
Настройка Active Directoy
После перезагрузки ВМ, жмем «Поднять этот сервер до уровня контроллера домена» и добавим новый лес domain.ru.
Настройка DHCP сервера
На верхней панели диспетчера серверов нажмем на восклицательный знак, чтобы сохранить изменения при установки DHCP сервера.
Перейдем к настройкам DHCP сервера.
Создадим новую область 192.168.1.120-130. Остальное не меняем. Выберем «Настроить параметры DHCP сейчас» и введем IP адрес ws-ad (192.168.1.110) в качестве шлюза и DNS, которые будут указываться в настройках сетевых адаптеров виртуальных машин из каталога.
Настройка DNS сервера
Перейдем к настройкам DNS сервер.
Создадим новую зону прямого просмотра — primary zone, для всех DNS серверов в домене domain.ru. Больше ничего не меняем.
Создадим новую зону обратного просмотра, выбрав аналогичные параметры.
В свойствах DNS сервера, во вкладке «Дополнительно», установим галочку «Отключить рекурсию».
Создание тестового пользователя
Перейдем в «Центр администрирования Active Directory»
В разделе «Users» справа нажмем «Создать». Введем имя, например test, и внизу нажмем «ОК».
Выберем созданного пользователя и в вертикальном меню справа выберем «Сбросить пароль». Оставим галочку «Требовать смены пароля при следующем входе в систем».
Windows Server с Citrix Delivery Controller
Как скачать и установить Windows Server 2016?
Как скачать и установить Citrix Delivery Controller?
Как установить и настроить Citrix License Manager?
Как установить и настроить NVIDIA License Manager?
Windows server 2016
Так как виртуальной машине (ВМ) с Windows Server не нужны GPU, мы будем использовать в качестве гипервизора сервер без GPU.
Скачаем Windows Server 2016 с сайта Microsoft. Лучше пройти по ссылке с помощью Internet Explorer.
С помощью XenCenter создадим виртуальную машину. В вкладке «VM» нажмем «New VM».
Выбираем необходимые параметры:
VM template — Windows Server 2016 (64-bit)
Name — ws-dc
Install from ISO library — WindowsServer2016.iso, выбираем из примонтированного хранилища NFS ISO.
Number of vCPUs — 4
Topology — 1 socket with 4 cores per socket
Memory — 20 Gb
GPU type — none
Use this virtual disk — 100 Gb
Network
После создания, виртуальная машина появится в вертикальном списке слева. Нажмём на нее и перейдём во вкладку «Console». Дождемся загрузки инсталятора Windows Server и выполним необходимые шаги для установки ОС.
Установим в ВМ XenTools. Правой кнопкой по ВМ, далее «Install Citrix VM Tools. ». После этого будет примонтиван образ, который нужно запустить и установить XenTools. По окончанию установки потребуется перезагрузка ВМ.
Настроим сетевой адаптер:
IP адрес — 192.168.1.111
Маска — 255.255.255.0
Шлюз — 192.168.1.1
DNS1 — 8.8.8.8
DNS2 — 8.8.4.4
Если Windows Server не активирован, то выполним активацию. Ключ можно взять там же, откуда скачивали образ.
Настроим имя компьютера. В моем случае это ws-dc.
Добавим ВМ в домен domen.ru, перезагрузим и авторизуемся под доменной учетной записью администратора DOMEN\Administrator.
Citrix delivery controller
Скачаем Citrix Virtual Apps and Desktops 1811 на ws-dc.domain.ru. Ссылка для скачивания Citrix Virtual Apps and Desktops доступна, после авторизации на сайте Citrix.
Смонтируем скаченный iso и запустим. Выберем «Citrix Virtual Apps and Desktops 7». Далее нажмем «Get started». Возможно потребуется перезагрузка.
В моем случае достаточно выбрать для установки следующие компоненты:
Delivery Controller
Studio
License Server
StoreFront
Больше ничего не меняем и жмем «Установить». Не однократно потребуется перезагрузка, после чего установка будет продолжена.
Как только установка будет завершена запустится Citrix Studio — среда управления всем хозяйством Citrix.
Настройка Citrix Site
Выберем первый раздел из трёх — Site setup. При настройке укажем Site Name — domain.
В разделе «Connection» укажем данные для подключения гипервизора с GPU:
Connection address — 192.168.1.100
User name — root
Password — yourpassword
Connection Name — m60
Store management — Use storage local to the hypervisor.
Name for these resources — m60.
Select a GPU type and group — GRID M60-4Q.
Настройка Citrix Machine Catalogs
При настройке второго раздела — Machine Catalogs, выберем Single-session OS (Desktop OS).
Master Image — выберем подготовленный образ виртуальной машины и версию Citrix Virtual Apps and Desktops — 1811.
Выберем количество виртуальных машин каталоге, например 4.
Укажем схему, по которой виртуальным машинам будут присваиваться имена, в моем случае это desktop##. В этом случае будут созданы 4 ВМ с именами desktop01-04.
Machine Catalog name — m60.
Machine Catalog description — m60.
После создания Machine Catalog-а с четыремя ВМ, их можно будет найти в вертикальном списке XenCenter, слева.
Citrix Delivery Group
Третий раздел начинается с выбора количества ВМ, к которым следует предоставить доступ. Я укажу все четыре.
В разделе «Desktops» нажмем «Add», чтобы добавить группу ВМ, к которым мы предоставим доступ. Display name — m60.
Delivery group name — m60.
После настройки трех основных разделов, главное окно Citrix Studio будет выглядеть примерно так
Citrix license manager
Скачаем файл лицензии через личный кабинет на сайте Citrix.
В вертикальном списке слева выберем All Licensing Tools (Legacy). Перейдем на вкладку «Activate and Allocate Licenses». Выберем лицензии Citrix VDA и нажмем «Continue». Укажем имя нашего Delivery Controllera — ws-dc.domain.ru и количество лицензий — 4. Жмем «Continue». Скачаем сгенерированный файл лицензии на ws-dc.domain.ru.
В левом вертикальном списке Citrix Studio выберем раздел «Licensing». В правом вертикальном списке нажмем «License Management Console». В открывшимся окне браузера введем данные для авторизации доменного пользователя DOMEN\Administrator.
В Citrix Licensing Manager перейдем на вкладку «Install License». Для добавления файла лицензии нужно выбрать «Use downloaded license file».
Установка компонентов Citrix подразумевает использование нескольких виртуальных машин, один компонент — одна ВМ. В моем случае, все системные сервисы Citrix функционируют в пределах одной ВМ. В связи с этим отмечу один баг, исправление которого далось мне особенно сложно.
Если после перезагрузки ws-dc возникают проблемы различного характера, то рекомендую первым делом проверить запущенные сервисы. Привожу список сервисов Citrix, которые должны автоматически запускаться, после перезагрузки ВМ:
Я столкнулся с проблемой, которая возникает при установки различных сервисов Citrix на одну ВМ. После перезагрузки стартуются не все сервисы. По одному запускать всю цепочку было лень. Решение тяжело гуглилось, поэтому привожу его тут — следует поменять в реестре два параметра:
Nvidia licence manager
Скачаем менеджер лицензий NVIDIA для Windows, через личный кабинет на сайте nvid.nvidia.com. Лучше заходить через Internet Explorer.
Установим его на ws-dc. Для этого сначала потребуется установить JAVA и добавить переменную окружения JAVA_HOME. После этого можно запустить setup.exe для установки NVIDIA License Manager.
Создадим сервер, сгенерируем и скачаем файл лицензии в личном кабинете на сайте nvid.nvidia.com. Перекинем файл лицензии на ws-dc.
Используя браузер, авторизуемся в веб-интерфейсе менеджера лицензий NVIDIA, доступном по адресу localhost:8080/licserver и добавим файл лицензии.
Активные сессии, использующие vGPU, можно посмотреть в разделе «Licensed Clients».
Удаленный доступ к Citrix machine catalog
Как установить Citrix Receiver?
Как подключиться к виртуальному рабочему столу?
На рабочем компьютере откроем браузер, в моем случае это Chrome, и перейдем по адресу веб интерфейса Citrix StoreWeb
Если Citrix Recever еще не установлен, то нажмем «Обнаружить Receiver»
Внимательно прочитаем лицензионное соглашение, загрузим и установим Citrix Receiver
После установки, вернемся в браузер и нажмем «Продолжить»
Далее, в браузере Chrome открывается уведомление, нажмите «Открыть приложение Citrix Receiver Launcher», а затем «Обнаружить снова» или «Уже установлено»
При первом подключении воспользуемся данными тестового пользователя test. Сменим временный пароль на постоянный.
После авторизации перейдем на вкладку «Приложения» и выберем каталог «M60»
Personal vDisk в Citrix XenDesktop: в чём преимущество, и как это работает
Данная статья задержалась на два года, поскольку именно два года назад я познакомился с VDI на базе Citrix XenDesktop и немного обескуражившей меня фичей Personal vDisk (PvD). На тот момент я отвечал за инфраструктуру VDI, управляемую продуктом Fujitsu PanoLogic. Использовались Full clones, и это была боль. Только представьте установку обновлений на 1000+ виртуальных машин, расположенных не на флеш-массиве.
Мы присматривались к VMware View (ныне Horizon) с её Linked Clones, но сильно смущал тот факт, что обновление базового образа (Gold Image) приводит все десктопы, на нём основанные, к практически девственному виду, лишая пользователя любовно установленных приложений. Разработчики точно были бы не рады, да и остальные привыкли к хорошему.
И когда нам дали поиграться с Citrix XenDesktop, тогда ещё 7.0 или 7.1, я пришёл в восторг. Потому что при использовании PvD все изменения, сделанные внутри виртуальной машины, сохранялись даже после обновления мастер-образа. И под «все» я имею ввиду не только настройки профиля или документы на рабочем столе (это достигается и в VMware), но и установленные и даже удалённые(!) приложения. Когда я поделился обнаруженными результатами с коллегами VMware’щиками из другой организации, они сказали, что это невозможно, потому что не объяснимо.
На практике, конечно, чудеса случаются редко, и объяснение происходящему есть.
Оба производителя VDI-решений подходят к реализации инфраструктуры на базе разностных дисков по-своему. У VMware это выглядит вот так:
По понятным причинам на Replica ничего писать нельзя, вся запись идёт на Delta.
Internal хранит идентификационную информацию о компьютере (такую как пароль AD).
Persistent Disk можно создать для данных, которые нужно хранить всегда. Сюда можно перенести профиль, Redirected Folders и Home Directory.
Disposable Disk, наоборот, обнуляется после каждой перезагрузки. Сюда можно перенести данные, которые совсем не нужно хранить (pagefile, temp) в целях уменьшения размера Delta и нагрузки на него.
А так выглядит картина в XenDesktop при использовании MCS (она ближе к используемой VMware, чем PVS)
Difference — для перенаправления записи.
Identity — для хранения идентификационных данных компьютера.
PvD — Personal vDisk для хранения постоянных данных. С виду похоже на Persistent disk VMware. В системе он виден как диск P: (по умолчанию) и если на него зайти, то увидим пользовательские данные (профиль).
Однако, как я уже писал, при использовании PvD, виртуальная машина «запоминает» не только пользовательские настройки и данные, но и установленные и даже удалённые приложения. Даже после обновления мастер-образа. Проводил следующие эксперименты.
Установка ПО
1. Создал мастер-образ с Windows 7 (VD-template).
2. Создал виртуальный десктоп на основе него (VD01).
3. В виртуальном десктопе установил 7zip (в C:\Program Files).
4. Обновил мастер-образ (установил в него Adobe Reader) и применил его к пулу.
5. Залогинился в VD01. 7zip на месте. И Adobe Reader тоже.
6. Создал новый десктоп на базе этого же мастер-образа (VD02). Adobe Reader присутствует. 7zip — нет.
Удаление ПО
1. Залогинился в VD01. Удалил Adobe Reader.
2. Обновил мастер образ (установил несколько обновлений Windows в VD-template) и применил к пулу.
3. Залогинился в VD01. 7zip на месте, Adobe Reader удалён. Обновления присутствуют.
4. В VD02 Adobe Reader на месте. Обновления присутствуют. 7zip нет.
5. Создал новый десктоп VD03. Та же картина, что и в VD02.
Чертовски восхитительно! Осталось понять, как он это делает. Ну да не буду более ходить вокруг да около и нагнетать интригу.
Технически PvD представляет собой два диска в одном. Первый — это то, что мы видим в виде диска P: внутри виртуального десктопа. На него перенаправляются данные профиля, и тут ничего необычного. Второй — это виртуальный vhd-диск UserData.vhd, который лежит на первом. Он тоже монтируется в систему, хотя его не видно в проводнике. И в него перенаправляется запись на объектном (не блочном) уровне.
При первом использовании на PvD копируется информация об объектах из основного образа, которая располагается тут: C:\CitrixPvD\Settings\Inventory. Далее в Inventory фиксируются данные о проделанных пользователем изменениях и ссылках на них.
После обновления мастер-образа, перед его выключением и снятием снапшота для применения в пул, на нём нужно провести обновление Inventory. Если вы забудете, система напомнит об этом при попытке выключения.
После распространения нового мастер-образа, виртуальные десктопы при первом запуске перечитывают Inventory нового образа и сравнивают с записями на PvD. В ходе этого процесса и определяется, что появилось нового, а что должно быть перенаправлено.
Данная процедура приводит к тому, что первый вход пользователя в систему после обновления мастер-образа может занимать продолжительное время (10-15 минут, в зависимости от количества проделанных изменений). Поначалу, не зная деталей работы этого механизма, я попортил несколько десктопов, нетерпеливо перезагружая их в этот момент. Хорошо, что в тестовой среде.
При этом, если выяснится, что в мастер-образе появились объекты, ранее устанавливаемые пользователем и хранимые в PvD, они будут вычищены из PvD в целях экономии места, а ссылки на них заменены на те, что ведут на основной образ. Другими словами, если я в примерах выше установил бы 7zip в мастер-образ, VD01 удалил бы его из PvD и стал использовать тот, который общий для всех. При условии совпадения версий.
Разные варианты сценариев с конфликтами версий я не тестировал.
Немного деталей и ограничений PvD
Менеджмент и настройки (совсем чуть-чуть, не имел большой практики)
Минимальный размер PvD — 3 ГБ. Максимальный ограничен тем, что поддерживает СХД.
По умолчанию данные профиля (диск P:) и данные ОС (UserData.vhd) распределяют использование места по принципу 50/50. Изменить это соотношение можно изменением следующего ключа реестра:
HKEY_LOCAL_MACHINE\Software\Citrix\personal vDisk\Config
Value: PercentOfPvDForApps
По умолчанию выставлено 50. Если исправить на 80, 80% места будет зарезервировано под приложения, а 20% — под данные профиля.
Можно вообще запретить перенаправление профиля на PvD (например, если вы используете Roaming Profiles):
«HKLM\Software\Citrix\personal vDisk\Configuration»
Value: «EnableUserProfileRedirection»
0: Profile is not directed to the PvD
1: Profile is redirected to the PvD
PvD может быть сброшен к исходному состоянию либо из Desktop Director, либо из самого десктопа с помощью команды:
(в командной строке от администратора)
Сброс не затрагивает пользовательский профиль. По сути, просто UserData.vhd заменяется исходным пустым шаблоном, взятым отсюда: C:\ProgramData\Citrix\personal vDisk.
Напоследок небольшое отвлечённое умозаключение. Ошибка «Failed to load reg hive [\Device\IvmVhdDisk00000001\CitrixPvD\Settings\RingCube.dat].» наводит на предположение, что решение PvD основано на разработке vDesk компании RingCube, которая была приобретена Citrix в 2011 за 46,67 млн долларов.
И в качестве окончательного резюме замечу, что решение, конечно, очень интересное и делает жизнь администратора VDI несравненно удобнее. Хотя едва ли может считаться панацеей — хоть заявляется поддержка «почти всего стандартного ПО», нужно проверять различные сценарии и не исключены возможные конфликты версий или проблемы с отдельным ПО. Да и что в нашем [IT] мире может считаться панацеей?
Как я говорил, статья опоздала на два года — к тому времени, как я нашёл информацию о механизмах работы PvD, я сменил работу и потерял возможность писать статьи вообще, ввиду сверхвысокой загруженности. За это время появились новые технологии подключения кастомных приложений в VDI — App Volumes у VMware, Unidesk у Citrix вот появился… Но это немного другие истории.
Сейчас я сменил работу ещё раз, отдалился от виртуализации, но терзало ощущение незавершённого дела…
Спасибо за внимание! Хоть я и закрывал собственный гештальт данной статьёй, надеюсь, что ещё кому-то будет полезно, или хотя бы интересно.