Лига Сисадминов

Для ЛЛ: серия пометок по костылям

Конечная цель серии постов: написать свой очень маленький и очень кривой WSUS, поскольку развития WSUS больше не предвидится, но я про это писал:
Чего лишаемся в 2025 году внутри Microsoft

Часть 1. База из баз. Теория
Часть 1.1 Зачем ставить обновления на Linux и Windows и куда угодно, если в отделе работают проверенные электроником сотрудники, и все работает?
Часть 1.2 Чем плох WSUS, SCOM, прочее ПО, и факты в Ansible?
Часть 1.3 Почему Powershell, а не Python?
Часть 1.4 Прочие базовые вещи
Часть 1.5 Классы и объекты, для тех, кто пропускал школу
Часть 1.6 К теме обновлений в Windows
Часть 1.7 Как это все хранить и обрабатывать?
Часть 1.8 Давайте начинать. Мой первый класс
Часть 1.9 Немного магии, не очевидной с первого раза
Часть 1.10 Мой первый массив
Часть 1.11 Суй массив в файл. И забирай из файла
Часть 1.12 Теперь все вместе

Часть 1. База из баз. Теория
Часть 1.1 Зачем ставить обновления на Linux и Windows и куда угодно, если в отделе работают проверенные электроником сотрудники, и все работает?

Когда-то, на заре времен, выхода «второго сервис пака» просто ждали.
Windows XP вышел 25 октября 2001 и был сырым, совсем сырым.
Windows XP SP 2 вышел 6 августа 2004 года, и сделал XP популярным и рабочим на следующие лет 10. Это не считая Embedded версий, которые работали и работают и работают.
Поэтому 20 лет назад установка обновлений шла не от того, что «все работает», а от ожидания «сейчас вот это исправят, потом вон то».
Поэтому исторически тем, кто с системами давно плотно работает, вопрос «зачем» не понятен, очевидно же.

Классика последние 200 лет – не пейте из козьего копытца, не пейте из бутылочки с надписью яд -

for she had read several nice little stories about children who got burnt, and eaten up by wild beasts, and other unpleasant things, all because they would not remember the simple rules their friends had taught them: such as, that a red-hot poker will burn you if you hold it too long; and that, if you cut your finger very deeply with a knife, it usually bleeds; and she had never forgotten that, if you drink much from a bottle marked "poison," it is almost certain to disagree with you, sooner or later.”

Между тем, была и есть и другая тенденция в ИТ среде – не делать, что говорит производитель, а ждать, пока сломается, и потом делать вид, что работаешь.
Ничего не трогать, как писал другой автор –

Не выходи из комнаты, не совершай ошибку.
Зачем тебе Солнце, если ты куришь Шипку?
За дверью бессмысленно всё, особенно — возглас счастья.
Только в уборную — и сразу же возвращайся.

Эта же ситуация, с бедой с башкой, есть не только в ИТ.
Производитель говорит «меняйте масло каждые 10.000» - давайте ездить 15.000, я лучше знаю.
Производитель говорит «ставьте зимнюю резину до снега» - нет, каждый год на лысой летней резине кто-то застрянет на эстакадах и в кого то въедет.
Производитель говорит «меняйте ремень вариатора каждые 10.000» - нет, будут ездить до того момента, пока ремень не порвется.
Висят знаки «100» - давайте ездить 120.
Сказано «детям нельзя по дорогам общего пользования на спорт инвентаре» - ачотакова.
Беда с башкой  «а чо такова» и «такого со мной не произойдет» - явление постоянное и международное. Например, на днях признали, что на пике Победы теперь есть плюс один памятник. На Маттерхорне такого тоже хватает.

Что же касается проверенных электроником сотрудников, то это работает исключительно в том случае, если у организации:
1 Организован закрытый контур управления системами, где физически, air gap, отключен интернет,
2 Фирма настолько маленькая, что через air gap никто не захочет перепрыгнуть. Потому что есть вирусы, сложным путем обходящие такие защиты. Например, Stuxnet.
3 Не смотря на это, в системе установлены обновления для средств контейнеризации и виртуализации, и сами средства корректно настроены. Потому что для Linux было несколько средств выхода в операционную систему хоста из виртуальной машины - Red Hat: CVE-2024-32462: flatpak: sandbox escape, Linux kernel vulnerability-CVE-2025–38236, CVE-2025-4609: Critical Sandbox Escape и так далее. К этому добавляется GhostHook и прочие неприятности.

Часть 1.2 Чем плох WSUS, SCOM, прочее ПО, и факты в Ansible?

WSUS ничем не плох, но в нем очень, для меня, неудобная отчетность. Отчетность показывает, что проблемы есть, но не показывает в удобном для меня разрезе, что установлено и почему, в том числе по остальным компонентам.

Со SCOM и прочим ПО для инвентаризации всплыла у коллег интересная проблема. Некоторое ПО (их внутренняя разработка) не вносит изменения в реестр Windows, поэтому не понятно, что обновилось, что нет. Остается смотреть версию файла, но WSUS не умеет отслеживать такие изменения, а на SCOM у них денег нет. Поскольку дело было в Windows, то пришлось идти другим путем.
Факты в Ansible всем хороши, кроме того что этот факт надо интерпретировать, и иметь какую-то базу для сверки и хранения эталонов.

Часть 1.3 Почему PowerShell, а не Python?

Особой разницы нет, но механизм другой. Я могу сделать задачу, которая выполнится на удаленном сервере, но даже для двух серверов это будет 1) удаленная 2) асинхронная задача. Это не самый удобный вариант, обрабатывать асинхронные данные на коленке, без разворачивания базы данных. Можно и на Python, просто чуть больше возни с компиляцией, подписыванием кода, и асинхронным получением данных в базу, и обработкой из базы. Все это сделать можно без проблем, но для начинающих проще, под Windows, сделать задачу на Powershell, без дополнительных компонентов.
То есть мне не надо для Powershell ставить VScode, Python, auto-py-to-exe, и убеждать параноящий антивирус «внести вот это в исключения». И сильно меньше рисков, что exe что-то сломает. И в отладке чуть проще.

Под Linux я бы вообще на RUST писал, не на Python.

Часть 1.4 Прочие базовые вещи

Я буду считать, что вы:
Прочитали хотя бы:
Школьный курс информатики – где рассказывают про типы данных и циклы
А.В.Попов. Введение в Windows PowerShell
А.В.Попов. Современный PowerShell. 2-е издание. - СПб.: БХВ-Петербург, 2025.
и парочку статей по теме – что такое командлеты, ввод-вывод и так далее.
Точно так же я буду считать, что вы как минимум запустили Powershell ISE.
Powershell ISE к сожалению не умеет работать с Git напрямую, как VScode с модулями, но можно поставить и сам Git, или можно жить (но грустно) без него, или жить по старинке с SVN.

Часть 1.5 Классы и объекты, для тех, кто пропускал школу

Даже 30 лет назад, даже Borland Turbo Pascal не говоря про Object Pascal, поддерживал не только Units, то есть внешние библиотеки, но и объекты, классы, и вот это все. С 1989, версии 5.5.
Все это было, в том числе в VBS, есть и в PowerShell

Нет никаких проблем (кроме того, что будет много букв) вызывать из PowerShell и методы Windows API, то есть графический интерфейс, и методы из Dotnet, и работать с внешними библиотеками, и обрабатывать ошибки и исключения.
Есть одно, лично мое исключение. Если вы работаете с web, и вам надо что-то обработать в Chrome или Firefox, то берите сразу Selenium. Он простой, куда проще, чем возиться с Powershell и Edge.

Часть 1.6 К теме обновлений в Windows

Что такое обновление с точки зрения статистики и "мне только посмотреть? "
Например, 2025-08 Cumulative Update for Microsoft server operating system version 24H2 for x64-based Systems (KB5063878) (26100.4946) ?
Это объект, у которого есть свойства:
Для какого продукта он предназначен: Microsoft Server Operating System
Для какой версии продукта он предназначен: 24H2 (это Windows server 2025)
Критичность: Microsoft Security Response Center (MSRC) severity: Critical
Номер: KB article numbers: 5063878
Дата выхода: 8/12/2025 (формат даты США, месяц/день/год, то есть 12 августа 2025. Это у них легаси такое, с времен церковно-учетных книг)
Язык: в данном случае не важен.
Почему продукт и версия разнесены? Потому что, и в дальнейшем это будет критично, у Microsoft с обновлениями dotnet случилась беда с версионностью. В итоге и для определения версии есть отдельная процедура, и обновления бывают для отдельных компонентов.
Нормально это унифицировали только где-то к выходу Windows Server 2022

Часть 1.7 Как это все хранить и обрабатывать?
Можно в виде битовой строки, где символы с 0 по 20 это продукт, с 20 по 40 это версия, итд.
Можно какими-то еще путями, для ускорения или компактности.
Можно сразу рисовать схему базы данных.
Или можно сделать класс с разными типами данных внутри класса, и создавать на основе этого класса – объекты, и массивы объектов, и много чего еще.

Плюсы? Легко расширять, легко просматривать. Легко хранить в виде xml
Низкий порог вхождения, если говорить простыми словами.

Часть 1.8 Давайте начинать. Мой первый класс

Пуск – выполнить - powershell ise, и вот он – стандартный интерфейс, недалеко ушедший от блокнота
Делаем File – save as - Meine erste Klasse, делаем пример, выполняем –

class Device {
[string]$Brand
}
$dev = [Device]::new()
$dev.Brand = "Fabrikam, Inc."
$dev

И оно работает!

Делаем пример, какой нам нужен

Class MeineErsteKlasse{
[string]$OS
[string]$Release
[string]$KB
[string]$KBDate}

<#Для какого продукта он предназначен: Microsoft Server Operating System
Для какой версии продукта он предназначен: 24H2 (это Windows server 2025)
Номер: KB article numbers: 5063878
Дата выхода: 8/12/2025 #>

$MeinErstklassigesBeispiel =[MeineErsteKlasse]::new()
$MeinErstklassigesBeispiel.OS = "Server"
$MeinErstklassigesBeispiel.Release = "24H2"
$MeinErstklassigesBeispiel.KB = "KB5063878"
$MeinErstklassigesBeispiel.KBDate = "12.08.2025"

$MeinErstklassigesBeispiel | Format-Table -AutoSize

Запускаем – работает.

Часть 1.9 Немного магии, не очевидной с первого раза

Когда мы не работает со скриптом интерактивно, когда он будет исполняться неизвестно где и неизвестно как, имеет смысл хранить «нужные для работы данные» где-то рядом.
Для этого в Powershell есть переменная $PSScriptRoot, отдающая объект типа строка, то есть «откуда скрипт запустился» и командлет Get-Location, который выдает объект с кучей других свойств.
Посмотрим:

$PSScriptRoot | Get-Member
Get-Location| Get-Member
$Data1 = Get-Location
$Data1.Path

Все наглядно.
Заведем переменную «где храним скрипты» и переменную версии, просто так чтобы была (не просто так)

$PfadZurSpeicherdatenbank = $PSScriptRoot
$Skriptversion = "10"
$MeineErsteSicherungsdatei = $PfadZurSpeicherdatenbank + "\" + "nur-eine-datei.xml"

Часть 1.10 Мой первый массив

Сделаем массив. Не массив конечно, в Powershell массивы это или хеш-таблицы (@{}), или кастомные объекты, типа [PSCustomObject]@{
или System.Collections.ArrayList  
создается, например, так:  $myArrayList = New-Object System.Collections.ArrayList
Или вариации на тему. Почему так? Потому что массив (array) в общем смысле, это объект фиксированного размера, и операция его расширения, если вы работаете с действительно большим объемом данных, это операции «создаем новый массив размером плюс 1, копируем туда старый массив, удаляем старый массив». Это дорогие операции, когда у вас миллионы объектов размерами хотя бы пара мегабайт.
Когда у вас скрипт уровня «я еще учусь» это не влияет значимо на скорость, но помнить и знать это нужно, чтобы потом не думать «ой, почему все так тормозит».

$keinArray = @()
$keinArray += $MeinErstklassigesBeispiel
#Старая переменная больше нам не нужна, удалим ее
Remove-Variable MeinErstklassigesBeispiel

Важный момент. Powershell для экономии использует всякие извращения с Mutable и будьте аккуратны с этим, потому что вот такое поведение с непривычки вызывает оторопь:

$Data1 = @(1,2,3,4)
$Data2 = $Data1
$Data1[2] = "N"
$Data2

Часть 1.11 Суй массив в файл. И забирай из файла

Export-Clixml -Path $MeineErsteSicherungsdatei -InputObject $KeinArray
notepad $MeineErsteSicherungsdatei
$NewKeinArray = Import-Clixml -Path $MeineErsteSicherungsdatei
$NewKeinArray

Поздравляю, вы великолепны.

Часть 1.12 Теперь все вместе

Class MeineErsteKlasse{
[string]$OS
[string]$Release
[string]$KB
[string]$KBDate}

<#Для какого продукта он предназначен: Microsoft Server Operating System
Для какой версии продукта он предназначен: 24H2 (это Windows server 2025)
Номер: KB article numbers: 5063878
Дата выхода: 8/12/2025 #>

$MeinErstklassigesBeispiel =[MeineErsteKlasse]::new()
$MeinErstklassigesBeispiel.OS = "Server"
$MeinErstklassigesBeispiel.Release = "24H2"
$MeinErstklassigesBeispiel.KB = "KB5063878"
$MeinErstklassigesBeispiel.KBDate = "12.08.2025"

$MeinErstklassigesBeispiel | Format-Table -AutoSize

$PfadZurSpeicherdatenbank = $PSScriptRoot
$Skriptversion = "10"
$MeineErsteSicherungsdatei = $PfadZurSpeicherdatenbank + "\" + "nur-eine-datei.xml"

$KeinArray = @()
$KeinArray += $MeinErstklassigesBeispiel
Remove-Variable MeinErstklassigesBeispiel

Export-Clixml -Path $MeineErsteSicherungsdatei -InputObject $KeinArray
notepad $MeineErsteSicherungsdatei
$NewKeinArray = Import-Clixml -Path $MeineErsteSicherungsdatei
$NewKeinArray

Литература
about_Classes
How to Use PowerShell Variables
about_Ref

Продолжение следует

Оказывается столько людей ностальгирует по ХР... Решил и я немножко приобщиться, так сказать. Сходил вчера на Дальний Склад, и он как всегда меня порадовал. Вашему вниманию... ПАКЕТ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ. Фюить-ХА.

Да, я знаю, надо как то чётче формулировать свои желания. Но, что дал Дальний Склад, обратно уже не вернешь.

Собственно, Её Величество Лицензия! На самом деле мало кто видел такие конверты, даже среди тех кто гонял в своё время со ZverCD. Этикетка-пломба, всё в наличии.

Внутри конверта приятная коробочка, кажется из полиэтилена, все надписи на русском языке.

Внутри коробочки всего один CD диск SP2 2002 год, и ведь умещалось всё. Ну и лицензионная наклейка с ключом активации.

Ну вот как то так. Пост получился немного сумбурным, ну не обзорщик я.
За сим, позвольте откланяться, мне надо идти отдыхать. Дальний Склад не только даёт, но и забирает, сами понимаете.

Для лиги лени: ничего нового, проходите мимо

Часть 1. Общая
Часть 2. Gitlab и Nexus
Часть 3. Ansible и Ansible AWS
Часть 4. Наконец переходим к Proxmox
Часть 5, не запланированная. Обновляем Proxmox с 8.4 до 9.0. Неудачно.
Часть 6. Возвращаемся к запуску Ansible
Часть 7. Разница концепций
Разница концепций. Часть 7.1 Обновления компонентов и система информирования.
Разница концепций. Часть 7.2 Сети
Разница концепций. Часть 7.3 предисловие к теме «Дисковое пространство».
Разница концепций. Часть 7.4 «Локальное дисковое пространство».
Часть 8. Разница концепций
Разница концепций. Часть 8.1 Расположение дисков VM
Разница концепций. Часть 8.2 Добавление дисков к хосту
Разница концепций. Часть 8.3 Настройка нескольких дисков
Разница концепций. Часть 8.4 Управление диском виртуальной машины.
Часть 9. Скорости дисков
Часть 10. Внешние СХД, iSCSI
Часть 11. Система прав

Часть 12. Немного про CPU
Часть 12. CPU type
Часть 12. Hyper-threading и безопасность
Часть 12. Hyper-threading и скорость

Часть 12. CPU type

В свойствах виртуальной машины, а может где-то еще, можно настроить CPU type. Причина появления этой настройки понятна, совместимость разных поколений процессоров.
Разные поколения процессоров имеют разные инструкции. Соответственно, чтобы приложение внутри виртуальной машины после миграции не обнаружило, что на новом физическом сервере более старый процессор не умеет выполнять какую-то инструкцию, на исходном сервере операционной системе (и приложению в ней) заранее сообщается, что там стоит «виртуально более старый процессор».
Для ESXi это называется Enhanced vMotion Compatibility (EVC). И отдельно можно поиграть в CPU Compatibility Masks.
Для Hyper-V это называется Processor Compatibility Mode (CompatibilityForMigrationEnabled)
В некоторых задачах (AES) это может дать х3 снижение производительности, в других почти незаметно.

Можно ли жить без этой настройки ? Можно, и желательно держать в кластере (в любом) одинаковые сервера – не только с одинаковыми CPU, но и с одинаковыми версиями BIOS, и с одинаковой прошивкой микрокодов для CPU в этом BIOS. Не потому, что это обязательно, а потому, что так меньше возможных проблем. И плюс исправления к CPU иногда выходят, не забывайте ставить.

Можно ли мигрировать VM «без этой настройки» ?
Выключенные однозначно да,  у всех.
Включенные в ESXi – нет.
Включенные в Hyper-V – нет, они с и включенной настройки иногда не мигрируют, хотя и по другим причинам.
Включенные в proxmox – я не пробовал.

Можно ли мигрировать между Intel и AMD ? В рамках домашних лабораторий и учебных стендов можете делать что угодно. В рабочей среде так делать не надо, даже когда режим совместимости заранее выставлен на минимальный минимум. Между Intel и AMD мигрировать в выключенном виде, так спокойнее.

Часть 12. Hyper-threading и безопасность

Когда-то давно, в 2018 году, для Intel нашли уязвимость L1 Terminal Fault (L1TF). Для устранения этой уязвимости, от момента обнаружения до момента выхода исправления, предлагалось, в том числе,:

The L1TF vulnerability introduces risk that the confidentiality of VBS secrets could be compromised via a side-channel attack when Hyper-Threading (HT) is enabled, weakening the security boundary provided by VBS. Even with this increased risk, VBS still provides valuable security benefits and mitigates a range of attacks with HT enabled. Hence, we recommend that VBS continue to be used on HT-enabled systems. Customers who want to eliminate the potential risk of the L1TF vulnerability on the confidentiality of VBS should consider disabling HT to mitigate this additional risk.
Microsoft Guidance to mitigate L1TF variant

После выхода и применения исправлений предлагалось включить HT обратно

Important: Disabling Intel Hyperthreading in firmware/BIOS (or by using VMkernel.Boot.Hyperthreading) after applying vSphere updates and patches is not recommended and precludes potential vSphere scheduler enhancements and mitigations that will allow the use of both logical processors. Mitigation should be done by enabling the ESXi Side Channel Aware Scheduler (see below).
VMware response to ‘L1 Terminal Fault - VMM’ (L1TF - VMM) Speculative-Execution vulnerability in Intel processors for vSphere: CVE-2018-3646

Для проксмокса были те же рекомендации, и предупреждение, цитата

L1TF CPU bug present and SMT on, data leak possible. See CVE-2018-3646 and https://www.kernel.org/doc/html/latest/admin-guide/hw-vuln/l1tf.html for details
Problem/message L1TF CPU bug and data leak

На «сейчас», после обновлений «всего», я такой рекомендации, «выключать», не видел. По крайней мере, не видел на более-менее новых процессорах и версиях 8 и 9.

Часть 12. Hyper-threading и скорость

Hyper-threading is an Intel technology that exposes two hardware contexts (threads) from a single physical core. These threads are referred to as logical CPUs. It is a common misconception that hyper-threading doubles the number of CPUs or cores. This is simply not the case. Hyper-threading improves the overall host throughput from 10-30% by keeping the processor pipeline busier and allowing the hypervisor more opportunities to schedule CPU clock cycles and so you should definitely take advantage of hyper-threading by enabling it in the BIOS of the VM host machine.
SQL Server Best Practices, Part II: Virtualized Environments

Есть несколько бытовых мифов про влияние Hyper-threading на скорость VM

Миф первый. HT замедляет работу, потому что это не настоящее ядро.
Этот миф растет из общего непонимания, что такое «ядро», и как с ним работает операционная система. HT это вообще не ядро, это «нить» или «поток исполнения»

Cores are physical processing units.
Threads are virtual sequences of instructions given to a CPU.
Multithreading allows for better utilization of available system resources by dividing tasks into separate threads and running them in parallel.
Hyperthreading further increases performance by allowing processors to execute two threads concurrently.
What Are CPU Cores vs Threads?

Тут я совсем не уверен в том, как это работает с точки зрения именно планировщика по потокам. В общем виде работает это следующим образом:
В случае нормальной работы планировщика (process scheduler \CPU scheduler ), он распределит задачи сначала по 1 потоку на физическое ядро, то есть не «на задача будет выделено физическое ядро», а «задача будет назначена на первый входящий тред физического ядра».
Поэтому в общем случае у вас не будет какой-то мега нагрузки на CPU.
Но, если вы изначально рассчитывали на включение HT и удвоение производительности, то, конечно, забудьте.

Миф второй. У меня огромнейшая нагрузка, поэтому задача, поставленная не на физическое ядро, будет работать медленно.

Поскольку речь не идет про назначение на ядра, нужно понимать, что кроме задач «на CPU», то есть математики, есть задачи ожидания из «дальней» памяти, от дисков, от сети, от пользователя, итд. Все это время само «физическое» ядро будет ждать поступления команды, и нет никаких причин для не выполнения в это время задачи из второго потока.

Скорее всего, нет у вас такой нагрузки. Но, если вы считаете, что точно есть, ну что ж, выключайте. В некоторых случаях, если вам так будет спокойнее, и вы не готовы что-то численно измерять, то можете выключить. Или сказать что выключили, иногда «сказать, что выключили и ускорили, ничего не делая» ускоряет работу системы в 1.5 раза.

Миф третий. Надо просто дать побольше ядер.
Выдать можно. Планировщик хоста будет пытаться сбалансировать треды исполнения, потому что он ничего не знает про то, какие задачи исполняются внутри.
При этом, для некоторых, довольно специфичных задач, например в случае, если у вас есть DBA, ваш DBA знает что такое NUMA, ваш DBA не боится им пользоваться, и внутри VM стоит Microsoft SQL Server 2022 или Microsoft SQL Server 2025, то выделить VM «чуть больше» чем физических ядер, и покрутить настройки трансляции NUMA может быть полезным. Про SQL soft numa и релиз ноты вообще читать полезно, как и что-то типа SQL Server Best Practices, Part II: Virtualized Environments
В остальных сценариях не надо так делать. Например, у PostgreSQL может быть грусть и тоска

Реальная сложность для меня, это отсутствие в Linux параметра CPU ready в нужном мне виде. И это не Steal time, про это ниже.
В ESXi CPU ready есть, и виден через esxtop, и в некоторых сценариях необходимо уменьшить, именно уменьшить число vCPU - Lowering the number of vCPUs reduces the scheduling wait time
Читать по теме:

CPU Ready Time Issues in ESXi Environments Running SQL Server VMs
Determining if multiple virtual CPUs are causing performance issues
How CPU management works on VMware ESXi 6.7

Для Windows server 2025 были введены новые метрики - CPU jitter counters, CPU Wake Up Time Per Dispatch, CPU Contention Time Per Dispatch, детальнее смотрите в статье CPU oversubscription and new CPU jitter counters in Windows Server 2025.

Для libvirt  есть virt-top . Для поиска источника нагрузки на диски есть iotop и htop, оба кстати не установлены из коробки.
В теме Steal time monitoring есть отсылка на проект vmtop, но как его проверить на пригодность, и как он будет жить, не из коробки и с его зависимостями – мне не очевидно. Последний коммит в проект – 16 апреля 2024.

Из этой характеристики вырастает проблема с аналогом VMware DRS (Distributed Resource Scheduler) или Hyper-V Load Balancing, точнее SCVMM dynamic optimization, особенно если на это намазан толстый слой .. для ESXi  слой ESXi host group  и VM-Host affinity rule , для Hyper-V и SCVMM – слой VM Affinity  \ Anti-affinity и Fault domain.

То есть, функционал (некий! (TM)) в Proxmox есть, Proxmox introduces Cluster Resource Scheduler for Proxmox Virtual Environment 7.3, есть отдельно ProxLB

Отдельно надо сказать про мониторинг. Я не знаю, это в Zabbix так сделано, или в Linux, или не знаю где еще, но при включенном HT, при не понятно каких условиях, нагрузка CPU выглядит как «не выше 50%».

Часть 12. И про кластер

Самое неприятное в статье Cluster Manager, это то, что там все работает от root.
Второе, не самое приятное – Corosync.
Потому что под iSCSI отдельные интерфейсы дай, под Corosync – дай (Corosync network planning), плюс лимит в хостов 20, и новостями типа with over 50 nodes in production. Ну что такое 50 нод, это ж немного. Четыре корзины по 12 лезвий.

Часть 12.Подводя итог

Если открыть статью Bibliography, то окажется, что книга Wasim Ahmed. Mastering Proxmox - Third Edition. Packt Publishing - это 2017 год, The Debian Administrator's Handbook – 2021.
Литературы мало, на русском почти нет совсем (кроме разрозненных статей). Порог входа не то чтобы высокий, но выше, чем у Hyper-V. Части привычного функционала еще нет, или он реализуется посторонними проектами. Метрокластер не понятно, как на таком строить.
Кластерная файловая система под вопросами. 
Крутить локальные виртуалки – пойдет, и даже iSCSI будет работать. Провайдеры, опять же, всякие в наличии. Но это уже совсем другая история

Литература
QEMU / KVM CPU model configuration
Enhanced vMotion Compatibility (EVC) Explained
Как работает и как используется Enhanced vMotion Compatibility (EVC) в кластерах VMware vSphere
Impact of Enhanced vMotion Compatibility on Application Performance
Processor Compatibility Mode in Hyper-V
Processor compatibility for Hyper-V virtual machines
Performance Impact of Hyper-V CPU Compatibility Mode
Proxmox wiki Manual: cpu-models.conf
Proxmox wiki IO Scheduler
Proxmox wiki High Availability
Proxmox wiki Cluster Manager
Proxmox PVE Bibliography
Старая (2010) статья Multi-Core Scaling In A KVM Virtualized Environment
What is a vCPU and How Do You Calculate vCPU to CPU?
Hyper-V NUMA affinity and hyperthreading
VMware response to ‘L1 Terminal Fault - VMM’ (L1TF - VMM) Speculative-Execution vulnerability in Intel processors for vSphere: CVE-2018-3646 (55806)
Mitigation Instructions for CVE-2022-21123, CVE-2022-21125, and CVE-2022-21166 (VMSA-2022-0016) (88632)
Guidance for mitigating L1 Terminal Fault in Azure Stack
Microsoft Guidance to mitigate L1TF variant
Which process scheduler is my linux system using?
Completely Fair Scheduler and its tuning
Linux schedulers – overview
The Linux Scheduler a Decade of Wasted Cores
New EEVDF Linux Scheduler Patches Make It Functionally "Complete"
What Are CPU Cores vs Threads?
CPU oversubscription and new CPU jitter counters in Windows Server 2025

Для лиги лени. 2 октября 2025 заканчивается поддержка vSphere 7.x,
14 октября 2025 заканчивается поддержка Exchange Server 2019 и Exchange Server 2016.
Чрезвычайно уважаемые люди так и сказали – будет как в Computer Associates и UCC-7 - CA-7.

Поддержка vSphere 7.
Уже давно было объявлено, что приближается конец света, закат эпохи VMware by Broadcom, и так далее.
Лицензии, теперь и на vSphere 8, теперь идут:
1 Дороже, чем было (как и ожидалось).
2 По подписке.
В Европе Broadcom за такие фокусы потащили в суд , Dutch court forces Broadcom to support VMware migration after 85% price hike backlash и ‘Unfair licensing terms’ subject of EU lawsuit.
До конца обновлений vSphere 8.x тоже осталось меньше года, а дальше только версия 9, только по подписке, только с кучей не очень нужного софта.
Можно ли будет взломать систему? Во первых это незаконно, даже если вы рассказываете про то, что вам цена и модель лицензирования не нравится. Во вторых с FC коммутаторами Broadcom и их лицензированием все не менее печально. Так что  только 100\200G, только Mellanox.

5 марта 2024 года вышло последнее обновление к ESXi 6.5 -
Download Filename: ESXi650-202403001.zip
Build: 23084120
Download Size: 331.1 MB
md5sum: d1f815a95cc2ae8d2592fcd5cf72a34f
sha256checksum: 991465ca3e209d2cf8efd15d1d3d25794f293e119496e962d547baf3bca3def1

Тогда же, 5 марта 2024, вышло предпоследнее обновление для 6.7:
Download Filename: ESXi670-202403001.zip
Build: 23084122
Download Size: 330.5 MB
md5sum: 142bb6a101f9f5ecf727abdd94e1401d
sha256checksum: 6ed73043b280bfbec0ae5dc13f17af7c6db1141f3a4951c447e24682b91e98c7

Последнее обновление для 6.7 вышло уже в 2025:
Download Filename:ESXi670-202503001.zip
Build: 24514018
Download Size: 330.5 MB
md5sum: b3cb6993fda4e2262d1cbbcc4f448239
sha256checksum: 1d07483a2811e0127d93de8976445f3e3cf60efaf84045c66dd2f311476d3566

Для 7.0 это
Download Filename:VMware-ESXi-7.0U3w-24784741-depot.zip
Build:24784741
Download Size:419.5 MB
md5sum:bc919e2febfb81b767e85e4fd33e75b8
sha256checksum:11e8c973918df2f0a9720995f8481deaa8d6b56daf4e931971a0b903a871b944

Для 8 актуальная версия 24859861, от 29 июля, и для 9 – версия 24813472, хотя последним на сайте отдельно значится 24645992 для Host Client 9.0.

На что переходить в части виртуализации?
Конечно, если у вас хватает денег на Microsoft open volume, то переходить на Windows Server 2025.
Даже инструкция есть - : Migrate VMware virtual machines to Hyper-V in Windows Admin Center (Preview).

Если у вас гораздо больше денег, но вы не хотите платить Microsoft, а хотите платить специалистам, то, для малых и средних организаций – Proxmox. Только потому, что он поддерживается независимой организацией. oVirt – дитя Red Hat, Red Hat больше нет, как там будет с обновлениями и поддержкой – не очевидно.

Проблемы выбора «импортозамещения» меня, к моей радости, не касаются. Судя по отсутствию историй успеха, кроме как в виде рекламных статей в платных блогах, с массовыми вытираниями «неприятных» комментариев - ничего хорошего с «импортозамещением» не происходит.

Exchange Server 2019 и Exchange Server 2016

Тут все еще проще. Переходить есть на что, но для мира это Exchange Server Subscription Edition (SE), вышел 2 июля 2025, и по кодовой базе представляет собой Exchange 2019 CU15. Кроме мелких изменений в логотипе итд. Изменения начнутся с Exchange SE CU2:

As end of support is fast approaching, please work on upgrading your organizations to Exchange SE as soon as possible and decommission Exchange 2016 or 2019. Just as Exchange 2019 CU15 blocks coexistence with Exchange 2013, Exchange SE CU2 will require that no Exchange 2016 or 2019 servers are installed in the organization. Future Exchange SE CUs will also modernize installation prerequisites, start requiring Exchange SE server keys, and bring new features.

Российские решения существуют, но требуют x2 всего – серверов, ядер, оперативной памяти, людей. Совокупная стоимость владения, Total Cost of Ownership, считайте сами.

Общая проблема, или время начинать каяться
Начну очень, очень, очень издалека.
На днях вышло несколько статей про известный фестиваль «Горящий человек» -
The Guardian: Can Burning Man survive the financial desert – and keep its soul intact?

Business insider: Burning Man is on shaky financial ground. Can the money-free festival keep from going broke?
Bloomberg: Burning Man Is Burning Through Cash
Jerry James "In the Beginning"
An Inflection Point

Проблема: Ticket sales and donations are up this year, but the event, popular with the Silicon Valley elite, has not sold out.

В чем проблема, если по русски.
До 2022 года билеты продавали по $575. Но в 2022 году эта сумма перестала покрывать расходы ($749)
В 2023 году цены подняли.
Но, как пишут, денег нет (но вы держитесь):

The armchair critic may be surprised that an event now synonymous with tech billionaires would be in financial straits. Some of the world's richest men are regular attendees. But while Burners are getting richer — 37.2% earn between $100,000 and $300,000 annually, compared to 21% 10 years ago, according to an annual volunteer-run census — the majority still earn under $100,000 a year.

Некоторые участники не в восторге от инициатив руководства проекта:

Others said they want the nonprofit to focus on the annual Burning Man event, not its many charity initiatives, like the disaster relief project Burners without Borders and global artist grants.

И голосуют деньгами.

При этом фестиваль превращается в тусовку для богатых парней:

From 2015 to 2024 the share of Burners who make less than $50,000 fell from 47% to 27%, according to an annual census that volunteers run at the event, whereas the share earning $150,000 or more jumped from 11% to 29%.

Мир меняется. То, что в середине 90х было тусовкой на 4 тысячи человек, стало развлечением на 70 тысяч. То, что жило на какой-то форме «и так сойдет» стало регулируемым мероприятием.
Поколение основателей фестиваля начало умирать – например, Larry Harvey (January 11, 1948 – April 28, 2018) .

То, что в середине 80х продвигалось как свободная альтернатива, Free Software Foundation - The GNU Project, и GNU/Linux, стало местами кладбищем, местами наборами кое-как скрепленных (не буду уточнять чем) костылей, продающихся дорого или очень дорого.

Что не удивительно
Разработчикам надо что-то есть, и они выбирают работу 8/5 в коммерческих решениях.
С ростом проникновения технологии, все больше пользователей не только не вносят свой вклад, и не просто жгут напалмом и подгорают ждут готовых решений, но и активно негодуют, почему сообщество не помогает им читать документацию, не читает за них  документацию. Почему сообщество не решает те проблемы, за решение которых платят этим сотрудникам. Плохое, плохое сообщество.

Для России ситуация с кадрами усугубляется сложением нескольких волн:
1 Волны выбивание с рынка труда «средне-стремящегося класса». Который, по заявлениям властей РФ, уже весь вернулся в РФ из США, Германии, Португалии и Кипра, но как-то статистика этого не показывает.
2 Волны смены поколений. Если поколение «до примерно 2001 года» еще успело застать «советскую базу образования», то к 2010 подавляющая часть «советских» преподавателей доработало и умерло (и в школах, и в вузах), подавляющая часть «работников советской закалки» тоже умерли, организация процессов начала отскок в методологию «минус поколение».

Как итог, уже есть регулярно вылезающие наружу (Аэрофлот, СДЭК) проблемы с кадрами, организацией труда, итд.
Переход на опенсорс, в том числе на российские продукты на базе опенсорс решений, без базового понимания «как это работает» и без базового понимания «почему это работает именно так», ведет к росту проблем эксплуатации, которые нельзя решить железом.
И вот это, сложный выбор между «эту бизнес задачу решает только проприетарное решение на проприетарной подписке с дорогими сотрудниками», и «эту задачу можно решить решением на базе опенсорс, только будет в 2 раза дороже по железу и в 2 раза дороже по подписке на поддержку опенсорс», предстоит решать в следующие несколько лет. В условиях дефицита не только высококвалифицированных низкооплачиваемых кадров, но и в условиях дефицита высококвалифицированных среднеоплачиваемых кадров.

Итого.
Можно начинать каяться.

Литература
Announcing Extension of VMware vSphere 7.x and VMware vSAN 7.x General Support Period
Exchange Server 2019 Support Dates Oct 14, 2025
Exchange Server 2016 Support Dates Oct 14, 2025
Migrate VMware virtual machines to Hyper-V in Windows Admin Center (Preview).