Продукты серверного программного обеспечения VMware предоставляют файлы журналов, которые записывают данные о событиях каждого компонента программного обеспечения с отметками времени. Журналы VMware могут использоваться для устранения неполадок и диагностики их причин. В этом блоге рассматриваются журналы ESXi и vCenter, объясняется, как проверить журналы в VMware vSphere, как найти необходимую информацию и проанализировать ее.
Журналы ESXi
VMware ESXi – широко используемый гипервизор, который позволяет пользователям создавать и управлять виртуальными машинами на физических серверах. Для обеспечения правильной работы, устранения неполадок и мониторинга серверов ESXi генерируются различные журналы. Эти журналы фиксируют важные события, ошибки и данные о производительности, помогая администраторам и службам поддержки выявлять проблемы и поддерживать стабильность виртуальной инфраструктуры. Ниже приведено объяснение некоторых важных журналов VMware ESXi.
Журналы VMkernel
/var/log/vmkernel.log
Этот журнал записывает действия VMkernel, включая события драйверов устройств, хранение данных, сетевую и другие действия, связанные с ядром. Он предоставляет информацию о низкоуровневых операциях системы и является критически важным для диагностики проблем, связанных с аппаратным обеспечением. Местоположение журнала vmkernel – в каталоге /var/log/.
/var/log/vmkwarning.log
Этот файл журнала содержит предупреждения, сгенерированные VMkernel, ядром гипервизора ESXi. Он фиксирует события и условия, требующие внимания, но не являющиеся критическими ошибками.
/var/log/vmksummary.log
vmksummary.log – это сводный журнал, который предоставляет обзор состояния работы хоста ESXi, включая события запуска и выключения, использование системных ресурсов и некоторые основные показатели производительности.
Журналы управления хостом
/var/log/hostd.log
В этом журнале содержатся записи, связанные с сервисом управления хостом ESXi (hostd). Он записывает события, связанные с операциями включения и выключения виртуальных машин, обработкой задач и событий, а также связью с сервером vCenter, если это применимо.
Журналы виртуальных машин
/vmfs/volumes/datastore_name/vm_name/vmware.log
Каждая виртуальная машина поддерживает журнальный файл, в котором записываются события, специфичные для этой ВМ, такие как операции с питанием, изменения виртуального оборудования и события приложений из гостевой ОС. Местоположение файла vmware.log – это каталог ВМ на хранилище данных.
Журналы хранения
/var/log/vobd.log
Этот журнал сосредоточен на проблемах, связанных с хранением и операциями iSCSI.
/var/log/vmkernel.log
Как упоминалось ранее, журналы VMkernel также записывают события, связанные с хранилищем.
Журналы сети
/var/log/vobd.log
Этот журнал включает события, связанные с сетью, такие как vMotion, сетевое подключение и ошибки связи.
/var/log/vmkernel.log
Журналы VMkernel также содержат сетевые сообщения.
Журналы аутентификации и пользователя
/var/log/auth.log
Этот журнал записывает события аутентификации, включая вход и выход пользователя.
Журнал оболочки ESXi и SSH
/var/log/shell.log
Этот журнал захватывает команды оболочки ESXi (TSM), выполненные пользователями.
/var/log/ssh.log
Если SSH включен на хосте ESXi, этот журнал записывает события, связанные с SSH.
Системные сообщения
/var/log/syslog.log
Журнал syslog.log содержит подробный журнал системных сообщений от VMkernel и различных служб, работающих на хосте ESXi. Он захватывает широкий спектр информации, включая сообщения загрузки, события оборудования, сетевые активности и многое другое.
Журналы брандмауэра
/var/log/firewall.log
Этот журнал отслеживает события, связанные с брандмауэром ESXi, включая разрешенные и запрещенные соединения.
Журналы сервера vCenter на ESXi (если подключен к серверу vCenter)
/var/log/vpxa.log
Этот файл журнала специфичен для хостов ESXi, управляемых сервером vCenter. vpxa.log связан с агентом vCenter (vpxa), работающим на хосте ESXi. Он записывает взаимодействия между хостом ESXi и сервером vCenter, включая задачи, запущенные из vCenter, такие как операции с виртуальными машинами, миграции и изменения конфигурации, а также обновления статуса хоста, выполнение задач и событий, и связь с сервером vCenter.
Журналы обновления ESXi
/var/log/esxupdate.log
esxupdate.log содержит журналы, относящиеся к обновлению и установке патчей хоста ESXi. Этот файл журнала записывает информацию об установке, обновлении и удалении программных пакетов (VIB) на хосте ESXi.
Журналы USB
/var/log/usb.log
Файл usb.log записывает события, связанные с USB-устройствами, подключенными к хосту ESXi. Он отслеживает обнаружение, подключение и отключение USB-устройств, а также любые проблемы, связанные с прохождением USB или использованием службы арбитража USB.
Журналы VMware vCenter
VMware vCenter – это централизованная платформа управления, которая позволяет администраторам эффективно управлять несколькими хостами VMware ESXi и виртуальными машинами. Для поддержания здоровья и производительности сервера vCenter и подключенных к нему хостов ESXi генерируются несколько журналов, каждый из которых выполняет определенные функции. Ниже приведено объяснение некоторых важных журналов VMware vCenter.
vpxd.log
Местоположение: /var/log/vmware/vpxd/vpxd.log
Данный лог-файл регистрирует события, связанные с сервисом vCenter Server, и расположение лога vpxd – это директория /var/log/vmware/vpxd/ на сервере vCenter. Лог vpxd содержит информацию о запуске службы vCenter, событиях подключения от клиентов vSphere, аутентификации пользователей, лицензировании и различных административных задачах, выполняемых через клиент vSphere или API.
/var/log/vmware/vpxd/vpxd-alert.log содержит некритическую информацию о процессе vpxd.
fdm.log
Расположение: /var/log/fdm.log
Лог Fault Domain Manager (FDM) является критически важным для vSphere High Availability (HA) при устранении неполадок. Он содержит информацию о сбоях узлов и виртуальных машин, конфигурации HA, данные о сердцебиении и выборах главного узла в кластере HA.
vmsyslogd.log
Расположение: /var/log/vmware/vmsyslogd.log
Данный лог-файл связан с сервисом syslog, работающим на виртуальной машине vCenter Server Appliance. Он регистрирует сообщения, переданные на syslog vCenter Server от различных компонентов и служб.
vmware-vpostgres.log
Расположение: /var/log/vmware/vpostgres/postgresql-xx.log
В этом логе содержатся подробные сообщения, связанные с базой данных PostgreSQL, включая статус репликации, журналы транзакций и другие события базы данных.
catalina.log
Местоположение: /var/log/vmware/vpostgres/catalina.out
Этот лог-файл принадлежит сервису базы данных VMware Postgres. В нем содержатся сообщения, связанные с операциями базы данных, включая события запуска и остановки, запросы и ошибки.
sms.log
Местоположение: /var/log/vmware/sms/sms.log
Лог-файл Storage Monitoring Service (SMS) регистрирует события, связанные с мониторингом и управлением хранилищами, включая datastores, устройства хранения и оповещения о хранилищах.
invsvc.log
Местоположение: /var/log/vmware/invsvc/invsvc.log
Лог-файл Inventory Service содержит информацию о операциях инвентаризации vCenter Server, таких как обновления объектов, сбор данных и синхронизация.
applmgmt.log
Местоположение: /var/log/vmware/applmgmt/applmgmt.log
Этот лог-файл связан с сервисом управления устройством и предоставляет информацию о развертывании и настройке vCenter Server Appliance.
vmware-sts-idmd.log
Местоположение: /var/log/vmware/sso/vmware-sts-idmd.log
Этот лог регистрирует события, связанные с сервисом VMware Single Sign-On (SSO), управлением удостоверениями и процессами аутентификации.
stats.log
Местоположение: /var/log/vmware/perfcharts/stats.log
Файл stats.log связан с сервисом графиков производительности vCenter Server (также известным как графики производительности vCenter). Он содержит статистические данные и информацию о производительности, собранные сервисом графиков производительности.
Сервис графиков производительности предоставляет графические представления метрик производительности для виртуальных машин и хостов. Файл stats.log записывает данные, которые могут быть использованы для создания графиков и диаграмм производительности для мониторинга и анализа производительности компонентов виртуальной инфраструктуры.
ПРИМЕЧАНИЕ: Сервис графиков производительности является важным для мониторинга производительности в реальном времени виртуальных машин и хостов, а файл stats.log играет роль в хранении базовых данных.
eam.log
Местоположение: /var/log/vmware/eam/eam.log
Файл eam.log принадлежит сервису Менеджера агентов ESX (EAM) в vCenter Server. EAM отвечает за управление агентами vSphere, включая Пакеты установки vSphere (VIB) и расширенные агенты.
Файл eam.log записывает события и действия, связанные с жизненным циклом агентов vSphere. Он хранит информацию о развертываниях, обновлениях и проверках агентов. Если вам нужно местоположение журнала VMware Lifecycle Manager, проверьте /var/log/vmware/eam/eam.log
ПРИМЕЧАНИЕ: Менеджер агентов ESX обеспечивает установку правильных версий VIB на хосты ESXi и правильную регистрацию расширенных агентов. Файл eam.log необходим для отслеживания этих операций и обнаружения любых проблем, связанных с агентами vSphere.
Где хранятся журналы
Давайте узнаем, на каком разделе и в каких каталогах хранятся журналы VMware. В стандартной установке VMware ESXi журналы хранятся в нескольких каталогах на различных разделах. Типичное расположение журналов VMware, таких как журналы VMkernel на хосте ESXi, это:
/scratch/log/
Ссылки находятся в /var/log/, но файлы журналов хранятся на разделе scratch ESXi (см. скриншоты выше и ниже). Мы рассмотрели раздел scratch и временное хранилище, когда объясняли как установить ESXi на USB-накопитель.
Например, вы можете получить доступ к журналам управления хостом в /var/log/hostd.log с использованием символической ссылки, но файл hostd.log находится в каталоге log на разделе /scratch.
Журналы виртуальных машин обычно находятся на хранилище VM в каталоге VM и не удаляются после перезагрузки сервера ESXi, например: /vmfs/volumes/datastore_name/vm_name/vmware.log
Когда файл журнала ВМ (vmware.log) заполнен, он переименовывается в vmware-1.log, vmware-2.log и т. д.
Вы можете включить или отключить журналы ВМ, перейдя к настройкам ВМ > опции ВМ в клиенте VMware vSphere и развернув Расширенные опции, включая флажок Включить ведение журнала.
Таким образом, раздел /scratch используется для хранения журналов и других временных файлов на хосте ESXi. В некоторых установках раздел /scratch настроен как файловая система в памяти (tmpfs). Если вам необходимо сохранить журналы после перезагрузки, вы можете настроить постоянное местоположение хранения журналов с помощью команды “esxcli system syslog” и других команд, объясненных ниже.
Имейте в виду, что местоположения журналов ESXi могут различаться в зависимости от версии и конфигурации ESXi. Кроме того, журналы могут быть сохранены на постоянном устройстве хранения, если это явно настроено администратором системы.
Местоположение журналов vCenter
Большинство журналов сервера vCenter находятся в каталоге /var/log/vmware/. Сервер vCenter VMware не сохраняет журналы на временном (непостоянном) разделе, как ESXi. Вместо этого журналы сервера vCenter обычно сохраняются на локальном диске операционной системы или на примонтированном томе хранения, что означает, что они сохраняются после перезагрузки. Виртуальный аппарат VMware vCenter Server (VCSA) основан на Photon Linux, как мы помним, и VCSA является новым подходом к развертыванию vCenter, используемым в последних версиях vSphere.
Местоположение журналов vCenter для установки на основе Linux (VCSA) следующее:
/var/log/vmware/vpx/
Точное расположение журналов vCenter зависит от операционной системы, на которой установлен сервер vCenter. Windows-ориентированный сервер vCenter, который использовался до VMware vSphere 6.7 и устарел, использовал следующее местоположение по умолчанию для хранения журналов VMware vCenter:
C:\ProgramData\VMware\vCenterServer\logs\
Обратите внимание, что местоположения журналов vCenter могут варьироваться в зависимости от версии сервера vCenter и конфигурации. Вы всегда можете обратиться к официальной документации VMware или документации конкретной версии сервера vCenter, чтобы найти точные местоположения журналов.
Поскольку сервер vCenter является центральной платформой управления, он полагается на постоянные журналы для поддержания исторической информации и облегчения устранения неполадок и анализа производительности со временем. В отличие от ESXi, который использует файловую систему в памяти для временных журналов (для некоторых конфигураций по умолчанию), журналы сервера vCenter предназначены для постоянного хранения и хранятся на постоянном носителе информации. Что касается непостоянного хранения журналов ESXi, вы можете изменить местоположение хранения журналов на ESXi.
Как получить доступ к журналам VMware
Мы исследовали, что такое журналы VMware и где они хранятся. Теперь нам нужно выяснить, как проверить журналы VMware ESXi для дальнейшего анализа. Вы можете получить доступ к журналам VMware ESXi разными способами.
Клиент хоста VMware
Выполните следующие шаги, чтобы просмотреть журналы ESXi в клиенте хоста VMware:
- Войдите в клиент хоста VMware в вашем веб-браузере.
- Нажмите Хост > Монитор в Панели навигации и выберите вкладку Журналы.
- Выберите один из журналов ESXi, чтобы просмотреть записанную информацию. Вы можете искать нужную строку, используя поле Поиск.
DCUI (ESXi)
Вы можете использовать интерфейс прямого доступа к консоли на ESXi для просмотра журналов. Вам нужен физический доступ к хосту ESXi, включая монитор и клавиатуру, или вы можете использовать коммутатор KVM и аналогичные технологии.
- Войдите в интерфейс прямого доступа к консоли ESXi (DCUI).
- Выберите пункт Просмотр системных журналов в меню Настройка системы.
- Нажмите клавишу от 1 до 6, чтобы просмотреть соответствующий журнал VMware на вашем сервере ESXi. Объяснение для каждой цифры отображается в правой панели интерфейса.
- После ввода нужной цифры вы увидите полноэкранный экран с журналами. Вы можете набрать / и ввести строку поиска, чтобы отобразить только строки с нужной информацией. Нажмите q, чтобы выйти из этого режима и вернуться к предыдущему меню DCUI.
Веб-браузер
Используйте ссылку в веб-браузере, чтобы открыть страницу с ссылками для загрузки журналов. Вам необходимо ввести учетные данные с административными правами для хоста ESXi, чтобы получить доступ к этой странице.
https://<ESXI_host_IP>/host
Командная строка ESXi
Командная строка ESXi, подобно DCUI, может использоваться для просмотра журналов ESXi, если сетевое подключение недоступно и невозможно использовать методы удаленного просмотра журналов через сеть.
- Убедитесь, что оболочка ESXi включена в DCUI (Опции устранения неполадок > Включить оболочку ESXi).
- Нажмите Alt+F1, чтобы открыть оболочку ESXi.
- Используйте команды для просмотра журналов ESXi.
SSH
Удаленный доступ по SSH является одним из наиболее удобных и мощных методов просмотра и анализа журналов VMware.
- Включите SSH в DCUI (Опции устранения неполадок > Включить SSH) или VMware Host Client, чтобы разрешить удаленный доступ по SSH к хосту ESXi.
- Подключитесь к хосту ESXi, используя клиент SSH (например, PuTTY, если подключаетесь из Windows).
- Используйте команды для просмотра журналов ESXi и анализа журналов VMware.
Анализ журналов VMware с примерами
Теперь мы знаем имена и местоположения журналов VMware, а также методы доступа к журналам, которые бесценны для устранения различных проблем в виртуализированной среде. Пришло время исследовать несколько практических примеров использования журналов VMware для устранения неполадок.
Выявление проблем с подключением хоста ESXi
Проблема: Виртуальные машины на хосте ESXi периодически испытывают проблемы с сетевым подключением.
Журналы для проверки:
- /var/log/vmkernel.log
- /var/log/vobd.log
- /var/log/hostd.log
Шаги устранения неполадок. Проверьте журналы VMkernel на наличие сообщений, связанных с сетью, и найдите ошибки или отброшенные пакеты. Также просмотрите журналы hostd на предмет проблем с обслуживанием хоста. Журнал vobd.log может дать представление о проблемах, связанных с хранением, которые могут влиять на сеть ВМ.
Сбой создания снимка ВМ
Проблема: Попытка создать снимок виртуальной машины завершается неудачей.
Журналы для проверки:
- /vmfs/volumes/datastore_name/vm_name/vmware.log
- /var/log/vmkernel.log
Шаги устранения неполадок. Изучите vmware.log конкретной виртуальной машины на наличие ошибок или предупреждающих сообщений, связанных со снимками. Одновременно проверьте журналы VMkernel на наличие проблем с хранением, которые могут помешать операции по созданию снимка.
Degradación del rendimiento de la VM
Проблема: Виртуальная машина испытывает проблемы с производительностью, такие как высокая загрузка процессора или памяти.
Журналы для проверки:
- /vmfs/volumes/datastore_name/vm_name/vmware.log
- /var/log/vmkernel.log
Шаги по устранению неполадок: Проанализируйте журнал vmware.log затронутой виртуальной машины на наличие ошибок, специфичных для приложения, или всплесков использования ресурсов. Параллельно проверьте журналы VMkernel на наличие сообщений, связанных с производительностью, и убедитесь, что на хосте ESXi имеются достаточные ресурсы.
Отказ в запуске службы vCenter
Проблема: Служба сервера vCenter не запускается.
Журналы для проверки:
- /var/log/vmware/vpxd/vpxd.log на сервере vCenter
- /var/log/vpxa.log на хосте ESXi
Шаги по устранению неполадок: Проверьте журнал vpxd.log на наличие ошибок или исключений во время запуска сервера vCenter. Кроме того, проверьте журнал vpxa.log на управляемых хостах ESXi, чтобы убедиться в правильной связи между vCenter и хостами.
Проблема с отказом кластера VMware High Availability (HA)
Проблема: Виртуальные машины не перезапускаются на других хостах в кластере HA после сбоя хоста ESXi.
Журналы для проверки: /var/log/fdm.log
Шаги по устранению неполадок. Проанализируйте fdm.log на затронутых хостах, чтобы выявить любые ошибки или проблемы с кластером HA. Ищите сообщения о сердцебиениях, процесс выбора основного хоста и возможные причины сбоев при переносе ВМ.
Сбой vMotion
Проблема: VMware vMotion не удается выполнить при попытке миграции ВМ между хостами.
Журналы для проверки:
- /var/log/vmkernel.log
- /var/log/vobd.log
Шаги по устранению неполадок. Проверьте vmkernel.log на наличие сообщений, связанных с vMotion, и любые проблемы с сетевым подключением. Кроме того, проверьте vobd.log на возможные проблемы, связанные с хранилищем, которые могут повлиять на vMotion.
Проблемы с установкой VMware Tools
Проблема: Установка VMware Tools завершается с ошибкой на виртуальной машине.
Журналы для проверки: /vmfs/volumes/datastore_name/vm_name/vmware.log
Шаги по устранению неполадок. Просмотрите vmware.log внутри виртуальной машины на наличие ошибок или сообщений об установке VMware Tools.
При решении проблем с журналами VMware важно коррелировать события в нескольких журналах для полного понимания проблемы. Кроме того, инструменты анализа журналов, такие как VMware Aria Operations for Logs (ранее известный как vRealize Log Insight), могут помочь оптимизировать процесс просмотра журналов и обеспечить более эффективное устранение неполадок VMware в сложных средах.
Устранение проблем с хранилищем
Вы можете использовать журналы VMware для выявления проблем с жесткими дисками или твердотельными накопителями, например, если на HDD есть поврежденные блоки. Для выявления проблем с жесткими дисками (HDD) или твердотельными накопителями (SSD) в среде VMware вы можете использовать различные журналы VMware для отслеживания и анализа событий и ошибок, связанных с хранилищем.
- Просмотрите журналы VMkernel (/var/log/vmkernel.log):
Журналы VMkernel предоставляют информацию о низком уровне системы, включая события, связанные с хранилищем. Ищите сообщения, указывающие на ошибки ввода-вывода диска или коды SCSI, связанные с проблемами диска.
Примеры ошибок: “Ошибка ввода-вывода устройства”, “Обнаружена ошибка среды” или “Неисправимая ошибка в данных”
- Проверьте журналы, специфические для хранения (/var/log/vobd.log):
Журнал vobd.log содержит сообщения, связанные с хранением, включая ошибки, возникшие в подсистеме хранения.
Пример ошибки: “Ошибка хранения: Устройство ‘naa.xxxxxxxxxxxxxx’… Sense: Неисправимая ошибка чтения“
- Изучите журналы виртуальной машины (/vmfs/volumes/datastore_name/vm_name/vmware.log):
Журналы, специфические для виртуальной машины, могут раскрывать ошибки ввода-вывода диска, возникшие в определенной виртуальной машине.
Пример ошибки: “Произошла ошибка ввода-вывода диска на одном или нескольких виртуальных дисках“, “Обнаружена ошибка диска” или “Ошибка стека: Невозможно прочитать таблицу разделов“
Рекомендации: Что использовать дополнительно к журналам VMware
Есть рекомендации о том, что использовать в дополнение к журналам VMware для более детальной диагностики и устранения неполадок, чтобы своевременно обнаруживать проблемы с хранением.
- Отслеживание тревог и событий vCenter. Следите за тревогами и событиями сервера vCenter, связанными с хранилищем. Тревоги, вызванные проблемами с хранилищем, могут дать понимание потенциальных проблем с дисками.
- Использование проверок состояния VMware. VMware предоставляет различные проверки состояния, которые могут быть выполнены через клиент vSphere. Эти проверки могут выявить проблемы, связанные с хранилищем, и предложить рекомендации.
- Использование сторонних инструментов мониторинга. Реализуйте специальные IT-инструменты мониторинга и анализа журналов, чтобы централизовать и анализировать данные журналов с нескольких хостов и виртуальных машин. Эти инструменты могут помочь выявить проблемы с дисками по всей виртуальной инфраструктуре.
- При выявлении битых блоков на жестких дисках важно обращать внимание на различные сообщения об ошибках и шаблоны, особенно те, которые указывают на ошибки средства или чтения/записи. Битые блоки могут привести к повреждению данных или снижению производительности, и их раннее обнаружение может предотвратить более серьезные проблемы. Если данные на отказавших дисковых устройствах потеряны, восстановление данных из резервной копии VMware на здоровые диски необходимо.
Проблемы кластерапроизводительностью виртуальной машины , отказами высокой доступности (HA), отказами vMotion или другими операциями, связанными с кластером.
Использование журналов VMware ESXi и vCenter может быть чрезвычайно полезным для выявления проблем, связанных с кластерами, в вашей виртуализированной среде. Проблемы с кластерами могут проявляться в виде проблем с производительностью ВМ, отказами HA, сбоями vMotion или другими операциями, связанными с кластерами.
- Просмотр журналов vCenter Server:
- Доступ к журналам vCenter, таким как vpxd.log и vpxa.log, расположенным по адресам /var/log/vmware/vpxd/vpxd.log и /var/log/vpxa.log соответственно.
- Ищите ошибки или предупреждающие сообщения, связанные с операциями кластера, управлением ресурсами и связью между vCenter и узлами ESXi.
- Обратите внимание на события во время создания кластера, изменения конфигурации и проблемы с услугами кластера.
- Проверьте журналы ESXi хоста и получите доступ к журналам ESXi хоста, включая vmkernel.log, hostd.log и fdm.log:
- vmkernel.log: Просмотрите, чтобы проверить наличие любых событий, связанных с кластером, таких как попытки vMotion, проблемы с сердцебиением HA или ошибки при совместном использовании ресурсов.
- hostd.log: Ищите сообщения, связанные с кластером, касающиеся задач и событий, обрабатываемых сервисом управления хостом.
- fdm.log: Исследуйте, чтобы проверить наличие событий, связанных с HA, включая сбои хоста, перезагрузки ВМ и события выборов мастера.
- Проверьте журналы виртуальных машин:
- Доступ к журналам ВМ, таким как vmware.log, чтобы выявить проблемы, специфичные для отдельных ВМ в кластере.
- Журналы ВМ могут предоставить информацию о производительности ВМ, ограничениях ресурсов или сбоях во время операций vMotion.
- Отслеживание аварийных сигналов и событий, специфичных для кластера:
- Используйте vCenter для создания аварийных сигналов и событий, специфичных для производительности и состояния кластера.
- Настройте аварийные сигналы для проблем, таких как чрезмерное использование ресурсов, разделение кластера или сбои виртуальных машин.
- Проверьте вкладку События vCenter для событий, связанных с кластером, таких как миграции ВМ, переконфигурация кластера или события HA.
Объединяя информацию из журналов ESXi, журналов vCenter, метрик производительности и событий, специфичных для кластера, вы можете получить всеобъемлющее понимание состояния кластера и выявить проблемы, влияющие на производительность виртуальных машин, высокую доступность и общую стабильность кластера. Регулярный анализ журналов и профилактическое мониторинг могут помочь предотвратить проблемы с кластером или быстро решить их, когда они возникают.
Устранение неполадок в сети
Отладка сети в VMware vSphere включает в себя выявление и устранение проблем, связанных с сетью, которые влияют на виртуальные машины и общение между ESXi хостами. Журналы VMware ESXi и vCenter могут быть очень полезны для выявления таких проблем. Ниже приведены примеры отладки сети с использованием журналов ESXi и vCenter, а также команды для извлечения релевантной информации.
Выявление проблем с подключением виртуальных машин к сети
Проблема: Виртуальная машина не может получить доступ к сети.
- A command to check VMkernel logs (on an ESXi host):
cat /var/log/vmkernel.log | grep -E 'Failed to send packet|dropped|no network'Эта команда фильтрует журналы VMkernel на наличие сообщений, связанных с отправкой пакетов, падением пакетов или отсутствием сети.
- A command to check VM network configurations (on an ESXi host):
esxcfg-vmknic -lЭта команда выводит список настроенных сетевых интерфейсов VMkernel и IP-адресов на хосте ESXi. Убедитесь, что сеть виртуальной машины настроена правильно.
Устранение неполадок с vMotion
Проблема: vMotion между двумя хостами ESXi не работает.
- A command to check VMkernel logs (on both source and destination ESXi hosts):
cat /var/log/vmkernel.log | grep -E 'Migration to host|vMotion'Эта команда помогает найти сообщения, связанные с vMotion, на обеих исходном и целевом хостах ESXi.
- A command to check vCenter events (on vCenter Server):
vim-cmd vmsvc/get.eventlog <vmid> | grep 'Migrate'Заменить <vmid> на идентификатор виртуальной машины (VMID) затронутой ВМ. Эта команда извлекает журнал событий для ВМ и ищет связанные с vMotion события.
Выявление узких мест производительности сети
Проблема: Виртуальные машины испытывают ухудшение производительности сети.
- A command to check ESXTOP statistics (on an ESXi host):
<код>esxtop
Внутри esxtop нажмите n для перехода в представление сети. Отслеживайте такие метрики, как Пропускная способность сети (MBTx/rx), Сетевые пакеты/с и Утраченные/с, чтобы выявить потенциальные узкие места. Эта и следующая команды используются для отображения данных не из файла журнала VMware, а для показа обновляемой в реальном времени информации для устранения неполадок VMware. Вы также можете увидеть время работы ESXi, используя команду esxtop.
Устранение неполадок с vSphere Distributed Switch (VDS)
Проблема: Проблемы с подключением ВМ к vSphere Distributed Switch.
- A command to check VDS health (on vCenter Server):
<код>net-dvs -l
Эта команда выводит список всех распределенных виртуальных коммутаторов (VDS) и их статуса.
- A command to check VDS port status (on vCenter Server):
<код>net-dvs -p <VDS Name>
Замените <VDS Name> на имя VDS. Эта команда отображает статус всех портов на указанном распределенном виртуальном коммутаторе.
Помните, устранение неполадок в сети часто требует анализа журналов и данных о производительности из нескольких источников, включая журналы VMkernel, журналы vCenter, метрики производительности и конфигурации сети. Приведенные выше примеры служат отправной точкой для сбора информации, относящейся к проблемам с сетью, и вам, возможно, придется корректировать команды в зависимости от конкретной проблемы, с которой вы столкнетесь в вашей среде vSphere.
Регулярные выражения для анализа журналов VMware
Как видите в приведенных выше примерах, доступ к оболочке ESXi через SSH и использование командной строки – это мощный метод просмотра журналов VMware и анализа журналов VMware. Вы можете использовать встроенные инструменты командной строки в качестве инструментов анализа журналов VMware ESXi. Эти инструменты командной строки знакомы пользователям Linux:
- cat – это командное-полезное средство, которое объединяет и отображает содержимое одного или нескольких текстовых файлов в терминале. Он часто используется для просмотра всего содержимого файла сразу. Однако для больших файлов использование cat может привести к слишком большому количеству вывода, быстро прокручивающегося по экрану, что делает его менее практичным для чтения таких файлов.
- less – это командное средство просмотра, которое позволяет просматривать и прокручивать содержимое текстового файла. Он отображает одну страницу текста за раз и предоставляет навигационные опции для перемещения вперед и назад в файле. В отличие от cat, который выгружает весь файл в терминал, less полезен для более эффективного чтения больших файлов.
- grep означает “Глобальный Регулярный Выражение Печать”. Это мощный инструмент командной строки, используемый для поиска текстовых шаблонов (регулярных выражений) в одном или нескольких файлах. grep может фильтровать и отображать строки, содержащие указанный шаблон. Он широко используется для текстовых поисков, анализа логов и извлечения конкретной информации из файлов.
- tail – это команда командной строки, которая отображает последние несколько строк текстового файла. По умолчанию tail показывает последние десять строк файла. Он особенно полезен для мониторинга логов в реальном времени, так как может отображать новые записи по мере их добавления в лог. Команда tail часто используется с опцией -f для непрерывного мониторинга файла и просмотра обновлений в реальном времени.
- head – это команда командной строки, которая отображает первые N строк текстового файла. По умолчанию инструмент head показывает первые 10 строк файла. Он полезен для быстрого просмотра начала файла или извлечения начальной информации. Подобно tail, вы можете указать количество строк для отображения, используя опцию -n.
Вы можете использовать эти инструменты командной строки вместе друг с другом и с регулярными выражениями для максимальной эффективности анализа логов VMware. Анализ логов с использованием регулярных выражений (regex) в командной строке ESXi может быть мощным способом извлечения конкретной информации и получения представления о проблемах или шаблонах. Ниже вы можете увидеть некоторые реальные практические примеры использования регулярных выражений для анализа логов в ESXi.
Фильтрация логов для конкретных событий
Предположим, что вы хотите найти все вхождения определенного события, такого как “Ошибка дисковой операции“, в файле vmkernel.log.
cat /var/log/vmkernel.log | grep -E 'Ошибка дисковой операции'
Эта команда отобразит все строки, содержащие фразу “Ошибка дисковой операции” в файле vmkernel.log.
Извлечение IP-адресов из логов
Чтобы извлечь IP-адреса из логов в файле hostd.log, вы можете использовать регулярное выражение, которое соответствует IPv4 адресам.
cat /var/log/hostd.log | grep -E -o '([0-9]{1,3}\.){3}[0-9]{1,3}'
Эта команда отобразит все IPv4 адреса, найденные в файле hostd.log.
Нахождение шаблонов с использованием квантификаторов
Предположим, что вы хотите найти все строки в файле vmware.log, которые содержат любую последовательность цифр.
cat /vmfs/volumes/datastore_name/vm_name/vmware.log | grep -E '[0-9]+'
Эта команда отобразит все строки, содержащие одну или более цифр, в файле vmware.log.
Поиск нескольких шаблонов
Чтобы найти строки в файле vpxd.log, содержащие либо “ошибка“, либо “предупреждение“, вы можете использовать оператор OR | в регулярном выражении.
cat /var/log/vmware/vpxd/vpxd.log | grep -E 'ошибка|предупреждение'
Эта команда отобразит все строки, содержащие либо “ошибка“, либо “предупреждение” в файле vpxd.log.
Сопоставление с использованием подстановочных знаков
Предположим, вы хотите найти все строки в файле vobd.log, содержащие слово “failed” независимо от регистра.
cat /var/log/vobd.log | grep -i 'failed'
Эта команда отобразит все строки, содержащие “failed“, “FAILED“, “Failed” и т.д. в файле vobd.log.
Использование групп захвата
Для извлечения информации о дате и времени из строк в файле sms.log можно использовать группы захвата в паттерне регулярного выражения.
cat /var/log/vmware/sms/sms.log | grep -Eo '([0-9]{4}-[0-9]{2}-[0-9]{2}) ([0-9]{2}:[0-9]{2}:[0-9]{2})'
Эта команда отобразит все вхождения даты и времени в файле sms.log.
ПРИМЕЧАНИЕ: Вы можете изменить путь к нужному логу для вашего конкретного случая использования.
Эти примеры демонстрируют, как использовать регулярные выражения в сочетании с командой grep для анализа логов в интерфейсе командной строки ESXi. Регулярные выражения предоставляют мощные возможности поиска по шаблону, позволяя вам извлекать конкретную информацию, фильтровать логи и находить паттерны эффективно. Имейте в виду, что фактические паттерны регулярных выражений могут варьироваться в зависимости от содержимого файла логов и информации, которую вы хотите извлечь или найти. Вы можете использовать эти примеры и настраивать команды для удовлетворения ваших конкретных потребностей в анализе логов VMware.
Как экспортировать логи VMware и загрузить поддерживающий набор
Возможно, что анализ логов VMware не поможет вам решить проблемы, возникшие на узле ESXi или vCenter. В этом случае вы можете экспортировать логи или загрузить пакет поддержки и отправить эту информацию в службу поддержки VMware. Специалисты из службы поддержки VMware могут помочь вам решить проблемы с окружением VMware, если у вас есть лицензированная версия VMware vSphere.
Клиент VMware Host
Чтобы сгенерировать пакет поддержки и экспортировать логи VMware, выполните следующие шаги:
- Нажмите Монитор в панели Навигатор.
- Выберите вкладку Логи.
- Нажмите Сгенерировать пакет поддержки.
- Сохраните архив пакета, загруженный в вашем веб-браузере.
Клиент VMware vSphere
Чтобы экспортировать системные логи VMware в клиенте vSphere, сделайте следующее:
- Выберите представление Хосты и кластеры и выберите узел ESXi, логи которого вы хотите экспортировать (в левой панели, которая является панелью навигации).
- Щелкните правой кнопкой мыши хост ESXi и нажмите Экспорт системных логов в открывшемся меню.
- Выберите, какие журналы ESXi хотите экспортировать, и нажмите Экспорт логов.
Чтобы загрузить пакет в поддержку VMware в клиенте vSphere, выполните следующие действия:
- Нажмите иконку Меню в левом верхнем углу.
- Перейдите в Администрирование > Поддержка > Загрузить файл в запрос на обслуживание и нажмите кнопку Загрузить файл в запрос на обслуживание.
Ссылка в веб-браузере
Используйте ссылку на скрипт cgi на хосте ESXi:
http://<ESXi_IP_адрес>/cgi-bin/vm-support.cgi
Скачайте и сохраните пакет с экспортированными журналами ESXi (файл .tgz).
Создание пакета в оболочке ESXi (командная строка)
Вы можете запустить команду для создания пакета поддержки, содержащего журналы ESXi, в оболочке ESXi с помощью команды:
/usr/bin/vm-support
Вывод
При устранении проблем с VMware vSphere, включая ESXi и vCenter, анализирование журналов VMware может помочь администраторам определить причину проблем и принять соответствующие корректирующие меры. Анализируя эти журналы, администраторы могут выявить и решить проблемы, такие как узкие места производительности, проблемы с подключением, ошибки конфигурации и потенциальные угрозы безопасности. Регулярный анализ журналов является необходимым для проактивного управления и поддержания стабильности и надежности VMware vCenter и виртуализированной среды.
Регулярный мониторинг инфраструктуры VMware и резервное копирование ВМ позволяют вовремя предотвратить проблемы и избежать потери данных.
Source:
https://www.nakivo.com/blog/vmware-logs-analysis-for-troubleshooting/