Когда операционная система, такая как Linux, работает, происходит множество событий и процессов, которые работают в фоновом режиме, чтобы обеспечить эффективное и надежное использование ресурсов системы. Эти события могут происходить в системном программном обеспечении, например, в процессе init или systemd, или в пользовательских приложениях, таких как Apache, MySQL, FTP и многие другие.
Для того чтобы понять состояние системы и различных приложений и то, как они работают, системным администраторам приходится ежедневно просматривать журнальные файлы в производственных средах.
Можно представить, что приходится просматривать журнальные файлы из нескольких областей системы и приложений, и вот где пригодятся системы ведения журналов. Они помогают отслеживать, просматривать, анализировать и даже генерировать отчеты из различных журнальных файлов, настроенных системным администратором.
В этой статье мы рассмотрим четыре наиболее используемых системы управления журналами с открытым исходным кодом в современном Linux, стандартный протокол журналирования в большинстве, если не во всех дистрибутивах сегодня – это Syslog.
Содержание
1. Управление Журналом событий ManageEngine
Управление Журналом событий ManageEngine – это решение для управления журналами на месте предприятия, предназначенное для компаний всех размеров в различных отраслях, таких как информационные технологии, здравоохранение, розничная торговля, финансы, образование и другие. Решение предоставляет пользователям возможности как агентской, так и бесагентской сборки журналов, анализа журналов, мощного поискового движка и опций архивирования журналов.
С функциональностью аудита сетевых устройств оно позволяет пользователям мониторить свои конечные устройства пользователей, межсетевые экраны, маршрутизаторы, коммутаторы и многое другое в реальном времени. Решение отображает проанализированные данные в виде графиков и интуитивно понятных отчетов.
Механизмы обнаружения инцидентов Журнала событий, такие как корреляция журналов событий, разведка угроз, реализация каркаса MITRE ATT&CK, расширенная аналитика угроз и другие, помогают выявлять угрозы безопасности сразу же после их возникновения.
Система мгновенных предупреждений в реальном времени оповещает пользователей о подозрительной активности, чтобы они могли приоритизировать угрозы безопасности с высоким риском. С помощью автоматизированной системы реагирования на инциденты ЦУИ можно смягчить потенциальные угрозы.
Решение также помогает пользователям соблюдать различные стандарты безопасности в области информационных технологий, такие как PCI DSS, ISO 27001, GLBA, SOX, HIPAA, CCPA, GDPR и другие. Предлагаются услуги на основе подписки в зависимости от количества источников журналов для мониторинга. Поддержка предоставляется пользователям по телефону, с помощью видеороликов о продукте и онлайн базы знаний.
2. Graylog 2
Graylog – ведущий инструмент для управления журналами в централизованном режиме с открытым исходным кодом, который широко используется для сбора и анализа журналов в различных средах, включая тестовые и производственные. Он легко настраивается и настоятельно рекомендуется для малых предприятий.
Graylog помогает вам легко собирать данные с нескольких устройств, включая сетевые коммутаторы, маршрутизаторы и беспроводные точки доступа. Он интегрируется с движком аналитики Elasticsearch и использует MongoDB для хранения данных, а собранные журналы предлагают глубокие инсайты и помогают в устранении неисправностей и ошибок в системе.
С Graylog вы получаете аккуратный и удобный веб-интерфейс с крутыми панелями инструментов, которые помогают вам без проблем отслеживать данные. Кроме того, вы получаете набор удобных инструментов и функций, которые помогают в аудите соответствия, поиске угроз и многом другом. Вы можете настроить уведомления таким образом, чтобы предупреждение срабатывало, когда выполняется определенное условие или возникает проблема.
В общем, Graylog довольно хорошо справляется с сбором больших объемов данных и упрощает поиск и анализ данных. Последняя версия – Graylog 5.2.4 и предлагает новые функции, такие как темный режим, интеграция с Slack и ElasticSearch и многое другое.
3. Logcheck
Logcheck – еще один инструмент мониторинга журналов с открытым исходным кодом, который запускается как cron-задание. Он просматривает тысячи журнальных файлов для обнаружения нарушений или системных событий, которые активируются. Затем Logcheck отправляет подробное резюме предупреждений на настроенный адрес электронной почты, чтобы оповестить операционные команды об проблеме, такой как несанкционированный взлом или сбой системы.
В этой системе журналирования разработаны три разных уровня фильтрации журнальных файлов, которые включают:
- Параноидальный : предназначен для высоко защищенных систем, в которых запущено как можно меньше служб.
- Сервер: это уровень фильтрации по умолчанию для logcheck, и его правила определены для множества различных системных демонов. Правила, определенные на уровне параноика, также включены на этом уровне.
- Рабочая станция: предназначена для защищенных систем и помогает фильтровать большинство сообщений. Она также включает правила, определенные на уровнях параноика и сервера.
Logcheck также способен сортировать сообщения для отчетности на три возможных уровня, включая события безопасности, системные события и предупреждения об атаках на систему. Системный администратор может выбрать уровень детализации, на котором будут отрапортованы системные события, в зависимости от уровня фильтрации, хотя это не влияет на события безопасности и предупреждения об атаках на систему.
Logcheck предоставляет следующие функции:
- Предопределенные шаблоны отчетов.
- A mechanism for filtering logs using regular expressions.
- Мгновенные уведомления по электронной почте.
- Мгновенные предупреждения о безопасности.
4. Logwatch
Logwatch – это приложение с открытым исходным кодом и высокой настраиваемостью для сбора и анализа журналов. Он анализирует как системные, так и прикладные журналы и генерирует отчет о работе приложений. Отчет предоставляется либо в командной строке, либо через отдельный адрес электронной почты.
Вы можете легко настроить Logwatch по своему усмотрению, изменив параметры в пути /etc/logwatch/conf. Он также предоставляет дополнительные предварительно написанные скрипты PERL для упрощения анализа журналов.
Logwatch поставляется с иерархическим подходом, и существуют 3 основных места, где определяются детали конфигурации:
- /usr/share/logwatch/default.conf/*
- /etc/logwatch/conf/dist.conf/*
- /etc/logwatch/conf/*
Все настройки по умолчанию определены в файле /usr/share/logwatch/default.conf/logwatch.conf. Рекомендуется оставить этот файл нетронутым и вместо этого создать свой собственный файл конфигурации в пути /etc/logwatch/conf/, скопировав оригинальный файл конфигурации и определив свои собственные настройки.
Последняя версия Logwatch – версия 7.10, и она поддерживает запросы к журналу systemd напрямую с использованием journalctl. Если у вас нет возможности позволить себе платное средство управления журналами, Logwatch обеспечит вас уверенностью в том, что все события будут зарегистрированы, и уведомления будут доставлены в случае возникновения проблем.
5. Logstash
Logstash – это серверный конвейер обработки данных с открытым исходным кодом, который принимает данные из множества источников, включая локальные файлы или распределенные системы, такие как S3. Затем он обрабатывает журналы и направляет их на платформы, такие как Elasticsearch, где они анализируются и архивируются позже. Это довольно мощный инструмент, поскольку он может принимать объемы журналов из нескольких приложений и затем выводить их в различные базы данных или движки одновременно.
Logstash структурирует неструктурированные данные, выполняет поиск местоположения, анонимизирует персональные данные и масштабируется на нескольких узлах. Существует обширный список источников данных, которые можно настроить для прослушивания Logstash, включая SNMP, сердцебиение, Syslog, Kafka, Puppet, журнал событий Windows и т. д.
Logstash зависит от ‘битов’ (beats), которые являются легковесными перевозчиками данных, поставляющими данные в Logstash для разбора и структурирования и т. д. Данные затем отправляются в другие места назначения, такие как Google Cloud, MongoDB и Elasticsearch для индексации. Logstash является ключевым компонентом Elastic Stack, который позволяет пользователям собирать данные любого вида, разбирать их и визуализировать на интерактивных панелях.
Кроме того, стоит отметить, что у Logstash широкая поддержка сообщества и регулярные обновления.
Сводка
Вот и все на данный момент, и помните, что это не все доступные системы управления журналами, которые вы можете использовать в Linux. Мы будем продолжать обзор и обновление списка в будущих статьях. Надеюсь, вы найдете эту статью полезной, и вы можете сообщить нам о других важных инструментах или системах ведения журналов, оставив комментарий.
Source:
https://www.tecmint.com/best-linux-log-monitoring-and-management-tools/