主页 » 导入日志文件

导入日志文件

EventLog Analyzer 帮助您收集和分析来自服务器、网络设备和应用程序等不同来源的日志。该解决方案提供可操作的情报，帮助安全团队随时掌握组织中的安全威胁。

此解决方案为您提供导入日志文件的功能。支持的日志格式包括Windows和系统日志设备格式、应用程序日志格式和归档文件日志格式。

Windows和Syslog设备日志格式

  • Windows 事件日志(EVTX格式)
  • IBM AS/400
  • Linux/Unix Syslog 格式(RFC 5424和2131)

注意: 要导入.evt日志(Windows XP和Windows 2003)您需要在EventLog Analyzer安装中使用命令wevtutil export-log application.evt application.evtx /lf将 .evt 转换为 .evtx。

应用日志格式

  • Apache访问日志
  • DHCP Linux日志
  • DHCP Windows日志
  • IBM Maximo日志
  • IIS W3C FTP日志
  • IIS W3C Web Server日志
  • MSSQL Server日志
  • MySQL日志

归档文件日志格式

  • Cisco归档文件
  • Syslog归档文件
  • Windows归档文件

导入日志文件的步骤

使用以下任一菜单选项进入导入配置页面:

  • +添加 > 导入日志
  • 设置 > 日志源配置 > 导入日志
  • 主页 > 应用 > 导入日志
  • 主页 > 应用 > 动作 > +导入

从不同位置导入日志文件

EventLog Analyzer允许您导入:

本地路径的日志文件

使用此选项，您可以从任何有权访问EventLog Analyzer的设备导入日志文件。

注意: 不能将日志导入计划为定期运行。

  1. 从文件位置选项中，选择本地路径。
  2. 点击浏览以从本地设备中选择必要的文件。或者，您可以输入设备名称（或）设备的 IP 地址（或）指定完整的 UNC 路径，然后点击打开。选择了必要的文件。
  3. 如果您知道日志文件的日志格式，请从给定的下拉列表中选择日志格式。如果您不知道日志格式，请选择自动识别。

    注意: 您可以通过点击附加日志文件的查看符号并在浏览器中启用弹出窗口选项来查看所选日志文件的预览并提取所需字段。

  4. 点击+ 按钮和确定以选择与日志文件关联的设备。您还可以输入设备的名称或从出现的弹出窗口中选择设备。
  5. 如果您希望将导入的日志存储 2 天，请启用短期保存日志选项。缺省情况下，日志存储时间段为 32 天。
  6. 点击导入。

共享路径的日志文件

通过通用命名约定(UNC)路径导入日志文件允许您访问局域网(LAN)上的共享网络文件夹。

  1. 从文件位置选项中，选择共享路径。
  2. 输入您希望从中上传日志文件的设备名称或IP地址。或者，您可以点击浏览选择Windows设备。
  3. 如果您知道日志文件的日志格式，请从给定的下拉列表中选择日志格式。如果您不知道日志格式，请选择自动识别。

    注意: 您可以通过点击附加日志文件的查看符号并在浏览器中启用弹出窗口选项来查看所选日志文件的预览并提取所需字段。

  4. 点击+ 按钮和确定以选择与日志文件关联的设备。您还可以输入设备的名称或从出现的弹出窗口中选择设备。
  5. 如果您希望将导入的日志存储 2 天，请启用短期保存日志选项。缺省情况下，日志存储时间段为 32 天。
  6. 如果要定期自动执行日志文件导入，请启用计划导入日志选项。
  7. 使用计划下拉菜单，您可以自定义每次日志文件导入之间的时间间隔。
  8. 此外，您还可以使用给定的时间格式选项为导入的日志文件构建文件名模式。根据文件名模式更新在指定时间存储的文件名。
  9. 点击导入。

远程路径的日志文件

要从远程路径导入日志文件，您需要尝试访问的设备的凭据(用户名和密码)。

  1. 从文件位置选项中，选择远程路径。
  2. 输入您希望从中上传日志文件的设备名称或IP地址。或者，您可以点击浏览选择Windows设备。
  3. 从设备中选择所需的文件，然后点击确定。选择所需的文件。
  4. 选择所需的协议(Ethernet, FTP and SFTP))并输入端口号。
  5. 在给定的字段(即，远程设备的用户名和密码)中输入凭据。
  6. 如果您知道日志文件的日志格式，请从给定的下拉列表中选择日志格式。如果您不知道日志格式，请选择自动识别。

    注意: 您可以通过点击附加日志文件的查看符号并在浏览器中启用弹出窗口选项来查看所选日志文件的预览并提取所需字段。

  7. 点击+ 按钮和确定以选择与日志文件关联的设备。您还可以输入设备的名称或从出现的弹出窗口中选择设备。
  8. 如果您希望将导入的日志存储 2 天，请启用短期保存日志选项。缺省情况下，日志存储时间段为 32 天。
  9. 如果要定期自动执行日志文件导入，请启用计划导入日志选项。
  10. 使用计划下拉菜单，您可以自定义每次日志文件导入之间的时间间隔。
  11. 此外，您还可以使用给定的时间格式选项为导入的日志文件构建文件名模式。根据文件名模式更新在指定时间存储的文件名。
  12. 点击导入。

选择要导入的日志文件后，点击高级以选择导入日志的编码类型和时区。

文件编码

EventLog Analyzer支持不同的日志文件编码类型。您可以选择导入的日志文件的编码类型。默认编码类型为UTF-8。

时区

EventLog Analyzer允许您选择记录导入的日志所基于的时区。默认时区将是配置EventLog Analyzer服务器时所使用的时区。

云存储的日志文件

要从AWS S3存储桶导入日志，您首先需要创建能够访问S3存储桶的IAM用户。您还可以按照此链接中给出的步骤仅授予用户对特定S3存储桶的访问权限。

配置AWS S3 bucket以导入日志

  • 在云标签中，点击显示的链接以配置AWS帐户。
  • 输入AWS账户的显示名称、权限密钥和密钥，点击添加。/li>
  • 添加AWS帐户后，它将显示在云标签中提供的下拉列表中。
  • 从下拉列表中，选择AWS帐户，然后选择要从中导入日志的S3 bucket。
  • 点击导入，启动日志导入。

MySQL日志

EventLog Analyzer仅支持来自MySQL的错误日志和常规日志。MySQL登录失败将从MySQL常规查询日志中考虑在内。

在MySQL中启用日志记录

  • 打开my.cnf文件(在Linux中)或my.ini文件(在Windows中)并将以下条目添加到该文件中。
  • 错误日志: log_error=<error-log-file-name>
  • 常规日志:
    • >= v5.1.29:
      general_log_file=<general-log-file-name>
      general_log=1 (or) ON
    • < v5.1.29:
      log=<log-file-name>
  • 重启MySQL实例以使更改生效。
在EventLog Analyzer中导入MySQL日志，
  • 您可以从本地路径、共享路径或远程路径导入MySQL日志文件。
  • 要导入MySQL日志文件，需要手动选择日志格式。选择正确的文件后，从所选文件部分的日志格式下拉列表中选择MySQL日志。
  • 点击导入以启动日志导入过程。

SAP ERP审计日志

要添加SAP ERP应用程序进行监控，必须启用审核日志。

启用SAP ERP审计日志:

在<SAP_Installed Path>\sys\Profile的DEFAULT.PFL文件中，添加

  • rsau/enable = 1
  • rsau/local/file = <log location>/audit_00

注意: 用户应具有在导入时读取此审核文件的权限。

DB2审计日志

DB2数据库系统允许在实例级和数据库级进行审计。使用db2audit工具来配置审计过程。该工具还可用于从实例和数据库级别归档和提取审计日志。可以按照以下六个步骤配置审计功能。

  1. 配置数据库审计数据路径、归档路径和作用域。
  2. 为数据库审核创建审核策略。
  3. 将审核策略分配给数据库。
  4. 归档活动日志。
  5. 提取归档日志。
  6. 将日志导入到EventLog Analyzer。

EventLog Analyzer还支持诊断日志。点击了解如何生成诊断日志报表。 


1. 配置数据库审计数据路径、归档路径和作用域

配置参数修改实例的安全子目录中的db2audit.cfg配置文件。即使在实例停止时，对此文件的所有更新也会发生。当实例处于活动状态时发生的更新将动态地影响由DB2实例执行的审计。要了解有关配置文件上所有可能操作的更多信息，请参阅参考资料。

  • 使用管理员权限打开DB2Command Line Processor。
  • 运行以下命令:

db2audit configure datapath"C:\IBM\DB2\DataPath"archivepath"C:\IBM\DB2\ArchivePath"

注意: 将给定路径分别替换为您为数据路径和归档路径选择的路径。

  • 运行以下命令:

db2audit configure scope all status both error type normal

注意: 用您选择的参数替换给定的参数。
  • 运行以下命令:

db2audit start

现在将在给定的数据路径中为DB2实例生成日志。

2. 创建用于数据库审计的审核策略

  • 以管理员权限打开DB2命令行处理器。
  • 运行如下命令连接数据库:

db2 connect toyour_database

注意: 将your_database替换为您选择的数据库名称。

  • 运行命令创建数据库审核策略。以如下命令为例:

db2 create audit policypolicy_namecategoriesallstatusbotherror typeaudit

注意: 将POLICY_NAME替换为您选择的策略名称。用您选择的命令参数替换给定的参数。要了解有关允许的命令参数的更多信息，请参阅参考资料。

  • 运行以下命令以提交:

db2 commit

现在已经创建了审计策略。


3. 将审计策略分配给数据库

  • 以管理员权限打开DB2命令行处理器。
  • 执行如下命令为数据库分配策略:

db2 audit database using policypolicy_name

注意: 将policy_name替换为您创建的审计策略的名称。

  • 运行以下命令以提交:

db2 commit

现在，创建的审计策略被分配给数据库。


4. 归档活动日志

您可以将实例和数据库中的活动日志归档。日志将归档到您在第一步中配置的归档路径。

  • 以管理员权限打开DB2命令行处理器。
  • 执行以下命令归档主数据库日志:

db2audit archive databaseyour_database

注意: 将your_database替换为数据库的名称。

  • 执行以下命令归档活动实例日志:

db2audit archive

现在，这些日志将被归档到一个新文件中，并在文件名后面附加一个时间戳。下面给出了文件名的一个例子。
  • 实例日志文件: db2audit.instance.log.0.20060418235612
  • 数据库日志文件: db2audit.db.your_database.log.0.20060418235612

这两个文件必须被提取成人类可读的格式，然后导入EventLog Analyzer。


5. 提取归档日志

  • 以管理员权限打开DB2命令行处理器。
  • 运行以下命令提取归档的实例日志:

db2audit extract fileC:/IBM/DB2/instancelog.txt from files db2audit.instance.log.0.20060418235612

注意: 用您选择的文件名替换instancelog。将db2audit.instance.log.0.20060418235612替换为归档实例日志的文件名。

  • 执行如下命令提取归档的数据库日志:

db2audit extract fileC:/IBM/DB2/databaselog.txt from files db2audit.db.your_database.log.0.20060418235612

注意: 用您选择的文件名替换databaselog。将db2audit.db.your_database.log.0.20060418235612替换为存档的数据库日志的文件名。

这两个文件将被提取到给定的存档路径，并可以导入到EventLog Analyzer中。


6. 导入日志至EventLog Analyzer

现在，您必须将提取的数据库和实例日志文件导入EventLog Analyzer。以下是关于如何在EventLog Analyzer中导入日志文件的全面指南。

诊断日志

EventLog Analyzer还提供了一个诊断日志报告。按照给定的步骤生成诊断日志报告。

  • 执行以下命令查找诊断日志文件的位置。

db2 get dbm cfg | findstr DIAGPATH

or

db2 get dbm cfg | grep DIAGPATH

or

db2 get dbm cfg

注意: 当前成员解析的DIAGPATH对应的路径为诊断日志文件的路径。

导入故障排除技巧

如果无法导入日志文件，请确保以下事项:

  1. 使用的凭据是有效的，并且具有必要的权限。
  2. 设备可达。
  3. 指定的文件存在，并且可以访问。
  4. 从下拉列表中选择的日志文件格式与所选文件的日志格式匹配。

从日志中提取字段

  1. 您可以通过点击日志消息右上角的工具图标来创建自定义字段。按照本页中给出的步骤对日志使用自定义模式。


a. 现在，自定义字段也显示在左窗格中。

b. 点击保存按钮。

导入的日志文件列表

您可以在EventLog Analyzer安装中查看所有导入的日志文件的列表。这是选择导入日志选项时显示的默认页面。此页提供导入的日志文件的详细信息，包括文件名、设备、监视间隔、导入日志文件所用的时间、日志格式和日志文件的大小。

Apache概览仪表板：通过修改日志格式来解析其他字段

组合日志格式是通常用于Apache日志的日志格式之一。

组合的日志格式为:

%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"

在以组合日志格式导入日志文件时，日志文件将不包括响应时间和接收的字节数字段的值。

只有在解析了响应时间和接收字节数字段的情况下，才能准确地显示Apache概述仪表板中的以下部件的值。

  1. 传输的字节数
  2. 最慢的URL前20排行
  3. Web活动趋势
  4. 最慢的服务器前10排行

为了解析这些附加字段，必须修改日志格式。一旦使用参数"%{ms}T"和"%I"配置了日志，就可以获得其他字段的值。

默认情况下，Eventlog Analyzer可以解析修改后的日志格式。

包含响应时间和接收字节参数的修改后的日志格式为:

%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\" %{ms}T %I

%{ms}T - 处理请求所用的时间(毫秒)
%I - 接收的字节数，包括标头

注意: 需要启用modlog_io，https://httpd.apache.org/docs/2.4/mod/mod_logio.html

修改后的日志除了常用的组合日志格式外，还有2条指令。这些指令出现在格式的末尾，因此，组合的日志格式将继续被解析，就像在以前的版本中解析一样。

更改Apache日志格式的步骤

注意: 默认情况下，配置文件位于Debian/Ubuntu/Linux Mint中的/etc/apache2/，或Red Hat/Fedora/CentOS上的/etc/HTTPD/conf

  1. 定义新的日志格式并为其分配标签。

    LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\" %{ms}T %I" modified

  2. 该标签可用于将新格式字符串引用为CustomLog指令。

    CustomLog logs/access.log modified

  3. 新格式将在网络服务器重新启动时生效。

    导入日志文件后，下面显示了更新后的Apache概览仪表板:
 
Copyright © 2022, ZOHO Corp
ManageEngine