安全日志分析 | Decripte Security

日志是检测、调查和响应安全 事件的基础记录。结构化的日志分析能够识别恶意活动、 重建攻击时间线，并保持对各项法规的合规。

关键日志类型

系统日志：Windows Event Logs、Linux/Unix 上的 syslog、 启动记录、系统错误、配置变更。

应用日志：Web 应用、数据库、应用 服务器、API、容器的日志。

网络日志：防火墙、交换机、路由器、IDS/IPS、代理、VPN、DNS。

安全日志：EDR/XDR、防病毒、DLP、WAF、认证服务器 (AD、LDAP、SSO)。

访问日志：认证日志、登录尝试、权限 提升、对敏感资源的访问。

云日志：CloudTrail (AWS)、Activity Logs (Azure)、Cloud Audit Logs (GCP)、SaaS 服务日志。

SIEM - Security Information and Event Management

SIEM 是用于实时采集、归一化、关联和分析来自多个来源日志的中心 平台。

集中采集：Agents、syslog、API 和 file collectors 将整个 基础设施的日志汇聚到中心存储库。

归一化：各种格式的日志被转换为通用格式 (Common Event Format、JSON)，以实现统一分析。

事件关联：基于规则和机器学习的方法可识别那些 孤立来看似乎无害、但合在一起则表明存在攻击的模式。

告警与 Dashboards：对安全事件进行实时可视化， 并为 SOC 团队生成告警。

留存与合规：为合规（LGPD、PCI-DSS 等）和未来调查 进行长期存储。

主流 SIEM 平台

Splunk：市场领导者，极其灵活，拥有强大的搜索 语言 (SPL) 以及庞大的应用和插件生态系统。

Elastic Stack (ELK)：Elasticsearch、Logstash、Kibana。开源、 高度可扩展，非常适合搜索和临时分析。

IBM QRadar：在事件关联方面表现出色，可与威胁 情报集成，适用于受监管的环境。

Microsoft Sentinel：云原生 SIEM，与 Azure 和 M365 深度集成，采用 AI 进行威胁检测。

Graylog：开源，是面向较小型组织的良好替代方案，界面 直观。

异常检测

除已知规则之外，异常分析还能检测偏离 正常行为的统计性偏差：

行为基线：建立用户、系统和网络的正常活动 模式（访问时间、数据量、访问的 endpoints）。

Machine Learning：ML 算法识别相对基线的偏差。 适用于检测 insider threats 和复杂攻击。

UEBA (User and Entity Behavior Analytics)：对用户和实体 （设备、应用）进行行为分析，以检测账户失陷。

Peer Group Analysis：将某用户的行为与同一 部门/职能中的同侪进行比较，以识别离群者。

关键安全用例

Brute Force Attacks：多次认证失败后成功登录， 尤其是来自外部 IP 或在非工作时间。

Privilege Escalation：未经授权的权限提升、普通账户 使用管理命令。

Lateral Movement：内部系统之间异常的连接模式、使用 远程管理协议。

Data Exfiltration：异常量级的对外数据传输， 尤其是在非工作时间或传向异常目的地。

Malware Execution：创建可疑进程、修改 registry、C2 连接、更改系统文件。

Account Compromise：来自地理上不可能位置的访问、 修改密码后出现可疑活动。

事件关联

关联可识别那些孤立来看不会表明攻击的事件之间的关系：

Time-based Correlation：在相近时间窗口内发生的 相关事件（例如：登录失败 + firewall 修改 + 数据访问）。

Entity-based Correlation：与同一实体 （用户、IP、host）相关的多个事件构成可疑模式。

Kill Chain Correlation：映射 kill chain 各阶段的事件序列 (reconnaissance、weaponization、delivery、exploitation、installation、C2、actions)。

Threat Intelligence Enrichment：用威胁 情报（恶意 IP、C2 domains、malware hashes）丰富事件。

日志管理与留存

留存策略：根据合规 要求（LGPD、PCI-DSS、ISO 27001）和调查需求来定义留存期限。

Hot vs Cold Storage：近期日志存放在快速存储中以供实时 分析，旧日志存放在经济型存储中以满足合规和历史调查。

Archiving 与 Compression：对旧日志进行压缩和归档，以 在保持合规的同时降低成本。

Immutability：采用 WORM (Write Once Read Many) 或 blockchain，以防止 取证调查中日志被篡改。

利用日志进行取证调查

在事件调查期间，日志是首要的证据来源：

Timeline Reconstruction：使用来自多个日志来源的 timestamps，重建攻击的完整时间顺序。

IOC Hunting：在历史日志中搜索失陷指标（IP、domains、 hashes、user agents）。

Scope Determination：通过分析 网络、认证和 endpoint 日志，识别所有受影响的系统。

Attribution：通过分析源 IP、TTPs (Tactics, Techniques, Procedures) 和遗留的工件，确定攻击的来源。

可视化与 Dashboards

Security Dashboards：实时查看安全 KPI（告警、 漏洞、访问尝试、主要攻击者）。

Heat Maps：对攻击来源和可疑 活动进行地理可视化。

Trend Analysis：趋势图用于识别时间模式和 威胁的增长。

Custom Views：面向不同 stakeholders (SOC analysts、CISO、compliance) 的自定义 dashboards。

Parsing 与数据提取

原始格式的日志需要经过 parsing 才能提取结构化字段：

Regex Patterns：用正则表达式从非结构化 日志中提取字段。

Grok Patterns (Logstash)：面向常见 日志类型（Apache、Nginx、Syslog）的预定义 patterns 库。

JSON Parsing：现代日志通常采用 JSON，便于 parsing 和 索引。

Field Extraction：提取关键字段（timestamp、source IP、username、 action、result）以实现高效的索引和搜索。

性能与可扩展性

高效索引：为最常查询的字段建立合适的索引可显著加速 queries。

Data Partitioning：按时间或类型对数据分区，可实现更快的 queries 和有选择的留存。

Distributed Architecture：分布式集群（Elasticsearch、Splunk indexers）可随日志量进行横向扩展。

Sampling：对于海量环境，对不那么 关键的日志进行统计性 sampling 可将成本控制在范围内。

合规与审计

PCI-DSS：Requirement 10 要求记录所有对持卡人 数据和系统的访问日志，留存 1 年，其中 3 个月在线。

LGPD：第 37 条规定了对个人数据处理 操作的记录。

SOX：Sarbanes-Oxley 要求记录财务系统和 IT 控制的日志。

ISO 27001：控制项 A.12.4.1 关于事件记录和安全 日志。

自动化与 SOAR 集成

将 SIEM 与 SOAR (Security Orchestration, Automation and Response) 集成，以实现自动化 响应：

Auto-Remediation：针对告警执行自动化操作（封禁 IP、 禁用账户、隔离 host）。

Enrichment Automation：用威胁 情报、whois、地理定位自动丰富告警。

Playbook Execution：针对已知事件类型自动执行标准化的 响应 playbooks。

挑战与局限

数据量：大型环境每天可能产生数 TB 的日志， 对存储和分析性能构成挑战。

False Positives：平衡规则灵敏度，以在检测威胁的 同时不产生过多的误报（alert fatigue）。

Log Tampering：高水平的攻击者会试图删除或修改日志。 实时转发到 SIEM 以及 immutability 可缓解该风险。

Coverage Gaps：并非所有系统都会生成充分的日志。Shadow IT 和云 服务的可见性可能有限。