防火墙IP地址的去重

在分析防火墙日志的时候,发现了很多扫描工具的log, 把这里源IP加到黑名单里,去重并保存这些IP地址。

在分析防火墙日志时,发现大量来自扫描工具的记录。为了增强安全性,建议将这些源IP地址加入黑名单。首先,需要对IP地址进行去重处理,然后保存结果。

在Linux系统中,可以通过以下步骤实现:

提取IP地址:从日志文件中提取源IP地址。

排序与去重:使用 sort 和 uniq 命令对IP地址进行排序和去重。

保存结果:将处理后的IP地址保存到黑名单文件中。

以下是提取IP地址, 然后排序与去重的具体步骤:


1. 提取IP地址

awk '{print $1}' access.log > blocked_ip.txt

假定日志文件为 access.log,提取源IP地址,假设IP地址在每行的第一列。

2. 排序文件

使用 sort 命令对文件内容进行排序。 命令:

```bash
sort blocked_ip.txt
```
  • 说明

    • 默认按字典序排序。

      • 如果需要按数字排序,可以添加 -n 选项:

      bash sort -n blocked_ip.txt


3. 去重文件

使用 uniq 命令去除重复行。命令:

```bash
uniq blocked_ip.txt
```
  • 说明
    • uniq 只能去除连续的重复行,因此通常需要先对文件排序。

4. 排序并去重

结合 sortuniq 对文件进行排序并去重。命令:

```bash
sort blocked_ip.txt | uniq  > output_file.txt
```
  • 说明
    • sort 先对文件内容排序。
    • uniq 去除重复行。
    • > 将结果重定向到 output_file.txt 文件中。