防火墙IP地址的去重

在分析防火墙日志的时候，发现了很多扫描工具的log, 把这里源IP加到黑名单里，去重并保存这些IP地址。

在分析防火墙日志时，发现大量来自扫描工具的记录。为了增强安全性，建议将这些源IP地址加入黑名单。首先，需要对IP地址进行去重处理，然后保存结果。

在Linux系统中，可以通过以下步骤实现：

提取IP地址：从日志文件中提取源IP地址。

排序与去重：使用 sort 和 uniq 命令对IP地址进行排序和去重。

保存结果：将处理后的IP地址保存到黑名单文件中。

以下是提取IP地址, 然后排序与去重的具体步骤：

1. 提取IP地址

awk '{print $1}' access.log > blocked_ip.txt

假定日志文件为 access.log，提取源IP地址，假设IP地址在每行的第一列。

2. 排序文件

使用 sort 命令对文件内容进行排序。 命令：

```bash
sort blocked_ip.txt
```

  • 说明：

    • 默认按字典序排序。

      • 如果需要按数字排序，可以添加 -n 选项：

      bash sort -n blocked_ip.txt

3. 去重文件

使用 uniq 命令去除重复行。命令：

```bash
uniq blocked_ip.txt
```
  • 说明：
    • uniq 只能去除连续的重复行，因此通常需要先对文件排序。

4. 排序并去重

结合 sort 和 uniq 对文件进行排序并去重。命令：

```bash
sort blocked_ip.txt | uniq  > output_file.txt
```
  • 说明：
    • sort 先对文件内容排序。
    • uniq 去除重复行。
    • > 将结果重定向到 output_file.txt 文件中。