本文主要介绍如何配置并使用FastDFS分布式文件系统集群。

1. FastDFS 集群架构介绍

• 整体架构：FastDFS 集群主要由 Tracker 服务器集群和 Storage 服务器集群组成。Tracker 服务器负责管理 Storage 服务器的状态信息，为客户端提供文件上传、下载的路由信息；Storage 服务器负责实际的文件存储。
• 高可用性：通过多台 Tracker 服务器和 Storage 服务器的部署，实现系统的高可用性和负载均衡。当部分服务器出现故障时，系统仍能正常工作。
• 数据备份：Storage 服务器以组为单位，同一组内的 Storage 服务器之间会进行数据同步，保证数据的可靠性。

2. Linux网络配置

确保服务器之间网络互通，可通过配置静态 IP 地址、防火墙规则等实现。

3. 安装 FastDFS

• 下载源码：从 FastDFS 官方 GitHub 仓库下载最新的源码包。

git clone https://github.com/happyfish100/fastdfs.git

• 编译和安装：进入源码目录，执行编译和安装命令。

cd fastdfs
./make.sh
./make.sh install

4. 配置 Tracker

• 配置文件：主要配置文件是 /etc/fdfs/tracker.conf。
• 关键配置项
  • base_path：指定 Tracker 服务器存储数据和日志的基础路径。
  • port：指定 Tracker 服务器监听的端口，默认为 22122。
  • store_lookup：指定文件存储节点的选择策略。
• 多 Tracker 服务器配置：在集群中配置多个 Tracker 服务器时，需要在客户端配置文件中指定所有 Tracker 服务器的地址。

5. 配置 Storage

• 配置文件：主要配置文件是 /etc/fdfs/storage.conf。
• 关键配置项
  • base_path：指定 Storage 服务器存储数据和日志的基础路径。
  • store_path0：指定文件实际存储的路径。
  • tracker_server：指定 Tracker 服务器的地址和端口，可配置多个 Tracker 服务器。
  • group_name：指定 Storage 服务器所属的组名。
• 数据同步：同一组内的 Storage 服务器会自动进行数据同步，确保数据的一致性。

6. 集群测试

• 启动服务：分别启动 Tracker 服务器和 Storage 服务器。

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start

• 上传测试：使用 fdfs_upload_file 命令进行文件上传测试。

fdfs_upload_file /etc/fdfs/client.conf test.jpg

• 下载测试：使用 fdfs_download_file 命令进行文件下载测试。

fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/test.jpg

7. 安装 Nginx

• 下载源码：从 Nginx 官方网站下载最新的源码包。

wget http://nginx.org/download/nginx-1.22.1.tar.gz

• 编译和安装：解压源码包，进入目录，配置编译参数并安装。

tar -zxvf nginx-1.22.1.tar.gz
cd nginx-1.22.1
./configure
make
make install

9. 配置扩展模块

• 下载模块：从 FastDFS 官方 GitHub 仓库下载 fastdfs-nginx-module 扩展模块。

git clone https://github.com/happyfish100/fastdfs-nginx-module.git

• 重新编译 Nginx：在 Nginx 源码目录中，添加扩展模块进行重新编译和安装。

./configure --add-module=/path/to/fastdfs-nginx-module/src
make
make install

• 配置模块：复制 mod_fastdfs.conf 到 /etc/fdfs/ 目录，并进行相应配置。

cp /path/to/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf

• 配置 Nginx：在 Nginx 配置文件中添加 FastDFS 相关配置。

server {
    listen 80;
    server_name _;

    location /group[0-9]/ {
        ngx_fastdfs_module;
    }
}

10. 配置统一访问入口

• Nginx 负载均衡：使用 Nginx 的负载均衡功能，将客户端请求分发到多个 Tracker 服务器或 Storage 服务器上，提高系统的并发处理能力。

upstream fastdfs_tracker {
    server 192.168.1.100:22122;
    server 192.168.1.101:22122;
}

server {
    listen 80;
    server_name _;

    location / {
        proxy_pass http://fastdfs_tracker;
    }
}

FastDFS 集群进行文件上传和下载

import org.csource.common.MyException;
import org.csource.fastdfs.*;

import java.io.FileOutputStream;
import java.io.IOException;

public class ImageSystemFastDFS {
    public static void main(String[] args) {
        try {
            // 初始化客户端全局配置
            ClientGlobal.init("fdfs_client.conf");

            // 创建 Tracker 客户端
            TrackerClient trackerClient = new TrackerClient();
            // 获取 Tracker 服务器连接
            TrackerServer trackerServer = trackerClient.getConnection();

            // 获取 Storage 服务器
            StorageServer storageServer = trackerClient.getStoreStorage(trackerServer);

            // 创建 Storage 客户端
            StorageClient1 storageClient = new StorageClient1(trackerServer, storageServer);

            // 文件上传
            String fileId = storageClient.upload_file1("test.jpg", "jpg", null);
            if (fileId != null) {
                System.out.println("文件上传成功，File ID: " + fileId);

                // 文件下载
                byte[] fileBytes = storageClient.download_file1(fileId);
                if (fileBytes != null) {
                    FileOutputStream fos = new FileOutputStream("downloaded_test.jpg");
                    fos.write(fileBytes);
                    fos.close();
                    System.out.println("文件下载成功");
                } else {
                    System.out.println("文件下载失败");
                }
            } else {
                System.out.println("文件上传失败");
            }

            // 关闭 Tracker 服务器连接
            trackerServer.close();
        } catch (IOException | MyException e) {
            e.printStackTrace();
        }
    }
}

fdfs_client.conf 配置文件需要指定所有 Tracker 服务器的地址：

connect_timeout = 2
network_timeout = 30
charset = UTF-8
http.tracker_http_port = 8080
tracker_server = 192.168.1.100:22122
tracker_server = 192.168.1.101:22122

← 上一篇 AngularJS知识快速入门（上）

记得点赞、关注、收藏哦！

下一篇 Ajax——在OA系统提升性能的局部刷新 →