编程开源技术交流，分享技术与知识

网站首页 > 开源技术 正文

FastDFS分布式文件系统搭配nginx的安装、配置与使用

wxchong 2024-08-19 23:54:51 开源技术 6 ℃ 0 评论

FastDFS介绍：

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。

特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

FastDFS主要内容：

tracker：追踪者服务器，主要用于协调调度，可以起到负载均衡的作用，记录storage的相关状态信息。

storage：存储服务器，用于保存文件以及文件的元数据信息。

group：组，同组节点提供冗余备份，不同组用于扩容。

mata data：文件的元数据信息，比如长宽信息，图片后缀，视频的帧数等。

FastDFS安装：

第一步：基础环境准备

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget git


第二步：主体安装，主要安装以下内容

libfatscommon：FastDFS分离出的一些公用函数包

FastDFS：FastDFS本体

fastdfs-nginx-module：FastDFS和nginx的关联模块

nginx：发布访问服务

安装libfatscommon：

unzip libfastcommon-master.zip

cd libfastcommon-master/

./make.sh

./make.sh install

安装FastDFS：

unzip fastdfs-master.zip

cd fastdfs-master/

./make.sh

./make.sh install

安装fastdfs-nginx-module：

unzip fastdfs-nginx-module-master.zip

cp fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs

安装nginx，设置安装目录，添加FastDFS与nginx关联的模块，并且添加ssl模块方便后期配置HTTPS域名访问:

tar -zxvf nginx-1.22.0.tar.gz

cd nginx-1.22.0/

./configure --prefix=/usr/local/nginx --add-module=/data/fastdfs-nginx-module-master/src --with-http_ssl_module

make

make install

到此，所有的安装已经结束，但是配置文件还没配置，所以所有的服务都不能启动，不然就会报错。

FastDFS配置：

配置：1个Tracker+3个Storage，分别用来存放图片、视频、其他文件。

数据文件存放目录：/data/fileServer/，在该文件夹下创建以下目录：

cd /data/fileServer/

mkdir client storage tracker

cd storage

mkdir image video file

配置文件放置目录：/etc/fdfs/

配置tracker.conf，主要配置如下，其他配置使用默认配置即可：

# tracker server 服务端口

port=22122

# 存放数据和日志的基础路径

base_path=/data/fileServer/tracker

# 文件上传选择组的策略

# 0: 轮询

# 1: 指定组

# 2: 均衡，选择空间空闲最大的组

store_lookup=2

# 当store_lookup为1时，必须指定组的名字，该组名字必须时真实存在的

# 如果store_lookup如果是0或2，则此参数无效

store_group=image

# tracker server的HTTP端口

http.server_port=8080

配置storage_image.conf、storage_video.conf和stroage_file.conf，主要配置如下，其他配置使用默认配置即可：

# 组名称

group_name=image

# 组服务端口

port=23000

# 该组存放数据和日志的路径

base_path=/data/fileServer/storage/image

store_path0=/data/fileServer/storage/image

# 结合nginx的一个对外服务端口号，与nginx监听端口保持一致

http.server_port=8888
# 组名称

group_name=video

# 组服务端口

port=23001

# 该组存放数据和日志的路径

base_path=/data/fileServer/storage/video

store_path0=/data/fileServer/storage/video

# 结合nginx的一个对外服务端口号，与nginx监听端口保持一致

http.server_port=8888
# 组名称

group_name=file

# 组服务端口

port=23002

# 该组存放数据和日志的路径

base_path=/data/fileServer/storage/file

store_path0=/data/fileServer/storage/file

# 结合nginx的一个对外服务端口号，与nginx监听端口保持一致

http.server_port=8888

配置client.conf，主要配置如下，其他配置使用默认配置即可：

# 存储日志文件的路径

base_path=/data/fileServer/client

# 这里建议使用公网IP，方便从互联网上传文件

tracker_server=49.232.105.121:22122

# tracker服务器的 http端口号，必须等于tracker.conf中的http.server_port值

http.tracker_server_port=8080

到这里，FastDFS文件服务系统已经配置成功了，此时可以启动服务，在服务器上面操作上传文件了。

启动服务：

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

/usr/bin/fdfs_storaged /etc/fdfs/storage_image.conf

/usr/bin/fdfs_storaged /etc/fdfs/storage_video.conf

/usr/bin/fdfs_storaged /etc/fdfs/storage_file.conf

上传文件，根据配置文件的配置，上传组策略采用均衡（load balance）方式：

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /data/des.png

文件上传成功返回信息如下：

file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png

图片可以上传了，但是如果通过浏览器查看，这个时候就需要配置插件mod_fastdfs和nginx。

配置mod_fastdfs.conf，主要配置如下，其他配置使用默认配置即可：

# tracker server的ip和端口

tracker_server=49.232.105.121:22122

# 是否在访问地址中加入组信息，比如${group_name}/M00/00/00/xxx

url_have_group_name = true

# 分组数量，必须与下方group settings中group组实际数一致，不然浏览器查看时会报404

# 如果下方group settings中没有设置group组，则为使用单一组，设置为0

group_count = 3

# 组设置，主要包括组名字、端口、存储数量、存储地址，与storage配置文件中的信息保持一致

[group1]

group_name=image

storage_server_port=23000

store_path_count=1

store_path0=/data/fileServer/storage/image

[group2]

group_name=video

storage_server_port=23001

store_path_count=1

store_path0=/data/fileServer/storage/video

[group3]

group_name=file

storage_server_port=23002

store_path_count=1

store_path0=/data/fileServer/storage/file

配置nginx，添加以下端口监听：

	#文件服务器
    server {
        listen       8888;
				server_name 49.232.105.121;
				location ~/image|video|file/ {
						ngx_fastdfs_module;
				}
				error_page   500 502 503 504  /50x.html;
				location = /50x.html {
					root   html;
				}

    }

另有两个配置文件，http.conf和mime.types，使用默认配置即可，无需修改。

启动nginx：

cd /usr/local/nginx/sbin

./nginx

通过浏览器查看刚才上次的图片：

http://49.232.105.121:8888/file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png

Java客户端操作FastDFS的使用：

第一步：配置依赖

<dependency>

		<groupId>cn.bestwu</groupId>

		<artifactId>fastdfs-client-java</artifactId>

		<version>1.27</version>

</dependency>

第二步：配置fdfsClient_config.properties

connect_timeout = 2

network_timeout = 30

charset = UTF-8

http.anti_steal_token = no

http.secret_key = FastDFS1234567890

http.tracker_http_port = 8080

tracker_server =49.232.105.121:22122

第三步：测试用例

package cn.tongmap.client;

import java.awt.image.BufferedImage;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.util.Arrays;

import javax.imageio.ImageIO;

import org.csource.common.MyException;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.StorageClient;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;

public class FastDFSClient {
	private static final String CONF_FILENAME = new FastDFSClient().getClass().getClassLoader().getResource("fdfsClient_config.properties").getPath();
	static {
		try {
			// 加载配置文件
			ClientGlobal.init(CONF_FILENAME);
		} catch (IOException e) {
			e.printStackTrace();
		} catch (MyException e) {
			e.printStackTrace();
		}
	}
	
	/**
	 * 上传图片到指定的group
	 * @param uploadFilePath
	 * @param width
	 * @param height
	 * @param groupName
	 * @return
	 * @throws Exception
	 */
	public static String[] uploadFileSpecifyGroup(String uploadFilePath, int width, int height, String groupName) throws Exception {
        String[] results = null;  
        String fileExtName = "";  
        if (uploadFilePath.contains(".")) {  
            fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);  
        } else {  
            return results;  
        }  
        //建立连接  
		TrackerClient trackerClient = new TrackerClient();
	    TrackerServer trackerServer = trackerClient.getConnection();
	    StorageServer storageServer = null;
	    StorageClient storageClient = new StorageClient(trackerServer, storageServer);
        
	    FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
	    byte[] file_buff = null;
	    if(fileInputStream != null){
	    	int len = fileInputStream.available();
	    	file_buff = new byte[len];
	    	fileInputStream.read(file_buff);
	    }
	    
	    //设置元信息 
	    NameValuePair[] metas = new NameValuePair[3];
	    metas[0] = new NameValuePair("width", "" + width);
	    metas[1] = new NameValuePair("heigth", "" + height);
	    metas[2] = new NameValuePair("author", "bss");
        
	    results = storageClient.upload_file(groupName, file_buff, fileExtName, metas);
	    System.out.println(Arrays.toString(results));
	    
        trackerServer.close();  
        fileInputStream.close();
        return results;       
    }
	
	/**
	 * 上传图片，load balance
	 * @param uploadFilePath
	 * @param width
	 * @param height
	 * @return
	 * @throws Exception
	 */
	public static String[] uploadFileBalance(String uploadFilePath, int width, int height) throws Exception {
        String[] results = null;  
        String fileExtName = "";  
        if (uploadFilePath.contains(".")) {  
            fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);  
        } else {  
            return results;  
        }  
        //建立连接  
		TrackerClient trackerClient = new TrackerClient();
	    TrackerServer trackerServer = trackerClient.getConnection();
	    StorageServer storageServer = null;
	    StorageClient storageClient = new StorageClient(trackerServer, storageServer);
        
	    FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
	    byte[] file_buff = null;
	    if(fileInputStream != null){
	    	int len = fileInputStream.available();
	    	file_buff = new byte[len];
	    	fileInputStream.read(file_buff);
	    }
	    
	    //设置元信息 
	    NameValuePair[] metas = new NameValuePair[3];
	    metas[0] = new NameValuePair("width", "" + width);
	    metas[1] = new NameValuePair("heigth", "" + height);
	    metas[2] = new NameValuePair("author", "bss");
	    
	    results = storageClient.upload_file(uploadFilePath, fileExtName, metas);
	    System.out.println(Arrays.toString(results));
	    
        trackerServer.close();  
        fileInputStream.close();
        return results;       
    }
	public static void main(String[] args) throws Exception{
		String image = "D://Perfect Match.jpg";
		BufferedInputStream bufInputStream = new BufferedInputStream(new FileInputStream(new File(image)));
		BufferedImage bi = ImageIO.read(bufInputStream);
    	int width = bi.getWidth();
    	int height = bi.getHeight();
    	uploadFileSpecifyGroup(image, width, height, "image");
    	uploadFileBalance(image, width, height);
	}
}



#FastDFS安装包，各个配置文件的配置，以及Java客户端操作FastDFS的使用。
https://download.csdn.net/download/kzhzhang/86901476

Tags：

猜你喜欢

本文暂时没有评论，来添加一个吧(●'◡'●)

欢迎 你 发表评论:

最近发表
标签列表
赣ICP备2023011894号-2