FastDFS(Fast Distributed File System)是一款开源的分布式文件系统,它提供了高性能、高可靠性、高扩展性和高容错性的分布式文件存储解决方案。FastDFS采用了类似于Google File System(GFS)的架构,它的设计目标是解决大规模数据存储和高访问速度的问题。
FastDFS具有以下特点:
总之,FastDFS是一款高性能、高可靠性、易于部署和管理的分布式文件系统,适用于需要高速、大规模数据存储和访问的场景。
选择使用FastDFS可以帮助我们快速搭建高性能、高可靠性、易于部署和管理的分布式文件存储系统,满足大规模数据存储和高访问速度方面的需求。
Tracker Server和Storage Server是FastDFS分布式文件系统中的两个重要组件,其作用分别如下:
Tracker Server
Tracker Server是FastDFS的跟踪器服务器,负责管理所有Storage Server节点,以及存储文件的元数据信息,包括文件名、文件大小、文件创建时间、文件存储位置等。客户端上传文件时,会先向Tracker Server发送请求,Tracker Server会返回一组可用的Storage Server节点列表,客户端再选择其中一个Storage Server进行文件上传。
Storage Server
Storage Server是FastDFS的存储服务器,负责存储客户端上传的文件数据和元数据信息。每个Storage Server节点都有自己的存储空间,可以通过多个Storage Server节点组成分布式存储系统,实现存储容量的无限扩展。在文件上传过程中,客户端会将文件数据分成多个文件块并分别上传到不同的Storage Server节点上,每个节点保存自己的文件块,从而实现文件的分布式存储和快速读取。
需要注意的是,Tracker Server和Storage Server是两个独立的服务,可以分别部署在不同的服务器上。Tracker Server负责管理Storage Server节点,而Storage Server则负责存储文件数据和元数据信息。当需要扩展存储空间时,可以通过增加Storage Server节点的方式实现存储容量的无限扩展。
下面是在CentOS 7操作系统上安装和配置FastDFS的Tracker Server和Storage Server的详细步骤:
安装FastDFS和Nginx
在CentOS 7系统上,可以通过yum包管理器安装FastDFS和Nginx fastdfs模块:
# 安装FastDFS和Nginx
sudo yum install -y fastdfs-5.11 fastdfs-nginx-module-1.22
配置Tracker Server
在安装完FastDFS和Nginx之后,需要对Tracker Server进行配置。修改FastDFS配置文件/etc/fdfs/tracker.conf
,设置tracker_server
和http.server_port
参数:
# Tracker Server配置文件(tracker.conf)
# Tracker Server的IP地址和端口
bind_addr=192.168.1.100
port=22122
# 存储日志文件的路径
log_file=/var/log/fdfs/trackerd.log
# 存储元数据信息的路径
base_path=/var/fdfs/tracker
# 设置可访问的Storage Server节点的IP地址和端口
# 多个Storage Server之间用逗号分隔
tracker_server=192.168.1.101:23000
# 设置HTTP访问的端口号
http.server_port=8888
# 设置访问日志文件的路径
http.log_file=/var/log/fdfs/httpd.log
修改完配置文件后,启动Tracker Server服务:
# 启动Tracker Server服务
sudo systemctl start fdfs_trackerd
配置Storage Server
对于Storage Server的配置,同样需要修改配置文件/etc/fdfs/storage.conf
,设置group_name
、store_path
、tracker_server
等参数:
# Storage Server配置文件(storage.conf)
# 设置Storage Server所属的组名,用于标识一组Storage Server
group_name=group1
# 存储日志文件的路径
log_file=/var/log/fdfs/storaged.log
# 存储数据文件的路径
store_path0=/var/fdfs/storage
# 设置可访问的Tracker Server节点的IP地址和端口
# 多个Tracker Server之间用逗号分隔
tracker_server=192.168.1.100:22122
# 指定Storage Server的HTTP访问端口号
http.server_port=8888
# 访问日志文件的路径
http.log_file=/var/log/fdfs/httpd.log
配置完Storage Server后,启动Storage Server服务:
# 启动Storage Server服务
sudo systemctl start fdfs_storaged
配置Nginx
最后,需要对Nginx进行配置,将文件上传和下载的HTTP请求转发到FastDFS的Storage Server节点上。修改Nginx配置文件/etc/nginx/conf.d/fastdfs.conf
,添加以下内容:
# Nginx配置文件(fastdfs.conf)
# 设置FastDFS的Tracker Server的IP地址和端口
upstream tracker {
server 192.168.1.100:22122;
}
# 设置FastDFS的Storage Server的IP地址和端口
upstream storage {
server 192.168.1.101:8888;
}
# 设置Nginx监听的端口号
server {
listen 80;
server_name localhost;
# 文件上传请求的处理
location /upload {
# 指定处理该请求的模块
ngx_fastdfs_module;
# 指定上传文件的最大大小
ngx_fastdfs_max_file_size 500m;
# 指定上传文件的存储位置,需要与Storage Server的配置一致
ngx_fastdfs_store_path /var/fdfs/storage/data;
# 指定FastDFS的Tracker Server和Storage Server的地址
ngx_fastdfs_tracker_server tracker:22122;
ngx_fastdfs_storage_server storage:8888;
# 指定上传文件的后缀名
ngx_fastdfs_file_exts jpg,jpeg,gif,png,mp4,avi,wmv,flv,mp3,txt;
# 指定上传文件的URL路径
ngx_fastdfs_file_url_prefix http://localhost:8888;
}
# 文件下载请求的处理
location /group1/M00 {
# 指定处理该请求的模块
ngx_fastdfs_module;
# 指定FastDFS的Tracker Server和Storage Server的地址
ngx_fastdfs_tracker_server tracker:22122;
ngx_fastdfs_storage_server storage:8888;
# 指定下载文件的存储位置,需要与Storage Server的配置一致
ngx_fastdfs_store_path /var/fdfs/storage/data;
# 指定下载文件的URL路径
ngx_fastdfs_file_url_prefix http://localhost:8888;
# 指定下载文件的后缀名
ngx_fastdfs_file_exts jpg,jpeg,gif,png,mp4,avi,wmv,flv,mp3,txt;
}
}
修改完Nginx配置文件后,重新加载配置文件并启动Nginx服务:
# 重新加载Nginx配置文件
sudo systemctl reload nginx
# 启动Nginx服务
sudo systemctl start nginx
至此,Tracker Server、Storage Server和Nginx均已配置完成。可以通过访问Nginx的HTTP接口,实现文件上传和下载。
FastDFS提供了Java客户端API,可以通过Java代码调用API实现文件的上传和下载。下面介绍如何使用Java客户端API。
1、添加依赖
在pom.xml
文件中添加如下依赖:
<dependency>
<groupId>org.csource</groupId>
<artifactId>fastdfs-client-java</artifactId>
<version>1.29-SNAPSHOT</version>
</dependency>
2、创建一个配置文件
在Java项目的resources
目录下,创建一个fdfs_client.properties
文件,并添加如下内容:
# tracker_server指定Tracker Server的地址和端口号
tracker_server=tracker:22122
# connect_timeout指定连接超时时间,单位为毫秒
connect_timeout=5000
# network_timeout指定网络超时时间,单位为毫秒
network_timeout=30000
# charset指定字符集,可选值为UTF-8和GBK
charset=UTF-8
3、编写Java代码
下面是一个简单的Java代码示例,实现了文件的上传和下载:
import org.csource.common.NameValuePair;
import org.csource.fastdfs.*;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URLDecoder;
public class FastDFSClient {
private static final String CONF_FILENAME = "fdfs_client.properties";
static {
try {
String confFilePath = URLDecoder.decode(FastDFSClient.class.getClassLoader().getResource(CONF_FILENAME).getPath(), "UTF-8");
ClientGlobal.init(confFilePath);
} catch (Exception e) {
e.printStackTrace();
}
}
public static String[] upload(File file) throws Exception {
byte[] fileBytes = getFileBytes(file);
String fileName = file.getName();
String ext = fileName.substring(fileName.lastIndexOf(".") + 1);
NameValuePair[] metaList = new NameValuePair[3];
metaList[0] = new NameValuePair("fileName", fileName);
metaList[1] = new NameValuePair("fileExt", ext);
metaList[2] = new NameValuePair("fileSize", String.valueOf(file.length()));
TrackerClient trackerClient = new TrackerClient();
TrackerServer trackerServer = trackerClient.getConnection();
StorageServer storageServer = null;
StorageClient1 storageClient = new StorageClient1(trackerServer, storageServer);
String[] uploadResults = storageClient.upload_file(fileBytes, ext, metaList);
return uploadResults;
}
public static InputStream download(String fileId) throws Exception {
TrackerClient trackerClient = new TrackerClient();
TrackerServer trackerServer = trackerClient.getConnection();
StorageServer storageServer = null;
StorageClient1 storageClient = new StorageClient1(trackerServer, storageServer);
byte[] fileBytes = storageClient.download_file1(fileId);
return new ByteArrayInputStream(fileBytes);
}
private static byte[] getFileBytes(File file) throws Exception {
InputStream is = new FileInputStream(file);
ByteArrayOutputStream bos = new ByteArrayOutputStream();
byte[] buffer = new byte[4096];
int n;
while ((n = is.read(buffer)) != -1) {
bos.write(buffer, 0, n);
}
is.close();
bos.close();
return bos.toByteArray();
}
}
上述代码中,upload()
方法用于上传文件,download()
方法用于下载文件。File
为待上传的文件对象,fileId
为文件在FastDFS中的标识。
在编写完Java代码后,可以编写一个测试类来测试代码的正确性。下面是一个简单的测试类:
public class FastDFSTest {
@Test
public void testUpload() throws Exception {
File file = new File("/path/to/file");
String[] uploadResults = FastDFSClient.upload(file);
System.out.println(Arrays.toString(uploadResults));
}
@Test
public void testDownload() throws Exception {
String fileId = "group1/M00/00/00/wKgAgl0BfrOAJjjcAAABFrcjKdM.txt";
InputStream is = FastDFSClient.download(fileId);
byte[] buffer = new byte[4096];
int n;
while ((n = is.read(buffer)) != -1) {
// 处理文件内容
}
is.close();
}
}
在测试类中,testUpload()
方法用于测试文件上传功能,testDownload()
方法用于测试文件下载功能。
在使用FastDFS Java客户端API时,需要注意以下几点:
fdfs_client.properties
文件的位置和名称。InputStream
对象,可以根据需要将其转换为字节数组或字符流进行处理。文件删除
在进行文件删除之前,需要创建一个FastDFS客户端对象,并指定Tracker Server的地址和端口号。然后,可以使用delete()
方法删除文件。该方法接受一个文件ID作为参数,如果删除成功则返回0,否则返回非0的错误码。
以下是一个简单的删除文件的示例代码:
public class FastDFSDeleteTest {
public static void main(String[] args) throws Exception {
// 指定Tracker Server的地址和端口号
String trackerUrl = "192.168.1.100:22122";
FastDFSClient fastDFSClient = new FastDFSClient(trackerUrl);
// 删除文件
String fileId = "group1/M00/00/00/wKgAgl0BfrOAJjjcAAABFrcjKdM";
int deleteResult = fastDFSClient.delete(fileId);
// 打印删除结果
if (deleteResult == 0) {
System.out.println("delete file success");
} else {
System.out.println("delete file fail, error code: " + deleteResult);
}
}
}
文件查询
在进行文件查询之前,需要创建一个FastDFS客户端对象,并指定Tracker Server的地址和端口号。然后,可以使用queryFileInfo()
方法查询文件信息。该方法接受一个文件ID作为参数,返回一个FileInfo
对象,其中包含了文件的元数据(比如文件名、文件扩展名、文件大小等)。
以下是一个简单的查询文件的示例代码:
public class FastDFSQueryTest {
public static void main(String[] args) throws Exception {
// 指定Tracker Server的地址和端口号
String trackerUrl = "192.168.1.100:22122";
FastDFSClient fastDFSClient = new FastDFSClient(trackerUrl);
// 查询文件
String fileId = "group1/M00/00/00/wKgAgl0BfrOAJjjcAAABFrcjKdM";
FileInfo fileInfo = fastDFSClient.queryFileInfo(fileId);
// 打印文件元数据
System.out.println("file name: " + fileInfo.getFileName());
System.out.println("file ext: " + fileInfo.getFileExt());
System.out.println("file size: " + fileInfo.getFileSize());
}
}
以上是FastDFS Java客户端API实现文件删除和查询功能的示例代码,可以根据需要进行修改和扩展。
1、准备工作
在搭建FastDFS集群之前,需要准备多台服务器,其中一台作为Tracker Server,其他服务器作为Storage Server。同时,需要确保服务器之间可以互相访问,以便实现文件的上传、下载和复制等操作。
2、部署Tracker Server
在任意一台服务器上安装Tracker Server,并在配置文件/etc/fdfs/tracker.conf
中设置Tracker Server的地址和端口号。
3、部署Storage Server
在每台Storage Server上安装Storage Server,并在配置文件/etc/fdfs/storage.conf
中设置Tracker Server的地址和端口号,以及Storage Server的组名、存储路径等信息。注意,每个Storage Server的组名必须唯一。
4、启动服务
在每台服务器上启动Tracker Server和Storage Server服务。
5、配置防火墙
如果服务器开启了防火墙,需要添加相应的规则,以允许FastDFS的数据传输。具体的规则可以参考FastDFS官方文档。
6、验证集群
在任意一台服务器上安装FastDFS客户端,并使用fdfs_upload_file
命令上传一个文件,然后使用fdfs_download_file
命令下载该文件。如果上传和下载都成功,则说明集群搭建成功。
以下是一些常用的配置参数:
ip:port
。可以配置多个Tracker Server,用逗号分隔。可以通过修改上述配置参数来优化FastDFS的性能。例如,增加max_connections的数量可以提高客户端并发连接数,从而提高上传和下载文件的速度;增加download_thread_count的数量可以提高下载文件的并发度,也可以提高下载速度。但是需要根据实际情况进行调整,以避免出现性能下降或其他问题。
文章浏览阅读8.6k次。一、Linux记录用户登录信息文件1 /var/run/utmp----记录当前正在登录系统的用户信息;2 /var/log/wtmp----记录当前正在登录和历史登录系统的用户信息;3 /var/log/btmp:记录失败的登录尝试信息。二、命令用法1.命令last,lastb---show a listing of la_怎么记录linux设备 发声的登录和登出
文章浏览阅读167次。摘要:1. 简介 2. 公园迷宫漫步 3. 无线迷宫与最短(不加权)路径问题 4. 强连通分量1. 简介在计算机科学裡,树的遍历(也称为树的搜索)是圖的遍歷的一种,指的是按照某种规则,不重复地访问某种樹的所有节点的过程。具体的访问操作可能是检查节点的值、更新节点的值等。不同的遍历方式,其访问节点的顺序是不一样的。两种著名的基本遍历策略:深度优先搜索(DFS) 和 广度优先搜索(B...
文章浏览阅读591次。提起报表,大家会觉得即熟悉又陌生,好像常常在工作中使用,又似乎无法准确描述报表。今天我们来一起了解一下什么是报表,报表的结构、构成元素,以及为什么需要报表。什么是报表简单的说:报表就是通过表格、图表等形式来动态显示数据,并为使用者提供浏览、打印、导出和分析的功能,可以用公式表示为:报表 = 多样的布局 + 动态的数据 + 丰富的输出报表通常包含以下组成部分:报表首页:在报表的开..._activereports.net 实现查询报表功能
文章浏览阅读6.6k次。最近实验室需要用Cadence,这个软件的安装非常麻烦,每一次配置都要几个小时,因此打算把Cadence装进Docker。但是Cadence运行时需要GUI,要对Docker进行一些配置。我们实验室的服务器运行的是Ubuntu18.04,默认桌面GNOME,Cadence装进Centos的Docker。安装Ubuntu18.04服务器上安装Ubuntu18.04的教程非常多,在此不赘述了安装..._docker xrdp ubuntu
文章浏览阅读1.8k次,点赞2次,收藏2次。首先导入头文件#import 导入头文件后创建几个相机必须实现的对象 /** * AVCaptureSession对象来执行输入设备和输出设备之间的数据传递 */ @property (nonatomic, strong) AVCaptureSession* session; /** * 输入设备 */_ios avcapturestillimageoutput 兼容性 ios17 崩溃
文章浏览阅读982次。按照OracleDocument中的描述,v$sysstat存储自数据库实例运行那刻起就开始累计全实例(instance-wide)的资源使用情况。 类似于v$sesstat,该视图存储下列的统计信息:1>.事件发生次数的统计(如:user commits)2>._oracle v$sysstat视图
文章浏览阅读7.6k次,点赞2次,收藏9次。我最近做SPA项目开发动态树的时候一直遇到以下错误:当我点击文章管理需要跳转路径时一直报NavigationDuplicated {_name: “NavigationDuplicated”, name: “NavigationDuplicated”}这个错误但是当我点击文章管理后,路径跳转却是成功的<template> <div> 文章管理页面 <..._navigationduplicated {_name: 'navigationduplicated', name: 'navigationduplic
文章浏览阅读3.9k次。版本VoiceEngine 4.1.0舒适噪音生成(comfort noise generator,CNG)是一个在通话过程中出现短暂静音时用来为电话通信产生背景噪声的程序。#if defined(WEBRTC_ANDROID) || defined(WEBRTC_IOS)static const EcModes kDefaultEcMode = kEcAecm;#elsestati..._webrtc aecm 杂音
文章浏览阅读6.3k次,点赞9次,收藏19次。医学成像原理与图像处理一:概论引言:本系列博客为医学成像原理与图像处理重要笔记,由于是手写,在此通过扫描录入以图片的形式和电子版增补内容将其进行组织和共享。前半部分内容为图像处理基础内容,包括图像的灰度级处理、空间域滤波、频率域滤波、图像增强和分割等;后半部分内容为医学影象技术,包括常规胶片X光机、CR、DR、CT、DSA等X射线摄影技术、超声成像技术、磁共振成像(MRI)技术等。本篇主要内容是概论。_医学成像与图像处理技术知识点总结
文章浏览阅读591次,点赞13次,收藏10次。notepad++ v8.5.3 安装插件,下载进度为0_nodepa++
文章浏览阅读2.1w次。用spark执行SQL保存到Hive中: hiveContext.sql("insert overwrite table test select * from aaa")执行完成,没报错,但是核对结果的时候,发现有几笔数据超出指定范围(实际只包含100/200)最终排查到是ret_pay_remark 字段包含换行符,解决方案:执行SQL中把特殊字符替换掉regexp_replace(..._hive sql \n
文章浏览阅读520次,点赞10次,收藏8次。印象笔记05:如何打造更美的印象笔记超级笔记本文介绍印象笔记的具体使用,如何打造更美更实用的笔记。首先想要笔记更加好看和实用,我认为要使用超级笔记。所谓超级笔记就是具有很多便捷功能的笔记。_好的印象笔记怎么做的