资讯专栏INFORMATION COLUMN

django中FastDFS客户端与自定义文件存储系统

李增田 / 2463人阅读

摘要:客户端请求进行文件上传下载,通过调度最终由完成文件上传和下载。作用是文件存储,客户端上传的文件最终存储在服务器上,没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。如果名为的文件在文件系统中存在,则返回,否则返回。

什么是FastDFS

FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制, 充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文 件上传、下载,通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。

Tracker server 作用是负载均衡和调度,通过 Tracker server 在文件上传时可以根据一些 策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。

Storage server 作用是文件存储,客户端上传的文件最终存储在 Storage 服务器上, Storageserver 没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将 storage 称为存储服务器。

利用docker安装fastDFS

docker image pull delron/fastdfs
执行如下命令开启tracker 服务
ocker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker
执行如下命令查看tracker是否运行起来

docker container ls
如果想停止tracker服务,可以执行如下命令

docker container stop tracker
停止后,重新运行tracker,可以执行如下命令

docker container start tracker
执行如下命令开启storage服务
docker run -dti --network=host --name storage -e TRACKER_SERVER=10.211.55.5:22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage
执行如下命令查看storage是否运行起来

docker container ls
如果想停止storage服务,可以执行如下命令

docker container stop storage
停止后,重新运行storage,可以执行如下命令

docker container start storage、
python版本的FastDFS客户端使用说明参考https://github.com/jefforeill...

使用FastDFS客户端,需要有配置文件。
base_path=FastDFS客户端存放日志文件的目录
tracker_server=运行tracker服务的机器ip:22122
上传文件需要先创建fdfs_client.client.Fdfs_client的对象,并指明配置文件,如

from fdfs_client.client import Fdfs_client
client = Fdfs_client("fastdfs/client.conf")
通过创建的客户端对象执行上传文件的方法

client.upload_by_filename(文件名)

client.upload_by_buffer(文件bytes数据)

自定义Django文件存储系统
Django自带文件存储系统,但是默认文件存储在本地,我们需要将文件保存到FastDFS服务器上。
自定义文件存储系统的方法如下:

1)需要继承自django.core.files.storage.Storage,如

from django.core.files.storage import Storage

class FastDFSStorage(Storage):

...

2)支持Django不带任何参数来实例化存储类,也就是说任何设置都应该从django.conf.settings中获取

from django.conf import settings
from django.core.files.storage import Storage

class FastDFSStorage(Storage):

def __init__(self, base_url=None, client_conf=None):
    if base_url is None:
        base_url = settings.FDFS_URL
    self.base_url = base_url
    if client_conf is None:
        client_conf = settings.FDFS_CLIENT_CONF
    self.client_conf = client_conf

3)存储类中必须实现_open()和_save()方法,以及任何后续使用中可能用到的其他方法。

_open(name, mode="rb")

被Storage.open()调用,在打开文件时被使用。

_save(name, content)

被Storage.save()调用,name是传入的文件名,content是Django接收到的文件内容,该方法需要将content文件内容保存。

Django会将该方法的返回值保存到数据库中对应的文件字段,也就是说该方法应该返回要保存在数据库中的文件名称信息。

exists(name)

如果名为name的文件在文件系统中存在,则返回True,否则返回False。

url(name)

返回文件的完整访问URL

delete(name)

删除name的文件

listdir(path)

列出指定路径的内容

size(name)

返回name文件的总大小

注意,并不是这些方法全部都要实现,可以省略用不到的方法。

4)需要为存储类添加django.utils.deconstruct.deconstructible装饰器

我们在fastdfs目录中创建fdfs_storage.py文件,实现可以使用FastDFS存储文件的存储类如下

from django.conf import settings
from django.core.files.storage import Storage
from django.utils.deconstruct import deconstructible
from fdfs_client.client import Fdfs_client

@deconstructible
class FastDFSStorage(Storage):

def __init__(self, base_url=None, client_conf=None):
    """
    初始化
    :param base_url: 用于构造图片完整路径使用,图片服务器的域名
    :param client_conf: FastDFS客户端配置文件的路径
    """
    if base_url is None:
        base_url = settings.FDFS_URL
    self.base_url = base_url
    if client_conf is None:
        client_conf = settings.FDFS_CLIENT_CONF
    self.client_conf = client_conf

def _save(self, name, content):
    """
    在FastDFS中保存文件
    :param name: 传入的文件名
    :param content: 文件内容
    :return: 保存到数据库中的FastDFS的文件名
    """
    client = Fdfs_client(self.client_conf)
    ret = client.upload_by_buffer(content.read())
    if ret.get("Status") != "Upload successed.":
        raise Exception("upload file failed")
    file_name = ret.get("Remote file_id")
    return file_name

def url(self, name):
    """
    返回文件的完整URL路径
    :param name: 数据库中保存的文件名
    :return: 完整的URL
    """
    return self.base_url + name

def exists(self, name):
    """
    判断文件是否存在,FastDFS可以自行解决文件的重名问题
    所以此处返回False,告诉Django上传的都是新文件
    :param name:  文件名
    :return: False
    """
    return False

在Django配置中设置自定义文件存储类

在settings/dev.py文件中添加设置

django文件存储

DEFAULT_FILE_STORAGE = "fastdfs.fdfs_storage.FastDFSStorage"

FastDFS

FDFS_URL = "http://xxx:8888/"
FDFS_CLIENT_CONF = os.path.join(BASE_DIR, "fastdfs/client.conf")

添加image域名

在/etc/hosts中添加访问FastDFS storage服务器的域名

127.0.0.1 xxx

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/42767.html

相关文章

  • FastDFS

    摘要:可以将称为追踪服务器或调度服务器。实际保存文件分为多个组,每个组之间保存的文件是不同的。文件索引信息包括组名,虚拟磁盘路径,数据两级目录,文件名。虚拟磁盘路径配置的虚拟路径,与磁盘选项对应。 分布式图片服务器FastDFS 1 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制, 充分考虑了冗余备份、负载均衡、线性扩容等...

    raoyi 评论0 收藏0
  • JPower 2.0.4 发布,新增FASTDFS文件存储

    摘要:的存储策略为了支持大容量,存储节点服务器采用了分卷或分组的组织方式。的文件下载客户端成功后,会拿到一个生成的文件名,接下来客户端根据这个文件名即可访问到该文件。一、FastDFS介绍FastDFS开源地址:https://github.com/happyfish100参考:分布式文件系统FastDFS设计原理参考:FastDFS分布式文件系统个人封装的FastDFS Java API:htt...

    princekin 评论0 收藏0
  • java 文件存储

    摘要:优点开发成本低,可以配置加速网络三分布式文件系统方案常见的分布式文件系统有,等。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 一、小应用存储方案 在开发中上传文件存储是个问题,而一般小应用开发会选择服务器本地目录做为存储地址,通过保存文件的相对路径来获取文件,在应用不要求高可用的情况下这是一种普遍的方案。 问题: 在每次更新Java版本时,都需要将文件目录做一次备...

    Alfred 评论0 收藏0
  • java 文件存储

    摘要:优点开发成本低,可以配置加速网络三分布式文件系统方案常见的分布式文件系统有,等。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 一、小应用存储方案 在开发中上传文件存储是个问题,而一般小应用开发会选择服务器本地目录做为存储地址,通过保存文件的相对路径来获取文件,在应用不要求高可用的情况下这是一种普遍的方案。 问题: 在每次更新Java版本时,都需要将文件目录做一次备...

    shery 评论0 收藏0
  • FastDFS+Nginx搭建分布式图片存储

    摘要:可以将称为追踪服务器或调度服务器。实际保存文件分为多个组,每个组之间保存的文件是不同的。虚拟磁盘路径配置的虚拟路径,与磁盘选项对应。数据两级目录服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。1.什么是FastDFS FastDFS是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制, 充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等...

    CoderDock 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<