分布式文件服务器dfs

haobowd 发布于2019-06-27 16:36 / 1577人阅读

摘要：核心特性基于和实现分布式文件服务采用协议包来实时同步文件性能很高，采用传送文件，内存占有率很少文件实时监控及监控子目录服务自动断线重连服务自动扫描本地已存在的文件目录实时同步服务需要以模式运行安装安装扩展和扩展修改文件相应的配置原理是基于和

核心特性

1.基于swoole和inotify实现分布式文件服务 2.采用协议包来实时同步文件、性能很高，采用sendfile传送文件，内存、cpu占有率很少 3.文件实时监控及监控子目录服务 4.自动断线重连服务 5.自动扫描本地已存在的文件目录实时同步服务

需要php以cli模式运行/server.php

php server.php start
php server.php stop
php server.php restart

composer 安装

{

    "require": {
        "qieangel2013/dfs": "0.1.6"
 }

}

安装swoole扩展和inotify扩展
修改/config/config.php文件相应的配置

原理
dfs是基于swoole和inotify实现的分布式文件同步服务器框架，他借助于inotify实现实时对文件及其目录进行监控，基于swoole的事件驱动读取inotify的事件来做相应的逻辑处理，dfs框架的服务一旦启动，他会通过redis获取远程服务器在线列表然后自身启动客户端来连接远程服务器，每一个服务器都有一个服务端和多个客户端，这样每台服务器都能互通互联了，并且支持热拔，一旦服务器不提供服务了都会触发别的服务器跟其断开连接实现高可用！

DFS 配置
define("ServerIp","0.0.0.0"); 配置服务器监听ip地址
define("ServerPort","9508");配置服务器监听端口
define("ServerLog",dirname(DIR)."/log/FileDistributed.log");配置服务器日志路径
define("redis_server","192.168.102.163");配置redis连接ip，注意redis启动时bind的ip不能为127.0.0.1
define("redis_port","6379");配置redis的端口号
define("redis_auth","123qwe");redis认证密码
define("LISTENPATH",dirname(DIR)."/img");配置监听目录，dfs支持无限子目录监听
define("allsysnc",true);是否允许扫描本地已存在的文件或者目录同步
define("maxpackage", 1024 1024 200);配置协议包的最大长度
define("Bincmd", "/usr/local/php/bin/php");配置php的绝对路劲
define("file_arg", "dfs");配置项目名称

dfs的使用其实很简单，就是只要配置好配置文件，启动服务就可以了

在使用dfs框架时注意swoole的版本最好为1.8.9以上，因为之前的版本有sendfile的部分bug，如果单个文件大于20m，请修改文件里的package_max_length的值，但是这个值不要设置太大

超融合服务器云服务器 dfs文件服务器 ecs windows服务器之dfs文件同步 dfs 矩阵dfs算法

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/23017.html

Hadoop 新 MapReduce 框架 Yarn 详解

摘要：同时监视当前机器的运行状况。上图虚线箭头就是表示消息的发送接收的过程。负责一个生命周期内的所有工作，类似老的框架中。对于资源的表示以内存为单位在目前版本的中，没有考虑的占用，比之前以剩余数目更合理。是为了将来作资源隔离而提出的一个框架。 Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系...

RyanQ 2019-04-25 17:13 评论0 收藏0
大数据集群环境搭建——HDFS HA篇

摘要：本次我们迎来了大数据集群环境搭建的第三篇篇。部署之前需要配置服务器和，不太会配置的同学们可以参考我之前的文章大数据集群环境搭建服务器篇和大数据集群环境搭建篇。用来进行两个节点的元数据同步。本次我们迎来了《大数据集群环境搭建》的第三篇——HDFS HA篇。HDFS想必大家都不陌生，中文全称是Hadoop分布式文件系统（什么，你说中文全称里面为什么会有英语单词？反正Hadoop我是不知道...

k00baa 2019-05-28 18:33 评论0 收藏0
ZooKeeper安装、效果演示

摘要：高可用一个开源的分布式的为分布式应用提供服务的项目提供原语集合以便分布式应用可以在它之上构建更高层次的同步服务角色观察者模式领导者负责进行投票的发起及决议更新状态学习者接受客户端请求并发挥客户端返回结果参与投票接受请求转发给不参与投票只高可用（HA） -- ZooKeeper ZooKeeper 一个开源的分布式的,为分布式应用提供服务的项目提供原语集合以便分布式应用可以在它之上...

RyanHoo 2019-05-28 19:10 评论0 收藏0
2018年第22周-大数据的HDFS

摘要：与大数据可以说是大数据的代名词。其实准确来说是家族是大数据的代名词，家族成员有等。于是通过网络管理多台机器存储的文件的系统，称为分布式文件系统。如文件系统的能够容忍节点故障且不丢失任何数据。 Hadoop与大数据 Hadoop可以说是大数据的代名词。其实准确来说是Hadoop家族是大数据的代名词，家族成员有：Hadoop、Hive、Pig、HBase、Sqoop、Zookeeper...

vspiders 2019-05-28 18:45 评论0 收藏0
Hadoop分布式集群的搭建

摘要：分布式集群的搭建关键词分布式集群环境搭建网络配置环境大数据大数据本文作者本文链接安装说明用到的软件软件版本下载地址节点安排名称主节点子节点子节点创建用户所有的节点均创建一个名为的用户，并添加管理员权限。后续的软件均可使用此方式配置。 title: Hadoop分布式集群的搭建summary: 关键词： Hadoop ubuntu 分布式集群环境搭建 ssh 网络配置 java环境 ...

leon 2019-07-24 10:56 评论0 收藏0