centos安装shadowsocks-libev

其实有很多可以说的,但我不说,直接上过程。

一、shadowsocks-libev安装


$ cd /home/markdream
$ git clone https://github.com/shadowsocks/shadowsocks-libev.git
$ cd shadowsocks-libev
$ sudo apt-get install build-essential autoconf libtool libssl-dev
$ ./configure 
$ make
$ make install

二、shadowsocks-libev的设置

通过上面的安装,你先可以对shadowsocks-libev进行配置了。


$ cd /home/markdream/shadowsocks/shadowsocks-libev/src #总之就是进入你刚刚下载的源码目录下面的src路径
$ vi config.json

在这个config.json里面写入这些东西


{
    "server":"110.11.1.1",
    "server_port":8388,
    "password":"yourpassword",
    "timeout":600,
    "method":"aes-256-cfb"
}

server里面的改成你的服务器IP地址、server_port改成你想设置的端口建议30000+,密码不说了,其他两个配置看个人需要,好了到这里就设置完成了。

三、shadowsocks-libev的启动

启动参数很简单,继续回到我们的src目录(/home/markdream/shadowsocks-libev/src)大概在这里的位置,请各位同学根据你自己的环境整理。

$ ./ss-server -c config.json -d 114.114.114.114

注意你的config.json的路径哦,不出什么疑问的话,你可以出现我现在这样的界面,那就证明你ok了。

ss

附带一个后台运行的命令

$nohup ./ss-server -c config.json -d 114.114.114.114

Yeah,你完成了SS服务器的配置,你可以用你的客户端连接工具来进行连接测试吧。

ss-client

centos用户登录提示:-bash: /dev/null: Permission denied解决方法

昨天测试了一下“mv xxxx.zip  /dev/null”之后,今天发现使用普通用户ssh登录到系统后出现了四条告警信息。

-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied
-bash: /dev/null: Permission denied

出现这个权限问题,也会导致“ll”命令无效,既然是权限问题,我们切换成root用户进去设置它的权限吧。

su root
chmod 777 /dev/null

设置完毕后,退出root用户,再重新连接即可。

 

MySQL备份数据到本地脚本

几年前写过一篇MySQL数据备份数据库的文章,今天我写这个是专门备份到本地的shell脚本,功能简单,和之前的shell脚本有所不同的是,在本次脚本中支持多个数据库备份,无需为每个数据库再定义一个shell备份脚本了。

Shell

#!/bin/sh 
#backup for mysql to local
#author jxcent@gmail.com 2015年10月27日 17:02:47


#备份到本地路径
xBackupPath=/home/databackup/
#mysqldump路径
xMysqlPath=/opt/mysql/bin/mysqldump
#数据库列表
xDBNameList=(wpx)

xArrayLength=${#xDBNameList[@]}

for (( i=0; i<${xArrayLength}; i++ )) ; do 

 xDateTime=`date +%Y%m%d%H%M%S` 

 ${xMysqlPath} ${xDBNameList[$i]} | gzip > ${xBackupPath}"/"${xDBNameList[$i]}"_"${xDateTime}".gz"

done

echo ${xArrayLength} 'DB backup complete!'

如何使用

cd /root
vi databackup.sh
#复制脚本内容到databackup.sh文件中,根据配置文件内的提示按照个人实际需求进行修改
#需要修改的地方有xBackupPath  xMysqlPath xDBNameList
#其中xDBNameList里面是数据库名中间以空格分隔开即可

#设置权限
chmod 700 databackup.sh
chown root:root databackup.sh

#运行测试
/root/databackup.sh

#如果出现无法连接数据库的错误提示,请按照要求创建一个root@localhost用户,且密码为空

文件生成命名规则为“数据库名_生成日期.gz”,例如“test_201510271722.gz”,欢迎拍砖!

Linux删除文件实现回收站功能

从事过服务器维护的人都知道rm、rm -rf 的厉害,执行起来一点也不马虎,有点六亲不认的感觉。刚开始我也没觉得rm的厉害,经过昨天rm掉我几天的工作量,我才发现rm就是一把双刃剑,幸好我的服务器有打快照,让我只损失了一天的工作量。

通过亲身体会到了rm的厉害,我不得不在以后的Linux维护甚至是生产环境中不得不加上回收站了,希望各位童鞋也能和我一样保持一种有回收站的习惯,切不可因为自己很仔细,抱着侥幸心理,“常在河边走哪有不湿鞋”。

好了,开始我们的创建回收站之路吧。

开始

首先在自己家的目录创建一个文件夹用来保存删除的文件

mkdir -p ~/.Trash

修改.bashrc文件

vi ~/.bashrc

在.bashrc文件后面添加下面这些


alias rm=trash        
alias rl='ls ~/.Trash'  
alias ur=undelfile  
undelfile()  
{  
  mv -i ~/.Trash/$@ ./  
}  
trash()  
{  
  mv $@ ~/.Trash/  
}
cleartrash()  
{  
    read -p "Clear trash?[n]" confirm  
    [ $confirm == 'y' ] || [ $confirm == 'Y' ]  && /usr/bin/rm -rf ~/.Trash/*  
}

添加完毕后保存,执行source命令生效

source ~/.bashrc

使用

你现在可以使用rm(删除),ur(撤销),rl(列出回收站),cleartrash(清空回收站)命令了。

#删除一个文件夹,helloworld下面的文件均被移到回收站中
$rm helloworld

#删除一个文件
$rm abc.txt

#撤销abc.txt
$ur abc.txt

#撤销helloworld文件夹
$ur helloworld

#列出回收站
$rl

#清空回收站
cleartrash

好了,重在实践,这是一个很重要的配置,很重要很重要,希望大家不要像我被经历过才来做这件事情,不然有时候真的是欲哭无泪。

 

基于rsync+sersync的服务器文件同步实战

N年前的业务,现在发现使用FTP远程发布变得相当的低效率,性能差安全性又不是很高。网络上不乏存在许多关于数据同步的文档,其中一篇《rsync+inotify实现服务器之间文件实时同步》文章吸引我的注意,按照这篇文档的思路进行业务上的扩展,后面再发现金山一位工程师开发了一款《sersync》深受欢迎和鼓舞,利用前人制造的好的轮子对现有业务进行拆分和实施。

现有业务上的服务器列表

服务器A(主服务器)IP:192.168.28.1
服务器B(从服务器/备份服务器)IP:192.168.28.88
……

业务的要求就是在A服务器上操作一个文件(增删改),实时同步到B服务器中。也就是保证B服务器要与A服务器上面的文件要时刻保持一致。
为了达到上述业务要求,按照正常测试逻辑我们还是先对服务器B进行相关配置,因为服务器B是作为备份服务器所以在B服务器上我们只需要安装rsync软件即可。

在服务器B上安装rsync

cd /opt/src
wget  http://rsync.samba.org/ftp/rsync/src/rsync-3.1.0.tar.gz
tar zxf rsync-3.1.0.tar.gz
cd rsync-3.1.0
./configure
make && make install

至此你已经在服务器B上成功安装rsync,可以在试着输入下rsync命令。

在服务器B上配置rsync的认证密码

现在你该配置rsync服务了。

#创建rsync认证文件  markdream是用户名 123456是密码 注意中间以“:”分割
echo "markdream:123456" > /opt/authz/rsync.pas
#将密码文件设置600 避免报错
chmod 600 /opt/authz/rsync.pas

设置rsync的配置文件

vi /etc/rsyncd.conf

服务器B上的rsyncd.conf文件内容

uid=root
gid=root
max connections=36000
use chroot=no
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock

#website同步模块
[website]
uid=root
gid=root
path=/home/website #同步到B服务器的文件存放的路径
comment  = markdream website  #注释
ignore errors = yes #忽略错误
read only = no # 只读
hosts allow =  192.168.28.1/24 #只允许IP 192.168.28.1进行同步
hosts deny = *
auth users = chnpony  #同步的用户名
secrets file = /opt/authz/rsync.pas   #密码文件

启动服务器B上的rsync服务

rsync --daemon"

最后一步我们把rsync服务器设置开机启动

echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local

到这里服务器B上面的rsync配置完毕,下面开始服务器A(主服务器的配置)

服务器A(主服务器)配置

由于是主服务器,用到的不只是rsync还需要安装inotify-tools软件再加上sersync软件,总体来说比从服务器需要的软件要多。
我们还是先在服务器A(主服务器)上安装rsync,可以直接按找上面的方式进行安装即可。

服务器A:安装inotify-tools

inotify-tools是一个 Linux特性,它监控文件系统操作,比如读取、写入和创建。Inotify 反应灵敏,用法非常简单,并且比 cron 任务的繁忙轮询高效得多。学习如何将 inotify 集成到您的应用程序中,并发现一组可用来进一步自动化系统治理的命令行工具。

cd /opt/src
wget https://github.com/rvoicilas/inotify-tools/archive/master.zip -O inotify-tools-master.zip
cd inotify-tools-master
./autogen.sh
 ./configure
 make && make install

到这里你已经安装完毕inotify-tools,下面我们再来安装下这个sersync软件

服务器A:安装sersync

sersync主要用于服务器同步,web镜像等功能。基于boost1.43.0,inotify api,rsync command.开发。本项目优点是:
sersync是使用c++编写,而且对linux系统文件系统产生的临时文件和重复的文件操作进行过滤(详细见附录,这个过滤脚本程序没有实现),所以在结合rsync同步的时候,节省了运行时耗和网络资源。因此更快。

cd /opt/src
wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz
mv /opt/src/GNU-Linux-x86/ /opt/sersync
cd /opt/sersync
#配置下密码文件,因为这个密码是要访问服务器B需要的密码 和上面服务器B的密码必须一致
echo "123456" > /opt/sersync/user.pas
#同样也要设置600
chmod 600 /opt/sersync/user.pas
#我们创建一个服务器A上要同步到B服务器的路径
mkdir /home/webroot

在/opt/sersync/目录里面有个叫confxml.conf文件,我们把他们修改成这样的话就可以使用了。

服务器A:配置confxml.conf文件

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
 <host hostip="localhost" port="8008"></host>
 <debug start="true"/>
 <fileSystem xfs="false"/>
 <filter start="false">
 <exclude expression="(.*)\.php"></exclude>
 <exclude expression="^data/*"></exclude>
 </filter>
 <inotify>
 <delete start="true"/>
 <createFolder start="true"/>
 <createFile start="false"/>
 <closeWrite start="true"/>
 <moveFrom start="true"/>
 <moveTo start="true"/>
 <attrib start="false"/>
 <modify start="false"/>
 </inotify>

 <sersync>
 <localpath watch="/mnt/webroot"> <!-- 这里填写服务器A要同步的文件夹路径-->
 <remote ip="192.168.28.88" name="website"/> <!-- 这里填写服务器B的IP地址和模块名-->
 <!--<remote ip="192.168.28.39" name="tongbu"/>-->
 <!--<remote ip="192.168.28.40" name="tongbu"/>-->
 </localpath>
 <rsync>
 <commonParams params="-artuz"/> 
 <auth start="true" users="markdream" passwordfile="/opt/sersync/user.pas"/> <!-- markdream+密码文件 这里填写服务器B的认证信息-->
 <userDefinedPort start="false" port="874"/><!-- port=874 -->
 <timeout start="false" time="100"/><!-- timeout=100 -->
 <ssh start="false"/>
 </rsync>
 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
 <crontab start="false" schedule="600"><!--600mins-->
 <crontabfilter start="false">
 <exclude expression="*.php"></exclude>
 <exclude expression="info/*"></exclude>
 </crontabfilter>
 </crontab>
 <plugin start="false" name="command"/>
 </sersync>

 <!-- 下面这些有关于插件你可以忽略了 -->
 <plugin name="command">
 <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
 <filter start="false">
 <include expression="(.*)\.php"/>
 <include expression="(.*)\.sh"/>
 </filter>
 </plugin>

 <plugin name="socket">
 <localpath watch="/home/demo">
 <deshost ip="210.36.158.xxx" port="8009"/>
 </localpath>
 </plugin>
 <plugin name="refreshCDN">
 <localpath watch="/data0/htdocs/cdn.markdream.com/site/">
 <cdninfo domainname="cdn.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
 <sendurl base="http://cdn.markdream.com/cms"/>
 <regexurl regex="false" match="cdn.markdream.com/site([/a-zA-Z0-9]*).cdn.markdream.com/images"/>
 </localpath>
 </plugin>
</head>

好到这里你已经配置好sersync软件了,我们来运行它

cd /opt/sersync
./sersync2 -r -d

你现在可以去服务器A的/home/webroot目录下面进行添加文件,看看效果,为了保证能够正常通信,请先关闭你的防火墙(主要是服务器B)!!!

service iptables stop

我们还可以在A服务器上设置sersync开机启动

echo "/opt/sersync/sersync2 -r -d -o /opt/sersync/confxml.xml" >> /etc/rc.local

效果展示

sersync

相关参考

http://dl528888.blog.51cto.com/2382721/771533/

http://blog.johntechinfo.com/sersyncguild

nginx使用XSendfile模块让php更快下载文件实战

引言

最近有点闲暇时间了,看了@风雪之隅的一篇的文章《让PHP更快的提供文件下载》后,利用实际项目中的业务场景觉得有必须要去优化附件下载功能了。鸟哥的文章里面主要介绍的基于apache来做XSendfile讲解的,我有点强迫症,我对我的生产环境《顶岗实习管理系统》进行升级改造,我的webserver是nginx,所以基于nginx官方网站的XSendfile说明特做此改造笔记。

我的webroot目录在/var/vhost/demo,demo目录中存在一个uploadfiles文件夹,这个文件夹是存放用户上传的文件。比如一个用户上传一个hello.docx文件,那么它对应的物理路径应该是/var/vhost/demo/xsendfile/uploadfiles/hello.docx,如果我们以直接路径“http://demo.markdream.com/xsendfile/uploadfiles/hello.docx”来访问的话,那么我想对这个文件进行下载统计或者隐藏实体路径的话就只能使用php readfile()方法来把文件装载到内存中,在转发给客户端,如果文件超大的话,你的服务器估计很悬。所以我们要改进php下载方式,就是引言所阐述的利用nginx的XSendfile方式来传送文件给客户端,nginx默认已经包含了senfile模块了,你如果安装完nginx你会在nginx.conf文件会看到“sendfile on;”,OK说明你可以直接使用了不像apache那么复杂还要重新加载组件编译等等。好了我贴下我的配置文件和代码。

我的nginx虚拟主机配置文件

server {
        listen 80;
        server_name demo.markdream.com;

        root /var/vhost/demo;
        index  index.php;

		# 这个是定义读取你的文件的目录的url开头  直接访问是不可以的 只能通过
        location /protected {
                internal;
                alias   /var/vhost/demo/uploadfiles;
        }

        location ~ \.php$ {
           fastcgi_pass   127.0.0.1:9000;
           fastcgi_index  index.php;
           fastcgi_param  SCRIPT_FILENAME  $document_root/$fastcgi_script_name;
           include        fastcgi_params;
        }
}

一个简单的php下载文件脚本,downloads.php

<?php

//eg: http://demo.markdream.com/xsendfile/downloads.php?filename=hello.docx

// 获取文件名
$filename = $_GET["filename"];

// 你可以在这里写下你的查询数据库等你所想的功能 ……

header ( "Content-type: application/octet-stream" );
// 处理中文文件名
$ua = $_SERVER ["HTTP_USER_AGENT"];
if (preg_match ( "/MSIE/", $ua )) {
 $encoded_filename = rawurlencode ( $filename );
 header ( 'Content-Disposition: attachment; filename="' . $encoded_filename . '"' );
} else if (preg_match ( "/Firefox/", $ua )) {
 header ( "Content-Disposition: attachment; filename*=\"utf8''" . $filename . '"' );
} else {
 header ( 'Content-Disposition: attachment; filename="' . $filename . '"' );
}

// 就这么简单一句话搞定 注意“protected”是和nginx配置文件的 protected要一致
header("X-Accel-Redirect: /protected/" . $filename);

?>

愉悦的demo

http://demo.markdream.com/xsendfile/downloads.php?filename=hello.docx

参考

  1. http://wiki.nginx.org/XSendfile
  2. http://www.laruence.com/2012/05/02/2613.html
  3. http://kovyrin.net/2006/11/01/nginx-x-accel-redirect-php-rails/