文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html
8 j: s* C! Y  k! t  |
% j. j2 n+ K# S& w: R1 ]/ I一、项目需求
8 Q2 j0 K6 L( V! O& v3 J) \       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。

6 O+ }7 m5 ]- P& T) j二、文件服务解决方案
2 U: a  U; S' U; q0 f  x1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。
% U( I5 [$ `5 Q4 }# T: ^! K
2 w7 O* D" v+ \6 m3 Q+ P: O4 A
! G" v' A4 Q& R7 y3 G, F. Y" S) O配置详见：http://www.52itstyle.top/thread-10764-1-1.html
7 O# |- u* V' J0 p% V. O
3 X# ~. P' U1 d6 U( H2 M# i
2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。
7 D* I: H4 }% J! ~$ ~
, p% J" I) X- o+ U. Z( E* {
配置详见：http://www.52itstyle.top/thread-17263-1-1.html
, g0 s7 ]' g1 e7 }: f3 E) o6 c

3 ?1 z6 d! _: X  ?3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
( ~" _7 z4 K$ K7 G
% x7 m% u* I( K
/ t* {3 a, N+ c+ H$ _4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。
( V* @! z4 I1 l/ B+ o8 [' W

) V% U; {2 t% G% ~* O$ R  [- j5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。
: S) Z( ^: s0 z
$ T. @4 ?; I" t" g
6 a, S' d* M9 b9 R6 q这里主要简单实现第三种方案(使用语言JAVA)：
+ o) P5 i9 O/ J- c; P: j) _5 c1 [
) b4 P) o- c+ q7 A! {8 N
新建客户端 用于上传
HttpPostClient：
6 X& y* v3 ~+ |

1. package com.itstyle.web;
   
2. 
   
3. import java.io.File;
   
4. import java.io.IOException;
   4 a! Z( c+ Y6 Y: o
5. 
   
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    - b8 l9 f" ^6 |/ x% J+ n( [$ h8 X
11. import org.apache.http.client.methods.HttpPost;
    4 I  w" M  ?  T1 W$ I
12. import org.apache.http.entity.mime.MultipartEntity;
    ; h% w+ |3 ~% D& T0 L3 i
13. import org.apache.http.entity.mime.content.FileBody;
    * h: |) N2 @+ l  r! @
14. import org.apache.http.entity.mime.content.StringBody;
    : f8 x. X; d0 w3 e- \- G+ B
15. import org.apache.http.impl.client.DefaultHttpClient;
    
16. import org.apache.http.util.EntityUtils;
    
17. /**
    
18. * 客服端
    & k% ?& K0 U$ `1 A- T# {* o0 U
19. * 创建者        张志朋
    
20. * 创建时间        2016年4月14日
    4 B9 n! O# c$ J: Y7 Q/ K
21. * 科帮网 http://www.52itstyle.top
    # W# E( y/ ~% g" f7 p1 R5 b
22. *
    3 C* m6 V7 j# u$ V: s0 z+ H
23. */
    5 Y3 H: \! a3 U; J4 Z
24. public class HttpPostClient {
    ' r& y" i1 [9 f. s, Q" T' l
25.         public void SubmitPost(String url, String filename, String filepath) {
    
26. 
    
27.                 HttpClient httpclient = new DefaultHttpClient();
    $ Z! x4 I* s& E' b0 V4 h
28. 
    8 A4 W7 {8 K- H3 e' o
29.                 try {
    
30. 
    ! }( N' h( M7 e+ k8 g& F7 g7 X6 W7 E
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    ; [4 v* f+ j. L0 J; b
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    ' t5 U1 T4 \/ ]# h4 Z+ `
34. 
    3 A8 M8 d) ~* P
35.                         StringBody comment = new StringBody(filename);
    " F+ J0 V, C! w5 i7 ?  \
36. 
    
37.                         MultipartEntity reqEntity = new MultipartEntity();
    3 J9 z3 q: q1 Z7 V% g0 C
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
      F3 z! v  t" m0 F
40.                         httppost.setEntity(reqEntity);
    
41. 
    + P8 h7 m7 t' u* e
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    
44.                         int statusCode = response.getStatusLine().getStatusCode();
    " l; T5 w( z/ N; b' G
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    , v/ d/ `5 a! F$ Z; ~6 C
47. 
    0 x7 W1 j; p4 j4 }, O
48.                                 System.out.println("服务器正常响应.....");
    
49. 
    9 ^' s5 Z% U' J1 K3 [5 n% S0 v
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    8 D: p0 ]. _! r3 u( O' l* e
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    
53. 
    
54.                                 System.out.println(resEntity.getContent());
    
55. 
    7 C7 e) C4 Z* e9 L0 x! _
56.                                 EntityUtils.consume(resEntity);
    & K" I* F( Y! _0 T6 `1 n
57.                         }
    ) J& y  M" A: R
58. 
    
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    " n: x. S( G4 s0 G' l. @
61.                 } catch (IOException e) {
    
62.                         e.printStackTrace();
    
63.                 } finally {
    % s; M/ p1 o" x! e5 O
64.                         try {
    
65.                                 httpclient.getConnectionManager().shutdown();
    1 F% ~8 n- T( C9 Z: W4 Y
66.                         } catch (Exception ignore) {
    5 u% O4 q. |; [# X9 v: F
67.                                 
    
68.                         }
    
69.                 }
    , i$ ~6 \* {' W
70.         }
    
71.         /**
    5 @# D' X- Z; h0 a
72.          * 自定义文件名称  和路径  win环境下测试
      @+ b6 H, O8 p/ c  }7 @$ }. Q
73.          * @param args
    - s! j) c  R1 c9 V
74.          */
    
75.         public static void main(String[] args) {
    
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    : ?/ E" w7 Z. b5 h( w
80. 
    . C6 ^( ?5 j* W. c

复制代码

0 h4 g8 K3 O) X7 s; Y% M1 I新建服务端 用于接收
HttpPostServer：

1. package com.itstyle.web;
   ' X4 S% Y  \6 ^- c& J
2. 
   
3. import java.io.File;
   
4. import java.io.FileOutputStream;
   
5. import java.io.IOException;
   2 b: _- Z/ l/ `7 V: |) F0 U
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   ( R& R) e; z  u2 D% n
10. import java.util.List;
    
11. 
    2 B/ Y. @* ~& Q: U
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    ) E- ~9 P  p5 a8 v
14. import javax.servlet.http.HttpServletRequest;
    & D0 Z% u/ s% {& h6 ~) a8 o
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    
17. import org.apache.commons.fileupload.FileItem;
    7 D" O! G. r3 m. Q, I" n1 v
18. import org.apache.commons.fileupload.FileItemFactory;
    ( r; Q! G- Q6 F+ \  z
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    
21. /**
    
22. * 服务端 接收文件
    0 ~/ C2 Y8 Q1 v, s4 ?& |, w" q5 j
23. * 创建者        张志朋
    
24. * 创建时间        2016年4月14日
    
25. * 科帮网 http://www.52itstyle.top
    
26. */
    4 C, g. L# ?! i* W8 b
27. public class HttpPostServer extends HttpServlet {
    ! _7 g- t! o0 ]9 ~9 s" B+ `2 k  X- Z' l
28.         private static final long serialVersionUID = -1002826847460469784L;
    
29. 
    # W- T3 q: M' P8 y
30.         @Override
    
31.         public void init() throws ServletException {
    
32. 
    
33.         }
    
34. 
    : X3 j$ |' B+ `" q/ W" D
35.         @SuppressWarnings("unchecked")
    1 F3 ?4 l; p$ T& i
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    
37.                         throws ServletException, IOException {
    - q# @0 n/ g% I* ]9 W
38.                 PrintWriter out = null;
    
39.                
    ' G7 _' i; _8 |3 g  q! E* o- i
40.                 response.setContentType("text/html;charset=UTF-8");
    3 G5 s. d, z! }$ d8 z; K2 K
41.         String basePath = "d://test1";
    
42.                 FileItemFactory factory = new DiskFileItemFactory();
    ( z$ ]1 p  V# D, P  G3 j
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    ! ^) |0 _' C# H$ z
46.                 String message = "";
    9 Y/ Y6 w! ]1 i& p( t, S
47.                 try {
    
48.                         items = upload.parseRequest(request);
    6 Z' \$ U3 x+ A5 x4 k. m0 Y
49.                         // 得到所有的文件
    
50.                         Iterator<FileItem> it = items.iterator();
    7 @8 D8 o  B3 q, N1 @
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
      t" `' K9 g! E6 t
54.                         String name = fItem.getName();
    
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    3 d1 a! {: D( _1 |
57.                                 directory = new File(basePath);
    
58.                                 directory.mkdirs();
    2 Z: R8 K3 G" e( K6 h( a4 I1 d6 A
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    # N% _% J$ [6 z# m' V1 X5 n
62.                                 byte[] buffer = new byte[1024];
    . O+ i& n+ z& Z; q' @" p' e
63.                                 while (is.read(buffer) > 0) {
    
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    9 i! e* L/ E6 @; Q3 u/ ?
66.                                 fos.flush();
    9 a4 P) C, j3 J/ I3 `* X
67.                                 fos.close();
    : d5 g5 K( r) M0 ?# M+ K: L
68.                         }
    - }4 Q7 J6 t% M# P/ C' B  q6 ~
69.                 }
    & w# O( ^& Z( F* u; u- t& D' j
70.                         }
    
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    9 x: x8 @4 B) z9 f% \
76.                         out = response.getWriter();
    
77.                         out.print(message);
    / O5 h9 P6 O4 T! w; b* `
78.                         out.close();
    
79.                 }
    
80.         }
    ' w- `) v7 |$ {; Z
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
82.                         throws ServletException, IOException {
    # l$ u) Y: V) e  E+ x% k6 S
83.                 doGet(request, response);
    
84.         }
    8 J6 O7 c+ L6 J3 E, O' f
85. }
    
86. 
    

复制代码

  e4 l' X3 s" D所需要JAR包
commons-codec-1.6.jar
commons-fileupload-1.2.1.jar
commons-io-1.3.2.jar
2 r( Y7 W, ?. L! icommons-logging-1.1.1.jar
fluent-hc-4.2.jar
% |* o6 v9 e6 Fhttpclient-4.2.jar
1 f4 t. Z' l" Q# v3 S4 ~httpclient-cache-4.2.jar
+ A. B& W! R' E9 }httpcore-4.2.jar
httpmime-4.2.jar

1 a% s$ v1 ~8 U" [7 X7 A" f8 ]项目下载地址：点击下载
: ]* Z1 U& W1 e( Y

密码：

游客，如果您要查看本帖隐藏内容请回复

, E1 Y  \0 I  z! q) m


* k" `$ M7 w" Q9 v9 c, `" t% u
/ C' s: q5 G* K

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些