文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html
( Y* k( @1 F! o- j* d9 E+ J
一、项目需求
3 D# ~1 T7 `+ P9 s- b1 f$ }1 J- K7 V2 C9 l       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。
- N4 E) K' A6 S

) n% ^4 z: h& |' M0 E: n二、文件服务解决方案
1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。
4 N& c2 l9 H. D( A5 o% U4 ^: d

; g$ e; k- H& o% N# X7 c& }; \, c配置详见：http://www.52itstyle.top/thread-10764-1-1.html


2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。


配置详见：http://www.52itstyle.top/thread-17263-1-1.html


  T% h% N# P/ z) w3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。

1 e# J( G0 z) H+ e5 q
% o6 J% z. c6 U) I8 L4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。
; C0 f2 C' m5 X' z' [) O3 a

5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。
' B1 M$ g2 ^0 M+ c6 `9 K# J

这里主要简单实现第三种方案(使用语言JAVA)：


4 W5 m3 t3 |2 A7 O' n) }% j7 ?, Q新建客户端 用于上传
) x$ P# t+ x  b, ]1 y" z2 [HttpPostClient：
4 C. j6 }4 D5 K: V) n0 L8 F% {: j

1. package com.itstyle.web;
   
2. 
   
3. import java.io.File;
   
4. import java.io.IOException;
   
5. 
   / L( R  w  Y+ Q7 \9 o) Q- e& j
6. import org.apache.http.HttpEntity;
   ' Z0 k4 H4 h. X4 |1 s2 L
7. import org.apache.http.HttpResponse;
   . }5 ?) @. `! l" h
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    
11. import org.apache.http.client.methods.HttpPost;
    ! Y( v. Y/ Z; R2 W/ A6 w% B4 q0 U
12. import org.apache.http.entity.mime.MultipartEntity;
    ' |" m6 M. P& Y. C
13. import org.apache.http.entity.mime.content.FileBody;
    
14. import org.apache.http.entity.mime.content.StringBody;
    - ^: o3 _9 ?& ^1 j7 k
15. import org.apache.http.impl.client.DefaultHttpClient;
    0 r8 l1 h' z. [$ V% e
16. import org.apache.http.util.EntityUtils;
    8 J2 a$ p- M, i2 F$ r
17. /**
    , B$ h- X  `; [9 Y1 `% B4 a
18. * 客服端
      w( ~7 s, S( Y' w* t0 j0 k
19. * 创建者        张志朋
    ) a5 x" I/ A! _5 E( M) }" _1 D
20. * 创建时间        2016年4月14日
    
21. * 科帮网 http://www.52itstyle.top
    * b  \, }" u) f1 i# f. Y
22. *
    
23. */
    1 F8 N- n/ X+ D) s
24. public class HttpPostClient {
    3 m' y8 C! a; h% J. k& y  c( c
25.         public void SubmitPost(String url, String filename, String filepath) {
    7 {$ J5 _- y# j! R
26. 
    4 _* p7 I4 G. L2 J# x3 S7 d
27.                 HttpClient httpclient = new DefaultHttpClient();
    
28. 
    
29.                 try {
    
30. 
    * a" h% E7 |: G3 u
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    
34. 
    
35.                         StringBody comment = new StringBody(filename);
    8 I8 C2 J( N; }6 n
36. 
    ' U7 y% t+ h6 o' C% A, U
37.                         MultipartEntity reqEntity = new MultipartEntity();
    ' Q+ C2 W4 s5 T( f- s; _: E* E; d
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    9 i; O+ E1 z' }% f5 g
41. 
    1 G& T7 ~$ J  g1 ]1 D6 n7 ^
42.                         HttpResponse response = httpclient.execute(httppost);
    ! ]* R! n  @3 H% V2 X# w( v
43. 
    ; s- W4 J1 @* T$ L
44.                         int statusCode = response.getStatusLine().getStatusCode();
    
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    
47. 
    6 Q$ [+ ?4 T, }8 j
48.                                 System.out.println("服务器正常响应.....");
    
49. 
    & ^' v4 _5 M7 d/ u
50.                                 HttpEntity resEntity = response.getEntity();
    ' q6 t: H* H" X, v% S! c+ g
51. 
    
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    ) I. K# O1 `0 _% m* m% [
53. 
    - W; ^+ P; z1 a! Y/ j) F2 v! Y
54.                                 System.out.println(resEntity.getContent());
    
55. 
    
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    
58. 
    
59.                 } catch (ParseException e) {
    0 ~) f' L  R1 a: ~
60.                         e.printStackTrace();
    8 I  W9 F% H- V# t
61.                 } catch (IOException e) {
    $ q8 ?0 h+ a0 \
62.                         e.printStackTrace();
    
63.                 } finally {
    
64.                         try {
    
65.                                 httpclient.getConnectionManager().shutdown();
    9 g- ^; N, d, @+ ~1 b2 [0 `
66.                         } catch (Exception ignore) {
    
67.                                 
    3 o+ J6 l  P9 y8 r# M3 M
68.                         }
    * g7 L# [( N, D& Z5 {; K6 P3 |/ S
69.                 }
    
70.         }
    
71.         /**
    + c( W2 I( t" e* C$ u7 l9 {9 r/ T
72.          * 自定义文件名称  和路径  win环境下测试
    
73.          * @param args
    3 x1 q  ]0 B! U7 c) T7 _
74.          */
    6 O0 j3 G! _* ]# B5 ?$ t6 F
75.         public static void main(String[] args) {
    : [7 Z  q2 l2 N3 K# C- R# O
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    1 o" o, ~" x1 v. A
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    & q' _2 O& W( `: ?
80. 
    

复制代码

  U# ]1 H3 b" g) H; b/ y$ E
$ e1 v5 O! c8 G8 b" h
新建服务端 用于接收
4 a' B4 N, U* O! S9 cHttpPostServer：

1. package com.itstyle.web;
   ; x" I+ z- ]; r# N. I0 G! n+ u
2. 
   & r0 W' b2 k: {' c# e4 G
3. import java.io.File;
   
4. import java.io.FileOutputStream;
   3 P' ~$ A* F) r, c" g3 L& P
5. import java.io.IOException;
   ' m4 P+ z! b$ W4 d! I% n, r
6. import java.io.InputStream;
   + w: v5 g7 B, G9 W* `
7. import java.io.PrintWriter;
   * `* p7 |" O+ N: e9 a. J7 A
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   
10. import java.util.List;
    
11. 
    
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    ( T: d' o& \: J' q. M
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    - q5 N6 }8 s; N% `0 ^4 ~3 T1 m/ e
16. 
    ; {. z; r6 T8 X4 \& q" g! F$ @" U
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    5 R/ f& O7 c& [5 k: h' A
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    6 V- h0 z. n5 ^3 v7 l  u* I
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    * C6 U2 v3 @3 D* i; D  Y% x( n; e
21. /**
    
22. * 服务端 接收文件
    
23. * 创建者        张志朋
    5 Z; H/ M$ o9 L9 s& r! ~7 j
24. * 创建时间        2016年4月14日
    
25. * 科帮网 http://www.52itstyle.top
    
26. */
    $ G4 N1 o1 X8 x% i5 E
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    ; W1 ]* _2 Z% ]0 R  O
29. 
    
30.         @Override
    1 y* K* W- A* O* b
31.         public void init() throws ServletException {
    
32. 
    
33.         }
    2 `+ D4 |2 E& y9 c8 v, u
34. 
    
35.         @SuppressWarnings("unchecked")
    ' D9 S) A6 y8 d8 c" }& O3 u
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    
37.                         throws ServletException, IOException {
    
38.                 PrintWriter out = null;
    
39.                
    7 h( @% n1 _1 Z* Q
40.                 response.setContentType("text/html;charset=UTF-8");
      p2 G2 N! R  n& O  u) `
41.         String basePath = "d://test1";
    8 q, V5 L9 }# ~+ U( `1 G- n9 g
42.                 FileItemFactory factory = new DiskFileItemFactory();
    
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    ! c7 ?: Y, f0 d
46.                 String message = "";
    
47.                 try {
    
48.                         items = upload.parseRequest(request);
    1 n7 f  `: ^! X5 e$ Y& B
49.                         // 得到所有的文件
    + u" M  w8 ^' K% l7 h# ]0 h
50.                         Iterator<FileItem> it = items.iterator();
    / x5 G- ?( M- @8 C9 D
51.                         while (it.hasNext()) {
    4 _: ?4 b: B7 J
52.                                 FileItem fItem = (FileItem) it.next();
    : s( m) {6 s0 S. v! B
53.                 if(!fItem.isFormField()){
    + b2 i* b+ D0 C; s
54.                         String name = fItem.getName();
    
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    
57.                                 directory = new File(basePath);
    ) z" G; @  ]1 |; e0 x" p
58.                                 directory.mkdirs();
    . z3 i6 a! M) b
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    
62.                                 byte[] buffer = new byte[1024];
    
63.                                 while (is.read(buffer) > 0) {
    
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    
66.                                 fos.flush();
    
67.                                 fos.close();
    
68.                         }
    + F/ V3 h% \& J" i# @3 w
69.                 }
    
70.                         }
    8 d' T+ A, `; t$ {1 N0 B
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    
76.                         out = response.getWriter();
    5 _3 M; e6 V3 ^' z& \' {
77.                         out.print(message);
    ( A7 X3 y' M2 M9 e2 ?2 n
78.                         out.close();
    
79.                 }
    # v& Q' W0 }6 V
80.         }
    
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    . E8 c3 a9 ]5 M
82.                         throws ServletException, IOException {
    6 i1 B' ?0 }/ `8 J( \
83.                 doGet(request, response);
    
84.         }
    ) w  M9 c8 j1 v- I1 E4 h) A
85. }
    % ^. J3 H: K! O9 ]3 h
86. 
    . T" R! O& A6 D

复制代码

所需要JAR包
commons-codec-1.6.jar
commons-fileupload-1.2.1.jar
; h7 q% t: u% Q# S' ^' lcommons-io-1.3.2.jar
) H$ ]  ~1 S) M5 zcommons-logging-1.1.1.jar
5 c& q% x$ c% \1 Q- c- cfluent-hc-4.2.jar
httpclient-4.2.jar
httpclient-cache-4.2.jar
httpcore-4.2.jar
httpmime-4.2.jar

项目下载地址：点击下载


密码：

游客，如果您要查看本帖隐藏内容请回复

8 C0 m% B3 D9 L4 D( q$ r

7 m% z# ?- V1 R" J) G; x- i

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
) j$ G7 i: }# Y6 L0 A学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些