文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html

一、项目需求
, s. v6 `% X9 V: Y, ^       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。

9 u. y4 N: R% }( B% C( K; Y: |
1 \/ M3 P: r) J- D二、文件服务解决方案
1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。
2 Z7 T, z2 ]  h$ G& ?

配置详见：http://www.52itstyle.top/thread-10764-1-1.html
5 N% Z/ A9 V. `% Q$ v, [* e9 o4 Z; X

2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。

. L- |! S% |. Z# ?/ n
1 P* N# x1 K" s配置详见：http://www.52itstyle.top/thread-17263-1-1.html

9 E: p4 Z% Y+ K  j. {' [( m0 E
3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
2 q9 x3 m8 b" m! Q+ S8 T
+ d8 ^5 s7 N5 K3 K7 x  _: E3 r3 z
2 [7 N- {/ P3 m" ]( w( V+ A4 S4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。

* t$ P: m% f! V, {+ ?( T9 c
# n6 P' l6 U1 b9 o) J( e& T0 G5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。


这里主要简单实现第三种方案(使用语言JAVA)：
1 V; _3 t* U; O9 s% s7 |; u2 I

& [/ H% {8 }5 v$ k新建客户端 用于上传
HttpPostClient：
6 U" b- z! C1 R

1. package com.itstyle.web;
   
2. 
   
3. import java.io.File;
   ; L9 V2 [9 \; h7 |! }
4. import java.io.IOException;
   + O. U5 q6 y* W2 a
5. 
   " i9 N0 T! g; k0 q9 W6 \! t
6. import org.apache.http.HttpEntity;
   ) @' b( i) ?+ A. w* T
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   4 o4 P" M# x9 R* j
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    ; s; c2 h7 J5 E+ H6 }
11. import org.apache.http.client.methods.HttpPost;
    2 w+ z8 ]8 p5 @9 i3 }
12. import org.apache.http.entity.mime.MultipartEntity;
      c* }! l& G1 O9 @7 l; h
13. import org.apache.http.entity.mime.content.FileBody;
    
14. import org.apache.http.entity.mime.content.StringBody;
    
15. import org.apache.http.impl.client.DefaultHttpClient;
    9 l/ b* q5 a% C  P
16. import org.apache.http.util.EntityUtils;
    
17. /**
    
18. * 客服端
    8 f# e& M  P' I( ^) j
19. * 创建者        张志朋
    * L* z$ N4 Z+ L
20. * 创建时间        2016年4月14日
    ' G- k, V2 ~/ X/ ?$ B" Z" l
21. * 科帮网 http://www.52itstyle.top
    
22. *
    0 t2 D( k* C& a( c
23. */
    ) \; A2 @# D  s; z
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    3 `' |% ]2 q. q5 d
26. 
    
27.                 HttpClient httpclient = new DefaultHttpClient();
    / M2 c: S- z6 u& a* ^
28. 
    
29.                 try {
    / V) u& b7 D2 I& p$ R
30. 
    " N' _$ r( J! ], g
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    * \6 O6 j: x. [; P4 y8 [
34. 
    
35.                         StringBody comment = new StringBody(filename);
    
36. 
    ( S' A0 |$ W- I/ s% M' P3 Y1 T
37.                         MultipartEntity reqEntity = new MultipartEntity();
    
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    , }( v, G# G" [& V* Q: y4 Q+ y
40.                         httppost.setEntity(reqEntity);
    & i, ?% `. A- |8 B, U
41. 
    2 k1 H0 u  s$ `! ?# O
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    9 k. n; B: f& u8 s  Z: ?. T
44.                         int statusCode = response.getStatusLine().getStatusCode();
    
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    2 q) G) J; Q5 q- f
47. 
      Y  F8 J3 k2 p) t0 @6 {% g
48.                                 System.out.println("服务器正常响应.....");
    2 Q' O; X) u; M! G
49. 
    ' S/ L. i/ {" x2 W8 j0 X& F
50.                                 HttpEntity resEntity = response.getEntity();
    7 B/ P5 X9 x' `3 t. T; ^$ d7 _) O2 `
51. 
    
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    : o1 O8 B* j& ^, w, D# m
53. 
    ' h( p5 V# X1 r$ ]- _
54.                                 System.out.println(resEntity.getContent());
    
55. 
    
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    
58. 
    : b/ S+ w) _. ^/ @& ?
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    
61.                 } catch (IOException e) {
    : ~9 b9 j" T' [9 q
62.                         e.printStackTrace();
    3 P) E9 i) {) Y0 X! X2 M$ _- n
63.                 } finally {
    
64.                         try {
    6 i3 y  p1 q* @6 e0 z1 o. Z* v8 U
65.                                 httpclient.getConnectionManager().shutdown();
    
66.                         } catch (Exception ignore) {
    
67.                                 
    
68.                         }
    + C. G# C  l2 Y! b- a
69.                 }
    
70.         }
    
71.         /**
    
72.          * 自定义文件名称  和路径  win环境下测试
    4 b+ R3 @, ~$ ^5 i
73.          * @param args
    
74.          */
    
75.         public static void main(String[] args) {
    ! i6 _' \) a2 O/ B4 M9 d
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    
80. 
    

复制代码

0 L% ?) F" K4 O3 O& l0 q8 O5 l
0 ^# F. Q. r' h8 J  Y! X新建服务端 用于接收
HttpPostServer：

1. package com.itstyle.web;
   
2. 
   ' X9 {. k4 N: n) |3 _+ e- L
3. import java.io.File;
   
4. import java.io.FileOutputStream;
     i+ n; w$ \  W# ^2 h# `
5. import java.io.IOException;
   3 L3 R% O' {8 ~. c* q
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   
8. import java.util.ArrayList;
   7 e. I2 N+ R' P6 @" v
9. import java.util.Iterator;
   
10. import java.util.List;
    
11. 
    " @* D/ A& F" E0 s
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    * }0 d" O8 f  p/ s  O# H' o; J6 R, b
16. 
    
17. import org.apache.commons.fileupload.FileItem;
    , X3 j$ p7 z' j# S% A
18. import org.apache.commons.fileupload.FileItemFactory;
    / [5 f* P5 d- X$ n/ e
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    : B, k; N' j# D! O5 H
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    
21. /**
    
22. * 服务端 接收文件
    + X2 z% ^& F5 P# i
23. * 创建者        张志朋
    
24. * 创建时间        2016年4月14日
    : l# R) d) w1 g; ?- Z# w0 @: ?& p
25. * 科帮网 http://www.52itstyle.top
    - H0 W; w8 M/ Y5 `8 j
26. */
    2 Y6 L5 n  X( z) \& K$ d
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    
29. 
    
30.         @Override
    $ j' \+ D4 k8 ^( Y
31.         public void init() throws ServletException {
    
32. 
    2 F7 a4 E. q& D4 m% c' t5 X. N+ v0 w
33.         }
    # r+ D" y% C* P# J
34. 
    
35.         @SuppressWarnings("unchecked")
    
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    
37.                         throws ServletException, IOException {
    
38.                 PrintWriter out = null;
    
39.                
    4 {& c) K. u4 d4 ^2 P; e! ]  q, F
40.                 response.setContentType("text/html;charset=UTF-8");
    # p0 R3 b  p0 p$ a' C' \- ~2 A+ V
41.         String basePath = "d://test1";
    & @! ?8 h  t5 A& g6 h% }
42.                 FileItemFactory factory = new DiskFileItemFactory();
    
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    , E  `+ m2 W( Z- b: E) u+ e
45.                 List<FileItem> items = new ArrayList<FileItem>();
    6 l  j$ x7 a5 V, |1 a: g% Z; ~
46.                 String message = "";
    . l1 }! a6 g, `2 v: v4 V
47.                 try {
    & X+ U. Z7 W% \
48.                         items = upload.parseRequest(request);
    
49.                         // 得到所有的文件
    
50.                         Iterator<FileItem> it = items.iterator();
    ' F7 E1 }& q( W( E
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    0 ?# D+ y; f9 x& t8 }3 P
53.                 if(!fItem.isFormField()){
    ' u- `1 z& `2 R  K; H$ [
54.                         String name = fItem.getName();
    : O% x- f. O4 _+ s
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    - a! z# C& w4 m6 |. ]' D
57.                                 directory = new File(basePath);
    + f$ m' @3 }: E
58.                                 directory.mkdirs();
    
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    6 G" f# `8 l: E! z* `: l
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    6 C3 e6 }/ ?# q* m
62.                                 byte[] buffer = new byte[1024];
    
63.                                 while (is.read(buffer) > 0) {
    
64.                                         fos.write(buffer, 0, buffer.length);
    % z/ P/ g$ [, O6 z; K7 c+ W
65.                                 }
    ; C  a; k' Q& |" F/ m
66.                                 fos.flush();
    
67.                                 fos.close();
    
68.                         }
    
69.                 }
    0 k- K+ f6 @9 V( z% ?3 n
70.                         }
    * D! b9 W3 \* j. E' o
71.                         message = "{success:true, msg:'接收成功'}";
    4 m6 K4 a1 ]! @; `2 C9 H. p
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    6 N, J  U0 B* Z' C' r
75.                 }finally{
    7 S; r  Q) w) r7 t" X5 B) h$ B) |
76.                         out = response.getWriter();
    
77.                         out.print(message);
    
78.                         out.close();
    
79.                 }
    
80.         }
    
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
82.                         throws ServletException, IOException {
    * I% A6 B- q7 Q' d1 C
83.                 doGet(request, response);
    0 _* v% W* a8 l6 d! O9 C  ~9 e; @
84.         }
    
85. }
    : h$ m( ]) e2 v0 ]* Y
86. 
    

复制代码

% c/ A. p7 J! Q* J" t6 O6 j所需要JAR包
6 [7 M2 M/ f3 Zcommons-codec-1.6.jar
commons-fileupload-1.2.1.jar
commons-io-1.3.2.jar
commons-logging-1.1.1.jar
7 N1 C: q1 q) d4 vfluent-hc-4.2.jar
httpclient-4.2.jar
httpclient-cache-4.2.jar
httpcore-4.2.jar
httpmime-4.2.jar

6 v- R2 _; G! h% D项目下载地址：点击下载

9 p3 h2 D+ W' _. D$ G
密码：

游客，如果您要查看本帖隐藏内容请回复

3 {1 d6 C' O! v8 {

( S2 p- B8 s; W

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
% @. ~* f/ c( o学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些