文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html

7 s9 L# @! V# z; p  n# G一、项目需求
       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。

( x- y* @% f9 l& `& b
" A' E) v& {  d& X9 J二、文件服务解决方案
' ?8 X. O+ n  I" v4 ?- G1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。


1 x$ [( Y7 ^  r4 q' O; t配置详见：http://www.52itstyle.top/thread-10764-1-1.html
& z7 S; `4 [0 J# K' d

* l4 Y6 R! U9 |2 ~( D( R" q: U2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。
' Z/ I1 R; @) ]" l3 X
' }4 [0 r4 I$ s- @
5 Z( _$ _& r; r) ?" u配置详见：http://www.52itstyle.top/thread-17263-1-1.html

8 @" W0 T) }! C' r4 y. F. t
2 {" l  z3 E7 R, v6 E' n3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。

) K  y2 c" I% U3 r
+ T2 N' I" E; W2 {& K, i; @: s4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。


5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。

; F. V5 [8 h0 f* `$ Q2 c. @5 C, r: ?+ x
- N! \7 b; g. ?& S这里主要简单实现第三种方案(使用语言JAVA)：


0 d% c* A# L8 k5 I新建客户端 用于上传
; i" [; L$ O5 z& t: VHttpPostClient：
9 C! C% O( l  z2 r8 _4 B$ {2 }

1. package com.itstyle.web;
   
2. 
   & ]4 `% c5 F4 E) |
3. import java.io.File;
   : z( D. F$ I* X5 N+ D8 {
4. import java.io.IOException;
   % ?8 r, u4 c: t8 k& f6 C: |
5. 
   
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   1 r" p! J) p1 n- z
10. import org.apache.http.client.HttpClient;
    
11. import org.apache.http.client.methods.HttpPost;
    
12. import org.apache.http.entity.mime.MultipartEntity;
    
13. import org.apache.http.entity.mime.content.FileBody;
    0 W- j% q4 L4 f( A$ J( _& {4 o
14. import org.apache.http.entity.mime.content.StringBody;
    
15. import org.apache.http.impl.client.DefaultHttpClient;
    
16. import org.apache.http.util.EntityUtils;
    & {: Y; o2 m* @
17. /**
    
18. * 客服端
    - q+ l4 r: U9 E3 O, p' h" ^
19. * 创建者        张志朋
    0 S  @& C7 g0 L: }! `  @6 D9 ?
20. * 创建时间        2016年4月14日
    ( ?. W( F7 Z- s! |  N/ }2 b& A
21. * 科帮网 http://www.52itstyle.top
    
22. *
    
23. */
    
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    $ b" b- O. x) x; p6 g4 g
26. 
    $ }- b+ [) [' i  ~8 B& ]
27.                 HttpClient httpclient = new DefaultHttpClient();
    
28. 
    * Z$ S" i/ R& s
29.                 try {
    ' ?$ M7 e) d1 S2 L
30. 
    
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    3 m6 s. f, j. A
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    $ p3 u2 a% n& n- Y
34. 
    
35.                         StringBody comment = new StringBody(filename);
    3 b9 k6 u& X$ `
36. 
    " G1 \) u2 v: ?% s3 z/ Q! z9 P
37.                         MultipartEntity reqEntity = new MultipartEntity();
    ! Z- [2 ~8 {' ?" L# I6 C
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    * A- c' }5 T- A. o( `% g# i9 v1 Z
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    
41. 
    
42.                         HttpResponse response = httpclient.execute(httppost);
    % g7 Y5 P. W! ]$ f
43. 
    8 u4 a. I9 n" z! Q
44.                         int statusCode = response.getStatusLine().getStatusCode();
    
45. 
    3 R( q9 a3 S! F  _6 q
46.                         if (statusCode == HttpStatus.SC_OK) {
    
47. 
    5 d8 _. L# F* r2 m! Q
48.                                 System.out.println("服务器正常响应.....");
    
49. 
    & p- R2 O, g: ~. G7 d9 H
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    ) }6 ~  ?$ g* T$ o9 _0 a% a! \' w
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    # F) {7 ]  m! A9 c+ ~6 E6 v7 u
53. 
    6 W% }6 o' P; i1 m4 M+ n. ]8 D: Y
54.                                 System.out.println(resEntity.getContent());
    
55. 
    
56.                                 EntityUtils.consume(resEntity);
    8 E. ^1 |1 r) x. |* l. {/ ]
57.                         }
    
58. 
    
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    7 ^! {3 x* U& `
61.                 } catch (IOException e) {
    
62.                         e.printStackTrace();
    6 A) u4 N% C+ S! I
63.                 } finally {
    4 T; |3 S9 O; [5 e* s& \
64.                         try {
    
65.                                 httpclient.getConnectionManager().shutdown();
    
66.                         } catch (Exception ignore) {
    $ {+ m! H. ~( R) U/ k4 K. j
67.                                 
    
68.                         }
    7 `) k  C2 D# y. v( f2 d
69.                 }
    * M7 G/ I" |+ G0 l7 X. a8 N
70.         }
      U3 |; Q5 T( o$ d& C7 M* h
71.         /**
    6 a8 s, D1 Q  F! P5 R8 A: {
72.          * 自定义文件名称  和路径  win环境下测试
    ' @9 g, I% H0 ]  m7 Q! r: o5 H
73.          * @param args
    / @9 y) O$ s" [$ w- _, Q& `# F3 q
74.          */
    
75.         public static void main(String[] args) {
    1 ~% _& k6 z9 Q8 f) |
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    ; e7 |+ o6 H0 f! S" x+ ~
80. 
    

复制代码

+ L0 k+ O, O- n  P7 k1 _( ]! A

1 a0 `6 ^2 L2 L, n) t5 _, i新建服务端 用于接收
HttpPostServer：
: b, e# j; j4 |( ]

1. package com.itstyle.web;
   
2. 
   
3. import java.io.File;
   
4. import java.io.FileOutputStream;
   8 Z9 G: i6 c# \! L6 s: u+ l) M
5. import java.io.IOException;
   * T! A/ y8 \* w9 i( V3 S% |
6. import java.io.InputStream;
   9 l4 d3 c' }  j7 w. S
7. import java.io.PrintWriter;
   
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   
10. import java.util.List;
    1 H$ ?. d; o0 n: g; H. ]
11. 
    ! w- L- ]  Z4 U$ _( B6 R7 d5 ~
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    ; L9 B; Q9 f' _7 C+ G9 b) L
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    8 S( q; R' _( h! S# B
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    
21. /**
    # J! U$ t$ K; [% ^9 U  O( W! P3 H
22. * 服务端 接收文件
    7 |: y0 r4 o% |: i/ A, s
23. * 创建者        张志朋
    
24. * 创建时间        2016年4月14日
    ( `* F  P# ?5 S" s1 |; E
25. * 科帮网 http://www.52itstyle.top
      y* J# K! G9 M# y( X# r1 s
26. */
    
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    
29. 
    
30.         @Override
    
31.         public void init() throws ServletException {
    5 z7 W7 G" {1 b0 m
32. 
    8 ]2 F# e6 L% k
33.         }
    
34. 
    " y  W* n2 ?' R8 a% B: v
35.         @SuppressWarnings("unchecked")
    
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    
37.                         throws ServletException, IOException {
    ; p* N0 f' @/ ^/ ~$ C- e: N1 C
38.                 PrintWriter out = null;
    : Z  c/ T( I8 r2 P& R0 g
39.                
    - t: m5 }- w  `$ X/ f
40.                 response.setContentType("text/html;charset=UTF-8");
    3 K- z! U* ]$ n. l$ t: A$ M. B# H
41.         String basePath = "d://test1";
    
42.                 FileItemFactory factory = new DiskFileItemFactory();
    & B9 ^* O& o  m* D4 C* k  A* o
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    : A- h% |# {! y0 Z* o+ D
44.                 File directory = null;
      \. T6 j" P$ `; k) v/ K
45.                 List<FileItem> items = new ArrayList<FileItem>();
    
46.                 String message = "";
    5 X3 C/ m4 a  e3 K" P+ i3 r
47.                 try {
    
48.                         items = upload.parseRequest(request);
    
49.                         // 得到所有的文件
    & p5 X0 f* U7 [, p) V. W+ W' V
50.                         Iterator<FileItem> it = items.iterator();
    5 T8 a& f7 b% H7 K: ]
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    ) \$ J& n% B5 ^
53.                 if(!fItem.isFormField()){
    ( ^8 e/ _  _7 \8 L' |
54.                         String name = fItem.getName();
    9 W6 o; O6 A& t! r% b1 g
55.                         if (name != null && !("".equals(name))) {
    2 b# R! w, {% H! j" e$ P& d
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    
57.                                 directory = new File(basePath);
    8 j/ l8 b( U% [2 \) Y) }
58.                                 directory.mkdirs();
    
59.                                 String filePath = (basePath)  + File.separator + name;
    5 ^4 p- J  ~0 R7 g9 n
60.                                 InputStream is = fItem.getInputStream();
    % s, X9 _6 ~: H  @' w
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    % \5 `' Y  J0 Y( I1 U2 W
62.                                 byte[] buffer = new byte[1024];
    4 S! }" s1 B- g+ n, P
63.                                 while (is.read(buffer) > 0) {
    
64.                                         fos.write(buffer, 0, buffer.length);
    6 M1 H' B+ |2 v8 q
65.                                 }
    
66.                                 fos.flush();
    
67.                                 fos.close();
    & O" @) W+ D) P) r4 u* t
68.                         }
    
69.                 }
    # o) x" I5 l6 e# I. @9 t
70.                         }
    ; z, Q0 {, h/ b/ C1 f) {; [! D
71.                         message = "{success:true, msg:'接收成功'}";
    6 {8 b3 W) o: b9 j6 ^0 L
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    ; v! l3 a+ w6 V7 `* N
74.                         e.printStackTrace();
    , Q0 l2 e8 T! Z4 ]
75.                 }finally{
    + N# i: R0 E$ `6 ]  ~* `$ m
76.                         out = response.getWriter();
    
77.                         out.print(message);
    : _9 u& J0 Z! w9 Y. B0 P2 p+ D! u
78.                         out.close();
    
79.                 }
    ; [2 @0 E/ I1 r2 }* \  `
80.         }
    
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
82.                         throws ServletException, IOException {
      q( ~2 D$ q% N! C
83.                 doGet(request, response);
      X3 F# t) C) \3 j
84.         }
    1 _; R. n8 r! w& A# `* }% j9 J! e
85. }
    
86. 
    - i0 Z& l; v7 V& I

复制代码

& Y7 e) D2 v% p% Z& P# u0 a% T所需要JAR包
commons-codec-1.6.jar
commons-fileupload-1.2.1.jar
5 `* b3 B7 ~% |# w& V& m1 s1 pcommons-io-1.3.2.jar
commons-logging-1.1.1.jar
6 c9 P  T4 c3 d$ _fluent-hc-4.2.jar
httpclient-4.2.jar
httpclient-cache-4.2.jar
httpcore-4.2.jar
( a1 `, e' }0 O' X/ f: r2 M" z  F7 ahttpmime-4.2.jar
3 \7 _+ O3 w- w5 C  [$ d9 O
$ h( x% p+ d: b% |8 {项目下载地址：点击下载
0 _9 X# R" S, E4 X: C; I( ]

密码：

游客，如果您要查看本帖隐藏内容请回复

6 B1 J. @' W# V, \. @
- b( P8 \5 u" B; K' ?9 \
) C) r9 h# I1 d6 o; V7 S

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
3 E6 H, d8 D' r学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些