文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html

一、项目需求
$ Q* l9 e1 L7 B0 L, ~0 ]       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。
" V  B$ Z2 }- O! g& I9 Q" S- e6 z

3 y3 Z, W& `; `" S3 g$ z- K
! k; n1 [; ~! _2 q, W8 S+ Y二、文件服务解决方案
% z  V. c$ p4 Q' r6 M/ Q$ x1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。


配置详见：http://www.52itstyle.top/thread-10764-1-1.html
5 y" A" T- D! v0 V3 X$ E
+ {' H0 P2 f5 b& }
2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。

* C/ ?" `6 g! Z: G/ @& o  S) k7 b
6 G+ V4 T$ D, _3 i4 X" M- L, q配置详见：http://www.52itstyle.top/thread-17263-1-1.html
! j8 t( h! b& x4 x! _
1 r/ i6 t) Z, M: Y0 Z. P4 t
3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
. J& ^% M' \2 p1 [

) @4 i: I- z/ U* N3 V$ y- ?4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。
" N5 P  I7 d& M* P, O

/ H) P& X) f$ }1 [: P5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。
: N. H" u' g& R# z# v0 Q& z2 T
% W* b- r% O/ i" b8 F% j
7 P3 V: P8 x" a# B; Z/ k这里主要简单实现第三种方案(使用语言JAVA)：
  }2 D+ r( m, L6 [- j( f% ~
& O6 j- ], g& u6 C, T  w- ^
3 d, E5 p5 G# m. }2 j( ?# X+ H( V新建客户端 用于上传
8 p3 x7 d# e) p3 kHttpPostClient：
5 H" Y$ P, x7 z0 c. H: E% v; q

1. package com.itstyle.web;
   ) E0 h" U1 s! V4 J3 g
2. 
   6 F8 g" ^6 y. L# ?
3. import java.io.File;
   
4. import java.io.IOException;
   
5. 
   ( }7 h9 n+ G6 |8 n8 H% a
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   3 N+ p* T0 E# r6 Z/ T( w7 J% ^" e
10. import org.apache.http.client.HttpClient;
    
11. import org.apache.http.client.methods.HttpPost;
    
12. import org.apache.http.entity.mime.MultipartEntity;
    ( }5 r3 w- r, b
13. import org.apache.http.entity.mime.content.FileBody;
    1 Z" z3 Z  r& m8 T
14. import org.apache.http.entity.mime.content.StringBody;
    ! _: ^% ~% h# B3 Y6 m. A' ^& k
15. import org.apache.http.impl.client.DefaultHttpClient;
    ( ?# Z& O' N" X  Q3 S2 w) N
16. import org.apache.http.util.EntityUtils;
    + |- t6 j' w/ {; K* S: Z
17. /**
    
18. * 客服端
    + f& E9 ]7 D3 }( i
19. * 创建者        张志朋
    
20. * 创建时间        2016年4月14日
    5 U& u4 r; P$ X
21. * 科帮网 http://www.52itstyle.top
    
22. *
    
23. */
    
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    
26. 
    
27.                 HttpClient httpclient = new DefaultHttpClient();
    1 @" I8 S3 ~2 W
28. 
    9 n8 {+ N/ O5 R+ R( s
29.                 try {
    ; b2 a+ d+ j: F: F; ]# o  @3 r: N
30. 
    
31.                         HttpPost httppost = new HttpPost(url);
    + R0 F- {5 l9 g% G- O, C
32. 
    
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    9 Y3 ]. w6 O5 n# y2 I
34. 
    ; Y8 }! {1 w  u
35.                         StringBody comment = new StringBody(filename);
    
36. 
    
37.                         MultipartEntity reqEntity = new MultipartEntity();
    
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    7 r; S( h7 Z9 X) x. y
40.                         httppost.setEntity(reqEntity);
    5 d1 L/ V. u8 b: \+ D
41. 
    , I, y7 ]+ Q- i- V6 n$ J* O* B
42.                         HttpResponse response = httpclient.execute(httppost);
      u% O, \  W* n
43. 
    
44.                         int statusCode = response.getStatusLine().getStatusCode();
    ) N- I% ~# `" V0 b2 S
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    ; I! g! z' }1 h8 L# p& ?
47. 
    $ n3 D3 @2 K# X& w. w, w0 r; t
48.                                 System.out.println("服务器正常响应.....");
    
49. 
    
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    ( _" M+ m; G' B5 F1 ^
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    ( L9 ?+ Y, p" a0 s
53. 
    * k7 r! [9 Z+ _9 s& j- T
54.                                 System.out.println(resEntity.getContent());
    
55. 
    / \; I" u# y' M1 F4 }
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    ' o! Q( n8 b: x; w" @
58. 
    8 V& ?; Y8 `& ~8 w0 a4 M3 q: _
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    
61.                 } catch (IOException e) {
    & f, y2 B+ D/ f- O
62.                         e.printStackTrace();
    
63.                 } finally {
    & ^' ~& i4 ?7 p* g5 e" }' `
64.                         try {
    
65.                                 httpclient.getConnectionManager().shutdown();
    
66.                         } catch (Exception ignore) {
    7 ]4 E- h( E$ g
67.                                 
    / ^3 B( s0 B7 }" O+ s
68.                         }
    
69.                 }
    # Z; T& Z- O. c7 f; n- r+ L) u' S
70.         }
    
71.         /**
    
72.          * 自定义文件名称  和路径  win环境下测试
    
73.          * @param args
    ! h4 H  j0 \! R" ?! E. d
74.          */
    ) y) b' n0 ?4 b0 R0 \1 c. H
75.         public static void main(String[] args) {
    + W" o& p! y: D/ t
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    . C( L4 a( }! p9 J) [* y4 t' F1 V* [3 ?
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    ; u$ _' x- j6 G. S! U
78.         }
    
79. }
    
80. 
    

复制代码

* `' x% C7 t) U新建服务端 用于接收
HttpPostServer：
/ j$ I8 f8 K/ T4 T$ M3 G$ C+ Z

1. package com.itstyle.web;
   ( g6 X) k. ~: T& `% f7 h* P( _
2. 
   
3. import java.io.File;
   # L. L/ F: k  W2 s
4. import java.io.FileOutputStream;
   2 l& a8 A8 n# ~% E2 X' }
5. import java.io.IOException;
   & m& K) @) N( j# d$ A  p) H2 D
6. import java.io.InputStream;
   0 }( Z+ M& x. F8 M& t9 E5 u* ?
7. import java.io.PrintWriter;
   & N% }- E/ ^" b1 |: ?$ w3 G
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   & S6 g* h$ G, o: o
10. import java.util.List;
    
11. 
    
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    6 G; m8 o9 e- b
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    : e- H' J/ P6 Y2 a- t4 \$ I
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    # Z) h+ P( M/ M
21. /**
    + m( c3 {) |* U6 o4 \" e* F
22. * 服务端 接收文件
    
23. * 创建者        张志朋
    
24. * 创建时间        2016年4月14日
    
25. * 科帮网 http://www.52itstyle.top
    2 x  V  B3 f* ~! a2 Z3 ?* E/ V" O
26. */
    
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    
29. 
    : A! l$ f8 ^" ?! I7 e0 w
30.         @Override
    # ~; l2 Y- L$ T8 k4 ]
31.         public void init() throws ServletException {
    3 o3 m, Y/ R. q' u
32. 
    5 I) |& h, b9 x2 g% L! N$ Q- R% l
33.         }
    # v8 M9 F9 J: b- _( f- @
34. 
    , F0 ]# E* Q4 M- ^+ H
35.         @SuppressWarnings("unchecked")
    9 t; W& {, b; ~1 L' B
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    
37.                         throws ServletException, IOException {
    1 f( }" }: T2 F0 _# H  x
38.                 PrintWriter out = null;
    
39.                
    
40.                 response.setContentType("text/html;charset=UTF-8");
    % J" H- Z+ J0 E) A1 Y# Q
41.         String basePath = "d://test1";
    
42.                 FileItemFactory factory = new DiskFileItemFactory();
    - V1 @2 z7 Y7 u% Y+ |
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    
46.                 String message = "";
    
47.                 try {
    , q( W1 o3 k) n4 z* X' D
48.                         items = upload.parseRequest(request);
    3 j7 ?/ c- {7 M# x/ q* ], w% T8 i2 }
49.                         // 得到所有的文件
    
50.                         Iterator<FileItem> it = items.iterator();
    
51.                         while (it.hasNext()) {
    0 Y& d3 V& ~! `& n) F# g
52.                                 FileItem fItem = (FileItem) it.next();
    5 _- ?- S- e) L$ u1 d" M! }
53.                 if(!fItem.isFormField()){
    ) M+ }& o* k, c% [9 ]' [
54.                         String name = fItem.getName();
    ' X& I4 ^3 q6 y( e2 ?
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    / d- j) d5 F5 T! ^1 ]% o9 y
57.                                 directory = new File(basePath);
    
58.                                 directory.mkdirs();
    
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    
62.                                 byte[] buffer = new byte[1024];
    ! a! |7 Y6 k! |  y, Y7 ~
63.                                 while (is.read(buffer) > 0) {
    $ p. D  p: r6 ~2 q5 P
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    
66.                                 fos.flush();
    
67.                                 fos.close();
    6 _( G2 Z6 D+ S* x4 a' i. |
68.                         }
    4 H7 ?) u  F& E5 c  }$ M4 ~$ E2 e
69.                 }
    , Q! T4 u2 Z( |- w, ^
70.                         }
    
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    ) I& h* r3 X" `6 h$ I2 @/ C6 T
76.                         out = response.getWriter();
    
77.                         out.print(message);
    4 {5 y: I9 D1 P0 h% R2 B
78.                         out.close();
    " k, X# H4 F" C+ `9 q) U1 F
79.                 }
    ) ^  i( ^- D2 Z. _# I
80.         }
    
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
82.                         throws ServletException, IOException {
    3 j( E9 Y2 D9 e* T8 D
83.                 doGet(request, response);
    $ n& L* o( _3 `
84.         }
      ~* J1 L, ^% i; {+ U/ f6 j4 \
85. }
    
86. 
    

复制代码

, T0 _1 k8 O- l$ k* r2 f所需要JAR包
/ n1 j1 Y( U9 U/ z" U$ I  u5 i# t  Jcommons-codec-1.6.jar
4 U" A3 t- q& m8 O+ Q8 P- Scommons-fileupload-1.2.1.jar
commons-io-1.3.2.jar
commons-logging-1.1.1.jar
fluent-hc-4.2.jar
5 P# n! T( _5 r0 `( p8 Uhttpclient-4.2.jar
. T. ]' {; f9 w3 g* R  Khttpclient-cache-4.2.jar
' u5 R) H) c  w& Rhttpcore-4.2.jar
httpmime-4.2.jar

项目下载地址：点击下载

7 u4 `2 [9 M5 z$ p  u& T- p
& O& E' G+ C$ m, q& E密码：

游客，如果您要查看本帖隐藏内容请回复

, z! g$ Q: F4 P/ K' v- p9 v

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些