文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html

! q5 l8 P! A( P- Z一、项目需求
       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。
: y( p1 O) w5 F5 c8 F3 {# L

. O- K" N. G/ y( J9 T% n
1 Y9 W* _: a, U. a二、文件服务解决方案
1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。
( c0 N" N, `: F* w, Q3 ?
0 M7 Z  {; R. V$ ?8 H+ {1 t
2 `4 \- u: b% u3 S6 D9 J- |0 C配置详见：http://www.52itstyle.top/thread-10764-1-1.html

! v% b% ^( N( d/ r8 z" @8 h: ~
2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。

+ x" b- U( e. J, d
1 x# N; @0 j- R  K9 \配置详见：http://www.52itstyle.top/thread-17263-1-1.html
; ^# p4 s$ c3 k) W  f
2 n3 W0 h* ~* k! q4 i' b! R
3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
$ w, O4 i: D( g# t# i7 n' r

! O: S8 M: S+ q/ Q5 b4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。

: O* u0 g# R5 }) W0 ~2 Q
; @6 S) a$ d) r9 m1 l, N% ?5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。
% ^! @9 _5 i2 n+ ?; Z6 Z
/ [1 m3 ]& P9 P' J) d5 U
这里主要简单实现第三种方案(使用语言JAVA)：

9 P0 d0 q$ R; g/ q  E1 J
新建客户端 用于上传
3 {6 T/ Q7 m0 D& d5 |HttpPostClient：
" k9 y" g$ t$ E+ i" I9 m: A

1. package com.itstyle.web;
   . d5 p6 m: {6 J' x
2. 
   
3. import java.io.File;
   8 [( W+ w5 l4 R) i* p/ n9 l& `
4. import java.io.IOException;
   
5. 
   
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   ; ^" A  Z9 ?7 {+ [1 |
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
      o; t* v5 `9 _- H
11. import org.apache.http.client.methods.HttpPost;
    + x2 k5 ?; U6 L, `
12. import org.apache.http.entity.mime.MultipartEntity;
    $ P8 Q$ K4 f8 A. p7 ]0 ^" B
13. import org.apache.http.entity.mime.content.FileBody;
    
14. import org.apache.http.entity.mime.content.StringBody;
    ( q$ }" p' _' H! c0 y, r
15. import org.apache.http.impl.client.DefaultHttpClient;
    ; I; R4 v- B( c5 F! h
16. import org.apache.http.util.EntityUtils;
    - g7 G1 D* l6 q# d0 Q6 |# ~" U
17. /**
    % ~0 P/ b" @& p4 ^" N4 e
18. * 客服端
    . z9 h% ^7 y! p- t: h' o, x& y$ R/ r. q5 }
19. * 创建者        张志朋
    + U% l) q7 g& @& k
20. * 创建时间        2016年4月14日
    6 Q  }  a+ P8 N  t5 t/ l2 l, n
21. * 科帮网 http://www.52itstyle.top
    , R) q7 g0 z: ^/ s$ Y+ t
22. *
    
23. */
    
24. public class HttpPostClient {
    ) N5 H7 t! g! j- l: s
25.         public void SubmitPost(String url, String filename, String filepath) {
    
26. 
    
27.                 HttpClient httpclient = new DefaultHttpClient();
    
28. 
    
29.                 try {
    
30. 
    4 H# l. O! ]9 W) r- }: n" Q6 E$ T9 @
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    & P2 C, @4 [0 n6 B8 y+ T9 c
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    ( L, Q) y# E8 L1 }& p- Q
34. 
    
35.                         StringBody comment = new StringBody(filename);
    2 C+ f) A( V/ [3 @
36. 
    3 H5 T1 O" m' `( E6 r+ E! }
37.                         MultipartEntity reqEntity = new MultipartEntity();
      I# u9 b5 D; L
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    + i0 l2 V: F! Q! ]9 t; v
41. 
    
42.                         HttpResponse response = httpclient.execute(httppost);
    2 @3 d& V& H! {! ~- a6 z2 U. ~8 e9 [
43. 
    ! }6 Z$ H- S6 g  C8 R* T
44.                         int statusCode = response.getStatusLine().getStatusCode();
    ; {8 U$ _& i4 ~+ ~* T$ h
45. 
    % s6 f! Y& m  Q* |4 [' H/ P+ n. P9 M
46.                         if (statusCode == HttpStatus.SC_OK) {
    
47. 
    
48.                                 System.out.println("服务器正常响应.....");
    + p7 }9 k0 n) _# \% n( q$ d! ]8 N
49. 
    
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    , y. [  E0 r! h6 P1 P. A
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    
53. 
    4 V% b0 x9 s1 V, L
54.                                 System.out.println(resEntity.getContent());
    8 Y: d  \, s9 B5 I
55. 
    
56.                                 EntityUtils.consume(resEntity);
    4 ?' k6 x; k6 O) N' }
57.                         }
    / Q' |8 w/ v6 p4 \& }) t. N
58. 
    
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    
61.                 } catch (IOException e) {
    7 P3 {4 o- u0 }* l8 f
62.                         e.printStackTrace();
    0 z! F0 T4 \: ~, ]4 J
63.                 } finally {
    ' G. n0 V# r9 _$ T6 ]  Y4 L
64.                         try {
    
65.                                 httpclient.getConnectionManager().shutdown();
    0 [# D( m6 x( p  T
66.                         } catch (Exception ignore) {
    
67.                                 
    
68.                         }
    
69.                 }
    
70.         }
    
71.         /**
    9 K, @2 ^1 _/ V% Q
72.          * 自定义文件名称  和路径  win环境下测试
    
73.          * @param args
    : d# t! Q' S. }  S. g
74.          */
    
75.         public static void main(String[] args) {
    
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    9 T" N0 T% ^4 s  n: N" G7 H
80. 
    

复制代码

# J& |$ o1 |- P6 U2 b; p新建服务端 用于接收
1 \( ^5 N; y: K6 z7 sHttpPostServer：

1. package com.itstyle.web;
   " K) m8 ^9 z$ w: }& n! i0 x
2. 
   
3. import java.io.File;
   ' ]& b+ e. a5 F# v7 V; b
4. import java.io.FileOutputStream;
   
5. import java.io.IOException;
   ' {- n9 S2 y; Q4 w3 T
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   ! T8 n/ d2 U) R1 }% _8 e
10. import java.util.List;
    
11. 
    
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    
14. import javax.servlet.http.HttpServletRequest;
    , C* t+ B6 Y- {. v+ x! k* X* |
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    3 M0 j; K5 |4 K. P
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    $ w: ]* J7 e& p& n
21. /**
    # e$ o9 z% j; b  Z+ Q8 @% Q
22. * 服务端 接收文件
    $ `) {9 \  v& E
23. * 创建者        张志朋
    ) t; M: x% ~# V6 I
24. * 创建时间        2016年4月14日
    ( U; h( e# [- u: D- T
25. * 科帮网 http://www.52itstyle.top
    
26. */
    
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    " s+ Q7 n% Y! }0 A6 K
29. 
    0 z2 {/ B' @; s' M7 e( \
30.         @Override
    
31.         public void init() throws ServletException {
    
32. 
    
33.         }
    
34. 
    4 w! k# X* H7 h/ }' X* A5 ]! j" E1 B4 D( L
35.         @SuppressWarnings("unchecked")
    $ c5 n& R" S2 `% k1 ]
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    & t( d. M- @  ~* G+ M) v" I6 |- F
37.                         throws ServletException, IOException {
    
38.                 PrintWriter out = null;
    / w; g& D& l, B9 W) Z; k
39.                
    + V5 d/ c% ]+ r: j0 c/ o3 d% I: U: ]( |
40.                 response.setContentType("text/html;charset=UTF-8");
    
41.         String basePath = "d://test1";
    * H; X% U3 v7 a/ a8 Z3 z
42.                 FileItemFactory factory = new DiskFileItemFactory();
    + E: J  `7 G) o5 r' y' H
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    " R3 F. K* g0 S) f+ ?. T' h: Z
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    
46.                 String message = "";
    - V1 F/ D2 |# e, A
47.                 try {
    6 y, ?9 @; R4 f# F) z
48.                         items = upload.parseRequest(request);
    
49.                         // 得到所有的文件
    
50.                         Iterator<FileItem> it = items.iterator();
    
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    - T" {, g0 S& Z
53.                 if(!fItem.isFormField()){
    
54.                         String name = fItem.getName();
    
55.                         if (name != null && !("".equals(name))) {
    % k0 V( p* V4 r8 \
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    
57.                                 directory = new File(basePath);
    / k* {; t! R. a; |' g6 E
58.                                 directory.mkdirs();
    4 p  \) {7 o- t! g
59.                                 String filePath = (basePath)  + File.separator + name;
    1 \% l9 L  G1 b1 [/ _: j
60.                                 InputStream is = fItem.getInputStream();
    0 f7 w9 C% e6 b& Q
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    6 c- h8 Z' x/ U; H/ x6 @
62.                                 byte[] buffer = new byte[1024];
    9 w- B: x0 q( `& y5 a& m4 \
63.                                 while (is.read(buffer) > 0) {
    6 z1 A  w' U7 u3 ]+ z2 O, I8 A, I  u
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    + M5 F& Y) J, x
66.                                 fos.flush();
    - I3 `1 L& C1 G* h6 B3 ^
67.                                 fos.close();
    
68.                         }
    ; x5 a4 {+ l! a0 N9 Z0 F
69.                 }
    7 t# F- y" I* a2 k& n3 m3 n8 j6 Q
70.                         }
    ! \( E4 F$ w9 a  x+ l
71.                         message = "{success:true, msg:'接收成功'}";
    4 C* E/ I0 H; ~( R0 @/ E
72.                 } catch (Exception e) {
    . z# z' k% F8 }8 X% l
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    - p. m& z! w3 F. I1 f6 J
74.                         e.printStackTrace();
    ) n+ A. v: n/ i0 {. S
75.                 }finally{
    
76.                         out = response.getWriter();
    6 T( |) z4 |. `# G" a1 d! x+ {
77.                         out.print(message);
    
78.                         out.close();
    9 m$ b" i+ {0 S' @3 h6 n" c
79.                 }
    
80.         }
    
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    9 y% t' w4 E# ?* Z# q
82.                         throws ServletException, IOException {
    
83.                 doGet(request, response);
    / g2 l% M' n/ w+ k" D5 m7 M, k
84.         }
    $ O- x( A2 j3 C8 `8 V9 M
85. }
    
86. 
    / h# ^# v* \! s& y$ b! Q# f

复制代码

# I' u3 `# r1 M; ^; c6 p2 H" Y所需要JAR包
2 ^. l, c8 t4 |" U: a" Ucommons-codec-1.6.jar
commons-fileupload-1.2.1.jar
4 _: f9 G& r$ e% Mcommons-io-1.3.2.jar
commons-logging-1.1.1.jar
+ d. @4 Z" Z1 q* P9 W9 B0 J+ h: p+ Cfluent-hc-4.2.jar
6 f7 l' H- }3 H& k4 Zhttpclient-4.2.jar
, @) S, Q  P( vhttpclient-cache-4.2.jar
httpcore-4.2.jar
httpmime-4.2.jar
5 n5 \2 [" J1 d* e, }) x
项目下载地址：点击下载
( Z  @& {  {% ?" N0 F
0 J1 v; z6 a/ i1 ]
+ U! _6 H0 p6 `! M密码：

游客，如果您要查看本帖隐藏内容请回复

9 G* l! ?" U" K

8 k& r# h+ a- D) y# y- p
7 |1 V5 n& [* i, z7 T" r5 D! I+ H

admin

大家 也可以分享  自己的想法

admin

我很无奈 发表于 2016-4-21 02:43
学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

admin

喜欢若 发表于 2016-4-26 05:21
原谅我基础差，看不懂，下次可以写的更简练一些

9 o+ o- b" u/ K9 I8 v" j( m( o$ B好好 学习 一起进步

admin

测试一下 弹出效果                 

admin

mzc521980 发表于 2016-7-8 01:38
9 A9 c* w7 `  i* P+ |当一位忠实的观众

哈哈 多谢