文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html
, N; |6 R; f6 ~8 D
. Y7 x: ~, Q" |% L4 H一、项目需求
+ F+ g) `/ D) |6 W' R+ T" ^; e       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。

二、文件服务解决方案
0 U2 q- O+ P! g9 Y7 t2 U' ]; T1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。

* Y, R0 T, S) E7 o2 |
+ S( d4 _, Y! F0 ]" u: Q- Y- r配置详见：http://www.52itstyle.top/thread-10764-1-1.html
" t9 O$ }5 o. W! g8 S7 |

8 R$ b* m( Q3 \3 O2 e2 N2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。


5 ~5 g, F3 ~+ @- }! i配置详见：http://www.52itstyle.top/thread-17263-1-1.html
: P  B8 v1 _% D  w/ i- a: O5 h
! R+ z0 q; f% X$ I, ~
4 S# U3 z" a2 q/ _7 t; y/ u( Z3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。

8 N5 {/ K$ W6 A2 B) G. {
4 _1 H1 [+ A! h0 z4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。

" F9 E. u$ v; F- N4 |0 u
5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。
- I& H) c- G5 n1 D4 t
- M1 [' ]5 A* R) n
; e7 I: G% \( F" M5 n这里主要简单实现第三种方案(使用语言JAVA)：

8 R7 @" d6 j& @, y: W- A( g1 ^
新建客户端 用于上传
HttpPostClient：
: {/ b# w8 U7 X7 x7 o6 Q6 y( C$ l

1. package com.itstyle.web;
   ( q, N1 F2 R' O) S( O1 H( Z; \
2. 
   / |0 \2 W8 \; O5 r8 i% U% A
3. import java.io.File;
   , D" \8 ]/ d0 C
4. import java.io.IOException;
   . g# x* {8 [+ t- q8 P* Q
5. 
   ; W  F* m0 g, T5 {' W' P
6. import org.apache.http.HttpEntity;
   1 [2 K) B, r! X/ n: g6 m$ l
7. import org.apache.http.HttpResponse;
     w7 r# h* _. k- O* ?
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   1 O. G, J: h, I/ D! ]
10. import org.apache.http.client.HttpClient;
    6 D5 h( A" w0 |: J
11. import org.apache.http.client.methods.HttpPost;
    
12. import org.apache.http.entity.mime.MultipartEntity;
    
13. import org.apache.http.entity.mime.content.FileBody;
    , v6 @( H6 [8 V( I; \9 n) `
14. import org.apache.http.entity.mime.content.StringBody;
    
15. import org.apache.http.impl.client.DefaultHttpClient;
    
16. import org.apache.http.util.EntityUtils;
    # `$ d6 a4 y4 f6 G
17. /**
    . x$ G0 _. V( K% S5 T
18. * 客服端
    " V; W7 b0 w, T& z* p
19. * 创建者        张志朋
    
20. * 创建时间        2016年4月14日
      I5 @0 {2 K* C- U. ~+ e/ x) T
21. * 科帮网 http://www.52itstyle.top
    
22. *
    $ \, U  e% a1 Y# P( K& o
23. */
    0 u4 d! P+ Y/ a8 w, p7 y% B. L: W
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    
26. 
    
27.                 HttpClient httpclient = new DefaultHttpClient();
    * d' I4 s3 N( E- U/ C. ?
28. 
    
29.                 try {
    8 [5 b. U( Y# B9 w
30. 
    7 Q# z- R5 i: {
31.                         HttpPost httppost = new HttpPost(url);
    1 x3 W6 f* [# d4 @1 d1 n7 u
32. 
    ( g9 c1 h2 ^/ l1 p% d5 |/ U( b  b- P
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    + A$ X: X+ [  L2 G7 I+ h
34. 
    
35.                         StringBody comment = new StringBody(filename);
    
36. 
    
37.                         MultipartEntity reqEntity = new MultipartEntity();
    
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    
41. 
    
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    
44.                         int statusCode = response.getStatusLine().getStatusCode();
      b$ b0 q! {) b! _2 z! W4 B
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    
47. 
    : Q5 J7 T. n9 {5 V4 ~
48.                                 System.out.println("服务器正常响应.....");
    ' g$ t8 T% y, G1 @, }6 {
49. 
    5 p% h: \/ P1 Z) ~
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    ) n* G  \0 f! }1 M* C7 ]0 z
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    0 H3 B/ D+ m/ _% E
53. 
    6 ^% p2 v0 k/ x, [7 R
54.                                 System.out.println(resEntity.getContent());
    
55. 
    
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    
58. 
    
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    # j( a; M/ Z, \, O" Q- P
61.                 } catch (IOException e) {
    
62.                         e.printStackTrace();
    ( p6 j1 P. e4 [. {
63.                 } finally {
    % `2 Y2 U- }! S: L
64.                         try {
    6 e0 i7 q# o- P0 r- V
65.                                 httpclient.getConnectionManager().shutdown();
    * Q! J& a5 \9 C3 j) n' a
66.                         } catch (Exception ignore) {
    
67.                                 
    
68.                         }
    
69.                 }
    
70.         }
    2 I% s3 E' D. y% m6 ]: H& Z  i& Z
71.         /**
    
72.          * 自定义文件名称  和路径  win环境下测试
    3 P0 M( I* p2 u1 ^
73.          * @param args
    . [! j: {" S+ @/ [. {6 Y
74.          */
    + o% O* v, e" x, \" u
75.         public static void main(String[] args) {
    " {8 n- T$ A' a$ D- u
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    0 Z1 I: R( o- K9 d1 A
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    , ~' w  i7 t: ~0 o0 Z0 p
78.         }
    * Y* q0 X* b9 ?5 _) a* @4 c
79. }
    
80. 
    

复制代码

新建服务端 用于接收
: R3 N1 |* F& n* S9 W0 G6 ~* h+ K8 e5 bHttpPostServer：
4 f' @5 k& _* a9 i; t5 H4 J8 p

1. package com.itstyle.web;
   8 p2 i% ?- s; H% X
2. 
   9 }( w" ~+ H# m1 `- `  }
3. import java.io.File;
   
4. import java.io.FileOutputStream;
   
5. import java.io.IOException;
   
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   + `5 s1 y% M! J, r, u4 }4 O
8. import java.util.ArrayList;
   $ y# x6 C: y9 X" D+ B
9. import java.util.Iterator;
   
10. import java.util.List;
      q+ ]$ M  S. ?* D4 i) @" p4 C% f
11. 
    
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    " C& j/ J$ ~  b6 W( M6 ?  ^5 a
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    % U  r! t$ @- E1 |
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    + o8 v  j; g% Z& B: u
21. /**
    1 I; l; k7 j$ M6 e
22. * 服务端 接收文件
    3 K/ f8 w' a/ T8 T. X& l, k
23. * 创建者        张志朋
    & Q* U: i2 J# l3 }1 c+ E
24. * 创建时间        2016年4月14日
    % B# L; Z6 b" W
25. * 科帮网 http://www.52itstyle.top
    
26. */
    8 K5 s$ R; o% {, ]0 x
27. public class HttpPostServer extends HttpServlet {
    ; d; {7 _# K! D2 E/ }, _+ N- Q
28.         private static final long serialVersionUID = -1002826847460469784L;
    
29. 
    
30.         @Override
    
31.         public void init() throws ServletException {
    7 U6 j% `% U) R* U* N
32. 
    6 W6 R/ ^( m  v; B8 j; c( f3 r
33.         }
    
34. 
    
35.         @SuppressWarnings("unchecked")
    
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    $ `* E" E4 K& `* @. \
37.                         throws ServletException, IOException {
    . O8 l8 N( O/ a2 d- M
38.                 PrintWriter out = null;
    
39.                
    # _$ z, S% s$ J& u& ~$ Y( Q  h4 Q
40.                 response.setContentType("text/html;charset=UTF-8");
    . ?* r# M$ l3 U1 z+ L9 y
41.         String basePath = "d://test1";
    
42.                 FileItemFactory factory = new DiskFileItemFactory();
    , w% O9 K3 F& Q0 d
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    % j# b- j8 i* t# D% ?' A
45.                 List<FileItem> items = new ArrayList<FileItem>();
    0 Q  w* e( X" N4 x8 ~8 ]
46.                 String message = "";
    
47.                 try {
    
48.                         items = upload.parseRequest(request);
    8 P+ O, C7 I7 _9 y/ C$ o5 {
49.                         // 得到所有的文件
    
50.                         Iterator<FileItem> it = items.iterator();
    
51.                         while (it.hasNext()) {
    ! ]9 H- M  R7 S) N, m/ p& n
52.                                 FileItem fItem = (FileItem) it.next();
    & i+ `7 D& R3 C& R1 s) I, N: z( g
53.                 if(!fItem.isFormField()){
    ) e9 A$ K8 n+ N0 Q
54.                         String name = fItem.getName();
    0 e4 \7 b+ ~% X! y, e* \1 V
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    8 E3 H' s! ]& N+ n, M
57.                                 directory = new File(basePath);
    
58.                                 directory.mkdirs();
    
59.                                 String filePath = (basePath)  + File.separator + name;
    ! o! Q# x* G8 ^* a7 x% [- w
60.                                 InputStream is = fItem.getInputStream();
    
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    
62.                                 byte[] buffer = new byte[1024];
    
63.                                 while (is.read(buffer) > 0) {
    
64.                                         fos.write(buffer, 0, buffer.length);
    & H9 [/ ~: o: z" R; X
65.                                 }
    
66.                                 fos.flush();
    
67.                                 fos.close();
    
68.                         }
    
69.                 }
    ( b- A+ Q8 I$ z/ k" D* T
70.                         }
    
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
    + q( V: Y: S- h0 R
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    
76.                         out = response.getWriter();
    ) N7 i1 a. [& O4 ?/ e" l  X" w
77.                         out.print(message);
    
78.                         out.close();
    
79.                 }
    
80.         }
    
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    2 E3 D4 n* m2 F4 e1 e$ q3 y
82.                         throws ServletException, IOException {
    $ {, Y4 M  _8 |1 q" Z
83.                 doGet(request, response);
    & h! w$ v" s" p( ^4 ]
84.         }
    / |! y# v) N: a, l/ P
85. }
    
86. 
    

复制代码

所需要JAR包
commons-codec-1.6.jar
" X- q' B* |; W' @/ C) m7 Gcommons-fileupload-1.2.1.jar
commons-io-1.3.2.jar
% u! _( W0 B3 y  v; m$ lcommons-logging-1.1.1.jar
fluent-hc-4.2.jar
httpclient-4.2.jar
httpclient-cache-4.2.jar
httpcore-4.2.jar
. ?/ e: _  e5 F( Y2 Lhttpmime-4.2.jar

项目下载地址：点击下载


9 L9 ]8 d" W/ _4 u3 ]. g密码：

游客，如果您要查看本帖隐藏内容请回复

" T$ h  S3 l: _) W

5 b8 d; {% L( V) q$ g$ ?

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些