文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html

一、项目需求
7 ~. A, B; p4 M" Q$ Z9 d: u       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。

  I6 k* ^: A: E. C2 V; g
' ~% X  w2 S1 }2 j! w二、文件服务解决方案
! F0 X! d# a! U2 _! v5 X9 z5 C# m1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。
% J# ?- g6 a1 u5 [

配置详见：http://www.52itstyle.top/thread-10764-1-1.html
5 e- [) l' T7 o9 R+ O9 x
+ |6 F( d* ]& @4 B$ U0 v' `
: G" G$ Q  [, }2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。
8 [1 l2 ?. g0 a, N- B6 }: U* m+ K# f
1 I, P; {2 E, x- x
, p. g) r6 d. [+ t5 V配置详见：http://www.52itstyle.top/thread-17263-1-1.html
3 |- Y0 H9 a! v6 S3 H5 U# I4 x
4 u- S- {- H  d
3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
, O+ ~) Y* k9 I, G

. g) E: W$ p" H: z) @/ Y: {5 H( s4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。


: J1 U& V  ^9 S. }$ B5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。

4 Q4 W4 y6 m$ a) J2 Y
这里主要简单实现第三种方案(使用语言JAVA)：


新建客户端 用于上传
HttpPostClient：
2 g  F9 o" S! h* e. d9 ^7 g3 l

1. package com.itstyle.web;
   
2. 
   ; S3 ~1 h2 d% u, p+ ]
3. import java.io.File;
   
4. import java.io.IOException;
   
5. 
   
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    
11. import org.apache.http.client.methods.HttpPost;
    
12. import org.apache.http.entity.mime.MultipartEntity;
    
13. import org.apache.http.entity.mime.content.FileBody;
    , f* a' h& t1 w% ~
14. import org.apache.http.entity.mime.content.StringBody;
    
15. import org.apache.http.impl.client.DefaultHttpClient;
    
16. import org.apache.http.util.EntityUtils;
    & z4 t) d8 r2 l# X, ]$ \
17. /**
    - ]# O8 t5 @- _1 s4 L% j7 Y, }
18. * 客服端
    
19. * 创建者        张志朋
    
20. * 创建时间        2016年4月14日
    
21. * 科帮网 http://www.52itstyle.top
    
22. *
    * }9 `6 t7 o  k9 _
23. */
    4 k. _- e! |$ t0 S
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    1 v7 e, A5 g  O6 P
26. 
    
27.                 HttpClient httpclient = new DefaultHttpClient();
      ?. c* I! N* U! e) x9 W6 o0 x5 R; d
28. 
    # O# G  b; f% \( k7 Y/ g- b2 {) N2 N9 ]
29.                 try {
    4 ]0 F# M  }' I! D8 N, T
30. 
    
31.                         HttpPost httppost = new HttpPost(url);
    7 m/ A6 y  f6 P
32. 
    7 l, l* C& X+ [' r" s
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    4 E/ U, E& F! u2 k  |+ I9 ^) x+ |4 Q
34. 
    
35.                         StringBody comment = new StringBody(filename);
    
36. 
    2 n8 \; v- _6 p  w' B6 N
37.                         MultipartEntity reqEntity = new MultipartEntity();
    8 C1 R& i' X* F9 Y
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    
41. 
    1 O, G7 e- p  B. c. o
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    ! C+ \% y- P1 D
44.                         int statusCode = response.getStatusLine().getStatusCode();
    
45. 
    " p, u: ]8 T: C3 q9 L, y
46.                         if (statusCode == HttpStatus.SC_OK) {
    , f' g0 u7 U# c
47. 
    ! \% t/ K, K/ p1 b
48.                                 System.out.println("服务器正常响应.....");
    + r* Q4 p  u2 j+ Q2 ]
49. 
    3 R+ q$ c/ a. t# o, U3 {: t; t; R: {9 i
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    & e4 Q3 U- y' C- y3 k& X  `
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    
53. 
    - m# S! h0 X( j
54.                                 System.out.println(resEntity.getContent());
    
55. 
    . p' H6 X) j7 s2 ^6 g8 r
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    5 E- C2 z& ?/ g# O) X
58. 
    9 ]( l* A' k" L0 ?. K
59.                 } catch (ParseException e) {
    : A6 x* K9 m7 I) ]' E# }9 I" W
60.                         e.printStackTrace();
    : q8 g4 e0 O8 d- K7 M# q2 l
61.                 } catch (IOException e) {
    
62.                         e.printStackTrace();
    * K# s8 E$ a, \. ~3 l: w. u- s
63.                 } finally {
    
64.                         try {
    " D) @) q; a, t' T
65.                                 httpclient.getConnectionManager().shutdown();
    
66.                         } catch (Exception ignore) {
    4 b+ I5 K8 R4 F+ H
67.                                 
    , U& F5 O4 @2 N0 E4 a# b4 C5 d
68.                         }
    
69.                 }
    
70.         }
    
71.         /**
    
72.          * 自定义文件名称  和路径  win环境下测试
    
73.          * @param args
    - C! G5 \7 |( |% k( Z: g/ _
74.          */
    
75.         public static void main(String[] args) {
    
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    ! W! m2 X/ Q1 h) h: z8 o
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    1 Y9 o$ m1 t7 ~4 q
80. 
    

复制代码

0 ?& w* n1 m/ B( m
- ?* K8 Y0 |, }- i
# {( ~1 X$ i6 ^1 w2 F新建服务端 用于接收
/ T7 y$ \3 `! u" L0 ?HttpPostServer：

1. package com.itstyle.web;
   , i4 B2 y* H+ u& j/ S
2. 
   + B8 S1 V/ p" e  e& D
3. import java.io.File;
   . i' @5 x- U5 M7 J: ~/ T
4. import java.io.FileOutputStream;
   9 z. e$ k+ _# M4 F+ I$ o9 M
5. import java.io.IOException;
   
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   ; I. y& ^% o3 M) _
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   8 A7 V8 `; F1 p+ C$ ]
10. import java.util.List;
    
11. 
    
12. import javax.servlet.ServletException;
      h5 @! m) g; h4 x4 K
13. import javax.servlet.http.HttpServlet;
    
14. import javax.servlet.http.HttpServletRequest;
    " x  u3 ^; i- O1 J( j' r
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    
17. import org.apache.commons.fileupload.FileItem;
    - p( D7 @6 q5 t8 y, M% ?) m
18. import org.apache.commons.fileupload.FileItemFactory;
    , F) D* R5 B( u, r7 L; A
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    4 r2 M: i1 O& j
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    + Z" y( U1 S1 f+ Q$ U
21. /**
    . l% F/ O5 {: ^( Y; c
22. * 服务端 接收文件
    4 q* m% L1 p9 u0 i' b6 a% n7 ]
23. * 创建者        张志朋
    9 r0 u) j5 b8 \, H$ C, X+ z
24. * 创建时间        2016年4月14日
    
25. * 科帮网 http://www.52itstyle.top
    5 w+ \# ~$ S/ C' Z" I
26. */
    & k- i- U% g9 o% C
27. public class HttpPostServer extends HttpServlet {
    4 m1 K1 b5 U7 h! F* e
28.         private static final long serialVersionUID = -1002826847460469784L;
    
29. 
    
30.         @Override
    ( e) h, y% q! I8 v/ U( T8 i
31.         public void init() throws ServletException {
    
32. 
    4 A- r1 d0 x- u" N# Y3 r( T4 V8 a6 C6 S
33.         }
    
34. 
    
35.         @SuppressWarnings("unchecked")
    
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    4 ~9 e- O- A) e" u6 J( Y# q
37.                         throws ServletException, IOException {
    " d/ T- N, q0 E6 h$ h3 ^1 @
38.                 PrintWriter out = null;
    
39.                
    - R0 ]# N8 Y5 E. u" ~
40.                 response.setContentType("text/html;charset=UTF-8");
    , y0 `0 L4 {& }3 _7 o6 O# C" A9 q
41.         String basePath = "d://test1";
    
42.                 FileItemFactory factory = new DiskFileItemFactory();
    
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    2 l2 i% q: E4 Z4 N' N6 g, ]* Z- h
46.                 String message = "";
    
47.                 try {
    
48.                         items = upload.parseRequest(request);
    9 u: i  q8 t  I
49.                         // 得到所有的文件
    
50.                         Iterator<FileItem> it = items.iterator();
    0 F* Q$ A; |4 l
51.                         while (it.hasNext()) {
    0 b! H/ P% M7 ^6 z% W, f7 i
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
    
54.                         String name = fItem.getName();
    ( C( j5 y$ N; O8 w* e$ R
55.                         if (name != null && !("".equals(name))) {
    ) p3 d. m2 f& h; E2 t
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    ( u7 b0 E" Z/ `# V
57.                                 directory = new File(basePath);
    
58.                                 directory.mkdirs();
    0 W, u/ G, m* ]9 K# A
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    
62.                                 byte[] buffer = new byte[1024];
    
63.                                 while (is.read(buffer) > 0) {
    
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    # v' x$ f* i2 ~$ n, r4 v$ O
66.                                 fos.flush();
    
67.                                 fos.close();
    
68.                         }
    $ c' N1 W: M" X' ^
69.                 }
    6 Z, }8 |: l$ C3 R4 X' V8 F2 H4 Q
70.                         }
    
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
      T2 t! J: {2 d5 J& i9 H
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    2 N$ G+ m: I; d, {! J' R) ^7 k
75.                 }finally{
    ! C3 V/ ~( D" W4 ?' {
76.                         out = response.getWriter();
    ) I9 C% k4 ^3 o3 l' p
77.                         out.print(message);
    
78.                         out.close();
    2 M- d' E, I: G' I! N
79.                 }
    
80.         }
    $ b/ a9 r9 v6 B; n
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
82.                         throws ServletException, IOException {
    
83.                 doGet(request, response);
    
84.         }
    ; A4 T% R$ e* Y, a1 Y
85. }
    
86. 
    

复制代码

所需要JAR包
) N/ e1 T( c- a$ h" M' u) l$ |# |+ |commons-codec-1.6.jar
commons-fileupload-1.2.1.jar
1 @1 k7 S* i6 I9 F; [, pcommons-io-1.3.2.jar
commons-logging-1.1.1.jar
fluent-hc-4.2.jar
httpclient-4.2.jar
5 @4 `7 T$ t$ m# bhttpclient-cache-4.2.jar
httpcore-4.2.jar
httpmime-4.2.jar

8 a3 t, \4 B- |. P( `! v项目下载地址：点击下载
( r6 f- w2 P( k' E  F0 C7 K
3 ]0 C7 K( \$ O% G# ]) j. h( _7 m
  a  }" }/ j! T密码：

游客，如果您要查看本帖隐藏内容请回复

* F+ j, X3 h, i

& m4 u; v9 i- N$ }; t6 L. E0 d

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
, D4 \' d& t5 b' T4 h0 f+ c/ L学习 学习  顺便说下  这看起来是不是有点简单？

+ ?- W9 N$ }1 E- F& V有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些