文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html

一、项目需求
       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。
: x' X: S: q  |7 Y' j* ^

$ E% e% J- H8 X0 [5 x
. g$ U5 H# |; s二、文件服务解决方案
1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。
/ [7 _6 \7 m, f6 o) `
3 u% b) O6 j3 A/ O8 B' v
配置详见：http://www.52itstyle.top/thread-10764-1-1.html

* r$ y7 K* K  x1 m: b7 D: I
2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。

# y' y* @1 J  }; X! u
/ Z* F, |% p. O4 D配置详见：http://www.52itstyle.top/thread-17263-1-1.html


$ ?: n  C5 x# }( n0 O3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。

& b5 N7 k( s: D+ L' L( p
7 W" B2 j& |9 t4 v& i4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。
6 X( a6 w0 K# }3 n

2 g) _0 r, \, c6 V( I& T5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。
- k8 H1 t6 @  y7 }6 k) A

这里主要简单实现第三种方案(使用语言JAVA)：

( P; ?4 j5 ]- y0 D! n1 o2 D& E
新建客户端 用于上传
5 c% p& a3 d3 o7 C7 \  aHttpPostClient：
7 Q* f3 K; V+ K7 F" g

1. package com.itstyle.web;
   8 |4 b5 J  s  y6 l) Q- s
2. 
   
3. import java.io.File;
   
4. import java.io.IOException;
   
5. 
   : o, P' o; g5 h, {6 m1 B
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    
11. import org.apache.http.client.methods.HttpPost;
    , t+ A$ M: c  Z, d) }0 g
12. import org.apache.http.entity.mime.MultipartEntity;
    1 n7 z- l$ ^' ~( E
13. import org.apache.http.entity.mime.content.FileBody;
    ! G4 `0 T: A  a% K8 m4 S' ~
14. import org.apache.http.entity.mime.content.StringBody;
    ) o, k: b$ _; k
15. import org.apache.http.impl.client.DefaultHttpClient;
    
16. import org.apache.http.util.EntityUtils;
    ) j: e2 N0 v: ?0 g" }8 K
17. /**
    - Y: K+ V  R5 n9 v3 f+ W- D3 L: P
18. * 客服端
    
19. * 创建者        张志朋
    
20. * 创建时间        2016年4月14日
    
21. * 科帮网 http://www.52itstyle.top
      P3 e4 S) K# W$ O* M0 C
22. *
    
23. */
    4 u7 o2 |+ a0 S. J: P' e
24. public class HttpPostClient {
    ! R% Z3 E, A" r/ O. p: ^
25.         public void SubmitPost(String url, String filename, String filepath) {
    
26. 
    
27.                 HttpClient httpclient = new DefaultHttpClient();
    6 m9 G! O9 J& j- t" l# Y$ Y
28. 
    
29.                 try {
    ; D" _1 g1 V) v" Y
30. 
    
31.                         HttpPost httppost = new HttpPost(url);
    0 t) @* I3 g4 z( E
32. 
    
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    8 y6 }( R6 q3 v# _( _) m0 H3 b6 J
34. 
      \# S9 ^4 O8 }+ p
35.                         StringBody comment = new StringBody(filename);
    
36. 
    9 d9 _" ]: S" x7 [0 r
37.                         MultipartEntity reqEntity = new MultipartEntity();
    
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    
41. 
    9 `" X7 {- O1 n- S
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    
44.                         int statusCode = response.getStatusLine().getStatusCode();
    
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    
47. 
    
48.                                 System.out.println("服务器正常响应.....");
    
49. 
    6 z' Y% O% U5 g6 n6 X
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    
53. 
    2 P1 o6 K/ u. j; m$ X4 s3 [" x
54.                                 System.out.println(resEntity.getContent());
    . |% }2 b6 e* X0 p: V
55. 
    
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    8 B! l' N  |. r/ V& K
58. 
    ' s& t5 d# a% c
59.                 } catch (ParseException e) {
    : @$ m4 X7 n% z7 u7 l$ q
60.                         e.printStackTrace();
    
61.                 } catch (IOException e) {
    1 W8 C6 Z" k+ z) i# a3 i4 X
62.                         e.printStackTrace();
    & W  t! R/ y$ e+ q+ u' Y. M: Q
63.                 } finally {
    $ \6 b$ c9 l& \' M
64.                         try {
    
65.                                 httpclient.getConnectionManager().shutdown();
    
66.                         } catch (Exception ignore) {
    
67.                                 
    
68.                         }
    0 ]; @+ \. d$ J( J& F( h; k" D
69.                 }
    
70.         }
    " N2 T! v2 r( H7 Q' c0 z
71.         /**
    ( b. E- P0 e& H9 e( B" \! }, R
72.          * 自定义文件名称  和路径  win环境下测试
    
73.          * @param args
    
74.          */
    
75.         public static void main(String[] args) {
    " @8 n. s/ p! n4 ]
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    ' C0 g1 j( k6 r2 h
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    ' E4 n" h) D/ B" L
78.         }
    + o* W0 H: y* C5 W8 F  C8 }
79. }
    & r4 H. [( ]5 }
80. 
    2 W& N8 ?9 b" U. F$ y; n

复制代码

新建服务端 用于接收
7 @# T0 @/ y% x2 gHttpPostServer：
( K" t$ @/ K- R

1. package com.itstyle.web;
   + J' G& M  Y& D! V9 [0 v, Z! C# o* L
2. 
   
3. import java.io.File;
   
4. import java.io.FileOutputStream;
   
5. import java.io.IOException;
   
6. import java.io.InputStream;
   ; u: p. Z/ O$ I* r4 c8 S
7. import java.io.PrintWriter;
   
8. import java.util.ArrayList;
   0 u$ T2 y$ \7 s1 ]8 O
9. import java.util.Iterator;
   1 W7 D8 F" Y3 c+ m6 E: Z
10. import java.util.List;
    6 m/ r5 i! E5 R1 r
11. 
    
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    ! ~$ a6 [! M0 f; B$ L! X
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    & ]0 L6 V9 U1 i, R/ o4 s; I
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    ) Q4 b+ C, M# N6 [, g5 I: _
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    
21. /**
    
22. * 服务端 接收文件
    # H9 w: r5 ]1 @. b8 A' O
23. * 创建者        张志朋
    
24. * 创建时间        2016年4月14日
    ( j* J" i. B6 X  i3 |$ u
25. * 科帮网 http://www.52itstyle.top
    # \' N9 [6 k5 C
26. */
    : l: {4 |( `- B
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    4 k4 ~- H- e! y8 ~. R, e
29. 
    % a! X0 z1 [1 |+ z5 f0 a
30.         @Override
    9 k- ^/ d8 C# @8 w) F+ X# A
31.         public void init() throws ServletException {
    
32. 
    ' Q+ r9 r- ^2 p5 J% I9 b
33.         }
    1 D( q5 r$ r7 _( n  m, M6 h
34. 
    
35.         @SuppressWarnings("unchecked")
    - t- S. _8 u9 J& ~
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    , A* W* d/ [! ~3 b8 J
37.                         throws ServletException, IOException {
    
38.                 PrintWriter out = null;
    
39.                
    
40.                 response.setContentType("text/html;charset=UTF-8");
    
41.         String basePath = "d://test1";
    5 i" n. l7 s2 e$ o. \
42.                 FileItemFactory factory = new DiskFileItemFactory();
    : L6 @' e* U6 ]& v* E2 l6 y
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    : \- z1 A4 y  r. h/ p
45.                 List<FileItem> items = new ArrayList<FileItem>();
    2 _, k% t0 }; s  H9 O% t- A* d
46.                 String message = "";
    2 K2 c+ f- J$ i, S6 A
47.                 try {
    $ X/ D" u; E' R. c
48.                         items = upload.parseRequest(request);
    
49.                         // 得到所有的文件
    % _0 A  K8 l. i" y0 g
50.                         Iterator<FileItem> it = items.iterator();
    
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
    
54.                         String name = fItem.getName();
    2 s! ^: i, P8 ]/ Q6 ?3 j9 Z
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    - O' u  [" {; z: \- T8 h
57.                                 directory = new File(basePath);
    + M4 ~; R9 Z4 `# O2 p6 Q
58.                                 directory.mkdirs();
    ( |  d- K: R% A7 _( J% |
59.                                 String filePath = (basePath)  + File.separator + name;
    2 u! V1 @" {3 ]5 m2 R4 d
60.                                 InputStream is = fItem.getInputStream();
    
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    3 u  a) P; Z0 X( ^0 r# e
62.                                 byte[] buffer = new byte[1024];
    * l+ t% M/ g& V7 R
63.                                 while (is.read(buffer) > 0) {
    - I/ A1 D5 C1 j8 P
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    * L- i0 }# }% A
66.                                 fos.flush();
    
67.                                 fos.close();
    / s8 G+ h, y5 K, e( D, G' n
68.                         }
    
69.                 }
    4 @" y0 n6 k% `2 V7 S
70.                         }
    
71.                         message = "{success:true, msg:'接收成功'}";
    ! w' J$ O6 u0 K- m  p: A; m$ m
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    # D' P2 t# t% z( ?
76.                         out = response.getWriter();
    ( t4 ^( C! K2 Q) O2 s' b# t2 G
77.                         out.print(message);
    
78.                         out.close();
    , I" o8 J% e- \3 s
79.                 }
    
80.         }
    * Q; ~* V2 w+ K$ p1 ^" d* Z
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    6 S$ I* T. t$ h; Q( e& S
82.                         throws ServletException, IOException {
    " J6 j& ~9 G) n. y. \( Y: E  s
83.                 doGet(request, response);
    
84.         }
    
85. }
    
86. 
    

复制代码

: R5 k, \; \0 L) P" v# _1 }所需要JAR包
commons-codec-1.6.jar
commons-fileupload-1.2.1.jar
commons-io-1.3.2.jar
commons-logging-1.1.1.jar
fluent-hc-4.2.jar
* b$ a' U+ ]- B, q$ [, Xhttpclient-4.2.jar
httpclient-cache-4.2.jar
: E) }) X! i1 L0 r* w2 l6 J5 |httpcore-4.2.jar
httpmime-4.2.jar
7 J$ C0 U: ]$ F, V
项目下载地址：点击下载
4 M2 F* `# _# s& `

3 r: b$ P% i5 w密码：

游客，如果您要查看本帖隐藏内容请回复

% K8 G+ ^; {: t( v( \( E
3 j! a' _1 b. b* C% {! Z& z


, G* f4 T% k% I) j$ k# J9 _

peng13661

感谢了楼主分享，多学习多交流

cndaijin

谢谢分享                                    

fanshuai1111

虽然还不太懂不过可以多看看

初来咋到

666666666666666
5 s' o3 q( j) Z! X" o

泡沫

好好学习，天天向上

星书雨

看看。。。。。。顶，

措辞

我想要下载呢

zrszrs

嘻嘻嘻，谢谢

onlymyme

不错，谢谢分线

欣不在焉

谢谢分享搜索