文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html

! s: z1 ~1 X& M一、项目需求
       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。

( V; e5 d+ c' o; a2 v
6 j1 L' ?" e( y0 w二、文件服务解决方案
1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。

7 O) }9 k) |; g1 R2 {4 J; a
配置详见：http://www.52itstyle.top/thread-10764-1-1.html
! I3 [# o/ Y7 p. r; ]3 ?5 U" m

* |0 _4 B% s. r4 H2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。
7 O. f, @: |1 p0 s& _5 z1 `
- x4 D+ |7 k# ^. W) y! o% ]! M2 q
配置详见：http://www.52itstyle.top/thread-17263-1-1.html

8 h9 s5 O& ~3 y3 a6 M6 @- j
3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。

: Z# @+ h5 D2 L7 b% |
4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。

4 X4 o, o  N3 g3 E9 d; c
5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。


5 N, v' q6 \0 A8 m- U这里主要简单实现第三种方案(使用语言JAVA)：


5 P! J: U# k' D; B% @新建客户端 用于上传
HttpPostClient：

1. package com.itstyle.web;
   ' I+ B- _- p, b& |
2. 
   ; m2 ]0 y% [( j! a- [
3. import java.io.File;
   0 y0 d7 w" h& i6 q
4. import java.io.IOException;
   
5. 
   
6. import org.apache.http.HttpEntity;
   ' c: l* r( K5 Z& ?; e3 r) k
7. import org.apache.http.HttpResponse;
     m# [2 F% F& D" t& T3 b
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   
10. import org.apache.http.client.HttpClient;
    , O0 U. \$ A/ X
11. import org.apache.http.client.methods.HttpPost;
    & v# e0 r5 O$ P) G' o
12. import org.apache.http.entity.mime.MultipartEntity;
    
13. import org.apache.http.entity.mime.content.FileBody;
    , L( s  W# F; |
14. import org.apache.http.entity.mime.content.StringBody;
    
15. import org.apache.http.impl.client.DefaultHttpClient;
    / [+ `% b% ]" d5 {3 ?
16. import org.apache.http.util.EntityUtils;
    0 n& q7 `! N! a$ r$ O
17. /**
    
18. * 客服端
    ) k9 }6 N# K6 v2 _2 |
19. * 创建者        张志朋
    
20. * 创建时间        2016年4月14日
    
21. * 科帮网 http://www.52itstyle.top
    . a: B" z1 W' u4 c1 A1 W! ?' ]
22. *
    
23. */
    3 K0 C7 @8 |, C" X
24. public class HttpPostClient {
    1 j) a5 E) |$ `! a( y5 K" D( Z
25.         public void SubmitPost(String url, String filename, String filepath) {
    ! ]* [. S% y3 E; ~% ]
26. 
    ( e7 p/ P/ ^. a
27.                 HttpClient httpclient = new DefaultHttpClient();
    
28. 
    $ A5 v% u$ n8 [; e
29.                 try {
    - ]9 m0 M6 n# I% e; ^9 Z- I
30. 
    0 s; T/ n3 U  G' X+ z
31.                         HttpPost httppost = new HttpPost(url);
    5 L$ @5 ]- N3 a7 ^
32. 
    
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    + M) h) l, I  X$ r9 y3 s: L
34. 
    ( d2 ^" p1 o. ?  ]
35.                         StringBody comment = new StringBody(filename);
    5 t8 d2 u: T# N* v$ j: v0 R
36. 
    . g4 L- e" U+ C4 ^/ ?
37.                         MultipartEntity reqEntity = new MultipartEntity();
    + `8 g7 u- F5 P' s3 _$ s4 p
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    0 W/ ~! N% }4 f
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    0 j% a1 I) `6 A
40.                         httppost.setEntity(reqEntity);
    ; K1 I) I) u, G
41. 
    $ G$ N( B2 T4 m7 \
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    $ [# j- ^6 }& D
44.                         int statusCode = response.getStatusLine().getStatusCode();
    
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    
47. 
    8 v$ z" I% a* d5 g' c) ]
48.                                 System.out.println("服务器正常响应.....");
    2 y" q! \& M5 X$ G" ?1 b# h
49. 
    
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    3 q& A6 x) H& C2 S* C8 s
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    5 b$ f( b* l$ u5 {5 M. ]1 o0 M
53. 
    
54.                                 System.out.println(resEntity.getContent());
    
55. 
    
56.                                 EntityUtils.consume(resEntity);
    + y" s9 \3 i5 i
57.                         }
    
58. 
      _8 {4 \% ?0 C' T: }% C. B
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    ! f# O. Q+ S- ^5 T& X5 F
61.                 } catch (IOException e) {
    # c0 O# v6 D, ?: V* ]$ k
62.                         e.printStackTrace();
    " g6 u+ [5 S, x& D+ o
63.                 } finally {
    
64.                         try {
    # s1 g3 v7 G  h5 y2 i0 ?
65.                                 httpclient.getConnectionManager().shutdown();
    * Y+ e3 N1 s! V' Q. J) |
66.                         } catch (Exception ignore) {
    # W& M6 p0 M4 J) b0 n
67.                                 
    $ f3 l9 @# k2 |
68.                         }
    , a% j8 O+ K; J* C5 S) ]# x' h4 e6 z
69.                 }
    ) r% l! O5 c9 B# W# m& P
70.         }
    ! c. O' e3 Y& Q. p5 N
71.         /**
    9 _1 @" @  K, ^+ \
72.          * 自定义文件名称  和路径  win环境下测试
    9 H6 k2 m: `& g8 F, _& N
73.          * @param args
    
74.          */
    
75.         public static void main(String[] args) {
    . Z& w1 V" }4 E1 f
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    * x6 k$ L# e% r: A5 V! }
78.         }
    2 O! c6 M7 ~* t
79. }
    
80. 
    

复制代码

( v) g, @- Z! y( V; Q, x2 Y3 u8 L

新建服务端 用于接收
HttpPostServer：
: y9 R# f0 i: r, p3 K9 U9 ?

1. package com.itstyle.web;
   8 }/ k0 K( K5 l7 x/ C/ e+ S* {1 l* l8 d
2. 
   9 {8 R% [0 K) g: t
3. import java.io.File;
   " O% e1 R7 |4 `. K# X. J3 \( \6 t
4. import java.io.FileOutputStream;
   
5. import java.io.IOException;
   
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   0 M+ P  Q  E+ b1 Q; D
8. import java.util.ArrayList;
   ; N/ y2 y* E( y* J6 x/ C
9. import java.util.Iterator;
   0 M& l+ T# N  \* A3 p5 {
10. import java.util.List;
    
11. 
    4 u6 ?$ }8 [6 B/ z
12. import javax.servlet.ServletException;
    & q. _2 G& m3 ?! ^7 _6 d& S3 w1 F6 L
13. import javax.servlet.http.HttpServlet;
    4 V' A+ w9 w! {* T/ {! @4 w$ l
14. import javax.servlet.http.HttpServletRequest;
    : B: Q" D3 t* M# ^
15. import javax.servlet.http.HttpServletResponse;
    ) U7 K; F+ O5 Y+ k/ k
16. 
    7 F1 f% `8 T$ J" o" r
17. import org.apache.commons.fileupload.FileItem;
    7 H$ }- H1 S  n$ y
18. import org.apache.commons.fileupload.FileItemFactory;
    , `6 }. V& M3 S! N! \( i! a/ f
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    # v# ~# \7 A! ~- \6 D
21. /**
    
22. * 服务端 接收文件
    
23. * 创建者        张志朋
    
24. * 创建时间        2016年4月14日
    3 Z# a+ x! `" T$ |; r: T
25. * 科帮网 http://www.52itstyle.top
    ( G* w6 J8 `- X& y1 ~
26. */
    
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    , ^3 [. E- A' [& Y
29. 
    9 y; v( b" k$ q0 r# s. o0 w. V
30.         @Override
    
31.         public void init() throws ServletException {
    
32. 
    + K& f  R) p; i! x; P
33.         }
    
34. 
    # x( _. b8 }2 j% o9 q6 g0 D# H3 c
35.         @SuppressWarnings("unchecked")
    
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    + H  b) F+ p$ s! A
37.                         throws ServletException, IOException {
    
38.                 PrintWriter out = null;
    + {' D( o1 j& b9 i& a
39.                
    % o/ g3 v3 j7 k3 f  r2 w7 a
40.                 response.setContentType("text/html;charset=UTF-8");
    6 W* z' U8 s" F' d' x; C5 Z
41.         String basePath = "d://test1";
    
42.                 FileItemFactory factory = new DiskFileItemFactory();
    7 G  p" \; F% O$ M
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    # n( J. ]4 e4 w7 ]; E. A! \
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    
46.                 String message = "";
    
47.                 try {
    ' Q$ I- k' U3 f
48.                         items = upload.parseRequest(request);
    
49.                         // 得到所有的文件
    / R+ ?4 \- q8 U" i. u% n
50.                         Iterator<FileItem> it = items.iterator();
    
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    - z9 u: [% r8 H! F8 P/ F; e
53.                 if(!fItem.isFormField()){
    
54.                         String name = fItem.getName();
    * `/ M9 V# O% \1 w. l* [4 J& R
55.                         if (name != null && !("".equals(name))) {
    % g' d. ^6 w( \  ~, V
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    ) V- o+ Z' ?7 O1 B
57.                                 directory = new File(basePath);
    
58.                                 directory.mkdirs();
      B7 ~  R3 o1 L2 t8 v) i
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    
62.                                 byte[] buffer = new byte[1024];
    $ A# g. {( \+ y, {1 r* U
63.                                 while (is.read(buffer) > 0) {
    
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    
66.                                 fos.flush();
    ' m" V8 v9 i+ {1 E5 ~% `
67.                                 fos.close();
    
68.                         }
    ' k# q, K" o$ i, c, D# x8 A
69.                 }
    ! t1 |% j+ q+ h; u
70.                         }
    ! l0 K# N  I: Z/ ~- m0 i; ?
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    ) P1 `3 T9 ^) h: K! r1 K8 W
76.                         out = response.getWriter();
    6 i3 x7 x; L. X) A8 S
77.                         out.print(message);
    / Q8 _7 p5 h$ S. @% R
78.                         out.close();
    
79.                 }
    1 X: X, L$ w, n7 r# A$ S
80.         }
    % x, {5 [) L4 Y9 Z& `" `
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
82.                         throws ServletException, IOException {
    / Q' s, E: F+ q" C: X$ S$ }
83.                 doGet(request, response);
    1 b! E( K+ t3 A) V) z
84.         }
    
85. }
    4 p+ g8 ]' u* s" e7 R% H9 l2 _; D2 N
86. 
    7 Q/ w! U: u5 o$ N$ A* o9 b

复制代码

所需要JAR包
* w0 `2 d" G/ \commons-codec-1.6.jar
9 v/ z+ @) O! pcommons-fileupload-1.2.1.jar
commons-io-1.3.2.jar
3 @/ Z0 }+ b. O% }commons-logging-1.1.1.jar
7 F9 I5 j2 ?+ a; Yfluent-hc-4.2.jar
8 Z0 k$ X+ Q, A- _( Dhttpclient-4.2.jar
$ E) R* ^# g( k: d" \9 N4 V& Bhttpclient-cache-4.2.jar
httpcore-4.2.jar
* i+ |9 F1 W- @5 Q) Y7 N% T+ Hhttpmime-4.2.jar
: f/ r. u! k0 }5 l
项目下载地址：点击下载
$ j$ \, m4 z. d% s8 D, R9 }, z. _

密码：

游客，如果您要查看本帖隐藏内容请回复

- K  O% i' C/ i% T
' h$ K0 ~; t& S" A& g
) @4 `! k8 j. u2 v! H
9 K: H2 ^' L+ B2 l8 l& `

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些