文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html
3 h( v" d. g* y1 z0 x
一、项目需求
/ d% i$ H; {: d  Z' @. _- \       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。
1 {4 V) E! B% \# H

) F- _+ Y# b8 U) Y. b二、文件服务解决方案
1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。


7 P+ M/ c3 c1 l3 S; `配置详见：http://www.52itstyle.top/thread-10764-1-1.html
: x1 V' P$ m* V, a8 ]$ }
% n9 ^7 e4 ^7 O. Y
2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。


配置详见：http://www.52itstyle.top/thread-17263-1-1.html

  \' F1 x: y/ q- I& \. t% j
3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
: i, s, v+ A5 m' d1 O# m
) g+ M9 R" [" d! k0 z; b
5 y: h2 |2 V7 S% a% s0 P% g4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。

3 U* F1 m- m8 Z7 I- p
+ Z$ \+ r% I3 i+ M* k: T5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。


这里主要简单实现第三种方案(使用语言JAVA)：
! B6 R, \+ ?9 M( z7 p/ [, e5 J9 l

新建客户端 用于上传
HttpPostClient：
' U' T8 t5 m4 H% z

1. package com.itstyle.web;
   
2. 
   
3. import java.io.File;
   
4. import java.io.IOException;
   
5. 
   9 q3 h! h2 A; E* L3 d9 }9 K
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   1 @! |% ?" Q0 X% T1 Q
10. import org.apache.http.client.HttpClient;
    
11. import org.apache.http.client.methods.HttpPost;
    + _5 ]% ~9 S7 {- I
12. import org.apache.http.entity.mime.MultipartEntity;
    
13. import org.apache.http.entity.mime.content.FileBody;
    * G7 n+ g. B; s! k- n
14. import org.apache.http.entity.mime.content.StringBody;
    # |" T* T) Z" h3 B) R4 K
15. import org.apache.http.impl.client.DefaultHttpClient;
    : W3 e2 j* E5 I9 S5 E& C( U* M8 I
16. import org.apache.http.util.EntityUtils;
    
17. /**
    
18. * 客服端
    7 N) Z! a6 y1 k1 O, \! d
19. * 创建者        张志朋
    
20. * 创建时间        2016年4月14日
    ( k' x4 v% v+ V6 U( I. r9 B  Y" F
21. * 科帮网 http://www.52itstyle.top
    4 a3 q. K# R' @$ Q. |; A
22. *
    
23. */
    # @- m: n% T* {6 v7 p
24. public class HttpPostClient {
    + y' {5 V- E3 c- R& Z  B  z, b
25.         public void SubmitPost(String url, String filename, String filepath) {
    
26. 
      [9 k2 l) q) X) v* x( ?& u3 m' U) b
27.                 HttpClient httpclient = new DefaultHttpClient();
    ! E( c1 \% p# _
28. 
    0 e: N: k; H, Y
29.                 try {
    
30. 
    
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    . G& w1 x) ^( c2 Y$ s* N1 ~2 l
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    ; Z. A- p6 b& H8 j: X
34. 
    
35.                         StringBody comment = new StringBody(filename);
    
36. 
      c- T/ L  h* b5 Q0 H
37.                         MultipartEntity reqEntity = new MultipartEntity();
    7 t7 F/ ]+ r" k/ t
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    ; C: V/ e0 ~1 r0 y$ b; ?) Y8 ]
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    9 v( p0 P$ m4 O3 z! J# }
40.                         httppost.setEntity(reqEntity);
    % E( e1 H$ s- _) F3 z& f. j/ p( E
41. 
    # [% E4 i  F! ^9 \0 j: X1 H
42.                         HttpResponse response = httpclient.execute(httppost);
    7 `/ c: }- Y# s% e& K: N8 P" C% q
43. 
    
44.                         int statusCode = response.getStatusLine().getStatusCode();
    " g' `$ Z7 w9 n) z* G+ e
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    
47. 
    
48.                                 System.out.println("服务器正常响应.....");
    6 `5 ]% }' _# |5 {' o" |# e
49. 
    $ r  |' S7 Z" a9 n% _' f* M- J/ I& V
50.                                 HttpEntity resEntity = response.getEntity();
    , w, J. D) w0 y4 q! o5 |" I
51. 
    8 m$ _3 o* M# E, Y. O7 k1 ?4 ^
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    
53. 
    
54.                                 System.out.println(resEntity.getContent());
    
55. 
    
56.                                 EntityUtils.consume(resEntity);
    , ?- V6 \! r! b* l! L, v" K
57.                         }
    
58. 
    
59.                 } catch (ParseException e) {
    - x. p; R6 U( g' R. _4 w; @
60.                         e.printStackTrace();
    
61.                 } catch (IOException e) {
    * K9 z; y. V1 T6 ?: O' c: s5 E& X
62.                         e.printStackTrace();
    
63.                 } finally {
    $ T3 Y; y0 j; A3 c7 Z9 v
64.                         try {
    & E6 F. J8 F  E. m8 Z3 x4 l2 l
65.                                 httpclient.getConnectionManager().shutdown();
    9 g. {$ p' x; T* m6 d' H& J
66.                         } catch (Exception ignore) {
    ) v$ o6 |  P: t- k- D! _
67.                                 
    5 r# h( ^5 N8 S/ Z4 D! _4 D8 r
68.                         }
    
69.                 }
    
70.         }
    
71.         /**
    
72.          * 自定义文件名称  和路径  win环境下测试
    
73.          * @param args
    
74.          */
    
75.         public static void main(String[] args) {
    
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    6 s# J, C# d% K' x
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    0 y  _: B! j) n$ [" i- o% ]  @
78.         }
    1 s9 u; ^* O5 F9 z
79. }
    
80. 
    ! t3 d) H; v7 n$ e9 W# c7 x$ X% [

复制代码

. L/ [9 O: A( `) k
新建服务端 用于接收
) J% \" a% }5 P! uHttpPostServer：
2 p; m) U% P  P9 ]

1. package com.itstyle.web;
   . P* ~8 i( b3 t
2. 
   2 h2 K' z$ V( o! B
3. import java.io.File;
   - O* K& y0 @, L. U; z$ ?
4. import java.io.FileOutputStream;
   . e' M: X) b& w* E7 N$ }8 J
5. import java.io.IOException;
   , P; G$ r: f" k1 F0 O
6. import java.io.InputStream;
   & P6 D3 J+ w& ]  Y
7. import java.io.PrintWriter;
   " d, ]; l7 I9 V; ]0 s9 H3 o0 F
8. import java.util.ArrayList;
   
9. import java.util.Iterator;
   
10. import java.util.List;
    3 ?: M& X2 _" c) C
11. 
    
12. import javax.servlet.ServletException;
    0 ^9 P4 U0 q/ F) _* p
13. import javax.servlet.http.HttpServlet;
    
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    8 }* _, D  h1 Q/ U2 Z
16. 
    , B  t0 w2 b7 y3 t
17. import org.apache.commons.fileupload.FileItem;
    
18. import org.apache.commons.fileupload.FileItemFactory;
    % h" E! n  z; J
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    9 |9 Y. G; x( w! U9 C/ f2 B0 R
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    
21. /**
    
22. * 服务端 接收文件
    
23. * 创建者        张志朋
    
24. * 创建时间        2016年4月14日
    * f7 `7 n% ?  ?
25. * 科帮网 http://www.52itstyle.top
    
26. */
    
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    
29. 
    + w% J; d8 R1 w5 S
30.         @Override
    
31.         public void init() throws ServletException {
    
32. 
    
33.         }
    * e" _% n' I/ D- Z% \
34. 
    : v, k% }. Y/ a/ o* z5 }' n
35.         @SuppressWarnings("unchecked")
    . ~- w9 g' }' w! u& n- U, z. e
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    
37.                         throws ServletException, IOException {
    
38.                 PrintWriter out = null;
    + }% W% a; ~4 z$ d2 I. k3 Y% [
39.                
    
40.                 response.setContentType("text/html;charset=UTF-8");
    
41.         String basePath = "d://test1";
    : y3 B. M6 y, D+ n
42.                 FileItemFactory factory = new DiskFileItemFactory();
    
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    
44.                 File directory = null;
    5 l! t7 I. ^7 g' t
45.                 List<FileItem> items = new ArrayList<FileItem>();
    
46.                 String message = "";
    ' v3 [  H( r& l8 P
47.                 try {
    9 H8 S" U# I7 ?- z
48.                         items = upload.parseRequest(request);
    4 F. \2 j1 b" ?
49.                         // 得到所有的文件
    0 u% K' A) B7 N
50.                         Iterator<FileItem> it = items.iterator();
    # E) i: S1 ^- q1 z# L. A  q
51.                         while (it.hasNext()) {
    " i. v8 a- }- ?( N7 T
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
    
54.                         String name = fItem.getName();
    / Q6 E: d. X- `' x# v/ k  q1 Q- K
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    
57.                                 directory = new File(basePath);
    
58.                                 directory.mkdirs();
    
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    - H; D5 g$ ]! r6 j$ M8 b. c
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    
62.                                 byte[] buffer = new byte[1024];
    ) N1 y) e0 x5 Q# A! T# P
63.                                 while (is.read(buffer) > 0) {
    " Y& e/ l7 ~# E  r& ~0 B0 |! Z
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    9 l1 J" T/ I1 `( p$ q+ z1 r$ x
66.                                 fos.flush();
    
67.                                 fos.close();
    0 y1 R7 [: q/ q, u! T6 Z7 z
68.                         }
    9 x4 @/ g  }( s
69.                 }
    9 I. ?9 a1 @: `/ }. x
70.                         }
    2 {0 M7 g! }. {/ s% k: G7 }7 E
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
    & I( u; y& O  \% S9 n7 }9 L/ P
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    0 n' D4 x6 @/ Y& f; y+ L7 Y
74.                         e.printStackTrace();
    9 y) P1 t% a! p: M. ]5 a4 y3 [
75.                 }finally{
    1 k. W; @; I7 o2 E
76.                         out = response.getWriter();
    
77.                         out.print(message);
    ( u% h& V- c- P3 F' \6 \. _$ y; p
78.                         out.close();
    % z' `7 P  ]( u( Q
79.                 }
    
80.         }
    , H# U8 t2 o* e6 o. }& d' n
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
82.                         throws ServletException, IOException {
    
83.                 doGet(request, response);
    ! W  I2 l+ O4 l7 v* `& Q  M% O
84.         }
    9 W- u" i+ x: |8 [
85. }
    ( ]7 {/ G. F& G* N6 ]( t$ q
86. 
    

复制代码

所需要JAR包
commons-codec-1.6.jar
commons-fileupload-1.2.1.jar
commons-io-1.3.2.jar
commons-logging-1.1.1.jar
fluent-hc-4.2.jar
: n& ]$ G8 j. r5 }: T3 f$ ]* z. g2 _. ehttpclient-4.2.jar
httpclient-cache-4.2.jar
5 N7 A+ g4 c/ U6 {( G& t) ~httpcore-4.2.jar
httpmime-4.2.jar
: d+ Q* E! m* j/ P& N/ ^
& ]# y! N/ y, B9 a3 V项目下载地址：点击下载


密码：

游客，如果您要查看本帖隐藏内容请回复

6 L4 o6 b1 I0 B; {7 o

peng13661

感谢了楼主分享，多学习多交流

cndaijin

谢谢分享                                    

fanshuai1111

虽然还不太懂不过可以多看看

初来咋到

666666666666666

8 F* S7 Y# l; ]! H' ]

泡沫

好好学习，天天向上

星书雨

看看。。。。。。顶，

措辞

我想要下载呢

zrszrs

嘻嘻嘻，谢谢

onlymyme

不错，谢谢分线