文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html
  c" k1 V" {' C# p. j: h8 C
! P1 d7 Q6 w* D1 K一、项目需求
4 O; w2 `; e$ B       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。

* _6 M3 G( B# A3 ]+ ]* M5 j6 d/ L" _
) y4 H5 H. h9 S' `4 ^1 v二、文件服务解决方案
1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。

+ g3 A; Z. h( _; I3 T) b+ }, S1 R! t
配置详见：http://www.52itstyle.top/thread-10764-1-1.html
  {) a4 t# l& {- j7 Z$ J
! k5 G" g4 y+ z6 ~
1 `4 ?) H& p% L2 Z9 s0 P$ A2 W$ B2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。

6 C' t4 o/ h9 W" p! v9 N% S
配置详见：http://www.52itstyle.top/thread-17263-1-1.html

; g: q) w( y$ _0 |/ ~& d5 b" v
, M. T2 L- W7 [) Y( V% ^7 H" Q3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。
+ Z- w6 h7 H/ {- ?6 u
# f& }: i6 U* m0 f6 u
. W' o7 B6 Q) o3 [4 H7 l" m4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。


* R0 \/ ~0 j1 c  u. I5 z. m0 m+ ~5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。

& X5 s' S# u! ~; w% z: R% q. @; b
这里主要简单实现第三种方案(使用语言JAVA)：

# N" S% G" r& D4 ?! d: \
新建客户端 用于上传
HttpPostClient：
0 Z% u: A4 B+ t3 R0 J0 i

1. package com.itstyle.web;
   
2. 
   
3. import java.io.File;
   
4. import java.io.IOException;
   
5. 
   
6. import org.apache.http.HttpEntity;
   
7. import org.apache.http.HttpResponse;
   , M3 _8 |  G+ }- n, @/ q6 t1 |/ |  e) K# {
8. import org.apache.http.HttpStatus;
   3 a: C" C- b) Q" Z* N( Y" v$ v
9. import org.apache.http.ParseException;
   5 i5 S  G, B6 o
10. import org.apache.http.client.HttpClient;
    
11. import org.apache.http.client.methods.HttpPost;
    
12. import org.apache.http.entity.mime.MultipartEntity;
    " i6 \, v) H% d! ^; P& _1 v# K$ w
13. import org.apache.http.entity.mime.content.FileBody;
    0 G9 `) r. ^- ^- Z4 E/ K
14. import org.apache.http.entity.mime.content.StringBody;
    
15. import org.apache.http.impl.client.DefaultHttpClient;
    
16. import org.apache.http.util.EntityUtils;
    4 S( f6 i$ ~* I  u: Q( }- W
17. /**
    
18. * 客服端
    
19. * 创建者        张志朋
    
20. * 创建时间        2016年4月14日
    - @+ V+ r: I* d, Q, `& S& W
21. * 科帮网 http://www.52itstyle.top
    & W6 H5 r& k( w. F
22. *
    
23. */
    5 r" g2 T: A1 d4 z+ T
24. public class HttpPostClient {
    
25.         public void SubmitPost(String url, String filename, String filepath) {
    8 S: R; x9 b' A. I; x
26. 
    ; ^! e: h8 m' r1 T! Q
27.                 HttpClient httpclient = new DefaultHttpClient();
    
28. 
    % {; Y1 v1 A( S. N& a  {
29.                 try {
    
30. 
    ( h3 ~9 d% m. M9 I2 r! ~
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    $ Q! Q0 b6 n2 r6 d% s/ h, }0 [, G1 j
34. 
    ! K' }' m/ S% \8 t1 J4 ^; J
35.                         StringBody comment = new StringBody(filename);
    
36. 
      z$ ?. g9 M* R) X! U' h
37.                         MultipartEntity reqEntity = new MultipartEntity();
    3 y# t7 @- p% T0 z1 \( O- P/ w: ]
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    " k" z4 S/ i4 `% F7 t5 o5 H
41. 
    # g  i- h% x* |( H9 x7 y& P& X
42.                         HttpResponse response = httpclient.execute(httppost);
    ' J) o6 Z, Z5 @9 S7 B/ m
43. 
    0 }! x% R. \# i
44.                         int statusCode = response.getStatusLine().getStatusCode();
    
45. 
    4 Y+ m- x) ^7 s" f/ L* a
46.                         if (statusCode == HttpStatus.SC_OK) {
    5 T; i8 l: @- u
47. 
    5 `( @% d; g& S" N
48.                                 System.out.println("服务器正常响应.....");
    
49. 
    1 x" B) @4 Q" I
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    & x1 s3 ~, J9 m' A- v5 ~  d
53. 
    - O! b" T7 X0 e; t' x1 V3 d
54.                                 System.out.println(resEntity.getContent());
    0 n1 v; L- _: O- }
55. 
    * e  l0 ~/ Q; H/ e- y, o$ w" G
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    
58. 
    , k, m6 }- `8 H! R
59.                 } catch (ParseException e) {
    
60.                         e.printStackTrace();
    # S% f7 f( p7 E* Y- S, @, i6 q' y
61.                 } catch (IOException e) {
    3 _6 {' T7 a5 f* G# a
62.                         e.printStackTrace();
    
63.                 } finally {
    
64.                         try {
    ) s9 D, Z0 l: h" L
65.                                 httpclient.getConnectionManager().shutdown();
    
66.                         } catch (Exception ignore) {
    
67.                                 
    ) X, y: {8 _- _' g
68.                         }
    
69.                 }
    4 ?7 X0 M& Z9 n6 u) o: g& l
70.         }
      X! W+ L6 A: u( |' z9 _
71.         /**
    & i0 B7 r0 k- t$ N- W: V4 o, J
72.          * 自定义文件名称  和路径  win环境下测试
    7 b. P0 m7 z5 u9 S
73.          * @param args
    
74.          */
    8 W) _1 z6 ^4 P9 k  j% E' }5 j
75.         public static void main(String[] args) {
    - f0 B5 F& f% N: j' d
76.                 HttpPostClient httpPostClient = new HttpPostClient();
      c! @- v+ E8 u1 b. w7 D
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    
80. 
    4 e% s/ B7 V" _# y5 _7 ]1 M( B2 F6 S! B. x

复制代码

6 ~' M, ~, R* R* V6 a1 T# M
5 t4 E" R# I' l$ U9 M$ c1 D
0 |" c& X' j+ `+ Q2 R: Y新建服务端 用于接收
HttpPostServer：
  G) X  B4 K  A/ Q

1. package com.itstyle.web;
   
2. 
   1 B" _" Z2 y" x* W# P9 X
3. import java.io.File;
   
4. import java.io.FileOutputStream;
   
5. import java.io.IOException;
   
6. import java.io.InputStream;
   4 d5 D  B  l. N8 a% u" f' w
7. import java.io.PrintWriter;
   1 w; q. y: j. O- S; @1 B
8. import java.util.ArrayList;
   8 G$ ~5 ^8 A! F4 E, l* z
9. import java.util.Iterator;
   
10. import java.util.List;
    
11. 
    
12. import javax.servlet.ServletException;
    
13. import javax.servlet.http.HttpServlet;
    2 U" T/ [+ B: ?3 R. c# y
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    
17. import org.apache.commons.fileupload.FileItem;
    5 M; `+ E2 U4 O, R
18. import org.apache.commons.fileupload.FileItemFactory;
    
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    7 H9 W2 l# R1 l' b' g5 ~1 ~( f7 p7 q, v
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    
21. /**
    
22. * 服务端 接收文件
    
23. * 创建者        张志朋
    
24. * 创建时间        2016年4月14日
    
25. * 科帮网 http://www.52itstyle.top
    
26. */
    
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    - n- F$ D# D% W( _. }
29. 
    9 l; w$ J' [$ O
30.         @Override
    
31.         public void init() throws ServletException {
    4 y$ _% e5 R7 L0 Z
32. 
    ; G. m/ z3 |3 @6 ~) m" l
33.         }
    6 P8 ^' F9 Q7 N8 C7 r
34. 
    ! K# s3 ]0 r) |0 ]5 t9 H
35.         @SuppressWarnings("unchecked")
      J! I. _) ^; J1 U
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    3 l6 x! e" Z6 a  M' C( i
37.                         throws ServletException, IOException {
    ( w- A7 J+ }+ i, E0 A; H$ d9 C
38.                 PrintWriter out = null;
    
39.                
    9 k/ ^; ]5 |0 i+ d; Y* R9 j
40.                 response.setContentType("text/html;charset=UTF-8");
    
41.         String basePath = "d://test1";
    
42.                 FileItemFactory factory = new DiskFileItemFactory();
    7 U; B& k/ d9 f6 t8 s7 Q
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    1 E9 F3 w# y. z* p- j8 V: U
44.                 File directory = null;
    
45.                 List<FileItem> items = new ArrayList<FileItem>();
    
46.                 String message = "";
    
47.                 try {
    6 B6 |9 a/ }/ e( H5 W$ ~
48.                         items = upload.parseRequest(request);
    
49.                         // 得到所有的文件
    
50.                         Iterator<FileItem> it = items.iterator();
    
51.                         while (it.hasNext()) {
    
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
    & k% `2 x2 Q& g- v  j/ t
54.                         String name = fItem.getName();
    
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    ! V$ d" H- o' }, x0 V, }1 x: t2 B
57.                                 directory = new File(basePath);
    
58.                                 directory.mkdirs();
    
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    * D2 O! ]' [! Q  B7 X& F
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    
62.                                 byte[] buffer = new byte[1024];
    , U$ C* n( d) ]9 o; g' s, f& m
63.                                 while (is.read(buffer) > 0) {
    
64.                                         fos.write(buffer, 0, buffer.length);
    . i: U8 k9 A: r
65.                                 }
    
66.                                 fos.flush();
    
67.                                 fos.close();
    $ e! P) i; N6 J4 X( f1 p& P1 T
68.                         }
    
69.                 }
    
70.                         }
    
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
    # V) P6 P; R  O& @- ^& |+ \8 [
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    ( E, O1 O  T- z& `+ Z5 y5 i+ q0 g) q
76.                         out = response.getWriter();
    ' M- e5 o# M/ a$ L2 X
77.                         out.print(message);
    
78.                         out.close();
    $ M- A4 X+ i4 g
79.                 }
    
80.         }
    : X1 S* X. s2 M$ ?7 A0 Y. `; U- S
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
82.                         throws ServletException, IOException {
    - D, ?' ?/ O/ _
83.                 doGet(request, response);
    
84.         }
    
85. }
    2 W* m8 j7 n8 v$ B& q5 c
86. 
    

复制代码

所需要JAR包
commons-codec-1.6.jar
commons-fileupload-1.2.1.jar
9 b+ z. c8 Z9 q. f* U4 xcommons-io-1.3.2.jar
commons-logging-1.1.1.jar
fluent-hc-4.2.jar
httpclient-4.2.jar
httpclient-cache-4.2.jar
7 k1 T+ e2 P/ b$ O7 e1 M2 {httpcore-4.2.jar
$ T/ p! Q. w5 f" zhttpmime-4.2.jar

项目下载地址：点击下载

1 E8 k0 ^( I3 N8 ]  `$ n0 ~8 }3 y- C
密码：

游客，如果您要查看本帖隐藏内容请回复

0 g6 H5 I6 ]' |/ i
. z/ v9 O% `' P# @: \
1 G) M3 ~0 |" c" D- Y& B: D4 u( g( [: e
. \& ?! y+ N$ m

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
% X, q) R0 q7 x: ?; W( ^学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些