文件服务器解决方案(项目源码)

admin

       任何强大的单一服务器都满足不了大型网站持续增长的业务需求，网站发展到一定程序，应用服务器就要跟文件存储分离，创建文件服务器分摊应用服务器的压力。文件服务器是为网络上各工作站提供完整数据、文件、目录等信息共享，对网络文件实行统一管理的服务器。它能进行文件建立、删除、打开、关闭、读写等操作。当然文件服务器并不是单一存在的，如果存在单点故障，对项目的影响将是巨大的，所以前期分布式文件系统也是项目上线初期必须的，做好容灾备份。对分布式文件系统感兴趣的同学可以看下FastDFS：http://www.52itstyle.top/thread-22615-1-1.html
  F+ F9 |2 J3 x, _# j1 j0 H- j
一、项目需求
' @* @$ a7 T/ {5 m+ G       在B项目中前台上传一个文件，后台只是负责获取文件，然后需要调用rest接口把文件传给另一个系统A(文件服务系统)，文件服务器系统会返回给我需要的状态，然后根据状态判断是否上传成功。
. C9 J' a$ m+ M3 C; c6 E6 ]$ \

2 ?$ r% ?) `' T# p  R6 m
二、文件服务解决方案
1. 使用NSF 映射远程磁盘目录，将A的某个磁盘目录映射到B的某个文件夹，那么，在B上传文件时，只需要复制一份到这个映射目录就可以了，系统会直接传送的A服务器的目录里，如果实在局域网这个速度是可以忽略速度影响的，但是如果不是在局域网可能会有传输速度影响。
' Y5 @7 n9 S7 \* R4 H2 o( u2 U
5 ]; @, C- g1 d" J, [6 S6 e
* B- P5 E$ L, r( x" C' ^配置详见：http://www.52itstyle.top/thread-10764-1-1.html
$ R8 M2 K4 J  r* s6 M0 J8 U

2.利用服务器rsync的同步工具。在B架设rsync的服务端，设定需要同步的文件夹，在A设定rsync的客户端，设定同步的来源服务器和对应的文件夹。当B的上传文件夹变动时，rsync会自动同步一份到A的客户目录。
0 ^$ L: `- n( d! W1 g/ p5 T  Y
2 J. T1 P( N3 E
配置详见：http://www.52itstyle.top/thread-17263-1-1.html
6 `) f7 R$ s0 h7 d# v
8 f6 c2 q  a, E5 ]
* _" _5 v7 Y6 t3 _- Y8 v3.如果以上两种方案你都不想使用，可以在A部署一个底层脚本，用来接收post文件，可以自己设定一个密钥。当B有文件上传时，B服务器用java的httpClient直接重新post一份到A的接口，然后在A的接口设定逻辑存放到相应的目录。


4.如果文件大小不是太大，B服务器还可以利用各种中转程序，例如先存到mysql，或者nosql的存储里，然后在A服务器上自动去抓取下来。
( W& H: F7 t7 c( V1 d7 i
- d- U& _0 A/ c( J: C- B
/ H7 r: T3 B5 s- I; H5.当然你还可以使用静态资源云存储，比如七牛，阿里云，使用它们的接口就能把资源上传到它们的服务器，接口十分简单，费用非常便宜，比自建资源服务器便宜很多，但是毕竟不是自己的。
4 b! F8 w  u( D) Q$ m* y2 P

9 Q9 p9 g4 W+ D0 Z' D! u) x5 L( ~6 Y( p这里主要简单实现第三种方案(使用语言JAVA)：

5 @4 N# J1 e3 X5 |7 a. Y' W
: n3 q: a9 [8 h; f) ~" K2 ~新建客户端 用于上传
HttpPostClient：
' V* l8 e( e( C5 U* L

1. package com.itstyle.web;
   
2. 
   * I! O0 h3 M; e0 {1 ^0 \
3. import java.io.File;
   & }/ E% Z: P- e5 G8 ~' V
4. import java.io.IOException;
   
5. 
   
6. import org.apache.http.HttpEntity;
   6 t3 R4 V. S- h! |$ O0 k( S
7. import org.apache.http.HttpResponse;
   
8. import org.apache.http.HttpStatus;
   
9. import org.apache.http.ParseException;
   4 P5 D) d. A+ J2 O9 f3 T8 p
10. import org.apache.http.client.HttpClient;
    
11. import org.apache.http.client.methods.HttpPost;
    & y6 w4 g* J0 K- f2 V$ Y
12. import org.apache.http.entity.mime.MultipartEntity;
    8 L2 l) e) a3 z
13. import org.apache.http.entity.mime.content.FileBody;
    
14. import org.apache.http.entity.mime.content.StringBody;
    
15. import org.apache.http.impl.client.DefaultHttpClient;
    # [9 r- ~' `/ g
16. import org.apache.http.util.EntityUtils;
    
17. /**
    8 x  L! `+ @5 v0 U- W# m& z+ C$ r
18. * 客服端
    
19. * 创建者        张志朋
    7 O7 d' \/ a& M0 q' V) d. d$ D+ N7 k
20. * 创建时间        2016年4月14日
    
21. * 科帮网 http://www.52itstyle.top
    - C) \/ g: Q4 f8 N" b9 s
22. *
    " L* F4 q8 B' k0 L
23. */
    3 m0 G5 Z8 [3 F
24. public class HttpPostClient {
    ! b- i, `5 |4 ]4 A4 K
25.         public void SubmitPost(String url, String filename, String filepath) {
    8 [6 m8 P* b3 C* P0 ?( k
26. 
    % {( G6 [% V% y) Q' R" s* ]
27.                 HttpClient httpclient = new DefaultHttpClient();
    * U% E8 G5 ^; C% X
28. 
    
29.                 try {
    
30. 
    
31.                         HttpPost httppost = new HttpPost(url);
    
32. 
    
33.                         FileBody bin = new FileBody(new File(filepath + File.separator + filename));
    
34. 
    
35.                         StringBody comment = new StringBody(filename);
    % q$ {2 s6 j; U  D/ p+ _: F" m! m
36. 
    
37.                         MultipartEntity reqEntity = new MultipartEntity();
    
38.                         reqEntity.addPart("file", bin);// file为请求后台的File upload;属性
    ' G$ G/ V  ]% E, d; M
39.                         reqEntity.addPart("filename", comment);// filename为请求后台的普通参数;属性
    
40.                         httppost.setEntity(reqEntity);
    
41. 
    * O7 h4 a' _6 L# z; k5 ]2 j( f6 d
42.                         HttpResponse response = httpclient.execute(httppost);
    
43. 
    
44.                         int statusCode = response.getStatusLine().getStatusCode();
      h2 n& {1 w; i4 [# }7 i
45. 
    
46.                         if (statusCode == HttpStatus.SC_OK) {
    
47. 
    
48.                                 System.out.println("服务器正常响应.....");
    
49. 
    7 a9 z- ?! {2 C* }! B, m/ M7 m1 [
50.                                 HttpEntity resEntity = response.getEntity();
    
51. 
    
52.                                 System.out.println(EntityUtils.toString(resEntity));// httpclient自带的工具类读取返回数据
    
53. 
    
54.                                 System.out.println(resEntity.getContent());
    . S6 |4 T. d' G5 K: ~/ E) Y
55. 
    / D( a) z5 {& r# t
56.                                 EntityUtils.consume(resEntity);
    
57.                         }
    
58. 
    : A4 B: Y: B' v- g; h3 A+ O- |
59.                 } catch (ParseException e) {
    ( n! @$ X) q$ v8 \
60.                         e.printStackTrace();
    
61.                 } catch (IOException e) {
    
62.                         e.printStackTrace();
    
63.                 } finally {
    
64.                         try {
    ) p$ Z3 {* G5 I2 l. {
65.                                 httpclient.getConnectionManager().shutdown();
    # d  ^# {( y8 y+ B& F' }
66.                         } catch (Exception ignore) {
    * g9 u$ F( |% p: R- U
67.                                 
    
68.                         }
    
69.                 }
      t  {$ w. k3 x2 b! r: q; t" y
70.         }
    ) d4 y% f' x8 h
71.         /**
    5 X+ W) `7 @" f0 d- ^' z$ s, Z' l
72.          * 自定义文件名称  和路径  win环境下测试
    ! ]; h5 F4 w+ I' S  f8 v& G
73.          * @param args
    
74.          */
    
75.         public static void main(String[] args) {
    $ V( v* V0 w  ~5 s8 f
76.                 HttpPostClient httpPostClient = new HttpPostClient();
    
77.                 httpPostClient.SubmitPost("http://127.0.0.1:8080/acts_upload/receiveData","test.zip", "D://test");
    
78.         }
    
79. }
    3 {8 W. S9 G% Y& Y' t, G
80. 
    0 ~5 t1 y8 H/ Z  L& B

复制代码

; G6 }1 i# v9 F* ?! w& {/ `
, F* F2 R* F& Q. s
新建服务端 用于接收
HttpPostServer：
" K: l/ p1 M# A

1. package com.itstyle.web;
   0 W, Q$ V9 f+ B6 S: I
2. 
   : `* Y4 T0 w, W* ~, u1 u  V
3. import java.io.File;
   + i( X& d( U7 R$ ?+ u( y$ R
4. import java.io.FileOutputStream;
   7 C3 k. C9 i8 K' l. r5 ?0 b8 _
5. import java.io.IOException;
   
6. import java.io.InputStream;
   
7. import java.io.PrintWriter;
   
8. import java.util.ArrayList;
   4 e' B. ~( t* Z8 |5 A" L- |
9. import java.util.Iterator;
   
10. import java.util.List;
    
11. 
    
12. import javax.servlet.ServletException;
    ! x* W0 e! s6 k4 m9 u
13. import javax.servlet.http.HttpServlet;
    
14. import javax.servlet.http.HttpServletRequest;
    
15. import javax.servlet.http.HttpServletResponse;
    
16. 
    : s6 E2 }- {$ k1 R8 o8 L
17. import org.apache.commons.fileupload.FileItem;
    8 x7 f9 }' R$ p
18. import org.apache.commons.fileupload.FileItemFactory;
    / M- B; H$ i: E" J) ~7 x- \. k4 {$ D! t
19. import org.apache.commons.fileupload.disk.DiskFileItemFactory;
    
20. import org.apache.commons.fileupload.servlet.ServletFileUpload;
    
21. /**
    
22. * 服务端 接收文件
    
23. * 创建者        张志朋
      B! P( k% z5 F% h/ W
24. * 创建时间        2016年4月14日
    0 S# X8 f0 u4 o" Z& Q! o- I
25. * 科帮网 http://www.52itstyle.top
    
26. */
    
27. public class HttpPostServer extends HttpServlet {
    
28.         private static final long serialVersionUID = -1002826847460469784L;
    ! f" c* ~7 |$ _$ L* u# {8 F- h. j
29. 
    
30.         @Override
    
31.         public void init() throws ServletException {
    4 A* `9 }( q* w# f+ G! [9 V8 D
32. 
    / b3 o( k  O+ V5 Y
33.         }
    * t, ~/ A" Y; }2 I2 A* s
34. 
    
35.         @SuppressWarnings("unchecked")
    * F. m7 H/ M- B$ ~/ _
36.         public void doGet(HttpServletRequest request, HttpServletResponse response)
    - Y1 v& F, \0 q( s" U
37.                         throws ServletException, IOException {
    
38.                 PrintWriter out = null;
    
39.                
    , i4 u8 d$ S2 k+ I. b
40.                 response.setContentType("text/html;charset=UTF-8");
    + ^- {; g8 A7 w2 y4 U: A
41.         String basePath = "d://test1";
    ; l' F- \! O- s4 n2 j; S
42.                 FileItemFactory factory = new DiskFileItemFactory();
    + \9 K& z$ q( |) \
43.                 ServletFileUpload upload = new ServletFileUpload(factory);
    - b! Q) X' t8 {8 v
44.                 File directory = null;
    1 P$ ^7 u8 I7 |
45.                 List<FileItem> items = new ArrayList<FileItem>();
    
46.                 String message = "";
    
47.                 try {
    ' e# n0 z, P$ U5 X/ d1 d; }1 b
48.                         items = upload.parseRequest(request);
    
49.                         // 得到所有的文件
    % f+ h/ h2 n; `2 y$ _3 `" T! N$ G7 G0 z
50.                         Iterator<FileItem> it = items.iterator();
    
51.                         while (it.hasNext()) {
    - C$ j& E0 x# O; o* o$ r7 e
52.                                 FileItem fItem = (FileItem) it.next();
    
53.                 if(!fItem.isFormField()){
    
54.                         String name = fItem.getName();
    - P% ?8 o# h2 i; r
55.                         if (name != null && !("".equals(name))) {
    
56.                                 name = name.substring(name.lastIndexOf(File.separator) + 1);
    , J! l& ^1 y3 ]- B+ @0 D5 F
57.                                 directory = new File(basePath);
    
58.                                 directory.mkdirs();
    ; l4 f4 n+ A# U( a2 `% K
59.                                 String filePath = (basePath)  + File.separator + name;
    
60.                                 InputStream is = fItem.getInputStream();
    * @; x+ W: L# B5 C# E. b5 E
61.                                 FileOutputStream fos = new FileOutputStream(filePath);
    . B' S) A  e9 }. K% ?& M
62.                                 byte[] buffer = new byte[1024];
    
63.                                 while (is.read(buffer) > 0) {
    
64.                                         fos.write(buffer, 0, buffer.length);
    
65.                                 }
    5 j# D! q9 P1 Q- P: t6 _
66.                                 fos.flush();
    ) k3 _  T  ?# d5 m! ?: {! A- T
67.                                 fos.close();
    
68.                         }
    8 r' \4 u  R5 M* m- d$ W* j
69.                 }
    
70.                         }
    
71.                         message = "{success:true, msg:'接收成功'}";
    
72.                 } catch (Exception e) {
    
73.                         message = "{success:false, msg:'读取http请求属性值出错!'}";
    
74.                         e.printStackTrace();
    
75.                 }finally{
    
76.                         out = response.getWriter();
    : k4 I5 j3 R; T( V9 ~; ^! q
77.                         out.print(message);
    
78.                         out.close();
    % y2 v+ \6 t1 j4 f) G
79.                 }
    
80.         }
    ! s" u3 C+ n) K: J! s9 }8 y
81.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    ( @- z6 m& G& l9 x' x
82.                         throws ServletException, IOException {
    
83.                 doGet(request, response);
    , O7 u6 N! @" r( z8 B
84.         }
    9 U& H% H% U: }1 Y8 Y9 T4 O
85. }
    # t: t% ~: n7 e
86. 
    

复制代码

$ g5 n* H$ Y. [$ t# W7 V所需要JAR包
0 u! y# Y/ J$ Ocommons-codec-1.6.jar
8 ^  {+ d% p# V* w3 M8 A4 fcommons-fileupload-1.2.1.jar
commons-io-1.3.2.jar
commons-logging-1.1.1.jar
$ e7 \) F8 g! s4 Y! O4 m; ufluent-hc-4.2.jar
7 y( K% k  {: b, Y9 x. Hhttpclient-4.2.jar
httpclient-cache-4.2.jar
( p  {8 l8 k" t% W' S/ Phttpcore-4.2.jar
6 p* F" D% \4 J1 [+ i# R; k, Nhttpmime-4.2.jar

项目下载地址：点击下载


密码：

游客，如果您要查看本帖隐藏内容请回复

1 s( }; d. }0 b  J( c  R
1 W- L& d9 r$ l) C
5 V1 p5 u8 i& R0 V- a7 S

. C( P4 g; w- z" F

admin

大家 也可以分享  自己的想法

汪星人

哈哈哈  不错 长见识了                  

Smiller_xi

6的飞起。。。。顶

为了力量

非常感谢非常感谢非常感谢非常感谢

我很无奈

学习 学习  顺便说下  这看起来是不是有点简单？

admin

我很无奈 发表于 2016-4-21 02:43
学习 学习  顺便说下  这看起来是不是有点简单？

有 分布式的啊 你可以去看看  这个就是个简单的demo】

白色的鹰

学习学习！

小小王子

哈哈哈                              

喜欢若

原谅我基础差，看不懂，下次可以写的更简练一些