hadoop实现web上传、下载、更新、删除和文件追加

admin

      Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上
% N( P" _, Q* {上传：

1. /**
   
2. *  
   . A. N) R7 o4 t, L7 u' T/ b5 U
3. * 上传控制类，上传页面跳转到这里
   9 _7 I* e/ S. z" W1 @2 ~* `) V
4. *
   ; T. |5 R( `' R8 Y4 |$ {- C, z: l
5. * @author  科帮网
     N' J& z- d$ C( g2 D  }
6. * @version  [版本号, 2012-08-02]
   
7. * @see  [相关类/方法]
   
8. * @since  version 1.0
   
9. */
   : k) W: E' j" ^3 g+ C9 D+ c
10. public class UploadHDFSServlet extends HttpServlet {
    
11. 
    
12.         /** *
    
13.          * * 该方法负责上传控制处理页面         *
    
14.          * @param request 客户端到服务器的请求消息
    & C' A/ ^- L) p. C) `9 p- C( w
15.          * @param response 服务器返回给页面的消息
    
16.          * @throws ServletException
    
17.          * @throws IOException
    ; e# [5 `% B" q% ]
18.          */
    3 z) P( o' U7 r+ _0 n
19.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    8 Q) B* R3 U! ]0 R7 h6 J" `% Y+ W( U
20.                         throws ServletException, IOException {
    - g! O2 _) C! l0 T4 m: C" Q- r6 H
21.                 boolean isMultipart = ServletFileUpload.isMultipartContent(request);
    
22.                 if(!isMultipart){
    
23.                 }else{                       
    5 q# ^$ ^& [; j4 Q2 I
24.                         FileItemFactory factory = new DiskFileItemFactory();
    8 Z. Y0 k5 L: K" a& R% ]
25.                         ServletFileUpload upload = new ServletFileUpload(factory);
    # S- d/ q$ A# B- O6 E
26.                         try {
      c" n% l. }6 \* u3 Y9 R2 |
27.                                 List items = upload.parseRequest(request);                       
    
28.                                 Iterator iter = items.iterator();
    : G$ d6 B: Y/ ]
29.                                 while(iter.hasNext()){
    
30.                                         FileItem item = (FileItem)iter.next();
    
31.                                         if(item.isFormField()){
    - D8 i# ]- l( a! P/ \" j2 H
32.                                                 String name = item.getFieldName();
    " U6 H; l, W! h* c. E0 m
33.                                                 System.out.println(name);
    : ?6 n3 }, _; `/ l  Q, r
34.                                         }else{
    7 i+ j: i7 C; m1 T2 i  N8 r( `  y. K
35.                                                 //表单名字
    
36.                                             String fileName = item.getName();
    ; Z. K7 Y5 Z6 N4 [. g/ G
37.                                             InputStream uploadedStream = item.getInputStream();
    / F6 T8 }( S$ }- |
38.                                             HDFSOperation hdfsOperation = new HDFSOperation();
    
39.                                             
    
40.                                             String hdfsPath = dfs.HDFSConfig.getHDFSPath() + fileName;
    8 }, ]8 }+ d6 c) f0 k' b
41.                                             boolean flag = hdfsOperation.upLoad(uploadedStream, hdfsPath);       
    
42.                                             
    
43.                                             if(flag){
    
44.                                                     response.sendRedirect("success.jsp");
    
45.                                             }else{
    / e& O! u- b8 X- B
46.                                                     response.sendRedirect("failure.jsp");
    
47.                                             }
    $ D! y+ L9 b6 @0 j  h) Y
48.                                         }
    
49.                                 }
    
50.                                
    7 ~8 i4 e) \5 ]
51.                         } catch (Exception e) {                               
    
52.                                 e.printStackTrace();
    
53.                         }
    
54.                 }               
    
55.        
    
56.         }
    - k* w- j& }' ^1 W5 A/ F0 r
57. 
    
58. }

复制代码

配置：

1. <configuration>
   1 d$ m0 r; ^' R; h
2.   <property>
   
3.      <name>fs.default.name </name>
     [/ R/ w5 C+ S
4.      <value>hdfs://10.6.12.101:8888</value>
   
5.   </property>
   ) ^2 r. ^5 h2 g) S" K8 U
6. <property>
   
7. <name>hadoop.tmp.dir</name>
   
8. <value>/home/hadoopuser/tmp</value>
   ( h6 P& h0 P# ]5 g, V
9. </property>
   " s( w) e( P5 K
10. </configuration>

复制代码

源码下载地址：点击下载
- H( J- F2 ]# m3 l


# W8 A0 Q1 x$ h' L8 F" U

昕动2014

如果可以做一个样板出来就更好了~

九纹龙

很不错哟，谢谢楼主，受教了。

woniu

这个项目太棒勒！下下来学习下！

wudizxt

不错不错不错，学习一下