hadoop实现web上传、下载、更新、删除和文件追加

admin

      Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上
上传：

1. /**
   4 X  o$ K4 V( f" q
2. *  
   3 P2 V3 P+ ^% t  z; B8 }
3. * 上传控制类，上传页面跳转到这里
   
4. *
   
5. * @author  科帮网
   2 g, L* X6 b+ U" K; s$ O& H, F0 D
6. * @version  [版本号, 2012-08-02]
   / V: p0 w( O, S7 c8 o! S: B
7. * @see  [相关类/方法]
   
8. * @since  version 1.0
   
9. */
   
10. public class UploadHDFSServlet extends HttpServlet {
    7 e' U4 N8 A: V+ m8 w
11. 
    
12.         /** *
    : j8 }7 E, C# W/ `
13.          * * 该方法负责上传控制处理页面         *
    2 @, r& K* L- V+ z8 w+ Q( g) a5 o
14.          * @param request 客户端到服务器的请求消息
    
15.          * @param response 服务器返回给页面的消息
    $ U( v* _* A; I4 q5 U. \
16.          * @throws ServletException
    ' V) {% Y: Q2 Y' W
17.          * @throws IOException
    
18.          */
    ! }1 K, Q: S( n5 w0 N9 E
19.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    
20.                         throws ServletException, IOException {
    8 ]3 ^5 X& O$ M! Q
21.                 boolean isMultipart = ServletFileUpload.isMultipartContent(request);
    
22.                 if(!isMultipart){
    
23.                 }else{                       
    ( E( I$ y" N3 D! w: Q+ `9 k7 R
24.                         FileItemFactory factory = new DiskFileItemFactory();
    
25.                         ServletFileUpload upload = new ServletFileUpload(factory);
    0 I' D/ C2 S# p: J4 Y) ^
26.                         try {
    ( Y  }4 y3 e6 U
27.                                 List items = upload.parseRequest(request);                       
    / y0 |% B/ l0 p1 t, F4 s
28.                                 Iterator iter = items.iterator();
    
29.                                 while(iter.hasNext()){
    
30.                                         FileItem item = (FileItem)iter.next();
    
31.                                         if(item.isFormField()){
    
32.                                                 String name = item.getFieldName();
    % g, P& R& ~! G& M% ~5 d! v* b) f
33.                                                 System.out.println(name);
      S$ x: T7 }" O: h4 l- O$ R- b) g
34.                                         }else{
    
35.                                                 //表单名字
    ( ^% R8 ^' D) q& m3 l1 f
36.                                             String fileName = item.getName();
    
37.                                             InputStream uploadedStream = item.getInputStream();
    
38.                                             HDFSOperation hdfsOperation = new HDFSOperation();
    
39.                                             
    3 u. A' h! A! y- y: C' t' ~
40.                                             String hdfsPath = dfs.HDFSConfig.getHDFSPath() + fileName;
    % S# M; @2 a" ]6 O
41.                                             boolean flag = hdfsOperation.upLoad(uploadedStream, hdfsPath);       
    
42.                                             
    
43.                                             if(flag){
    4 j/ `* |' E/ G2 J- g& O3 g5 |4 K2 b
44.                                                     response.sendRedirect("success.jsp");
    
45.                                             }else{
    
46.                                                     response.sendRedirect("failure.jsp");
    
47.                                             }
    7 g, l8 N* W4 i3 n; E2 \9 }
48.                                         }
    " C( Z5 E! b9 ^
49.                                 }
      L3 F5 y! n' U7 C0 u0 ?
50.                                
    
51.                         } catch (Exception e) {                               
    2 B; G. p: u8 `7 X7 Q
52.                                 e.printStackTrace();
    ' E/ R) Q6 m. F) `
53.                         }
    
54.                 }               
    
55.        
    
56.         }
    
57. 
    " V& E" f: K  ]
58. }

复制代码

配置：
2 ~: t( G- J6 |% R5 M. a

1. <configuration>
   
2.   <property>
   6 B" }# k! D0 p% Z  _/ s# L/ |
3.      <name>fs.default.name </name>
   
4.      <value>hdfs://10.6.12.101:8888</value>
   - P9 L  P" S3 ]
5.   </property>
   5 V$ b" T) c+ D  j
6. <property>
   ( j; x# g2 _( v0 Z/ [! I$ q3 S
7. <name>hadoop.tmp.dir</name>
   4 @5 F7 ]% j8 C- f# P3 f
8. <value>/home/hadoopuser/tmp</value>
   
9. </property>
   
10. </configuration>

复制代码

源码下载地址：点击下载

& w3 \' T" \2 I" |1 f/ @' \" p
: j: S7 `  W0 g

昕动2014

如果可以做一个样板出来就更好了~

九纹龙

很不错哟，谢谢楼主，受教了。

woniu

这个项目太棒勒！下下来学习下！

wudizxt

不错不错不错，学习一下