hadoop实现web上传、下载、更新、删除和文件追加

admin

      Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上
上传：
' n! G# ?+ B; [/ z( E* u

1. /**
   5 d& Q7 V" q# M4 |
2. *  
   ' ]$ u, c( B# O% d+ g
3. * 上传控制类，上传页面跳转到这里
   0 i8 W, ?  o, ^9 d8 C9 ]) Z6 G
4. *
   
5. * @author  科帮网
   
6. * @version  [版本号, 2012-08-02]
   
7. * @see  [相关类/方法]
   
8. * @since  version 1.0
   
9. */
   
10. public class UploadHDFSServlet extends HttpServlet {
    " d8 i% `* W: G% Q
11. 
    9 |, J% k- s) o6 |
12.         /** *
    
13.          * * 该方法负责上传控制处理页面         *
    
14.          * @param request 客户端到服务器的请求消息
    
15.          * @param response 服务器返回给页面的消息
    ! O! ~0 G% g1 {4 O% [
16.          * @throws ServletException
      I* j% Q+ Z8 A# X7 l1 i1 G7 p
17.          * @throws IOException
    
18.          */
    
19.         public void doPost(HttpServletRequest request, HttpServletResponse response)
    % _6 G. p/ F" U
20.                         throws ServletException, IOException {
    
21.                 boolean isMultipart = ServletFileUpload.isMultipartContent(request);
    
22.                 if(!isMultipart){
    
23.                 }else{                       
    8 S3 ?) a$ e" _, {# Y: H* e, A
24.                         FileItemFactory factory = new DiskFileItemFactory();
    7 N: ^7 [, `; p2 w6 f& X- o
25.                         ServletFileUpload upload = new ServletFileUpload(factory);
    
26.                         try {
    
27.                                 List items = upload.parseRequest(request);                       
    
28.                                 Iterator iter = items.iterator();
    # J( p  {; D( _# P* W# [
29.                                 while(iter.hasNext()){
    
30.                                         FileItem item = (FileItem)iter.next();
    3 ?- h! E. u8 M- I, E+ \0 F( {7 t/ M
31.                                         if(item.isFormField()){
    
32.                                                 String name = item.getFieldName();
    
33.                                                 System.out.println(name);
    
34.                                         }else{
    " `, n5 C8 D6 R/ H7 P& I
35.                                                 //表单名字
    ) g  e  m) e" |
36.                                             String fileName = item.getName();
    
37.                                             InputStream uploadedStream = item.getInputStream();
    9 I# y& L" A8 k& r# e- v
38.                                             HDFSOperation hdfsOperation = new HDFSOperation();
    3 V: Z9 f  [7 m+ _( E: t
39.                                             
    ; H8 R* t" U. ~! y- X5 Z% G
40.                                             String hdfsPath = dfs.HDFSConfig.getHDFSPath() + fileName;
    + j9 ^  P1 L( |3 @1 F. s
41.                                             boolean flag = hdfsOperation.upLoad(uploadedStream, hdfsPath);       
    
42.                                             
    
43.                                             if(flag){
    4 N3 q* X, m6 o$ S
44.                                                     response.sendRedirect("success.jsp");
    
45.                                             }else{
    ( H! A7 Q4 t0 j  t4 f" W
46.                                                     response.sendRedirect("failure.jsp");
    ; ]% d# h' j: g
47.                                             }
    5 }  ^0 `7 B% ^9 f
48.                                         }
    
49.                                 }
    
50.                                
    
51.                         } catch (Exception e) {                               
    
52.                                 e.printStackTrace();
    7 ^/ ?, w7 g# F4 W4 G, {5 a& J0 G
53.                         }
    
54.                 }               
    
55.        
    
56.         }
    
57. 
    
58. }

复制代码

配置：
& A$ x# Q9 c1 r( E# p

1. <configuration>
   7 j0 l$ u1 Z6 x/ w7 W
2.   <property>
   4 l5 r( |  Q7 Y; u& ]+ H
3.      <name>fs.default.name </name>
   
4.      <value>hdfs://10.6.12.101:8888</value>
   
5.   </property>
   : v" h8 n1 ]4 X$ v. ^+ Y" N- P
6. <property>
   
7. <name>hadoop.tmp.dir</name>
   - m( c' L  A& d
8. <value>/home/hadoopuser/tmp</value>
   % @6 t2 R* i; q4 ^* J' ^$ z3 r
9. </property>
   8 D" L) A( s6 ]& w( U  y: S' z
10. </configuration>

复制代码

源码下载地址：点击下载
$ l$ O( W! O' V9 V# s1 l

, B$ Q$ a/ u+ Z5 p' U1 ?) {

昕动2014

如果可以做一个样板出来就更好了~

九纹龙

很不错哟，谢谢楼主，受教了。

woniu

这个项目太棒勒！下下来学习下！

wudizxt

不错不错不错，学习一下