我的日常

登录/注册
您现在的位置:论坛 盖世程序员(我猜到了开头 却没有猜到结局) 项目源码 > hadoop实现web上传、下载、更新、删除和文件追加
总共48087条微博

动态微博

查看: 3843|回复: 4

hadoop实现web上传、下载、更新、删除和文件追加

[复制链接]
admin    

1244

主题

544

听众

1万

金钱

管理员

  • TA的每日心情

    2021-2-2 11:21
  • 签到天数: 36 天

    [LV.5]常住居民I

    管理员

    跳转到指定楼层
    楼主
    发表于 2014-05-10 15:48:55 |只看该作者 |倒序浏览
          Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上6 W3 ?% g5 S& G9 W: P
    上传:# w9 x2 `( ~# |2 ?# M( s
    1. /**
      . L: d0 c: P+ H' Y0 q: U2 Y
    2. *  
      - f2 {; T$ c: t! O
    3. * 上传控制类,上传页面跳转到这里
      + b( c! t& G5 Y$ h
    4. * 5 b6 s  {; j# V- L
    5. * @author  科帮网% I! c$ v) v8 E$ \8 }) P' p& |! K
    6. * @version  [版本号, 2012-08-02] ( c, U9 q4 j* J- l
    7. * @see  [相关类/方法] , v; w& a# ^6 F8 G% G2 s
    8. * @since  version 1.07 S; V/ I+ P, G* A0 X6 ~! ]/ ]4 E# P. w
    9. */% O" U+ H2 D* i8 n# \/ ~4 R9 C
    10. public class UploadHDFSServlet extends HttpServlet {
      % u% z  W% e* S4 E
    11. 7 K$ W- b! ^; Y2 _* _( f
    12.         /** *) p, p! p4 V0 g( v$ W3 T  f
    13.          * * 该方法负责上传控制处理页面         *
      4 W% F7 |+ ~4 ]; a) m' ?
    14.          * @param request 客户端到服务器的请求消息- B% g' G. t. G; ^. S1 X4 ]! S
    15.          * @param response 服务器返回给页面的消息; ^0 c5 H4 U& N0 t' G
    16.          * @throws ServletException
        }6 D) q9 I- `7 H
    17.          * @throws IOException ( e, h% V1 R0 Y; ~
    18.          */+ }6 H! m, L0 w* H5 o
    19.         public void doPost(HttpServletRequest request, HttpServletResponse response)! H0 v" k8 p. C3 X' ?3 ?. u
    20.                         throws ServletException, IOException {" q) E/ D+ x% c
    21.                 boolean isMultipart = ServletFileUpload.isMultipartContent(request);& o& x, Q, t7 J. F3 g# o
    22.                 if(!isMultipart){% `/ {7 ~! Q* e, x
    23.                 }else{                       
      . R. V8 y+ G- T% Q1 C
    24.                         FileItemFactory factory = new DiskFileItemFactory();1 H! E2 G7 Z+ l. i
    25.                         ServletFileUpload upload = new ServletFileUpload(factory);3 z9 n' W% U) r2 C# C( M
    26.                         try {
      " i' z+ W9 D! B. N& n
    27.                                 List items = upload.parseRequest(request);                       
      # q; ^' b- s9 d8 b) `
    28.                                 Iterator iter = items.iterator();* Z8 g! |: [5 T5 K1 \6 ~8 [
    29.                                 while(iter.hasNext()){
      4 ~: n# l# Q: D$ C
    30.                                         FileItem item = (FileItem)iter.next();
      % S+ B# f) u" ?4 b4 z# o) N: G
    31.                                         if(item.isFormField()){
      3 R! u4 @( d& V4 m* p4 q# v+ Q
    32.                                                 String name = item.getFieldName();
      ( {: t( y; K  ^
    33.                                                 System.out.println(name);+ t- l) U  n5 U% I# |
    34.                                         }else{+ h0 S4 T* B9 t3 l/ }  u$ K" P1 q
    35.                                                 //表单名字4 `* |% a3 n3 s
    36.                                             String fileName = item.getName();8 ]; N3 p) \% k% l! W$ C
    37.                                             InputStream uploadedStream = item.getInputStream();
      / ~; p% `2 O3 |& ~' ], w
    38.                                             HDFSOperation hdfsOperation = new HDFSOperation();
      5 q% `* x/ S  O2 r# ]  z9 @
    39.                                             
        X0 v+ X  w& k3 Y7 P/ d" F
    40.                                             String hdfsPath = dfs.HDFSConfig.getHDFSPath() + fileName;; m( M4 ]( d  h7 {: X
    41.                                             boolean flag = hdfsOperation.upLoad(uploadedStream, hdfsPath);       
      8 |% X4 _$ K/ r# T
    42.                                             , l) E( e9 R- j- F3 _/ R( t
    43.                                             if(flag){
      4 l  P) B' y  Y7 V
    44.                                                     response.sendRedirect("success.jsp");) r( x! A  w2 P$ [9 Y6 w6 G( g
    45.                                             }else{
      2 u9 A' o+ b6 e" P+ ^
    46.                                                     response.sendRedirect("failure.jsp");! r# \* W2 `* R
    47.                                             }
      , {$ J8 s& [4 t% s5 w. E5 _# q
    48.                                         }& f7 H: @  V& x5 q" @
    49.                                 }* T, k9 v  L  w0 c) @2 l  R
    50.                                
      % P6 t: x& _7 X/ c' v8 ?
    51.                         } catch (Exception e) {                               
      1 ^/ N8 h. p" n
    52.                                 e.printStackTrace();: J/ w$ I% D  o) L: y* J
    53.                         }
      ; E, B4 f+ {1 ]" Q. ]* h. \
    54.                 }               
      & \* S/ ^: F1 f& z9 u
    55.         ! W  _9 H$ h% \; i1 P5 z% R
    56.         }
      1 h$ C/ B7 u& @/ p1 j& J5 e  L
    57. / w: S+ I. a: N! y  w& A
    58. }
    复制代码
    配置:) S- n& K  ?3 k% j  W
    1. <configuration>, q: o) U1 O" y9 H
    2.   <property>
      7 [" Y; f# T: M& B, H1 R
    3.      <name>fs.default.name </name>- l5 ^  Q- B7 v/ F' K, x6 G
    4.      <value>hdfs://10.6.12.101:8888</value>3 ~3 `9 D( V+ F3 a
    5.   </property>
      * }% U! A, L. Q( n3 ^( N1 M$ L
    6. <property>
      1 o/ Y: ]" A4 m6 H1 I4 |* R
    7. <name>hadoop.tmp.dir</name>& B+ \0 Q2 U, g/ A* k/ @; m
    8. <value>/home/hadoopuser/tmp</value>. d# F1 B8 ]/ e
    9. </property>6 ]: ~) _' Z4 N, @% S, n% f: E
    10. </configuration>
    复制代码
    源码下载地址:点击下载
    2 Z3 g; f: ]1 r% V! H
    * n4 [3 P, p. i8 }) g4 f5 ^/ z  N6 P; {! x4 Z
    2 X. C( t( t. ^+ h$ q: H5 V

    科帮网 1、本主题所有言论和图片纯属会员个人意见,与本社区立场无关
    2、本站所有主题由该帖子作者发表,该帖子作者与科帮网享有帖子相关版权
    3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和科帮网的同意
    4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
    5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
    6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    7、科帮网管理员和版主有权不事先通知发贴者而删除本文


    JAVA爱好者①群:JAVA爱好者① JAVA爱好者②群:JAVA爱好者② JAVA爱好者③ : JAVA爱好者③

    3

    主题

    4

    听众

    133

    金钱

    三袋弟子

    该用户从未签到

    80后 推广达人

    沙发
    发表于 2014-05-13 16:24:01 |只看该作者
    如果可以做一个样板出来就更好了~
    回复

    使用道具 举报

    3

    主题

    0

    听众

    212

    金钱

    四袋长老

    该用户从未签到

    板凳
    发表于 2016-03-07 17:49:05 |只看该作者
    很不错哟,谢谢楼主,受教了。
    回复

    使用道具 举报

    woniu 实名认证   

    2

    主题

    0

    听众

    330

    金钱

    四袋长老

    该用户从未签到

    地板
    发表于 2016-04-12 12:03:24 |只看该作者
    这个项目太棒勒!下下来学习下!
    回复

    使用道具 举报

    5

    主题

    0

    听众

    316

    金钱

    四袋长老

    该用户从未签到

    5#
    发表于 2017-08-14 08:44:54 |只看该作者
    不错不错不错,学习一下
    回复

    使用道具 举报

    快速回复
    您需要登录后才可以回帖 登录 | 立即注册

       

    关闭

    站长推荐上一条 /1 下一条

    发布主题 快速回复 返回列表 联系我们 官方QQ群 科帮网手机客户端
    快速回复 返回顶部 返回列表