Java中如何使用内存映射处理大文件

QQ账号登录	立即注册>>

小七

57 主题	5 听众	129 金钱

三袋弟子

该用户从未签到

电梯直达

楼主

发表于 2014-05-10 10:39:23 |只看该作者 |倒序浏览

在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。

package test;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

public class Test {

public static void main(String[] args) {
      try {
         FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
         int sum=0;
         int n;
         long t1=System.currentTimeMillis();
         try {
            while((n=fis.read())>=0){
                  sum+=n;
            }
         } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
         }
         long t=System.currentTimeMillis()-t1;
         System.out.println("sum:"+sum+"  time:"+t);
      } catch (FileNotFoundException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
      }

      try {
         FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
         BufferedInputStream bis=new BufferedInputStream(fis);
         int sum=0;
         int n;
         long t1=System.currentTimeMillis();
         try {
            while((n=bis.read())>=0){
                  sum+=n;
            }
         } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
         }
         long t=System.currentTimeMillis()-t1;
         System.out.println("sum:"+sum+"  time:"+t);
      } catch (FileNotFoundException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
      }

      MappedByteBuffer buffer=null;
      try {
         buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
         int sum=0;
         int n;
         long t1=System.currentTimeMillis();
         for(int i=0;i<1253244;i++){
            n=0x000000ff&buffer.get(i);
            sum+=n;
         }
         long t=System.currentTimeMillis()-t1;
         System.out.println("sum:"+sum+"  time:"+t);
      } catch (FileNotFoundException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
      } catch (IOException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
      }

}

}
测试文件为一个大小为1253244字节的文件。测试结果：

sum:220152087 time:1464
sum:220152087 time:72
sum:220152087 time:25
说明读数据无误。删去其中的数据处理部分。

package test;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

public class Test {

public static void main(String[] args) {
      try {
         FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
         int sum=0;
         int n;
         long t1=System.currentTimeMillis();
         try {
            while((n=fis.read())>=0){
                  //sum+=n;
            }
         } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
         }
         long t=System.currentTimeMillis()-t1;
         System.out.println("sum:"+sum+"  time:"+t);
      } catch (FileNotFoundException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
      }

      try {
         FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
         BufferedInputStream bis=new BufferedInputStream(fis);
         int sum=0;
         int n;
         long t1=System.currentTimeMillis();
         try {
            while((n=bis.read())>=0){
                  //sum+=n;
            }
         } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
         }
         long t=System.currentTimeMillis()-t1;
         System.out.println("sum:"+sum+"  time:"+t);
      } catch (FileNotFoundException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
      }

      MappedByteBuffer buffer=null;
      try {
         buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
         int sum=0;
         int n;
         long t1=System.currentTimeMillis();
         for(int i=0;i<1253244;i++){
            //n=0x000000ff&buffer.get(i);
            //sum+=n;
         }
         long t=System.currentTimeMillis()-t1;
         System.out.println("sum:"+sum+"  time:"+t);
      } catch (FileNotFoundException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
      } catch (IOException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
      }

}

}
测试结果：

sum:0 time:1458
sum:0 time:67
sum:0 time:8
由此可见，将文件部分或者全部映射到内存后进行读写，速度将提高很多。

这是因为内存映射文件首先将外存上的文件映射到内存中的一块连续区域，被当成一个字节数组进行处理，读写操作直接对内存进行操作，而后再将内存区域重新映射到外存文件，这就节省了中间频繁的对外存进行读写的时间，大大降低了读写时间。

我的日常 1、本主题所有言论和图片纯属会员个人意见，与本社区立场无关
2、本站所有主题由该帖子作者发表，该帖子作者与我的日常享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和我的日常的同意
4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
5、本帖部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责
6、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意
7、我的日常管理员和版主有权不事先通知发贴者而删除本文