java如何抓取网页

汪星人

程序逻辑：
从文件config.txt读取url链接，根据url打开输入流，将接收到的网页内容保存到文件。

1. package com.changying.spider;
   
2. 
   
3. import java.io.BufferedReader;
   
4. import java.io.File;
   
5. import java.io.FileOutputStream;
   
6. import java.io.FileReader;
   
7. import java.io.IOException;
   
8. import java.io.InputStream;
   
9. import java.io.OutputStream;
   
10. import java.net.URL;
    
11. 
    
12. public class Spider {
    
13.         public static void main(String[] args) throws IOException {
    
14.                 System.out.println(args[0]);
    
15.                 System.out.println(args[1]);
    
16.                 File config = new File(args[0]);
    
17.                 //System.out.println("Hello World!");
    
18.                
    
19.                 BufferedReader fileReader = new BufferedReader(new FileReader(config));
    
20.                 String strUrl = fileReader.readLine();
    
21.                 System.out.println(strUrl);
    
22.                 URL url = new URL(strUrl);
    
23.                 InputStream in = url.openStream();
    
24.                 File resultFile = new File(args[1] + "\\url001.html");
    
25.                 if (!resultFile.exists()) {
    
26.                         resultFile.createNewFile();
    
27.                 }
    
28.                 //OutputStream result = new FileOutputStream(args[1] + "\\url001.html");
    
29.                 OutputStream result = new FileOutputStream(resultFile);
    
30.                
    
31.                 byte[] buffer = new byte[4096];
    
32.                 int bytes_read;
    
33.                
    
34.                 while ((bytes_read = in.read(buffer)) != -1) {
    
35.                         result.write(buffer, 0, bytes_read);
    
36.                 }
    
37.                 fileReader.close();
    
38.                 in.close();
    
39.                 result.close();
    
40.         }
    
41. }
    

复制代码

wang1026613528

这也行