作者|小鱼儿. yanxiao|CSDN

Java代码基于Eclipse简单实现网页源码爬取

今天给大家分享我的最新java学习进程--java网页源码爬虫，废话不多说盘代码。

仅需一页代码:

package 网站爬虫2;/** * 爬取目标网页源代码示例 * @作者 YanXiaolxy * @版本 2020.03 * @时间 2020年12月14日 下午1:14:14 */import java.io.BufferedWriter;import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileWriter;import java.io.InputStream;import java.net.HttpURLConnection;import java.net.URL;public class webHtmlCrawer {public static void main(String[] args) {newFile();}public static String getConnection() {String path = "https://www.taobao.com/";try {HttpURLConnection conn = (HttpURLConnection) new URL(path).openConnection();conn.setRequestMethod("GET"); conn.setConnectTimeout(5000); if (conn.getResponseCode() == 200) { InputStream xml = conn.getInputStream(); byte[] data = read(xml); //System.out.println(xml); return new String(data); }else { System.out.println("连接失败！"); }} catch (Exception e) {e.printStackTrace();}return null;}//读取数据流,转换为字符串 public static byte[] read(InputStream xml) throws Exception { ByteArrayOutputStream outputStream = new ByteArrayOutputStream(); byte[] buffer = new byte[1024]; int len = 0; while ((len = xml.read(buffer)) != -1) { outputStream.write(buffer, 0, len); } xml.close(); return outputStream.toByteArray(); } public static void newFile() { String html = getConnection(); String dir = "D:/javafile/";//定义创建目录位置 File contents = new File(dir); contents.mkdirs();//创建文件目录 try { byte bytes[] = {1, 2, 3, 4}; File file = new File("D:/javafile/test.txt"); //判断文件是否存在，如果不存在就创建 if (!file.exists()) { file.createNewFile(); } FileWriter fw = new FileWriter(file.getAbsoluteFile()); BufferedWriter bw = new BufferedWriter(fw); System.out.println("正在写入....."); bw.write(html); bw.close(); System.out.println("录入完毕"); } catch (Exception e) { e.getStackTrace(); } } }

使用注意:

1.图中红色标记为设置目标网站路径.
图片: 1

2.设置网页源代码存放目录和文件创建

欢迎各位发表评论和问题。

总结

以上是生活随笔为你收集整理的eclipse if代码折叠_仅需一页Java代码就能实现网页源码爬取的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。