Java爬虫之利用Jsoup自制简单的搜索引擎

GHOST_349178 发布于2019-08-15 15:11 / 2811人阅读

摘要：的官方网址为，其使用手册网址为本次分享将实现的功能为利用爬取某个搜索词语暂仅限英文的百度百科的介绍部分，具体的功能介绍可以参考博客爬虫自制简单的搜索引擎。

Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。Jsoup的官方网址为： https://jsoup.org/，其API使用手册网址为：https://jsoup.org/apidocs/ove... .
本次分享将实现的功能为：利用Jsoup爬取某个搜索词语（暂仅限英文）的百度百科的介绍部分，具体的功能介绍可以参考博客：Python爬虫——自制简单的搜索引擎。在上篇爬虫中我们用Python进行爬取，这次，我们将用Java来做爬虫，你没看错，就是Java.
在Eclipse中加入Jsoup包，下载网址为：https://jsoup.org/download .
爬虫的具体代码如下：

package baiduScrape;

/* 
 * 本爬虫主要利用Java的Jsoup包进行网络爬取
 * 本爬虫的功能： 爬取百度百科的开头介绍部分
 * 使用方法： 输入关键字（目前只支持英文）即可
 */

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.net.*;
import java.io.*;
import java.util.Scanner;

public class BaiduScrape {
    
    public static void main(String[] args) {
        Scanner input = new Scanner(System.in);
        String baseUrl = "https://baike.baidu.com/item/";
        String url = "";
        
        // 如果输入文字不是"exit"，则爬取其百度百科的介绍部分，否则退出该程序
        while(true) {
            System.out.println("Enter the word(Enter "exit" to exit):");
            url = input.nextLine();
            if(url.equals("exit")) {
                System.out.println("The program is over.");
                break;
            }
            String introduction = getContent(baseUrl+url);
            System.out.println(introduction+"
");
        }
    }
    
    // getContent()函数主要实现爬取输入文字的百度百科的介绍部分
    public static String getContent(String url){
        // 利用URL解析网址
        URL urlObj = null;
        try{
            urlObj = new URL(url);
            
        }
        catch(MalformedURLException e){
            System.out.println("The url was malformed!");
            return "";
        }
        
        // URL连接
        URLConnection urlCon = null;
        try{
            urlCon = urlObj.openConnection(); // 打开URL连接
            // 将HTML内容解析成UTF-8格式
            Document doc = Jsoup.parse(urlCon.getInputStream(), "utf-8", url);
            // 刷选需要的网页内容
            String contentText = doc.select("div.lemma-summary").first().text();
            // 利用正则表达式去掉字符串中的"[数字]"
            contentText = contentText.replaceAll("[d+]", "");
            return contentText;
        }catch(IOException e){
            System.out.println("There was an error connecting to the URL");
            return "";
        }
        
    }
}

在上述代码中，url为输入词条（暂时仅限于英文），进入while循环可一直搜索，当输入为’exit’时退出。contentText为该词条的百度百科简介的网页形式，通过正则表达式将其中的文字提取出来。代码虽然简洁，但是功能还是蛮强大的，充分说明Java也是可以做爬虫的。
接下来是愉快的测试时间：

本次分享到此结束，接下来也会持续更新Jsoup方面的相关知识，欢迎大家交流~~

混合云服务器托管爬虫 jsoup jsoup爬虫简单的爬虫 jsoup多线程爬虫

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/68907.html

Java爬虫：Jsoup + Phantomjs

摘要：一是一个开源解析器，可直接解析某个地址文本内容。通过或选择器来查找取出数据，实现爬虫。无头浏览器一个完整的浏览器内核包括解析引擎渲染引擎请求处理等但是不包括显示和用户交互页面的浏览器。（一）Jsoup Jsoup是一个Java开源HTML解析器，可直接解析某个URL地址、HTML文本内容。通过Dom或Css选择器来查找、取出数据，实现爬虫。 maven坐标 or...

songze 2019-08-22 15:32 评论0 收藏0
Java爬虫：Jsoup + Phantomjs

摘要：一是一个开源解析器，可直接解析某个地址文本内容。通过或选择器来查找取出数据，实现爬虫。无头浏览器一个完整的浏览器内核包括解析引擎渲染引擎请求处理等但是不包括显示和用户交互页面的浏览器。（一）Jsoup Jsoup是一个Java开源HTML解析器，可直接解析某个URL地址、HTML文本内容。通过Dom或Css选择器来查找、取出数据，实现爬虫。 maven坐标 or...

fai1017 2019-08-15 14:52 评论0 收藏0
Java爬虫之下载全世界国家的国旗图片

摘要：介绍本篇博客将继续上一篇博客爬虫之使用的模块爬取各国国旗的内容，将用来实现这个爬虫，下载全世界国家的国旗图片。介绍本篇博客将继续上一篇博客：Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗的内容，将用Java来实现这个爬虫，下载全世界国家的国旗图片。项目不再过多介绍，具体可以参考上一篇博客。我们将全世界国家的名称放在一个...

YancyYe 2019-08-16 12:40 评论0 收藏0
Jsoup爬虫获取自己网站在百度搜索中的实时排名

摘要：没有结果返回百度搜索的可以指定页码，最多一页个，使用后有效减少了连接次数。但亲测下来设置过以后的结果与实际用户在百度搜索的结果排序和个数都有出入。 showImg(https://segmentfault.com/img/bVbnA0I?w=1280&h=787); 一直有一个需求，希望看到自己网站在百度的实时的排名用过一些工具，要么反应迟钝，要么结果不准确或不实时于是打算用jsoup...

陈伟 2019-08-16 14:38 评论0 收藏0
jsoup爬虫工具的简单使用

摘要：爬虫工具的使用需要的包解决方案通过获得对象，调用等方法获得对象，调用等方法，获得自己想要的内容。也可以使用增强型循环将它遍历。其中方法是获得该元素的某某属性值，比如标签的值。如果一次方法没用选到具体的，可以多次使用该方法。 jsoup爬虫工具的使用： *需要的jar包 --> Jsoup* 解决方案：1.通过url 获得doucment对象，2.调用select()等方法获得Ele...

MRZYD 2019-08-14 18:34 评论0 收藏0