资讯专栏INFORMATION COLUMN

HTTPClient4.x简单使用方法

lei___ / 2483人阅读

摘要:简单使用之前一直使用来获取的页面,那么怎么使用呢闲话少叙直接上代码吧该段代码重点在于的定义如果不设置超时时间,当批量操作大量网页的时候,会出现等待假死的情况。这种情况是特别严重的,会大大提高人工,所以加入超时设定来控制。

HttpClient4.x简单使用
  

之前一直使用HttpClient4来获取URL的页面,那么HttpClient怎么使用呢?闲话少叙直接上代码吧!

public class HTTPUtils {

    private static CloseableHttpClient httpClient;

    private static RequestConfig requestConfig = RequestConfig.custom()
            .setSocketTimeout(5000).setConnectTimeout(5000).build();

        /**
         * 
         * @param url
         * @return
         * @throws IOException
         */
        public static String getHTML(String url) throws IOException {
            httpClient = HttpClients.createDefault();
            HttpGet request = new HttpGet(url);
            request.setConfig(requestConfig);
            HttpResponse response = httpClient.execute(request);
            HttpEntity entity = response.getEntity();
            // ContentType contentType = ContentType.get(entity);
            String html = EntityUtils.toString(entity, "GB18030");
            httpClient.close();
            // httpClient.getConnectionManager().shutdown();
            return html;
        }
    }
    该段代码重点在于requestConfig的定义,如果不设置超时时间,当批量操作大量网页的时候,会出现等待假死的情况。这种情况是特别严重的,会大大提高人工,所以加入超时设定来控制。获取html页面的时候,需要设置一下页面编码,否则默认ISO_8859_1字符编码。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/35741.html

相关文章

  • Java3y文章目录导航

    摘要:前言由于写的文章已经是有点多了,为了自己和大家的检索方便,于是我就做了这么一个博客导航。 前言 由于写的文章已经是有点多了,为了自己和大家的检索方便,于是我就做了这么一个博客导航。 由于更新比较频繁,因此隔一段时间才会更新目录导航哦~想要获取最新原创的技术文章欢迎关注我的公众号:Java3y Java3y文章目录导航 Java基础 泛型就这么简单 注解就这么简单 Druid数据库连接池...

    KevinYan 评论0 收藏0
  • javascript实现简单工厂模式

    摘要:从设计模式的分类来看简单工厂模式是创建型模式。使用简单工厂模式将会增加系统中类的个数,在一定程序上增加了系统的复杂度和理解难度。简单工厂模式由于使用了静态工厂方法,造成工厂角色无法形成基于继承的等级结构。 简单工厂模式提供了一个接口可以根据传递的参数的不同创建不同的对象,从而将对象自身的逻辑与对象的创建分离开。 从设计模式的分类来看简单工厂模式是创建型模式。事实上与简单工厂模式类似的还...

    Code4App 评论0 收藏0
  • PHP设计模式(一)简单工厂模式 (Simple Factory For PHP)

    摘要:工厂模式使一个类的实例化延迟到其子类。参考系列源地址系列目录设计模式概述设计模式一简单工厂模式设计模式二工厂方法模式设计模式三抽象工厂模式设计模式四单例模式 一、什么是简单工厂模式 简单工厂 (Simple Factory)又称静态工厂方法模式(Static Factory Method Pattern)   使用的频率可以说是非常之高,它的官方解释为:定义一个用于创建对象的接口,让子...

    Hancock_Xu 评论0 收藏0
  • 仿照 Spring 实现简单的 IOC 和 AOP - 上篇

    摘要:不过那个实现太过于简单,和,相去甚远。在接下来文章中,我也将从易到难,实现不同版本的和。切面切面包含了通知和切点,通知和切点共同定义了切面是什么,在何时,何处执行切面逻辑。 1. 背景 我在大四实习的时候开始接触 J2EE 方面的开发工作,也是在同时期接触并学习 Spring 框架,到现在也有快有两年的时间了。不过之前没有仿写过 Spring IOC 和 AOP,只是宏观上对 Spri...

    layman 评论0 收藏0
  • iconfont字体图标的使用方法--超简单!

    摘要:我之前因为项目用比较多所以使用字体图标比较多后来接触到了发现想要的什么图标都有还可以自定义图标非常强大之前看了一波教程觉得繁琐自己弄明白后感觉如此简单做了这么个简单教程直接上图简单粗暴避免新手走弯路这里讲解的默认是元素使用类名百度找到阿里巴  我之前因为项目用bootstrap比较多,所以使用font awesome字体图标比较多,后来接触到了iconfont,发现想要的什么图标都有,还...

    ghnor 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<