阿里云centos7.2下安装chrome浏览器+webdriver+selenium及常见设置-傻

Miracle 发布于2019-08-08 13:54 / 2886人阅读

摘要：版本阿里云用户下版本，安装方法测试时间安装浏览器创建源文件输入源信息安装安装及此处应该注意版本是否与版本是否一致如果不一致，请手动下载驱动并替换手动下载地址默认安装路径修改配置来执行代码及常见错误处理测试测试

Linux版本:阿里云CentOS Linux release 7.2.1511 (Core)
root用户下
python版本python3.6，python3安装方法https://www.cnblogs.com/FZfangzheng/p/7588944.html
测试时间:2019-04-16

1.安装chrome浏览器 1.1 创建yum源文件

cd /etc/yum.repos.d/
touch google-chrome.repo

1.2 输入yum源信息

[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

1.3 安装google chrome

yum -y install google-chrome-stable --nogpgcheck

2.安装chromedriver及selenium

yum install chromedriver#此处应该注意chromedriver版本是否与chrome版本是否一致,如果不一致，请手动下载chromedriver驱动并替换
pip install selenium

chromedriver手动下载地址:http://npm.taobao.org/mirrors...

默认安装路径:chromedriver: /usr/bin/chromedriver

3.修改配置来执行代码,及常见错误处理 3.1测试demo

#!/usr/bin/env python
# -*- coding=UTF-8 -*-
#测试代码
import time
from selenium import webdriver
def test():
    chromeOptions = webdriver.ChromeOptions()

    chromeOptions.add_argument("--headless")  #浏览器无窗口加载
    chromeOptions.add_argument("--disable-gpu")  #不开启GPU加速
    
    """
    解决报错:
    selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally
    (unknown error: DevToolsActivePort file doesn"t exist)
    """
    chromeOptions.add_argument("--disable-dev-shm-usage") 
    chromeOptions.add_argument("--no-sandbox")#以根用户打身份运行Chrome，使用-no-sandbox标记重新运行Chrome,禁止沙箱启动

    #其它设置(可选):
    #chromeOptions.add_argument("--hide-scrollbars") #隐藏滚动条, 应对一些特殊页面
    #chromeOptions.add_argument("blink-settings=imagesEnabled=false") #不加载图片, 提升速度
    #chromeOptions.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36")  #伪装其它版本浏览器,有时可以解决代码在不同环境上的兼容问题,或者爬虫cookie有效性保持一致需要设置此参数

    #创建driver对象
    #chrome_options=chromeOptions加载设置
    #executable_path="/usr/bin/chromedriver"指定webdriver路径(可选)
    driver = webdriver.Chrome(chrome_options=chromeOptions,executable_path="/usr/bin/chromedriver")
    try:
        driver.get("http://www.baidu.com")
        time.sleep(3)
        print(driver.page_source)
    except Exception as e:
        print(e)
    finally:
        driver.quit()
if __name__ == "__main__":
    test()

4.参考资料

https://www.cnblogs.com/ianduin/p/8727333.html
https://www.cnblogs.com/baijing1/p/9751399.html
https://www.cnblogs.com/z-x-y/p/9507467.html

云服务器 selenium环境安装 Linux常见故障及解决方案解码器常见故障及解决方法阿里云后端服务器安装设置

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/63635.html

Python_selenium_phantomjs动态抓取

摘要：当前版本是一个服务器端的的。也可以说是无界面浏览器。安装不是程序，去官网下载对应系统版本的安装即可。方法会一直等到页面被完全加载，然后才会继续程序，但是对于是无可奈何的。安装设置的查看所有可用的属性。 selenium:https://github.com/SeleniumHQ...当前版本3.0.1A browser automation framework and ecosyste...

zacklee 2019-07-31 10:51 评论0 收藏0
一行js代码识别Selenium+Webdriver及其应对方案

摘要：截至年月日分，本文所讲的方法可以用来登录知乎。如果使用直接登录知乎，会弹出验证码先使用本文的方法再登录知乎，能够成功伪装成真实的浏览器，不会弹出验证码。实际上，能被识别的特征不止这一个。有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver，以为这样就能做到不被网站的反爬虫机制发现。先不说淘宝这种基于用户行为的反爬虫策略，仅仅是一个普通的小网站，使用一行...

andycall 2019-08-23 15:10 评论0 收藏0
一行js代码识别Selenium+Webdriver及其应对方案

摘要：截至年月日分，本文所讲的方法可以用来登录知乎。如果使用直接登录知乎，会弹出验证码先使用本文的方法再登录知乎，能够成功伪装成真实的浏览器，不会弹出验证码。实际上，能被识别的特征不止这一个。有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver，以为这样就能做到不被网站的反爬虫机制发现。先不说淘宝这种基于用户行为的反爬虫策略，仅仅是一个普通的小网站，使用一行...

Tamic 2019-07-31 10:03 评论0 收藏0
❤️爬虫+自动化利器 selenium 之自学成才篇（一）❤️

文章目录 selenium 简介selenium安装安装浏览器驱动确定浏览器版本下载驱动定位页面元素打开指定页面id 定位name 定位class 定位tag 定位xpath 定位css 定位link 定位partial_link 定位浏览器控制修改浏览器窗口大小浏览器前进&后退浏览器刷新浏览器窗口切换常见操作鼠标控制单击左键单击右键双击拖动鼠标悬停键盘控制 seleni...

james 2021-09-26 09:55 评论0 收藏0
【Python爬虫】4万字，详解selenium从入门到实战【错过再无】

摘要：难在哪里根据上面的标签需要定位最后一行标签，以下列出了四种方式，定位的方式多样并不唯一，使用时根据情况进行解析即可。加入每日一练我们使用并指明标签内全部文本即可定位。 ...

shiyang6017 2021-10-11 10:59 评论0 收藏0