记一次python网页爬取中正则表达式的使用

warkiz 发布于2019-07-31 11:38 / 2266人阅读

摘要：昨日帮同学爬取一个网页，大概有多页，还好爬取的内容都很固定，类似于以下这种遍历所有页面，使用方法获取页面所有的匹配项，然后写入文件即可。

昨日帮同学爬取一个网页，大概有400多页，还好爬取的内容都很固定，类似于以下这种：


(.*)

(.*)

(.*)

(.*)

(.*)

(.*)

(.*)

遍历所有页面，使用re.findall方法获取页面所有的匹配项，然后写入excel文件即可。
脚本跑完之后，发现excel的条数比网页上的少几个，怀疑某些条目不符合此正则表达式，于是修改脚本，加上调试语句，重新跑一次，进行逐页分析。

发现大部分页面都是20条，但是在61页的时候只有18条。打开浏览器直接访问第61页，发现是有20条的，而且每一条的格式完全一致，因此确认对于某些符合格式的内容原正则可能匹配不到。

找到未匹配到的条目：


1300200900007

俄罗斯联邦 

中太建设集团股份有限公司

中太建设集团（俄罗斯）股份有限公司

河北省

1、工程施工
2、国际贸易


2009-05-22

原来内容里含有换行符，而.号不能匹配到换行符，尝试修改(.*)为([ .]*),无果。
查阅网络，推荐的用法是([sS]*)，s表示任意空白符，大写的S表示反义匹配，即任意非空白符，组合在一起即是所有字符，([dD]*)等同理也是一样的效果。

修改正则为推荐用法，尝试替换，结果却和我们期望的不一致：整个页面只能匹配到一条！

如果是正确答案，应该是匹配到20条，完全错误的答案应该匹配不到，只能匹配到换行符内容也应该有2条，为什么会出现一条的情况呢？

我们打印出匹配内容看看便知:

("1300200900008", "xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6", "xe6xb2xb3xe5x8cx97xe4xb8xadxe4xb9x8bxe6xb4xa5xe7x9fxbfxe4xb8x9axe6x8ax95xe8xb5x84xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8", "xe6xb2xb3xe5x8cx97xe4xb8xadxe4xb9x8bxe6xb4xa5xe7x9fxbfxe4xb8x9axe6x8ax95xe8xb5x84xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6xe5x8ax9exe4xbax8bxe5xa4x84", "xe6xb2xb3xe5x8cx97xe7x9cx81", "xe5x8ax9exe7x90x86xe5xaex9exe6x96xbdxe5x85xacxe5x8fxb8xe4xb8x8exe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6Gothward Trading PVT LTDxe5x90x88xe4xbdx9cxe5xbcx80xe7x9fxbfxe7x9ax84xe5x85xb7xe4xbdx93xe4xbax8bxe9xa1xb9xefxbcx8cxe5x81x9axe5xa5xbdxe5x9cxa8xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6xe5x85xb3xe8xbexbexe7x9fxbfxe5x8cxbaxe9x87x91xe7x9fxbfxe5x8bx98xe6x8exa2xe3x80x81xe5xbcx80xe9x87x87xe7x9ax84xe5x89x8dxe6x9cx9fxe5x87x86xe5xa4x87xe5xb7xa5xe4xbdx9cxe3x80x82

2009-11-03

1300200900007

xe4xbfx84xe7xbdx97xe6x96xafxe8x81x94xe9x82xa6

xe4xb8xadxe5xa4xaaxe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe4xb8xadxe5xa4xaaxe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xefxbcx88xe4xbfx84xe7xbdx97xe6x96xafxefxbcx89xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

1xe3x80x81xe5xb7xa5xe7xa8x8bxe6x96xbdxe5xb7xa5 2xe3x80x81xe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93

2009-05-22

1300200900007

xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6

xe7xa7xa6xe7x9ax87xe5xb2x9bxe5xb8x82xe6x98x8axe9x9ax86xe8xb4xb8xe6x98x93xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe7xa7xa6xe7x9ax87xe5xb2x9bxe5xb8x82xe6x98x8axe9x9ax86xe8xb4xb8xe6x98x93xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6xe5x8ax9exe4xbax8bxe5xa4x84

xe6xb2xb3xe5x8cx97xe7x9cx81

xe4xbex9dxe6x89x98xe8xb5x84xe6xbax90xe5xafxb9xe5xa4x96xe5xbcx80xe5xb1x95xe7x9fxbfxe4xbaxa7xe5x90x88xe4xbdx9cxe3x80x81xe5xbcx80xe5x8fx91xefxbcx8cxe4xbax86xe8xa7xa3xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6xe6x94xbfxe7xadx96xe3x80x81xe6xb3x95xe8xa7x84xefxbcx8cxe5x81x9axe5xa5xbdxe6x8ax95xe8xb5x84xe5x90x88xe4xbdx9cxe7x9ax84xe5x89x8dxe6x9cx9fxe5x87x86xe5xa4x87xe5xb7xa5xe4xbdx9c

2009-10-21

1300200900006

xe5x88xa9xe6xafx94xe4xbax9a

xe4xb8xadxe5xa4xaaxe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe4xb8xadxe5xa4xaaxe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xefxbcx88xe5x88xa9xe6xafx94xe4xbax9axefxbcx89xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

1xe3x80x81xe5xb7xa5xe7xa8x8bxe6x96xbdxe5xb7xa5 2xe3x80x81xe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93

2009-05-22

1300200900006

xe7xbex8exe5x9bxbd

xe7x9fxb3xe5xaexb6xe5xbax84xe5xbcx80xe5x8fx91xe5x8cxbaxe8xbexbexe4xb8xbaxe5x8cxbbxe8x8dxafxe7xa7x91xe6x8ax80xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe7x9fxb3xe5xaexb6xe5xbax84xe5xbcx80xe5x8fx91xe5x8cxbaxe8xbexbexe4xb8xbaxe5x8cxbbxe8x8dxafxe7xa7x91xe6x8ax80xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe7xbex8exe5x9bxbdxe5x8ax9exe4xbax8bxe5xa4x84

xe6xb2xb3xe5x8cx97xe7x9cx81

xe4xb8xbbxe8xa6x81xe8xb4x9fxe8xb4xa3xe6x90x9cxe9x9bx86xe4xbfxa1xe6x81xafxefxbcx8cxe4xbexbfxe4xbax8exe5xaexa2xe6x88xb7xe6xb2x9fxe9x80x9axe8x81x94xe7xb3xbbxefxbcx8cxe4xb8xbaxe4xbcx81xe4xb8x9axe7xbbx8fxe8x90xa5xe7x94x9fxe4xbaxa7xe6x8fx90xe4xbex9bxe4xbfxa1xe6x81xafxe5x92x8cxe4xbex9dxe6x8dxae

2009-09-18

1300200900005

xe5x90x89xe5xb0x94xe5x90x89xe6x96xafxe6x96xafxe5x9dxa6

xe5xbbx8axe5x9dx8axe5xbcx80xe5x8fx91xe5x8cxbaxe5x90x89xe6x8cxafxe7xbaxa2xe7x94x9fxe7x89xa9xe7xa7x91xe6x8ax80xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe5xbbx8axe5x9dx8axe5xbcx80xe5x8fx91xe5x8cxbaxe5x90x89xe6x8cxafxe7xbaxa2xe7x94x9fxe7x89xa9xe7xa7x91xe6x8ax80xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe9xa9xbbxe5x90x89xe5xb0x94xe5x90x89xe6x96xafxe6x96xafxe5x9dxa6xe5x8ax9exe4xbax8bxe5xa4x84

xe6xb2xb3xe5x8cx97xe7x9cx81

xe4xbbx80xe6x8bx89xe9x87x8cxe5xbex81xe9x87x91xe3x80x81xe9x93x9cxe7x9fxbfxe7x9ax84xe7xadxb9xe5xa4x87xe3x80x81xe5xb8x82xe5x9cxbaxe8xb0x83xe7xa0x94xe3x80x82

2009-08-12

1300200900004

xe8x80x81xe6x8cx9d

xe9x82xafxe9x83xb8xe5x86x80xe8xbexbexe5x88xb6xe9x93x81xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe9x82xafxe9x83xb8xe5x86x80xe8xbexbexe5x88xb6xe9x93x81xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe8x80x81xe6x8cx9dxe5x8ax9exe4xbax8bxe5xa4x84

xe6xb2xb3xe5x8cx97xe7x9cx81

xe5x8ax9exe4xbax8bxe6x9cxbaxe6x9ex84

2009-07-06

1999-000136

xe8x92x99xe5x8fxa4

xe6xb2xb3xe5x8cx97xe7x9cx81xe5x9bxbdxe9x99x85xe4xbex9bxe9x94x80xe5x90x88xe4xbdx9cxe6x80xbbxe5x85xacxe5x8fxb8

xe6xb1x97xe6x89x98xe6x8bx89xe5xbcx80xe5x8fxb8xe7xb1xb3xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe5xb1xb1xe7xbex8axe7xbbx92xe5x8axa0xe5xb7xa5

1999-08-16

1300200900025

xe6x96xb0xe8xa5xbfxe5x85xb0

xe5xbbx8axe5x9dx8axe4xb8x89xe5x88xa9xe6x9cxa8xe4xb8x9axe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe4xb8x89xe5x88xa9xefxbcx88xe6x96xb0xe8xa5xbfxe5x85xb0xefxbcx89xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe6x9ex97xe4xb8x9axe5xbcx80xe5x8fx91xe3x80x81xe6x9cxa8xe6x9dx90xe5x8axa0xe5xb7xa5xe3x80x81xe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93

2009-08-05

1300200900024

xe5xbexb7xe5x9bxbd

xe5xb7xa8xe5x8ax9bxe6x96xb0xe8x83xbdxe6xbax90xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe5xb7xa8xe5x8ax9bxe6x96xb0xe8x83xbdxe6xbax90xefxbcx88xe5xbexb7xe5x9bxbdxefxbcx89xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe6x99xb6xe4xbdx93xe7xa1x85xe5xa4xaaxe9x98xb3xe8x83xbdxe7x94xb5xe6xb1xa0xe7xbbx84xe4xbbxb6xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xaexefxbcx9bxe5xa4xaaxe9x98xb3xe8x83xbdxe5x85x89xe4xbcx8fxe7x94xb5xe7xabx99xe8xaexbexe5xa4x87xe5x8fx8axe7x94xb5xe7x83xadxe7xb3xbbxe7xbbx9fxe8xaexbexe5xa4x87xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xae

2009-08-05

1300200900020

xe9x9fxa9xe5x9bxbd

xe7xa7xa6xe7x9ax87xe5xb2x9bxe5x8cx97xe6x96xb9xe8x88xb9xe8x88xb6xe6x9cxbaxe6xa2xb0xe8xbfx9bxe5x87xbaxe5x8fxa3xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe4xb8x9cxe5x92x8cxe6x9cxbaxe6xa2xb0xe8xbfx9bxe5x87xbaxe5x8fxa3xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe8x87xaaxe8x90xa5xe5x92x8cxe4xbbxa3xe7x90x86xe5x90x84xe7xb1xbbxe5x95x86xe5x93x81xe5x8fx8axe6x8ax80xe6x9cxafxe7x9ax84xe8xbfx9bxe5x87xbaxe5x8fxa3xe4xb8x9axe5x8axa1xefxbcx88xe5x9bxbdxe5xaexb6xe9x99x90xe5xaex9axe5x85xacxe5x8fxb8xe7xbbx8fxe8x90xa5xe6x88x96xe7xa6x81xe6xadxa2xe8xbfx9bxe5x87xbaxe5x8fxa3xe5x9cxb0xe5x95x86xe5x93x81xe5x92x8cxe6x8ax80xe6x9cxafxe9x99xa4xe5xa4x96xefxbcx89xefxbcx9axe8x88xb9xe7x94xa8xe6x9cxbaxe6xa2xb0xe8xaexbexe5xa4x87xe5x8fx8axe9x85x8dxe4xbbxb6xe7x9ax84xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xae

2009-07-23

1300200900019

xe6xb3x95xe5x9bxbd

xe5xa4xa7xe5x9fx8exe5x8exbfxe5xbcx98xe4xbax9axe5x86x8dxe7x94x9fxe8xb5x84xe6xbax90xe5x88xa9xe7x94xa8xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb3x95xe5x9bxbdxe5xa4xa9xe9xbex99xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe5xbax9fxe6x97xa7xe6x9cx89xe8x89xb2xe9x87x91xe5xb1x9exe5x8axa0xe5xb7xa5,xe9x94x80xe5x94xaexefxbcx8cxe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93xe3x80x82

2009-07-21

1300200900016

xe6x9cx9dxe9xb2x9c

xe6xb2xb3xe5x8cx97xe5xaex87xe5xbaxb7xe7xbaxbaxe7xbbx87xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6x9cx9dxe9x98xb3xe7xbaxbaxe7xbbx87xe5x90x88xe8x90xa5xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe7x94x9fxe4xbaxa7xe9x94x80xe5x94xaexe6xafx9bxe5xb7xbexe3x80x81xe6xafx9bxe5xb7xbexe8xa2xabxe3x80x81xe9xa4x90xe5xb7xbexe3x80x81xe6xb5xb4xe5xb7xbexe3x80x81xe6x9ex95xe5xb7xbexe7xadx89xe7xbaxbaxe7xbbx87xe5x93x81

2009-06-17

1300200900015

xe9x9fxa9xe5x9bxbd

xe5xb7xa8xe5x8ax9bxe6x96xb0xe8x83xbdxe6xbax90xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe5xb7xa8xe5x8ax9bxe6x96xb0xe8x83xbdxe6xbax90xefxbcx88xe9x9fxa9xe5x9bxbdxefxbcx89xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe6x99xb6xe4xbdx93xe7xa1x85xe5xa4xaaxe9x98xb3xe8x83xbdxe7x94xb5xe6xb1xa0xe7xbbx84xe4xbbxb6xe7x9ax84xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xaexefxbcx9bxe5xa4xaaxe9x98xb3xe8x83xbdxe5x85x89xe4xbcx8fxe7x94xb5xe7xabx99xe8xaexbexe5xa4x87xe5x8fx8axe7x94xb5xe7x83xadxe7xb3xbbxe7xbbx9fxe8xaexbexe5xa4x87xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xae

2009-06-16

1300200900013

xe7xbex8exe5x9bxbd

xe5x8dx9axe6xb7xb1xe5xb7xa5xe5x85xb7xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe5x8dx9axe6xb7xb1xe7xbex8exe5x9bxbdxe6x9cx89xe9x99x90xe8xb4xa3xe4xbbxbbxe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe9x87x91xe5x88x9axe7x9fxb3xe5xb7xa5xe5x85xb7xe3x80x81xe5x90x88xe9x87x91xe5xb7xa5xe5x85xb7xe3x80x81xe7x94xb5xe5x8axa8xe5xb7xa5xe5x85xb7xe7x9ax84xe7x94x9fxe4xbaxa7xe3x80x81xe7xbbx84xe8xa3x85xe5x92x8cxe9x94x80xe5x94xaexefxbcx8cxe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93xe3x80x82

2009-06-11

1300200900011

xe5xa1x9exe5x86x85xe5x8axa0xe5xb0x94

xe5x8dx8exe9x83xbdxe5x9bxbdxe9x99x85xe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe5x8dx8exe5xa1x9exe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe6x89xbfxe5x8cx85xe5xb7xa5xe7xa8x8bxe6x96xbdxe5xb7xa5xe5x92x8cxe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93

2009-06-10

1300200900010

xe8x92x99xe5x8fxa4

xe5x8dx8exe9x83xbdxe5x9bxbdxe9x99x85xe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe5x8dx8exe7xa1x95xe7xbdxaexe4xb8x9axe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe6x88xbfxe5x9cxb0xe4xbaxa7xe5xbcx80xe5x8fx91xe3x80x81xe6x89xbfxe5x8cx85xe5xb7xa5xe7xa8x8bxe6x96xbdxe5xb7xa5xe5x8fx8axe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93

2009-06-10

1300200900003

xe9x98xbfxe6x8bx89xe4xbcxafxe8x81x94xe5x90x88xe9x85x8bxe9x95xbfxe5x9bxbd

xe5xbbx8axe5x9dx8axe5xb8x82xe7xaexa1xe9x81x93xe4xbaxbaxe6x9cxbaxe6xa2xb0xe8xaexbexe5xa4x87xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe5xbbx8axe5x9dx8axe5xb8x82xe7xaexa1xe9x81x93xe4xbaxbaxe6x9cxbaxe6xa2xb0xe8xaexbexe5xa4x87xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe9xa9xbbxe4xb8xadxe4xb8x9cxe5x8ax9exe4xbax8bxe5xa4x84

xe6xb2xb3xe5x8cx97xe7x9cx81

xe6x94xb6xe9x9bx86xe7x9bxb8xe5x85xb3xe4xbfxa1xe6x81xafxefxbcx8cxe4xbaxa7xe5x93x81xe7x9ax84xe5x94xaexe5x90x8exe6x9cx8dxe5x8axa1xefxbcx8cxe5x8fx91xe5xb1x95xe5xbdx93xe5x9cxb0xe4xbbxa3xe7x90x86xe3x80x82

2009-04-03

1300200800002

xe5xbexb7xe5x9bxbd

xe5x8dx9axe6xb7xb1xe5xb7xa5xe5x85xb7xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe5x8dx9axe6xb7xb1xe5xb7xa5xe5x85xb7xe9x9bx86xe5x9bxa2xe6xacxa7xe6xb4xb2xe5x8ax9exe4xbax8bxe5xa4x84

xe6xb2xb3xe5x8cx97xe7x9cx81

xe4xb8xbbxe8xa6x81xe9x92x88xe5xafxb9xe6xacxa7xe6xb4xb2xe7x9ax84xe5xb8x82xe5x9cxbaxe5x92x8cxe5xaexa2xe6x88xb7xefxbcx8cxe9x80x9axe8xbfx87xe5x8axa0xe5xbcxbaxe5xb8x82xe5x9cxbaxe8xb0x83xe7xa0x94xefxbcx8cxe4xb8xbaxe5x85xacxe5x8fxb8xe5xbcx80xe6x8bx93xe6xacxa7xe6xb4xb2xe5xb8x82xe5x9cxbaxefxbcx8cxe6x98x8exe7xa1xaexe5xb8x82xe5x9cxbaxe5xaex9axe4xbdx8dxe5x92x8cxe4xbaxa7xe5x93x81xe5xaex9axe4xbdx8dxefxbcx9bxe5x8axa0xe5xbcxbaxe4xb8x8exe5xaexa2xe6x88xb7xe7x9ax84xe6xb2x9fxe9x80x9axefxbcx8cxe4xb8xbaxe5xaexa2xe6x88xb7xe6x8fx90xe4xbex9bxe6x9bxb4xe4xbexbfxe6x8dxb7xe3x80x81xe6x9bxb4xe5x85xa8xe9x9dxa2xe7x9ax84xe6x9cx8dxe5x8axa1xe5x92x8cxe6x8ax80xe6x9cxafxe6x94xafxe6x8cx81xefxbcx9bxe8xbfx9bxe4xb8x80xe6xadxa5xe5xbcx80xe6x8bx93xe6x96xb0xe7x9ax84xe5xb8x82xe5x9cxbaxefxbcx9bxe6x8cx96xe6x8ex98xe6x96xb0xe7x9ax84xe5xaexa2xe6x88xb7xefxbcx9bxe8xb7x9fxe8xb8xaaxe6xacxa7xe6xb4xb2xe5x90x8cxe8xa1x8cxe5x85x88xe8xbfx9bxe7x9ax84xe5xb7xa5xe8x89xbaxe3x80x81xe6x8ax80xe6x9cxafxe3x80x81xe8xaexbexe5xa4x87xe7xadx89xe4xbfxa1xe6x81xafxefxbcx8cxe6x8fx90xe5x8dx87xe5x9bxbdxe5x86x85xe5x90x8cxe7xb1xbbxe4xbaxa7xe5x93x81xe5x88xb6xe9x80xa0xe6xb0xb4xe5xb9xb3xe3x80x82

2008-03-14

1300200900001

xe4xb8xadxe5x9bxbdxe9xa6x99xe6xb8xaf

xe6xb2xb3xe5x8cx97xe7x9cx81xe5x9bxbdxe5xafx8cxe5x86x9cxe4xb8x9axe6x8ax95xe8xb5x84xe9x9bx86xe5x9bxa2xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe5x9bxbdxe5xafx8cxefxbcx88xe9xa6x99xe6xb8xafxefxbcx89xe6x8exa7xe8x82xa1xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8

xe6xb2xb3xe5x8cx97xe7x9cx81

xe4xbcx81xe4xb8x9axe6x8ax95xe8x9ex8dxe8xb5x84xe4xb8xadxe4xbbx8bxe6x9cx8dxe5x8axa1xe3x80x81xe8xb4xb8xe6x98x93xe4xbbxa3xe7x90x86xe3x80x81xe4xbfxa1xe6x81xafxe5x92xa8xe8xafxa2xe3x80x81xe4xbaxbaxe5x91x98xe5x9fxb9xe8xaexadxe3x80x82", "2009-05-04")

这条正则匹配了把所有条目当作一条给匹配了！
再次查阅正则表达式手册，正则表达式默认进行贪婪匹配，再看我们写的正则，[sS]*尽可能匹配更多的字符，然后它一直往下匹配直到遇到最后一个符合格式div，于是乎20条记录被当作一个pattern匹配到了，中间的19条记录全被当作了内容。

根据以上的分析，我们换用懒惰匹配即可，只需简单地加一个问号：[sS]*?，结果正是我们想要的。

总结两点:

1. 任意字符匹配[sS]*
2. 任意字符懒惰匹配[sS]*?

私有云 idc机房托管爬取中记一次在阿里云搭建服务器记一次阿里云服务器集体中毒 python 正则表达式

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/45371.html

纪念我的第一个完整的小说爬虫

摘要：纪念我的第一个爬虫程序，一共写了三个白天，其中有两个上午没有看，中途遇到了各种奇怪的问题，伴随着他们的解决，对于一些基本的操作也弄清楚了。我这个程序想要获取的是剑来小说，把各个章节的内容爬去下载存储到文件里。纪念我的第一个爬虫程序，一共写了三个白天，其中有两个上午没有看，中途遇到了各种奇怪的问题，伴随着他们的解决，对于一些基本的操作也弄清楚了。果然，对于这些东西的最号的学习方式，就是...

Lin_R 2019-07-30 14:27 评论0 收藏0
Python爬虫基础

摘要：爬虫架构架构组成管理器管理待爬取的集合和已爬取的集合，传送待爬取的给网页下载器。网页下载器爬取对应的网页，存储成字符串，传送给网页解析器。从文档中获取所有文字内容正则匹配后记爬虫基础知识，至此足够，接下来，在实战中学习更高级的知识。前言 Python非常适合用来开发网页爬虫，理由如下：1、抓取网页本身的接口相比与其他静态编程语言，如java，c#，c++，python抓取网页文档的接...

bang590 2019-07-25 11:23 评论0 收藏0
Python 爬虫入门(一)——爬取糗百

摘要：爬取糗百内容代码地址微信公众号智能制造社区，欢迎关注。爬虫程序一般是通过模拟浏览器对相应发出请求，获取数据，并通过正则等手段匹配出页面中我们所需的数据。库基本介绍是学习爬虫的一大利器。爬取糗百内容 GitHub 代码地址https://github.com/injetlee/Python/blob/master/qiubai_crawer.py 微信公众号：【智能制造社区】，欢迎关注...

legendaryedu 2019-07-30 17:13 评论0 收藏0
如何快速掌握Python数据采集与网络爬虫技术

摘要：通过本文的学习，可以快速掌握网络爬虫基础，结合实战练习，写出一些简单的爬虫项目。从技术手段来说，网络爬虫有多种实现方案，如。二网络爬虫技术基础在本次课中，将使用技术手段进行项目的编写。摘要：本文详细讲解了python网络爬虫，并介绍抓包分析等技术，实战训练三个网络爬虫案例，并简单补充了常见的反爬策略与反爬攻克手段。通过本文的学习，可以快速掌握网络爬虫基础，结合实战练习，写出一些简单的...

W4n9Hu1 2019-07-30 16:09 评论0 收藏0
爬虫 - 收藏集 - 掘金

摘要：在这之前，还是有必要对一些概念超轻量级反爬虫方案后端掘金前言爬虫和反爬虫日益成为每家公司的标配系统。爬虫修炼之道——从网页中提取结构化数据并保存（以爬取糗百文本板块所有糗事为例） - 后端 - 掘金欢迎大家关注我的专题：爬虫修炼之道上篇爬虫修炼之道——编写一个爬取多页面的网络爬虫主要讲解了如何使用python编写一个可以下载多页面的爬虫，如何将相对URL转为绝对URL，如何限速，...

1fe1se 2019-07-31 10:58 评论0 收藏0