utf8字符 正则

正则表达式：匹配数据中包含固定字符开始，以固定字符结尾

l例如匹配数据中包含 ${ 开头 ，}$ 结尾的正则表达式

只要在数据中存在${ }$,⽆论 ${ 前⾯有没有数据，}$ 后⾯有没有数据，或者${ 中间 }$，中间是什么，都会匹配到

案例：const rex = /(\$\{)[\s\S]*(\}\$)/g;

const a ='xxxxxxxwerh34567bvfd345yuuhgf';

const b = 'xvcdfg${xxxxxxx}$s23456ygfd';

rex.test(a) //false

rex.test(a)　//true

延伸 [\s\S]* 任何字符⽆论多少个

正则表达式元字符详解

正则表达式中的元字符主要有以下⼏⼤类：

常⽤元字符：

代码 说明. 匹配除换⾏符以外的任意字符

\w 匹配字母或数字或下划线

\s 匹配任意的空⽩符

\d 匹配数字

\b 匹配单词的开始或结束

^ 匹配⾏的开始

$ 匹配⾏的结束

常⽤反义元字符：

代码 说明\W 匹配任意不是字母，数字，下划线，汉字的字符

\S 匹配任意不是空⽩符的字符

\D 匹配任意⾮数字的字符

\B 匹配不是单词开头或结束的位置

[^x] 匹配除了x以外的任意字符

[^aeiou] 匹配除了aeiou这⼏个字母以外的任意字符

常⽤重复限定符：

代码 说明* 重复零次或更多次

+ 重复⼀次或更多次

重复零次或⼀次

{n} 重复n次

{n,} 重复n次或更多次

{n,m} 重复n到m次

下⾯就来详细的解释这些元字符的使⽤

1.字符/

意义：对于字符,通常表⽰按字⾯意义,指出接着的字符为特殊字符,不作解释.例如：/b/匹配字符’b’,通过在b 前⾯加⼀个反斜杠,也就是/b/,则该

字符变成特殊字符,表⽰匹配⼀个单词的分界线.或者：对于⼏个字符,通常说明是特殊的,指出紧接着的字符不是特殊的,⽽应该按字⾯解释.例

如：*是⼀个特殊字符,匹配任意个字符(包括0个字符)；例如：/a*/意味匹配0个或多个a.为了匹配字⾯上的*,在a前⾯加⼀个反斜杠；例

如：/a\*/匹配’a*’.

2.字符^

意义：表⽰匹配的字符必须在最前边.

例如：/^A/不匹配"an A,"中的’A’,但匹配"An A."中最前⾯的’A’.

3.字符$

意义：与^类似,匹配最末的字符.

例如：/t$/不匹配"eater"中的’t’,但匹配"eat"中的’t’.

4.字符*

意义：匹配*前⾯的字符0次或n次.

例如:/bo*/匹配"A ghost booooed"中的’boooo’或"A bird warbled"中的’b’,但不匹配"Agoat grunted"中的任何字符.

5.字符+

意义：匹配+号前⾯的字符1次或n次.等价于{1,}.

正则表达式中的特殊字符

1. 正则表达式的组成

⼀个正则表达式可以由简单的字符构成，⽐如 /abc/，也可以是简单和特殊字符的组合，⽐如 /ab*c/ 。其中特殊字符也被称为元字符，在正

则表达式中是具有特殊意义的专⽤符号，如 ^ 、$ 、+ 等。

特殊字符⾮常多，可以参考：

jQuery ⼿册：正则表达式部分

2. 边界符

正则表达式中的边界符（位置符）⽤来提⽰字符所处的位置，主要有两个字符

边界符说明

^表⽰匹配⾏⾸的⽂本（以谁开始）

$表⽰匹配⾏尾的⽂本（以谁结束）

如果 ^和 $ 在⼀起，表⽰必须是精确匹配。

var rg = /abc/; // 正则表达式⾥⾯不需要加引号 不管是数字型还是字符串型

// /abc/ 只要包含有abc这个字符串返回的都是true

console.log(rg.test('abc'));

console.log(rg.test('abcd'));

console.log(rg.test('aabcd'));

console.log('---------------------------');

var reg = /^abc/;

console.log(reg.test('abc')); // true

console.log(reg.test('abcd')); // true

console.log(reg.test('aabcd')); // false

console.log('---------------------------');

var reg1 = /^abc$/; // 精确匹配 要求必须是 abc字符串才符合规范

console.log(reg1.test('abc')); // true

console.log(reg1.test('abcd')); // false

console.log(reg1.test('aabcd')); // false

console.log(reg1.test('abcabc')); // false

猫眼电影爬取（⼀）：requests+正则，并将数据存储到mysql数据库

前⾯讲了如何通过pymysql操作数据库，这次写⼀个爬⾍来提取信息，并将数据存储到mysql数据库

1.爬取⽬标

爬取猫眼电影TOP100榜单要提取的信息包括：电影排名、电影名称、上映时间、分数

2.分析⽹页HTML源码

可以看到每部电影信息都被包裹在⼀对...标签中，所以我们只需提取出⼀个标签对中的上述信息即可。使⽤正则表达式提取

3. 完整过程

这个例⼦有2个关键点:正则编写和数据处理(写进mysql数据库)(1) 正则表达式的编写

pattern = pile(r'.*?(\d+).*?' # 匹配电影排名(加个?表⽰⾮贪婪匹配，不是匹配0次或1次)

r'

(.*?)' # 匹配电影名称

r'.*?(.*?)

r'.*?(.*?)' # 匹配分数的整数位

r'.*?(.*?).*?', re.S) # 匹配分数⼩数位，re.S表⽰跨⾏匹配

m = pattern.findall(html)

# print(m)

使⽤findall()⽅法来匹配所有符合规则的字符，返回⼀个列表，下⾯是其中⼀页的匹配结果

(2)完整代码，注意get_data()函数是如何处理数据，然后通过write_sql()函数是写⼊数据库的

# coding: utf-8

# author: hmk

import requests

import re

import pymysql

def get_html(url, header):

response = requests.get(url, headers=header)

if response.status_code == 200:

return response.text

else:

return None

def get_data(html, list_data):

pattern = pile(r'.*?(\d+).*?' # 匹配电影排名