第四周：网络爬虫之框架 第一讲：Scrapy爬虫框架 1.安装 执行pip install scrapy命令。 安装后小测：执行scrapy -h 2.Scrapy爬虫框架结构 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。 Scrapy爬虫包括5+2个结构，如图1所示。   图1 它包括三条主要的数据流路径如图中的箭头所示： （1）从SPIDERS发送REQUESTS到ENGINE模块，然后到SCHEDULER，SCHEDULER负责对请求进行调…

第三周：网络爬虫之实战 第一节：Re（正则表达式）库入门 正则表达式是用来简洁表达一组字符串的表达式。它可以用来表达文本类型的特征。 正则表达式编译：将符合正则表达式语法的字符串转换成正则表达式特征。 1.正则表达式的语法 例如： P(Y|YT|YTH|YTHO)?N 正则表达式语法由字符和操作符构成。正则表达式的常用操作符见表1.1所示。 表1.1 正则表达式的常用操作符 操作符 说明 实例 . 表示任何单个字符 [] 字符集，对单个字符给出取值范围 [abc]表示a,b,c，[a-z]表示a到z单个字符 [^]…

第二周：网络爬虫之提取 2.1BeautifulSoup库入门 1.使用BeautifulSoup的方式 from bs4 import BeautifulSoup soup = BeautifulSoup(‘<p>data</p>’, ‘html.parser’) 第一个参数是一个html格式的信息。 2. BeautifulSoup的基本元素 BS库是解析、遍历、维护“标签树”的功能库。例如： soup = …

第一周：网路爬虫之规则 单元1：Requests库入门 1.Requests库综述 表1.1 Requests库的7个主要方法 方法 说明 request() 构造一个请求，支撑以下各方法的基础方法 get() 获取HTML网页的主要方法，对应于HTTP的GET head() 获取HTML网页头的主要方法，对应于HTTP的HEAD post() 向HTML网页提交POST请求的方法，对应于HTTP的POST put() 向HTML网页提交PUT请求的方法，对应于HTTP的PUT patch() 向HTML网页提交局…