第四周：网络爬虫之框架 第一讲：Scrapy爬虫框架 1.安装 执行pip install scrapy命令。 安装后小测：执行scrapy -h 2.Scrapy爬虫框架结构 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。 Scrapy爬虫包括5+2个结构，如图1所示。   图1 它包括三条主要的数据流路径如图中的箭头所示： （1）从SPIDERS发送REQUESTS到ENGINE模块，然后到SCHEDULER，SCHEDULER负责对请求进行调…

第三周：网络爬虫之实战 第一节：Re（正则表达式）库入门 正则表达式是用来简洁表达一组字符串的表达式。它可以用来表达文本类型的特征。 正则表达式编译：将符合正则表达式语法的字符串转换成正则表达式特征。 1.正则表达式的语法 例如： P(Y|YT|YTH|YTHO)?N 正则表达式语法由字符和操作符构成。正则表达式的常用操作符见表1.1所示。 表1.1 正则表达式的常用操作符 操作符 说明 实例 . 表示任何单个字符 [] 字符集，对单个字符给出取值范围 [abc]表示a,b,c，[a-z]表示a到z单个字符 [^]…

第八周：程序设计方法学 8.1 实例13：体育竞技分析 1.自顶向下（设计） 它是解决复杂问题的有效方法，它将一个总问题表达为若干个小问题的组成形式，使用同样的方法进一步分解小问题，直至小问题可以用计算机简单明了解决。 2.自底向上（执行） 分单元测试，逐步组装，按照自顶向下相反的路径操作，直至系统各部分以组装的思路都经过测试和验证。 3.程序总体框架及步骤 （1）打印程序的介绍性信息式 （2）获得程序运行参数：proA，proB，n （3）利用球员A和B的能力值，模拟n局比赛。 （4）输出球员A和B获胜比赛的场次…

第七周：文件和数据格式化 7.1 文件的使用 1.文件的类型 文件是数据的抽象和集合：文件是存储在辅助存储器上的数据序列；文件是数据存储的一种形式；文件展现形态有文本文件和二进制文件。最根本上是二进制文件。 （1）文本文件：由单一特定编码组成的文件，如UTF-8编码。由于存在文件，也被看成存储着的长字符串。 （2）二进制文件：文件直接由比特0和1组成，没有统一字符编码。一般存在二进制0和1的组织结构，即文件格式。 2.文件的打开和关闭 文件处理步骤：打开-操作-关闭。 在不打开文件的时候，文件处于存储状态。当我们需…

第六节：图（上） 6.1 图 1.关于图 图表示的是“多对多”的关系。它包含： （1）一组顶点：通常用V（Vertex）表示顶点集合。 （2）一组边：通常用E（Edge）表示边的集合，表示顶点与顶点的关系： ①边是顶点对：(v,w)∈E，其中v,w∈V。这是一个双向的。 ②有向边：<v,w>，表示从v指向w的边（单行线）。 ③不考虑重边和自回路。 其抽象数据类型为： 类型名称：图（Graph） 数据对象集：一非空的顶点集合Vertex和一个边集合Edge，每条边用对应的一对顶点表示。 操作集：对于任意的…

第二周：网络爬虫之提取 2.1BeautifulSoup库入门 1.使用BeautifulSoup的方式 from bs4 import BeautifulSoup soup = BeautifulSoup(‘<p>data</p>’, ‘html.parser’) 第一个参数是一个html格式的信息。 2. BeautifulSoup的基本元素 BS库是解析、遍历、维护“标签树”的功能库。例如： soup = …

第五节：树（下） 5.1 堆 1.堆的介绍 优先队列：特殊的“队列”，取出元素的顺序是依照元素的优先权（关键字）大小，而不是元素进入队列的先后顺序。 堆的两个特性： （1）结构性：用数组表示的完全二叉树； （2）有序性：任一结点的关键字是其子树所有结点的的最大值（最小值）： ①最大堆：也称“大顶堆”：最大值 ②最小堆，也称“小顶堆”：最小值。 类型名称：最大堆（MaxHeap） 数据对象集：一个有N>0个元素的最大堆H是一棵完全二叉树，每个结点上的元素值不小于其子结点元素的值。 操作集：对于任意最多有MaxS…