实验2：Python爬虫网络请求与内容解析
【实验内容】
本实验主要通过requests、re与lxml库的使用，采集北京市政府招中标数据。（https://ggzyfw.beijing.gov.cn/index.html）
【实验目的】
1、熟悉网页结构、了解网络抓包的技巧；
2、了解requests网络请求库的基本使用；
3、掌握基础的re、xpath语法的使用；
【实验步骤】
步骤1 观察网址结构
步骤2 获取子页面链接
步骤3 解析子页面，输出json文件
步骤1：观察网址结构
（1）分析主页面
进入网址后，按下F12打开开发者工具，选择Fetch/XHR，点击下一页，可以看到服务器返回给我们的数据包，里面返回了子页面的信息，说明只要我们对
https://ggzyfw.beijing.gov.cn/elasticsearch/search此接口发起请求，就可以获取子链接数据。
请求携带参数如上图所示。
（2）分析子页面
/*==============================================================================================================================================*/
**************************************************
步骤2：获取子页面链接(main.py)
使用requests库对aip数据接口发起post请求，携带请求头headers与请求参数data，从响应的 JSON 数据中提取 ‘result’ 键对应的值，并使用 eval 函数将其转换为dict对象，如果返回的数据为空则跳出循环。
/*================================================================================================*/
/*=================================================*/
导包：
main.py部分代码示例如下：
****************************************************************
运行main.py，打印子页面链接如下图所示：
*******************************************************************
步骤3 解析子页面，输出json文件(extract_data.py)
（1）获取子页面文本数据
导包：
对子链接发起get请求，使用text属性获取返回的文本数据，使用lxml中的clean方法对获取到的数据进行清洗，
/*======================================================================================================*/
遍历该列表，使用列表推导式清理掉空白数据，并且使用re.sub()方法替换掉所有空白字符。
部分代码如下所示：
*******************************************************************
（2）提取文本数据
分析子页面后可以发现标题拥有class属性div-title,因此可以通过xpath 语法定位到该标签，并且拿到该标签的文本数据。
xpath表达式说明：
*******************************************************************
分析子页面返回数据后可以发现，使用正则提取信息来源与项目编号较为方便。
部分字段解析代码如下：
*******************************************************************
\S表示匹配任意非空字符，()表示一个捕获组，pattern3这个re表达式可以提取到信息来源后面的文本数据。如果提取到了之后将其赋值给变量informationRelease
/*============================================================================================================*/
（3）保存为json文件
将解析完成的字段保存在target这个字典中，使用open文件操作语句将数据追加到beijing-zhong.json文件中，使用json.dumps()将字典序列化。
beijing-zhong.json文件部分数据如下图所示。
*******************************************************************
