2018 年全年采购公告数据采集与分析范围及条数说明

2018 年全年采购公告数据采集与分析范围及条数说明

1.5 数据收集和分析的范围

数据收集及分析范围：2018年1月1日至2018年12月31日全年采购公告数据。

包括：‘招标取消（终止）公告’、‘招标（采购）公告’、‘投标（交易）结果公告’、‘其他公告’、‘更正公告’、‘单一来源公告’。

1.6 数据项数量

数据条数：（此数据为实际抓取的公告记录条数）

关于数据项数量的特别说明：本文以及后续的分析主题都依赖于爬虫实际爬取的数据。

全年抓取的数据条数为 ，而湖北省政府网站2018年的抓取数据条数为 。经过查看代码和多次验证及抓取，仍存在不一致的情况，怀疑可能是该网站某些特殊策略导致的。不过后续分析均基于2018年全年抓取的数据条数。

1.7 遇到的主要问题及解决方案 1.7.1 主要问题

在项目实施过程中，我们发现公告数据的格式多种多样，基本上都是不一样的。

以“中标金额”字段数据为例：

此截图只是中标金额的部分格式，2018年公告数量超过17万条，中标公告近8万条，为了清洗“中标金额”这个字段数据，可能要写几百甚至几千条清洗规则；而且“中标金额”只是众多数据字段中的一部分，现阶段还没找到好的解决方案。

1.7.2 解决策略

解决办法是放弃一些无法清理的字段（尴尬）。

项目之初计划在数据采集完成后对数据进行清洗和结构化，预期结构化字段和实际结构化字段如下（以招标公告字段、中标公告字段、单一来源公告字段为例）：

由于预算金额、中标金额、中标方三个关键字段的数据清洗工作未能完成，我们只好放弃，导致很多分析课题无法进行，数据分析的价值也大打折扣，我们深感后悔与无知。

二、2018年采购公告数据粗略分析 2.1 全年累计公告数量

2018年，湖北省政府采购网全年共发布采购公告。

2.2 2018年公告类型数量及占比

2.3 2018年采购方式数量及占比

从采购方式占比来看，政府采购以竞争性谈判为主。

2.4 2018年每日公告数量

图中的每个点代表当天的公告数量，从散点图中我们可以看出，政府采购在11月和12月达到高峰。

2.5 2018年月度公告数量趋势

2 月份公告数量最低，原因也很容易理解，因为当时正值春节前后，很多公告都是提前或节后发布的。从 2 月份开始上升，10 月份因国庆节而略有下降，然后在 11 月和 12 月达到年度高峰。这段时间也是政府、供应商和中介机构最忙碌的时期。

2.6 2018年不同采购类型公告月度趋势

最典型的公告类型为中标（成交）结果公告和招标（采购）公告，2月份公告数量最少，11月份招标（采购）公告数量达到峰值，12月份中标（成交）结果公告数量达到峰值。

2.7 2018年不同采购方式公告月度趋势

各类采购方式的年度低点均出现在2月份，10月份的公告数量较9月份有所下降；各类采购方式的年度高峰并非都出现在11月或12月，如竞争性谈判采购方式的高峰出现在7月份。

2.8 2018年公告发布日期分布 2.8.1 2018年公告发布日期分布 - 时间点分布

从发布时间来看，招标公告大多发布在8：00-11：00和15：00-17：00之间。

2.8.2 2018年公告发布时间分布-按积分分布

分布比较不均衡，一小时60分钟，99.999%的公告都是在一刻钟后的12分钟内发布的，唯一例外是某个小时35分发布的公告。

这两个因素证实了出版商更喜欢在下班前发布公告；也许他们可以在发布公告后喝杯茶，然后下班。

2.9 2018年最活跃投标代理商前15名

省政府采购中心和武汉市政府作为官方机构，自然占据前两位。

2.10 2018年最麻烦的15家招标代理机构

麻烦程度是以招标代理机构每年发出的“更正通知书”和“取消（终止）通知书”的数量来界定的，这两类通知书发出得越多，招标活动就越麻烦。

对比2.9可以发现，投标活跃度TOP15的代理商和最麻烦的TOP15的代理商有一定重合，这其实说明投标活动越多，需要麻烦的情况（更正、取消投标）就越多。

2.11 2018年湖北省政府采购网发布招标公告数量前9位业主

以上数据仅为这些业主发出的招标公告数量（包括取消投标公告数量，不含中标公告数量），以上数据并不能直接证明这九家业主实力如何，但可以反映出这九家业主在2018年政府采购活动中十分活跃。

结论

数据爬取阶段还算顺利，但是网页数据清洗阶段就不太成功了，很多关键字段数据始终清洗不成功，导致这份备受期待的数据分析报告显得很粗糙、很浅薄。

主要有两个原因：网页数据格式杂乱，个人基础与能力欠缺。俗话说得好，学得越多，越觉得无知。学习其实就是痛苦与快乐并存的矛盾。当一个问题拖延了很久，无法攻克，这种疯狂的心情让人想当场爆炸；当你处于探索问题的心流状态，找到解决问题的方法时，你会感觉很舒服。

虽然价值不高，但是还是想写下此文，以纪念那段学习的日子。