用抓包工具抓取App数据包，以电影示例App为例详细讲解

用抓包工具抓取App数据包，以电影示例App为例详细讲解

App数据的爬取

网页里，借助浏览器开发者工具面板能看到网页产生的所有网络请求与响应内容，那App咋办呢？想拦截App网络请求，就得用抓包工具，比如、、等，通过这些工具可拦截App跟API通信的请求及响应内容，若能找到规律，就能用程序直接构造请求去模拟API请求，进而完成数据爬取。

1. 抓包工具的使用

是一种网络抓包工具，借助它能够抓取App运行期间所产生的全部请求内容，以及响应内容，这跟在浏览器开发者工具面板里看到的网页产生的内容，是同一种道理。

什么等，是那种异常强大无比的HTTP抓包软件，它们的功能基本上大致上类似，接下来呢，要以那个啥作为移动端抓包工具去分析App的数据包。

按一个电影示例App来讲，借助进行抓取这个App于运行进程当中所产生的网络数据包，接着去查看具体的请求内容以及响应内容，与此同时运用实施改写抓取到的数据包里的请求，进而开展爬取App数据。

这是一段比较复杂的内容，按照要求改写如下：运行于一台电脑之上，运行之际会于该电脑的8888端口开启一项代理服务，首先，请务必确保已然正确安装且开启了代理服务，本人乃是mac系统下的试用版本。接着，再预备一部手机或者模拟器（系统版本最好处于7.0以下），并使手机或模拟器的网络与所在电脑的网络处于同一局域网当中（能够让模拟器借助虚拟网络与电脑相连，也能够让手机真机和电脑连接同一个Wi-Fi）。随后，设置好代理以及CA证书，在其中开启SSL监听，整个配置过程能够在。

小蜜蜂AI网站

能通过GPT问答来获取，SSL代理配置必须得开启，并且host以及port都要设置成*。

将手机代理设置成特定的代理服务地址，如此一来，手机访问互联网时所产生的数据包便会首先经过，然后经由其转发给真正的服务器；同样的道理，服务器返回的数据包也会先抵达，接着由其转发给手机。在整个这个过程之中，它相当于中间人，能够捕获全部数据包，也就是能够捕获所有的请求内容以及响应内容。并且，它还能够针对请求的内容以及响应的内容进行修改。

会持续监听手机所产生的数据包，所捕获的数据包会显示于界面左侧部分，随着时间不断往后推移，会捕获数量越来越多的数据包，左侧列表之中的内容同样就会越来越多。

当下，开启手机里所下载的 app1，其安装包下载地址是，进行访问便可下载，如下方图示这般，样子是这样的。

会发现已经捕获了对应的数据包，其界面类似下图所示：

在app1当中，持续地进行上拉操作，如此一来，便会捕获在这个特定过程期间所产生的全部网络请求，情况如同以下图示所呈现的那样：

能够瞧见，左侧的列表之中，有一个链接存在，当于app1里进行上拉操作时它会持续地闪动，这便意味着当下app1所发出的获取电影数据的请求被捕获到了。

去验证此结论的正确与否之际，点击上述链接之下的某一个条目，将其切换至选项卡，进而查看它的详情。此时此刻，界面右侧显现出一些JSON格式的数据，这里面存在着一个字段，在该字段里每一个条目的name值均为一个电影名称，这些电影名称跟手机界面上的内容逐个对应。就如同下面所展示的图片那样：

所以，对应的接口就是获取电影数据的接口。

针对可捕获的请求内容以及响应内容的详细信息来展开分析，首先要回到选项卡，在界面右侧的上方位置，会显示出请求URL，还有响应状态码Code以及请求方法等相关信息，就如同下图所展示的那样，并且这些内容跟在网页当中利用浏览器开发者工具进行捕获的内容具有相似之处。

下面，点击选项卡，去查看详情之里的请求方面的内容和响应方面的内容，界面呈现的样子就如同下面所展示的图片，上半部分呈现的是请求这一方面的信息，下半部分呈现的是响应这一方面的信息，切换到选项卡便能够看到请求头，切换到JSON Text选项卡便能够看到响应体，而且响应体里边的内容已经被进行了格式化处理。

究其缘由为这个请求属于GET请求，所以还得留意GET的参数信息，只要切换至Query选项卡便能查看，情况如下所示：

针对于别的App，同样能够运用如此这般的分析途径。倘若能够直接剖析出请求URL以及参数的规律，那就能够直接模拟发出请求达成数据的批量抓取。

修改请求参数里的某个字段是可行的，比如在此处把字段值从0改成10，就像下面图片所展示的那样，之后点击界面下方的按钮，如此便能发送修改过后的请求。

能够发觉左侧的列表之中呈现出了相应的请求结果，去点击选项卡，进而查看响应的内容，此次返回的乃是第2个列表页里的电影信息，就如同下面所展示的图片那样：

要是具备了重发功能，那就能够便利地用于做调试，能够借助修改参数、接口等去测试不同请求的响应状态，进而明白哪些参数是必要的以及哪些是不必要的，还有参数各自有着怎样的规律，最终提炼出一个最为简便的接口以供模拟来使用。

将生成本地文件当作示例，要怎样去得以使得其实现呢，能够先把当下的响应内容，也就是JSON Text的内容给复制下来，将其保存在本地文件之中，此文件的名称为data.json，就如同下面所显示图片那样：

接着，对其中的字段值予以修改，举例来说，把第11个条目的name变更为“V字仇杀队VVV”，随后进行保存修改，情形如同下图所呈现的那般：

另外，于Map Local的配置里头，挑选出data.json文件的存储路径，就如同下面所展示的这样：

能够发觉，第11个电影的称呼转变为了“V字仇杀队VVV”，顺利改动了响应的内容。

能够发觉，第11个影片的名号变为了“V字仇杀队VVV”，顺利改动了回应的内容。其原理全都是改动了HTTP回应的内容，先前的“重发”以及这个改动内容的进程能够称作中间人攻击，等同于中间人，能够截获请求内容与响应内容，还能对这些内容做出修改，然而手机端全然没有感觉。