下载文档原格式
Fiddler如何抓取⼿机APP数据包
Fiddler，这个是所有软件开发者必备神器！这款⼯具不仅可以抓取PC上开发web时候的数据包，⽽且可以抓取移动端(Android,Iphone,WindowPhone等都可以)。
第⼀步：下载神器Fiddler,下载链接：
下载完成之后，傻⽠式的安装⼀下了！
第⼆步：设置Fiddler
打开Fiddler, Tools-> Fiddler Options (配置完后记得要重启Fiddler)
选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求
选中"Allow remote computers to connect". 是允许别的机器把HTTP/HTTPS请求发送到Fiddler上来
记住这个端⼝号是:8888
第三步：设置Android⼿机
⾸先获取PC的ip地址：命令⾏中输⼊:ipconfig,获取ip地址
好吧，这时候我就拿到了IP地址和端⼝号了
下⾯来对Android⼿机进⾏代理设置
确定⼀下⼿机和PC是连接在同⼀个局域⽹中
进⼊⼿机的设置->点击进⼊WLAN设置->选择连接到的⽆线⽹，长按弹出选项框：如图所⽰:
将代理设置成⼿动，将上⾯获取到的ip地址和端⼝号填⼊，点击保存。
这样就将我们的⼿机设置成功了。
第四步：下载Fiddler的安全证书
到这⾥我们就设置好所有的值，下⾯就来测试⼀下，打开⼿机的超级课程表APP
这样就抓取Android移动端的数据包成功了，这个对于我们后⾯进⾏⽹络数据请求的调试有很⼤的帮助，我们可以通过这个⽅法来判断我们请求⽹络是否成功！。
app数据采集方案随着移动互联网的快速发展，越来越多的企业和机构开始意识到APP数据的重要性。
通过对APP数据的采集和分析，可以更好地了解用户行为、优化产品设计、提升用户体验，并为决策提供有力的支持。
本文将介绍一种APP数据采集方案，帮助企业和机构高效地获取并利用APP数据。
一、数据采集目标与指标制定在开始数据采集之前，我们首先需要明确采集的目标和需要监控的指标。
根据不同的业务需求，可以采集的数据包括但不限于用户行为数据、设备信息、用户画像等。
在制定指标时，需要考虑数据的可衡量性、实用性和可比性，确保采集的数据具有较高的价值。
二、数据采集方案选择1. 前端数据采集方案前端数据采集主要是通过在APP客户端嵌入代码，实时获取用户行为数据。
常用的前端采集方案包括Google Analytics、友盟、TalkingData等。
这些方案提供了丰富的开发接口和功能模块，能够快速集成到APP中，并提供实时的数据分析和报表展示。
2. 后端数据采集方案后端数据采集方案是指将APP产生的数据通过API等方式发送到服务器进行采集和存储。
通过后端采集，可以更方便地对数据进行处理和分析。
常用的后端采集方案包括Flume、Kafka、Logstash等。
这些方案提供了高效的数据传输和存储机制，适用于大数据量的场景。
3. 混合数据采集方案混合数据采集方案结合了前端和后端采集的优势，既可以实时获取用户行为数据，又可以将数据发送到服务器进行存储和分析。
这种方案可以根据实际需求进行定制化开发，满足不同业务场景的需求。
三、数据采集与传输数据采集与传输是数据采集方案中的核心环节。
采集过程中需要注意以下几点：1. 采集代码的嵌入：确保采集代码正确嵌入到APP中，并在不影响用户体验的情况下进行数据采集。
2. 数据传输的安全性：采集到的数据需要进行加密和压缩，确保数据传输过程中的安全性和完整性。
3. 数据传输的实时性：尽可能选择高效的传输方式，保证数据的实时传输，避免数据延迟和丢失。
⼿机app抓包进⾏⼿机App应⽤测试或者调试时,经常需要检查客户端到服务器之间的数据交互是否正确,同时可能为了构造⼀些假数据,特殊场景,经常需要对⼿机App应⽤进⾏抓包操作,今天就给⼤家介绍⼀下针对⼿机App的抓包操作。
记得记笔记，这是重点。
使⽤的抓包⼯具是常见的Fiddler⼯具(HTTP协议调试代理⼯具),能够进⾏常见的抓包和分析操作。
本⽂中涉及到的操作,主要有以下两步操作:1. Fiddler抓取⼿机App的HTTP协议请求数据 1. Fiddler开启远程连接 2. ⼿机端配置请求代理2. Fidder抓取⼿机App的HTTPS协议请求数据 1. Fiddler开启抓取HTTPS 2. ⼿机端配置证书(清除证书)第⼀步:Fiddler抓取⼿机App的HTTP协议请求数据先简单描述⼀下实现流程,然后参照流程实现抓取操作:1. ⾸先保证⼿机和Fiddler主机为同⼀⽹络2. Fiddler开启远程设备连接(确认Fiddler代理主机IP和端⼝号)3. ⼿机端设置⽹络代理为Fiddler主机(设为Fiddler代理主机IP地址和端⼝号)4. 验证:访问传智官⽹ 1.⾸先保证⼿机和Fiddler主机为同⼀⽹络 Fiddler主机IP地址: ⼿机IP地址: 2. Fiddler开启远程设备连接 进⼊Tools-->Options-->Connections-->勾选Allow remote computers to connect 默认监听的端⼝号8888 3. ⼿机端设置⽹络代理为Fiddler主机 选中⽹络对应的⽆线连接名称长按-->修改⽹络-->⾼级选项-->代理⼿动--填写代理IP地址和端⼝--保存 4. 验证:访问传智官⽹ 访问HTTP协议的⽹络地址第⼆步: Fidder抓取⼿机App的HTTPS协议请求数据先简单描述⼀下实现流程,然后参照流程实现抓取操作:1. ⾸先保证⼿机和Fiddler主机为同⼀⽹络,并且能够抓取HTTP协议2. Fiddler开启抓取HTTPS协议3. ⼿机端卸载配置证书4. 验证:访问博学⾕官⽹ 1. ⾸先保证⼿机和Fiddler主机为同⼀⽹络,并且能够抓取HTTP协议 参照第⼀步实现的抓取HTTP协议操作实现 2. Fiddler开启抓取HTTPS协议 进⼊Tools-->Options-->HTTPS-->勾选Capture HTTPS CONNECTS-->勾选Decrypt HTTPS traffic --> 勾选 Ignore server certificate errors 3. ⼿机端卸载配置证书 4. 验证:访问博学⾕官⽹ 访问HTTPS协议的⽹络地址总结借助Fiddler⼯具抓包,抓取⼿机App主要解决不同端上应⽤请求相应信息的分析问题。
Android：关于HTTPS、TLSSSL认证以及客户端证书导⼊⽅法⼀、HTTPS 简介 HTTPS 全称 HTTP over TLS/SSL(TLS就是SSL的新版本3.1)。
TLS/SSL是在传输层上层的协议，应⽤层的下层，作为⼀个安全层⽽存在，翻译过来⼀般叫做传输层安全协议。
对 HTTP ⽽⾔，安全传输层是透明不可见的，应⽤层仅仅当做使⽤普通的 Socket ⼀样使⽤SSLSocket 。
TLS是基于 X.509 认证，他假定所有的数字证书都是由⼀个层次化的数字证书认证机构发出，即 CA。
另外值得⼀提的是 TLS 是独⽴于 HTTP 的，使⽤了RSA⾮对称加密，对称加密以及HASH算法，任何应⽤层的协议都可以基于 TLS 建⽴安全的传输通道，如 SSH 协议。
代⼊场景：假设现在 A 要与远端的 B 建⽴安全的连接进⾏通信。
1. 直接使⽤对称加密通信，那么密钥⽆法安全的送给 B 。
2. 直接使⽤⾮对称加密，B 使⽤ A 的公钥加密，A 使⽤私钥解密。
但是因为B⽆法确保拿到的公钥就是A的公钥，因此也不能防⽌中间⼈攻击。
为了解决上述问题，引⼊了⼀个第三⽅，也就是上⾯所说的 CA(Certificate Authority)： CA ⽤⾃⼰的私钥签发数字证书，数字证书中包含A的公钥。
然后 B 可以⽤ CA 的根证书中的公钥来解密 CA 签发的证书，从⽽拿到A 的公钥。
那么⼜引⼊了⼀个问题，如何保证 CA 的公钥是合法的呢？答案就是现代主流的浏览器会内置 CA 的证书。
中间证书： 现在⼤多数CA不直接签署服务器证书，⽽是签署中间CA，然后⽤中间CA来签署服务器证书。
这样根证书可以离线存储来确保安全，即使中间证书出了问题，可以⽤根证书重新签署中间证书。
另⼀个原因是为了⽀持⼀些很古⽼的浏览器，有些根证书本⾝，也会被另外⼀个很古⽼的根证书签名，这样根据浏览器的版本，可能会看到三层或者是四层的证书链结构，如果能看到四层的证书链结构，则说明浏览器的版本很⽼，只能通过最早的根证书来识别 校验过程 那么实际上，在 HTTPS 握⼿开始后，服务器会把整个证书链发送到客户端，给客户端做校验。
怎么对app进行抓包，今天只说手机操作「本期内容标签」安卓 iOS 电脑小程序网站游戏教程前几天写的：苹果旧版app好多好东西，本期攻克它，好多小伙伴在留言区求抓包教程，那么本期就写一下吧。
本期主要写抓取手机app的数据，用的抓包软件也是安卓和iOS 平台上的。
电脑端的软件诸如Charles、Appium、mitmdump等以后再写吧，先挖坑再说。
「何为app抓包」app抓包就是抓取app运行中的网络包，诸如抓取app视频中的流媒体链接、API接口、评论、图片等等。
不过这里面坑也多，有些app有反抓包措施，也有SSL加密手段，所以本文不会讲这些坑的处理方法，因为小编也不太精通这几种。
「安卓推荐无root抓包」下载安装app，提示代理添加允许即可。
因为抓包过程必须有个中间代理，过程解释一下：手机访问数据经过此代理，此代理转发数据包到要抓取的app端服务器，服务器返回数据到此代理，此代理再送给手机。
代理就算是个中间人（中介）吧。
如下app的主界面，可是设置全局抓取和指定app抓取，小编一般是采取指定app抓取方式，数据不乱。
▼来个实战项目，抓取星火new直播这个电视直播app的直播源，直播源一般是m3u8格式的。
我们最好先打开星火直播，然后切到无root抓包，我们点击指定app抓取按钮，选择星火直播，就开始抓取数据。
然后打开星火new直播，切换到一个想要抓取的电视台。
然后返回抓包app，点击停止，找吧，如下找到最近的数据，打开。
找到直播源，一般都是Host GET后面的链接拼凑成m3u8的播放链接，如下就是这样：▼我们得到下面的直播源：/000000001000/4741133387750560369/index.m3u8?channel-id=bestzb&Contentid=4741133387750560369&livemode=1&st bId=004003FF0072303602008422F156952C&userToken=22da8 3031e59d012e61af366ad30871e02vv&usergroup=g020200000 00&version=1.0&owaccmark=4741133387750560369&owchid =bestzb&owsid=5213780771862362080&AuthInfo=U5L6tvb8V tAXI0oYbUML2d0y13YLgYCzkOhSlmNR0lfK9KCJ59xYShuXP6JDx quJPx3P%2b2n8YWwIFSgoQhT%2fUAFQusm1J0p4JkTf2x7cysOk 8wvKlkrdxvzXlgcvOSiw一般电脑上的PotPlayer或者手机端的MX player或VLC player 均支持此种流媒体格式，如下小编在电脑上的PotPlayer中打开直播源：▼那些分享大量直播源的，一般都是网页端和手机端批量抓取，这个手机app比较费事，一般通过python和电脑端的抓包软件实现了，这个以后说，先挖个坑。
利用AndroidHttpCapture网络抓包说明一、目的：抓取主流APP的访问目标IP地址和请求二、方法：在安卓手机上安装AndroidHttpCaptureAPP上传相应日志，再统一分析每个APP的特征。
三、使用方式：1.设置手机代理2.关闭其他无关APP进程3.运行AndroidHttpCaptureAPP程序4.运行需要抓取的APP5.正常使用APP6.分享日志到微信7.重命名日志文件四、具体步骤：(一)设置手机代理选择相应的网络接入点WIFI点击修改网络，添加HTTP代理服务器输入127.0.0.1服务器端口8888添加安装SSL证书，点击重新安装证书，根据提示操作即可。
第一次进入程序需要安装CA证书以便进行HTTPS抓包（原理同fiddler，MITM中间人）不安装证书的话无法抓取HTTPS的请求预览页面可以查看从APP启动起所有网络请求数据，实现了按分页过滤、URL搜索功能，并可清空所有数据包预览的内容包括Request Header、Request Cookie、Request Content、Response Header、Response Cookie、Response ContentContent内容如果为JSON将会自动格式化显示(二)关闭其他无关APP进程利用系统关闭APP功能，关闭其他前台APP进程。
(三)运行AndroidHttpCaptureAPPhttp Interceptor(四)运行需要抓取的APP运行相应的APP，注意不要开启其他的APP，避免分析结果不正常。
(五)正常使用APP的请求正常使用APP，每次只运行一个APP，每个APP使用5-10分钟左右，即可。
(六)分享日志到微信(七)重命名日志文件默认分离的日志文件名test.zip，保存到系统中改为APP名称.zip如协程.zip即可。
方便后台批量解析。
抓包操作流程抓包操作流程是网络分析和网络故障排查中必不可少的一环，在网络管理员、网络安全专业人员、开发人员等领域具有广泛的应用。
本文将从以下三个方面介绍抓包操作流程——第一、准备工作1.1、安装抓包软件：需要安装类似Wireshark、tcpdump、Fiddler等抓包软件，这些软件都是开源、免费的。
1.2、了解所监控的网络环境，包括网络拓扑、网络设备的配置等信息，这可以帮助我们更好的分析和理解网络流量。
1.3、根据需要，配置好抓包软件的过滤器，过滤掉那些不需要的数据包，提高流量质量。
第二、开始抓包2.1、启动抓包软件，并开始进行抓包操作。
一般情况下，我们都需要知道所关注的设备或IP地址，以及设备或IP地址与其他设备或IP地址之间的通信流程。
为了实现这一目标，我们可以通过设置过滤器，只抓取满足条件的数据包，如以下三个过滤器：tcp.port == 80：仅抓取TCP协议下端口为80的数据包，一般情况下它是用来传输HTTP协议的数据。
ip.src == 10.0.0.1：仅抓取来源IP地址为10.0.0.1的数据包，通过这个过滤器可以查看该IP地址与其他设备之间的通信流程。
2.2、停止抓包并保存数据。
在已经完成了必要的抓包操作后，我们需要停止抓包，并将抓取下来的数据保存到本地，以便我们后期的分析和处理。
第三、数据分析3.1、打开抓包软件中已经保存的数据文件，进入数据分析模式。
3.2、清晰地展示数据包的详细信息，如协议、源地址、目的地址、源端口、目标端口、数据长度等信息，以便我们在学习分析时进行参考。
3.3、跟踪数据包的传输流程，在网络环境中分析数据的各种代表性事件，如连接、请求、回复、响应等事件，以便我们更好地理解和分析故障原因。
3.4、综合分析，利用各种分析工具对数据进行统计和分析，以便我们更好地分析数据的其他特征，如分析三次握手流程、分析传输性能等等。
3.5、通过分析得到的数据，我们可以更好地了解网络端到端性能，以便监控和诊断网络故障。
app数据爬取采集是如何实现的最近半年，我们八爪鱼陆续接到好几个APP数据采集的项目需求，我在群里面，偶尔也看到有些用户在问，有没有APP数据采集的工具。
鉴于我们做过的几个APP数据采集项目的经验，我可以告诉大家，现在APP数据采集，市面上还没有通用的工具。
我们八爪鱼内部是有一套工具，但由于使用的难度较高，需要编写脚本，所以不对普通用户公开，我们仅接受项目定制。
虽然不对外公开，但并不妨碍我们将技术分享出来，APP数据采集，一般走以下两种方式：1.两种思路1.抓包2.HOOK2.抓包有代码经验或APP开发的同学都很容易理解，其实很多APP，走的都是webservice 通讯协议的方式，并且由于是公开数据，而且大部分是无加密的。
所以只要对网络端口进行监测，对APP进行模拟操作，即可知道APP里面的数据是如何获取的。
我们只需要写代码模拟其请求，无论POST还是GET，即可得到该请求所返回的信息。
再通过对返回的信息结构化解析，即可得到我们想要的数据。
public static void main(String[] args) {Spider.create(new GithubRepoPageProcessor())//从https:///****开始抓.addUrl("https:///****")//设置Scheduler，使用Redis来管理URL队列.setScheduler(new RedisScheduler("localhost"))//设置Pipeline，将结果以json方式保存到文件.addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))//开启5个线程同时执行.thread(5)//启动爬虫.run();}以模拟采集“meizu”应用市场为例应用市场产品 抓包返回参数整个抓包过程3.HOOK技术HOOK技术是一种走操作系统内核的技术，由于安卓系统是开源的，所以可以借助一些框架修改内核，从而实现你要的功能。
竭诚为您提供优质文档/双击可除android抓包,-,抓取http,tcp协议数据,.篇一：wireshake抓包分析tcp与http过程详解http协议报文格式详解在我们日常生活中最常见的应用环境就是上网浏览网页，很多上班族到办公室的第一件事就是打开电脑，而开机后的第一件事就是打开ie、Firefox、myie、greenbrowser、opera等浏览器时，做的第一件事就是浏览一下例如.cn,的新闻，而这种简单的应用操作，完成的交互过程就是一个典型的http协议的应用过程。
http是基于tcp的连接，因此，建立http连接必须经过tcp的过程，tcp的建立过程是3次握手的过程。
然后就是http过程，http只有两种报文，请求和应答报文。
完成http过程后，3次断开tcp连接。
httptcp的第一阶段http开始之前先3次握手，第一阶段就是客户向服务器发送同步请求，flag字段的syn位置1。
第二阶段第二阶段就是服务器向客户回复一个ack包，其中Flag 字段的syn位和ack字段置1。
tcp的第三阶段：tcp的第三阶段是客户向服务器发送ack，至此，tcp的3次握手结束tcp三次握手结束之后就是http请求客户发出http请求之后，服务器收到请求发送ack：服务器发送应答报文篇二：tcp数据包的抓取与分析计算机网络课程设计报告课程设计题目：tcp数据包的抓取与分析专业：班级：姓名：学号:指导教师:年月日目录1.摘要................................................. . (3)2.引言................................................. . (4)3.目录................................................. . (2)4.tcp数据包抓取................................................. . (5)5.tcp数据包分析................................................. . (7)6.程序设计................................................. .. (8)7.出现的错误和解决方法................................................. .. (12)8.结束语................................................. (13)9.参考文献................................................. .. (14)1.摘要本课程设计通过ethereal捕捉实时网络数据包，并根据网络协议分析流程对数据包在tcp/ip各层协议中进行实际解包分析，让网络研究人员对数据包的认识上升到一个感性的层面，为网络协议分析提供技术手段。
APP抓包心得方法一：使用模拟器，个人推荐夜神模拟器或者是网易的MuMu模拟器场景：需要抓取HTTPS的数据包1、使用模拟器：夜神模拟器第二步是最关键的一步，不管是Android系统还是IOS系统，抓APP数据包都比不可少2、安装burp证书，burp设置好代理•来到模拟器—>设置—>WALN—修改网络—>手动，如下图：主机名和端口与burp一致•设置完成之后，需要导入burp证书，访问http://burp，下载证书。
•下载完成后把证书改名：crt格式（ps：模拟器或手机支持的格式）•导入到模拟器中•设置->安全->SD卡安装证书，找到对应的证书•安装下一步，任意命名即可。
3、burp抓包成功，如下图方法二（在安装有证书的前提下没有安装证书的回头看方法一）：Proxifier+burp 场景：APP识别到模拟器开有代理，导致数据包错误或者hi不能正常打开访问APP，这种情况我们可以利用以代理的方式，达到绕过的效果。
1、burp设置好代理2、关闭模拟器的代理，不需要开启代理！3、下载Proxifier并打开修改完成，如下图：IP与端口需要对应BURP设置的IP和端口4、点击配置文件—>代理规则—>设置代理规则—>添加一条代理规则代理的名称任意填，应用程序需要抓取模拟器程序的进程，这里用的夜神。
multiplayermanager.exe; nox.exe; noxrepair.exe; noxvmsvc.exe; noxvmhandle.exe选取进程试最好是点击浏览，找到该进程的文件路径，并选取防止找不到路径导致找不到包5、确定完成即可，运行APP可以看到模拟器的数据，如下图：6、burp抓包成功，如下图方法三：夜神+xposed+JustTrustMe 可突破双向验证环境准备：夜神模拟器（Android 5版本）、JustTrustMe、xposed安装完成如下图：•安装xposed生成一个APP•安装完成之后会打个绿√（踩坑点：xposed貌似不支持Android 7版本的）•安装完成后，可以专门绕过一些对模拟器有防护的APP，然后抓包方式与方法一一致。
Android7.0以上⼿机抓包⽅式（抓取https，亲测有⽤）
⼀、下载VritualXposed apk包安装到android⼿机
⼆、下载JustTrustMe apk包安装到android⼿机
三、安装完成进⼊VirtualXposed apk应⽤，点击6个⼩点进⼊设置页⾯
四、进⼊设置页⾯，点击模块管理，勾选JustTrustMe（如果没有找到它，可能是这个版本不需要在⼿动选择了，安装之后⾃动识别到了）
五、重启VirtualXposed
六、重启之后我们重新进去设置页⾯，添加我们需要抓包的应⽤即可，⽐如⽹速管家APP
七、设置Fiddler/charles代理，⼿机设置wifi⾥⾯代理改成⼿动。
输⼊ip，端⼝：默认8888，注意⼿机和电脑在⼀个wifi下就可以了
⼋、回到VirtualXposed 上滑解锁，打开我们安装的应⽤进⾏操作，则发现Fiddler/Charles已经成功抓取到安居客的HTTPS的数据包。
转载意外发现的Android硬核https抓包，在多个app亲测ok,⾃定义ssl也⽆⽤哦~前提条件复制代码隐藏代码⼀台root⼿机frida环境⼀套还要会搜索（回复⽐较慢）开启抓包复制代码隐藏代码1. ⼿机中执⾏ tcpdumptcpdump -i any -s 0 -w /sdcard/Download/capture.pcap2. ⼿机没有tcpdump的下载地址https:///android-tcpdump/downloadsadb push tcpdump /data/local/tmp/ (如果遇到权限不够的，先push到sdcard/ 再移动过去)2.1在⼿机中执⾏给权限chmod 777 tcpdump2.2继续执⾏1./tcpdump -i any -s 0 -w /sdcard/Download/capture.pcaphook app拿到sslkeyfrida -U -f package -l ./sslkeyfilelog.js --no-pause复制代码隐藏代码// frida 命令选项更多关于frida信息可以查看frida官⽅信息 https://frida.re/docs/home/C:\Users\User>frida -hUsage: frida [options] targetOptions:--version show program's version number and exit-h, --help show this help message and exit-D ID, --device=ID connect to device with the given ID-U, --usb connect to USB device-R, --remote connect to remote frida-server-H HOST, --host=HOST connect to remote frida-server on HOST-f FILE, --file=FILE spawn FILE-F, --attach-frontmostattach to frontmost application-n NAME, --attach-name=NAMEattach to NAME-p PID, --attach-pid=PIDattach to PID--stdio=inherit|pipe stdio behavior when spawning (defaults to “inherit”)--runtime=duk|v8 script runtime to use (defaults to “duk”)--debug enable the Node.js compatible script debugger-l SCRIPT, --load=SCRIPTload SCRIPT-P PARAMETERS_JSON, --parameters=PARAMETERS_JSONParameters as JSON, same as Gadget-C CMODULE, --cmodule=CMODULEload CMODULE-c CODESHARE_URI, --codeshare=CODESHARE_URIload CODESHARE_URI-e CODE, --eval=CODE evaluate CODE-q quiet mode (no prompt) and quit after -l and -e--no-pause automatically start main thread after startup-o LOGFILE, --output=LOGFILEoutput to log file--exit-on-error exit with code 1 after encountering any exception inthe SCRIPT复制代码隐藏代码function startTLSKeyLogger(SSL_CTX_new, SSL_CTX_set_keylog_callback) {console.log("start----")function keyLogger(ssl, line) {console.log(new NativePointer(line).readCString());}const keyLogCallback = new NativeCallback(keyLogger, 'void', ['pointer', 'pointer']);Interceptor.attach(SSL_CTX_new, {onLeave: function(retval) {const ssl = new NativePointer(retval);const SSL_CTX_set_keylog_callbackFn = new NativeFunction(SSL_CTX_set_keylog_callback, 'void', ['pointer', 'pointer']);SSL_CTX_set_keylog_callbackFn(ssl, keyLogCallback);}});}startTLSKeyLogger(Module.findExportByName('libssl.so', 'SSL_CTX_new'),Module.findExportByName('libssl.so', 'SSL_CTX_set_keylog_callback'))// https://codeshare.frida.re/@k0nserv/tls-keylogger/将抓包⽂件拿到pc将/sdcard/Download/capture.pcap pull 到pc保存frida输出的打印信息到sslkey.txt（还没做到⼀键傻⽠化）复制代码隐藏代码// 格式是这样紫的，不要参杂别的哟~CLIENT_RANDOM 557e6dc49faec93dddd41d8c55d3a0084c44031f14d66f68e3b7fb53d3f9586d 886de4677511305bfeaee5ffb072652cbfba626af1465d09dc1f29103fd947c997f6f28962189ee809944887413d8a20 CLIENT_RANDOM e66fb5d6735f0b803426fa88c3692e8b9a1f4dca37956187b22de11f1797e875 65a07797c144ecc86026a44bbc85b5c57873218ce5684dc22d4d4ee9b754eb1961a0789e2086601f5b0441c35d76c448 CLIENT_RANDOM e1c1dcaaf73a8857ee60f5b38979084c3e95fdebd9791bbab985a8f954132426 41dcf3d5e41cb469494bf5014a1ecca9f40124f5728895265fadd38f8dc9d5ac15c5fa6588c1ea68f38476297fe76183 CLIENT_RANDOM 66c4f37afb2152e3837c8a7c48ce51e8307e6739e1fe3efc542887bbcae4f02a bbafe4881084570af01bed59f95bfcf7bc49d2e55acbc7fe33c1e06f8ff0bc2e747c2c428e7cd13f1c77c2141085f951 CLIENT_RANDOM 8d0d92154ee030486a2b13f9441f85ef33c5e06732fbb06a1ac81fe34b6f2ce3 8270b34eee784e7f7de45f39af36f26e6abf99bb52fa8350945e3ebf79dc1c53a0693c24b0780ce3a54d39fd4b5b5149 CLIENT_RANDOM b5d58899346db525f14312cfb52c1247ed7adb710ae43428bd331ce27d77dbc1 9effd5b469ef6fdf7a056ea50fc3ff0fdf9fa40ae709805bea8678ddce404f211ed534623876a5c616f3e7bc43121f48 CLIENT_RANDOM af1b3f9ba0b4c27756c93595eb54cac6f0d8c6e9e4f0fcb1a36c45f0cd12060d 696a6fff39bf6c9863901a2145703de948c37e1abf6b4c03628118bee11c292239304ee020c71ff31a293fc6b9439364 CLIENT_RANDOM e2a3d8e6b638976aa27c8cf031be5e6b03cf7ffa573be101816d5103025d404b 2b006379423d7252c864a129b6c5a693b75d477dc5d3f894af5f02db755c4f6dd54470b659882871c62ce002792e211a CLIENT_RANDOM 1c8cfe911e2111d80dc81c275c791c04467e8d7bca16963acec6a20051429981 bf08334d973d44d80c8f4542c2356a5fd9e0d390afde0374179cc81dd82aaa15aae52604988e9c9616ad0795c79c81ed 打开.pcap⽂件进⼊Wireshark复制代码隐藏代码// Wireshark快速过滤(http.request or tls.handshake.type eq 1) and !(ssdp)// 快速参考// https:///p/5525594600db设置Wireshark tls[b]编辑--> ⾸选项--> Protocols--> TLS 选择到tls 后将之前的sslkey.txt导⼊下。
charles抓⼿机app的包的操作步骤
以下是本⼈整理的charles抓⼿机app的包的操作步骤，如有疑问或建议之类的可以私发我邮箱：谢谢
1、先设置代理服务器的端⼝号，如下图所⽰
2、选择在移动设备上安装 Charles 根证书。
3、会弹出⼀个提⽰框，提⽰框的ID和端⼝号是要在⼿机上输⼊的代理设置（此端⼝号是第⼀步设置的）
4、把⼿机的ip填写到如下页⾯（⼿机IP可以在⼿机设置⽆线⽹查看）
5、进⼊⼿机设置界⾯，⼿机局域⽹设置，然后打开⼿机的浏览器，输⼊/getssl 会弹出如下界⾯。
6、这样就可以看到抓的包啦！
6、如果还抓不到数据，检查你的⼿机是不是 iOS 10.3 及以上版本，如果是的话的还需要进⼊⼿机设置->通⽤->关于本机->证书信任设置。
HTTPS协议的工作流程与数据传输过程在互联网的发展中，数据传输的安全性变得尤为重要。
由于HTTP协议在数据传输过程中存在一些安全隐患，HTTPS协议应运而生。
HTTPS协议通过数据加密和身份验证等安全机制，保障了用户与服务器之间数据传输的安全性。
本文将介绍HTTPS协议的工作流程以及数据传输过程。
一、HTTPS协议的工作流程1. 客户端发送HTTPS请求当用户在浏览器中输入以https://开头的网址时，浏览器会根据该协议的要求，将请求发送给服务器端。
在发送请求之前，客户端会验证服务器的身份。
这一步骤可以确保用户与服务器进行的是安全连接。
2. 服务器证书的验证在接收到客户端的请求后，服务器会将自己的证书发送给客户端。
该证书中包含了服务器的公钥、身份信息以及数字签名等。
客户端会对证书的合法性进行验证，以确保服务器的身份和证书的有效性。
如果验证不通过，客户端会弹出安全警告。
3. 协商加密算法在完成证书验证后，客户端和服务器会协商选择一种加密算法来加密数据传输。
常见的加密算法包括SSLv3、TLSv1.0、TLSv1.1、TLSv1.2等。
两端协商选择的加密算法决定了后续数据传输的加密方式。
4. 生成会话密钥一旦加密算法协商完成，客户端会生成一个随机的会话密钥，用于后续传输数据的加密和解密。
这个会话密钥只在当前会话中有效，保证了数据传输的安全性。
5. 客户端加密数据客户端使用服务器的公钥对会话密钥进行加密，并将加密后的密钥发送给服务器端。
这样，即使有人截获了加密后的会话密钥，也无法还原出真实的密钥。
6. 服务器解密数据服务器使用自己的私钥对客户端发送的加密密钥进行解密，得到真实的会话密钥。
从此时开始，客户端和服务器使用会话密钥来加密和解密数据。
7. 数据传输在完成握手过程后，客户端与服务器之间的数据传输过程与HTTP 协议相似。
但是，所有的数据都是经过加密的，确保了传输过程的安全性。
二、HTTPS数据传输过程1. 数据分片当客户端发送请求或服务器返回响应时，数据将被分成一系列的小块或数据包。
数据抓取是数据处理中的重要一环，它指的是从互联网或其他数据源中提取数据的过程。
数据抓取的目的是为了获取所需数据，以进行后续的分析、建模和应用。
本文将探讨数据抓取的基本原理、方法和常见技术，以及如何进行高效的数据抓取。
一、数据抓取的基本原理数据抓取的基本原理是通过网络请求和解析HTML或其他数据格式，从网页或其他数据源中提取所需数据。
通常，数据抓取的过程可以分为以下几个步骤：1. 发送请求：使用HTTP协议向目标网页或API发送请求，获取网页内容或数据。
2. 解析页面：通过解析HTML或其他数据格式，提取出需要的数据。
这可以通过正则表达式、XPath、CSS选择器等方法来实现。
3. 存储数据：将提取到的数据存储到数据库、文件或其他数据结构中，以便后续的处理和分析。
二、数据抓取的方法和技术1. 基于HTTP协议的数据抓取：这是最常见的数据抓取方法。
通过发送HTTP请求，并使用合适的请求头和参数，可以模拟浏览器行为，获取网页内容或API返回的数据。
常用的HTTP库有Python的requests、Java的HttpClient等。
2. 使用爬虫框架：爬虫框架是一种高效的数据抓取工具，它提供了一系列封装好的功能，如发送HTTP请求、解析页面、处理反爬虫机制等。
例如，Python的Scrapy框架就是一个强大的数据抓取工具。
3. 数据抓取工具和软件：市面上也有许多数据抓取工具和软件，如八爪鱼、WebHarvy等。
这些工具通常提供了可视化的界面和配置选项，方便非技术人员进行数据抓取。
4. 使用API接口：有些数据源提供了API接口，开放了部分数据供开发者使用。
通过调用API接口，可以直接获取所需数据，无需进行页面解析。
使用API接口可以提高数据抓取效率和精确度。
三、高效的数据抓取策略1. 了解数据源：在进行数据抓取之前，要先了解所需数据的来源和数据源的特点。
这包括网页的结构、数据的存储方式、反爬虫机制等。
对数据源有充分的了解，可以避免冗余的抓取和处理，提高效率。
对于https协议的接口的抓包方法一、使用fiddler1.使用fiddler对浏览器访问的https接口抓包默认设置下的fiddler是不能解密https协议的请求的内容的，在fiddler上抓到的https 协议的请求都是如下图所示，但是看不到其中的传参以及返回结果的内容：如果想要用fiddler抓到浏览器访问的https接口，需要在fiddler做如下设置：a)进入菜单栏，Tools->Fiddler Options：b)切换到https选项卡，勾选如下选项：c)按照上面步骤勾选后，会弹出如下提示框，提示意思大概就是fiddler会生成一个唯一的根证书，我们要配置Windows，使Windows信任这个CA证书，所以点击Yes即可：d)点击Yes之后，Windows会马上弹出下面的弹窗，我们点击“是”，就能将DO_NOT_TRUST_FiddlerRoot这个由fiddler生成的CA证书导入到浏览器，也就完成了上面C步骤所述的配置Windows，使Windows信任这个CA证书的步骤：完成了上面的配置后，即可以在浏览器发起一个https协议的请求：此时可以在fiddler抓到这个请求，并能看到传参内容和返回的内容返回的内容：2.使用fiddler对app访问的https接口抓包首先要先在fiddler进行设置，步骤与上面的一样，但是不用导入证书到浏览器，这里不再赘述。
Android：要使用fiddler抓到app发出的https请求，需要在app端安装fiddler生成的CA证书，在Android的app端安装fiddler生成的CA证书步骤如下：a)设置手机代理服务器，代理到自己的电脑：b)使用手机内置浏览器访问代理服务器地址：c)点击这里：d)此时会弹出安装证书的提示，要先命名证书：-->e)点击确定后，系统还会提示要求设置屏幕锁屏密码，以策安全，按照系统提示一步一步做就行。
基于charles抓取https请求使⽤过程解析使⽤Charles抓https请求，这⾥需要设置连接端即浏览器或应⽤程序和Charles端，才能完成SSL Proxying的设置。
SSL 证书连接端需要先安装Charles证书，以下介绍了如何在不同的浏览器或应⽤程序上信任Charles根证书Windows/Internet Explorer操作：1、Charles-》Help-》SSL Proxying > Install Charles Root Certificate，会弹出⼀个窗⼝警告你没有信任CA Root Certificate2、点击"Install Certificate” 按钮，加载导⼊证书的向导，这个证书必须要被导⼊到"Trusted Root Certification Authorities” 证书存储中，所以会覆盖当前⾃动证书存储的内容3、证书安装完成后，需要重启IE才能⽣效Mozilla Firefox⾸选要确保firefox已连接到charles检查的⽅法：在firefox中访问链接，能够在charles中查看到firefox中的请求信息firefox中安装Chalres根证书操作如下：这时firefox会弹出提⽰：图12、点击确认安全例外，接下来会弹出如下窗⼝，勾选“信任由此证书颁发机构标识的⽹站”图23、点击确定，证书即安装并信任成功macOS操作：1、Charles-》Help-》SSL Proxying > Install Charles Root Certificate2、会打开钥匙串，在钥匙串中找到“Charles Proxy...”，双击打开3、在信任选项⾥，使⽤此证书时：选择“始终信任”，如下图34、设置成功后关闭窗⼝时，会要求输⼊当前管理员密码来确认修改5、重新启动safari，查看设置是否成功iOS devices1、⾸先要设置⼿机的wifi代理到Charles上设置-》⽆线局域⽹-》当前连接的wifi，设置⼿动http代理服务器为要Charles所在的电脑ip，Charles端⼝号默认是8888图4图53、如果是在iOS 10.3及以上系统版本，需要在通⽤>关于⼿机>证书信任设置中找到Charles证书，打开信任开关，更多信息可以参考官⽹⽂档(More information about this change in iOS 10).ps：描述⽂件与设备管理在iOS设置中的路径：设置-》通⽤-》描述⽂件iOS Simulators在iOS模拟器上安装Charles证书，⾸先先退出模拟器1、打开Charles，点击Charles-》Help-》SSL Proxying > Install Charles Root Certificate in iOS Simulators，即会安装Charles根证书到你所有的iOS模拟器上2、再次启动iOS模拟器时，就可以正常使⽤SSL ProxyingtvOS这个⽤的⽐较少，这⾥就不多做描述，想要了解的可以直接看官⽹⽂档Android在Android内，要信任Charles SSL Proxying⽣成的 SSL 证书，需要在你的app内添加⼀些配置，也就是说你只能在⾃⼰的app内使⽤SSL Proxying。
