直播源介绍

首先,我们来快速了解一下什么是直播源,所谓的直播源,其实就说推流地址,推流地址可能你也不知道是什么,那么我再简单说一下,推流地址就是,当某个直播开播的时候,需要将自己的直播状态实时的展示给观众,而观众看到的直播,就是从推流地址地址中实时获取的。推流地址是推流服务器的地址,推流就是把直播状态实时上传到推流服务器,而观众观看的时候,实时从推流服务器中下载,实际上叫拉流。这个过程也类似我们看在线视频一样,服务器中存放视频文件,我们观看的时候,也是从服务器中下载视频流的过程。

所以直播源地址一般分为两个部分,第一个部分是推流服务器主机地址/域名地址,第二部分是参数,一般包含时间戳以及密钥口令等。直播源地址的协议很多种,常见的app直播用rtmp,以及http,而摄像头直播常用rtsp协议,电视直播大部分是http,部分是rtmp,而直播源又分为静态与动态,静态一般是长效链接,通常没有特殊情况下,地址不变,随时可看,主要以http为主,少量的rtmp及其他,而动态直播源时效较短,通常是几秒钟到几分钟就失效了

如何抓取直播源呢?

准备工具:

模拟器或直接手机均可

抓包工具(fiddler,wireshark,疯狂URL) 系统windows

简单介绍一下以上三款工具

fiddler:代理抓包工具,主要抓取http/https,常用于抓取网站数据包,开发中常用的站点分析工具,也可以通过设置代理,抓取移动端手机app的数据,包括手机网页

wireshark:网络捕获及分析工具,与fiddler不同的是,这个抓取的范围更广,他主要抓取网络接口中的所有流量,包括tcp/udp等等,通过数据封包,然后进行分析获取我们需要的有效信息。

疯狂URL:这是一款基于winpacp以及npacp开发的抓包工具,wireshark也是基于winpacp开发的,关于winpacp的更多信息,可以去谷歌详细了解。疯狂URL支持抓取网络接口,也就是网卡数据流量,同时还支持抓取网站数据,疯狂URL实际上是做了过滤封装,很多用户如果只需要抓取特定的资源,而不需要去如何分析数据包,则使用疯狂URL是最佳的方案

以上3款工具的介绍基本如此,看个人的实际情况来选择,使用难易程度,最简单的就是疯狂URL,本次讲解如何使用疯狂URL抓取直播源,抓取模拟器中的app

步骤:

1.启动疯狂URL如下图(疯狂URL下载地址)

注意:新安装的用户安装后启动可能会出现提示缺少xxx组件/模块,需要安装对应系统的组件后方可看到网卡列表。安装组件的方法极其简单,只需要点击疯狂URL右上角的帮助选项–>找到对应系统的组件进行安装即可,如下图:

组件安装一定要选择你自身的系统对应安装,win7用户不能按照win10的组件,否则也无法使用。如果已经安装错,请前往控制面板–>卸载程序下载掉错误安装的组件,然后重新安装正确的即可。之后打开就如下图所示:

首先会看到两个界面,其中小的界面是网卡列表界面,我们选中一个我们当前使用的网卡,比如我的网卡是图中的红框部分,以WLAN 2开头,查看当前活动网卡最简单的方式是在任务栏右键–》打开任务管理器,如下图:

在任务管理器上方选择性能选项,然后在左侧列表查看相关网卡,看一下哪个网卡有流量在上传或下载,一般这个就是你要选的网卡了。图中黄色框对应的就是适配器名称和网卡名称,只要一个匹配一般就可以

还可以在网络设置中,在网络适配器中查看你使用的是什么就选什么就行。第一种方法最快捷简单

网络适配器中如图

2.选中网卡后确定,我们在主界面,目前已经自动进入监听状态,这个时候,我们只需要打开模拟器中某个直播的app,我这里演示抓取某浪直播app(其他app同理,没有任何区别,包括电视直播app,比如咪咕之类的),我直接选一个我觉得不错的小姐姐直播间进去如下图

3.从上图我们可以清除的看到,当我们进入直播间的时候,在疯狂URL的列表里会出现一个地址,每次进入一个直播间,都会增加地址,这些地址就是我们要的直播源地址了,那我们怎么看他是不是我们要的地址,会不会是平台的网页而已?这个我们在疯狂URL地址右键,播放,一试便知,如下图

4.点击播放后,这个画面和刚刚app中打开的完全就是一个人而且是同步的,所以不用怀疑,这就是我们要的直播源了。其实疯狂URL已经做了非常好的过滤,强大的过滤系统会过滤掉无关的链接,假设真遇到一些你认为不是直播的地址,你还可以手动设置过滤调节,如下图所示

5.你只需要点击类型旁边的三角形按钮,勾选你需要的链接类型即可,直播源,自然就是勾选视频了,默认情况下,没有勾选任何一项,表示所有类型都支持,但是内部仍然会过滤掉无关冗余的地址,这样做完全是为了考虑用户体验,不信你可以看看疯狂URL的左下角的数据包数量统计

6.短短几分钟的时间,数据包数量已经达到了8万多条,是不是很惊人,而我们只需要1条,要从上万甚至更多的数据包中过滤 我们需要的几条数据,真的很强大了。如果没有过滤功能,你需要从上万条数据包分析你需要的数据是一键很繁琐很浪费时间的工作,我想任何人都应该不想这么干,而且关于过滤,我们即使不使用播放器测试,也仍然一眼就知道,这个链接的类型,如下图

在类型列中,带视频格式的基本上都是可以播放的,视频格式非常多,比如flv/mp4/avi/wmv等等,而为了方便用户,只需要看到旁边有一个video的单词就表示这个链接是视频格式,支持播放器播放。

另外还需要知道的是,除了使用疯狂URL内置播放器播放之外,你仍然可以复制抓取的URL地址,到任意支持流媒体播放器中播放

如果想要抓取网站资源,我们还可以使用疯狂URL的扩展功能

他可以帮助我们抓取你指定的网站的资源,比如某些网站的直播以及在线视频等等

操作方法也非常简单,我们在只需要打开一个任意网站视频,就可以抓取到这个视频链接了

以下是X度视频的主页

我们随便点一个视频进去

最后一个视频就是我们刚刚打开的视频地址,我们可以使用自带的播放器播放,也可以复制下来,使用专用的下载工具下载或者第三方播放器播放都是可的

如何抓取直播源及视频URL地址-疯狂URL(教程)的更多相关文章

  1. 用php实现一个简单的爬虫,抓取电影网站的视频下载地址

    昨天没什么事,先看一下电影,就用php写了一个爬虫在视频网站上进行视频下载地址的抓取,这里总结一下抓取过程中遇到的问题 1:通过访问浏览器来执行php脚本这种访问方式其实并不适合用来爬网页,因为要受到 ...

  2. 抓取B站小视频

    抓取B站小视频的代码如下: #请求库import requests #请求头部信息(用户代理)headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; ...

  3. Java---网络蜘蛛-网页邮箱抓取器~源码

    刚刚学完Socket,迫不及待的做了这个网页邮箱抓取~~~ 现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎.资讯采集.舆情监测等等,诸如此类.网络爬虫涉及 ...

  4. [转]Linux Socket编程 Socket抓取网页源码

    “一切皆Socket!” 话虽些许夸张,但是事实也是,现在的网络编程几乎都是用的socket. ——有感于实际编程和开源项目研究. 我们深谙信息交流的价值,那网络中进程之间如何通信,如我们每天打开浏览 ...

  5. 爬虫(三)解析js,抓取优酷免费视频的真实播放地址

    工具:google浏览器 + fiddler抓包工具 说明:这里不贴代码,[只讲思路!!!] 原始url = https://v.youku.com/v_show/id_XMzIwNjgyMDgwOA ...

  6. 使用Socket抓取网页源码

    import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import ...

  7. c# 关于抓取网页源码后中文显示乱码的原因分析和解决方法

    原因分析:首先,目前大多数网站为了提升网页浏览传输速率都会对网站内容在传输前进行压缩,最常用的是GZIP压缩解压解压算法,也是支持最广的一种. 因为网站传输时采用的是GZIP压缩传输,如果我们接受we ...

  8. 第一篇 - bsp抓取python中文开发者社区中的所有高级教程

    工具:python3.6  pycharm 库:bs4 + urllib 第一步:读取html源码 from bs4 import BeautifulSoup import urllib.reques ...

  9. 如何使用JAVA语言抓取某个网页中的邮箱地址

    现实生活中咱们常常在浏览网页时看到自己需要的信息,但由于信息过于庞大而又不能逐个保存下来. 接下来,咱们就以获取邮箱地址为例,使用java语言抓取网页中的邮箱地址 实现思路如下: 1.使用Java.n ...

随机推荐

  1. Loadrunner拼装唯一值方法

    由于Loadrunner函数有限性,唯一值需要几个函数的字符串进行拼装,可实现流水号.订单号等等数值的唯一性.具体可见下列方法: 方法一: char OraderID[15];srand(time{N ...

  2. 学习PHP弱引用的知识

    之前的文章中,我们已经学习过引用和引用传值相关的知识.我们知道,PHP 中没有纯引用(指针),不管是对象,还是用引用符号 & 赋值的变量,都是对一个符号表的引用.而今天,我们要学习的是另一种引 ...

  3. CSS linear-gradient() 函数

    用于背景颜色渐变或画线条等场景 linear-gradient() 函数用于创建一个表示两种或多种颜色线性渐变的图片. 创建一个线性渐变,需要指定两种颜色,还可以实现不同方向(指定为一个角度)的渐变效 ...

  4. 深入浅出WPF-07.Property(属性)

    依赖属性 1)字段与属性:字段被封装在实例中,要么能够被外界访问(非Private),要么不能够被外界访问(Private).但是我们直接把数据暴露给外界的做法不安全,容易把错误的数据写入字段.于是我 ...

  5. Cnblogs 主题2

    洪卫:https://www.cnblogs.com/shwee/p/9060226.html https://sunhwee.com 1 #header{display:none;} /* 将默认的 ...

  6. oeasy教您玩转vim - 53 - # 批量替换

    查找细节 回忆上节课内容 我们温习了关于搜索的相关内容 /正向,?反向 n保持方向,N改变方向 可以设置 是否忽略大写小写 是否从头开始查找 是否高亮显示 还有一些正则表达式的使用方法 行头行尾 ^$ ...

  7. mysql从零开始之MySQL 选择数据库

    MySQL 选择数据库 在你连接到 MySQL 数据库后,可能有多个可以操作的数据库,所以你需要选择你要操作的数据库. 从命令提示窗口中选择MySQL数据库 在 mysql> 提示窗口中可以很简 ...

  8. go语言游戏服务端开发(四)——RPC机制

    五邑隐侠,本名关健昌,12年游戏生涯. 本教程以Go语言为例. RPC指远程方法调用,游戏里引入RPC目的是降低跨进程交互的复杂度. 游戏业务设计为多go routine,一个玩家一个go routi ...

  9. 由于坏块导致DG的mrp0进程中断

    由于坏块导致DG的mrp0进程中断1.Environment11.2.0.4 ADG 2.SymptomsDG的mrp0进程中断,重启后,还是卡住.查看alert,在1.47存在报错,进一步查看trc ...

  10. 洛谷 P7541 DOBRA 题解

    hhh... 我又来写题解了 solution 题意简化 一个字符串,将所有的 _ 替换成大写字母,使结果字符串符合要求: 1.不包含三个连续 元音 或 辅音 字母: 2.字符串中至少有一个 L . ...