对于爬虫大家应该不会陌生,我们首先来看一下爬虫的定义:网络爬虫是一种自动获取网页内容的程序,是搜索引擎的重要组成部分.网络爬虫为搜索引擎从万维网下载网页,自动获取网页内容的应用程序.看到定义我们应该已经知道它是可以从万维网上下载网页解析网页数据的.大家想一下在数据分析情景中它的应用场景有哪些?采集天气数据,网站采集文章,采集各种票务信息,股票信息采集等等有很多地方都会用的爬虫采集数据进行数据分析.通过数据分析增加分析维度信息,尤其是行业数据对标. 提及爬虫有些软件工程师会第一时间想到Python

本月Power BI Desktop的更新,除了常规的视觉和数据连接器改进之外,还有两个非常大的功能改进,交互式的报表.问答,用户直接在Desktop可以询问有关的数据问题,面对层出不穷的用户需求,这个功能大大的提高了各分析人员的功能效率. 以下是四月更新的完整列表: 报表功能 问答资源管理器(预览) 如果你想让用户对报告中的数据提出问题,可以设置图像,形状或按钮(请参阅下一个功能)以启动问答浏览器. 通过可视化菜单栏中的[操作]选项卡下拉列表中选择“问答”,将该对话框分配给图像,形状或按钮,也

这个周末“山竹 ”强势来袭!很多人的目光都在关注暴力水果“山竹”,这个号称70年最强最大风力超17级 台风“山竹”今天就已经在小悦家窗台肆虐咆哮了一天了!不知其他的小伙伴们是不是好好的一个周末就只能被拘泥在家刷着朋友圈,听“山竹”肆虐的咆哮呼号.......而小悦在家里闲着无聊,心血来潮,随即打开了电脑,想做一个关于超强台风“山竹”的数据分析,借助Power BI 来实现对台风的各种想象. 超强台风“山竹”即将冲进南海 首先给大家普及下“台风”相关知识,台风数据从中央气象台风网获取,山竹正是“超

1.日期函数表作用 经常使用Excel或者PowerBI,Power Pivot做报表,时间日期是一个重要的纬度,加上做一些钻取,时间日期函数表不可避免.所以今天就给大家分享一个自定义的做日期表的方法,当然自己使用Excel用公式做一个也很快,八仙过海各显神通.我对C#比较了解,就用自己最了解的方式做了一个.大家可以自己扩充,或者可以把需求提供我,我统一完善.比如下面这个表(来自一个Power Pivot课程). 本文原文地址:http://www.cnblogs.com/asxinyu/p/P

千呼万唤的Power BI中国版终于落地了,相信12月初的微软技术大会之后已经铺天盖地的新闻出现了,不错,Power BI中国版真的来了,但还有些遗憾,国际版的一些重量级服务如power bi embeded,都还暂时不能用,但相信会很快,等了一年,也不在乎多等点时间了,而且中国版的一些服务已经可以先进行一些测试和技术储备了.今天就来说说Power BI帐号注册的相关问题,以及多人协作环境的搭建. 苦逼这篇文章应该在2016年末发出来的,杯具搞到半夜,Win10系统死掉了...无法保存,当时那个

Power BI有手机版,目前支持安卓,苹果和WP,不过没有WP手机,苹果在国内还不能用,要FQ和用就不测试了.安卓的我也也是费了九牛二虎之力才把app下载下来,把方法分享给大家. FQ太麻烦,所以建议大家不要用了.同时我也使用了很多第三方的在线网站下载google商店的app工具,结果都不太好使用.后来找到一个流弊的软件:APKPure (最后提供下载) APKPure是干啥的呢: ApkPure 网站是基于安卓系统应用下载的辅助网站,对于没有安装Google Play的用户来说是个很实用的工

Power BI Desktop 8月24日发布了更新版本.现将更新内容翻译整理如下,可以根据后面提供的链接下载最新版本使用. 1.主要功能更新 1.1 数据钻取支持在线版 以前的desktop中进行数据钻取时,很方便,但是发布到在线版后是无法进行的,新版本开始在线版支持了. 1.2支持对时间数据自上到下的钻取 对于时间类型的数据,可以自动汇总,按照 年-季度-月-日,根据日期字段自动进行钻取. 1.3 增加分析面板和参考线 这个在做一份综合的分析报表的时候很有用,以前在使用的时候为了加一条参考

说起Oracle数据库,以前没用过Oracle不知道,但是这1年用Oracle后,发现真的是想狂吐槽,特别是那个.NET驱动和链接字符串,特别奇葩.总归是和其他数据库不一样,标新立异,不知道为何.另外如果想去Oracle官网搞点东西,比啥都难,密码设置强度要求很高,经常记不住,每次都是重置密码再进去,总是要费周折.好在.NET的驱动中,现在已经有纯托管驱动(Oracle.ManagedDataAccess.dll)方便了不少,备受折磨的朋友赶紧去切换吧,很简单,几个命名空间换一个就好了.总算做了

前几个月时间,研究微软Power BI技术,由于没有任何文档和资料,只能在英文官网瞎折腾,同时也发布了英文文档的相关文章:系列文章,刚好上周把文章发布完,结果简体中文版上线了.哈哈,心里有苦啊,早知道这么快,我就省点时间了. 1.为何简体中文版姗姗来迟 之前我主要是进入英文版和繁体中文版,为什么之初没有简体中文版,我估计的主要原因有以下几个: 1) 由于国内的云监管政策,导致Power BI相关服务落地有点延后: 2) Power BI Desktop本身目前还有诸多不完善,所以今年的更新也挺频

在当前互联网,由于大数据研究热潮,以及数据挖掘,机器学习等技术的改进,各种数据可视化图表层出不穷,如何让大数据生动呈现,也成了一个具有挑战性的可能,随之也出现了大量的商业化软件.今天就给大家介绍一款逆天Power BI可视化工具.逆天的不仅仅是工具,还有其使用门槛和价格.        本文原文地址:http://www.cnblogs.com/asxinyu/p/Power_BI_Category.html Power BI系列文章地址:http://www.cnblogs.com/asxin

下面是本博客原创的微软Power BI技术相关文章,对于部分转载文章和资源,会注明出处. 本博客将发布基于微软Power BI相关的基础入门文章,视频教程等资源,敬请关注. 个人建立的Power BI技术群,目前正在学习阶段,有兴趣的朋友可以一起学习讨论.QQ群号:564786745(申请加入请备注(非该备注无法加入):博客园Power BI) 下列文章已经逐步完成,逐步发表中: 1.微软新神器-Power BI,一个简单易用,还用得起的BI产品,你还在等什么 2.千呼万唤始出来,微软Power

上一篇文章一起学微软Power BI系列-使用技巧(1)连接Oracle与Mysql数据库中,我们介绍了Power BI Desktop中连接Oracle和Mysql的方法,其实说到底还是驱动的问题,还有就是坑爹的驱动版本问题.换了新电脑,在导入模型时,居然碰到了Excel导入错误的情况.顺便记下来吧.其实还是驱动的问题. 1.连接Excel文件错误 新电脑连接Excel居然报错... 2.解决方法 详细的解决方法和说明可以参考PBD的中文文档:https://powerbi.microsoft

Overview of Power BI REST API https://msdn.microsoft.com/en-us/library/dn877544.aspx 验证方式 OAuth 2.0 https://oauth.net/2/ Create Dataset https://msdn.microsoft.com/zh-cn/library/mt203562.aspx Get Datasets https://msdn.microsoft.com/zh-cn/library/mt203

伴随着数据量的日益增长,通过自服务式的商业智能把数据转换成辅助决策支持的工具,越来越成为迫切的需求.在以前,处理这些数据往往只是IT人员范围内的事,但是通过Power BI for Office 365里面的新功能喝服务,微软降低了这个门槛.它里面都是基于大多数人已经非常熟悉的工具,包括Excel和Sharepoint. 这个系列来自于微软的Power BI Getting Started Guide,原文地址: http://office.microsoft.com/en-us/office3

题记:这篇文章不仅是Power BI的入门教程,同时相对于Qlik Sense进行了简单比较. 最近把一个Qlik Sense的示例应用手动转成了Power BI的应用,把相关步骤和遇到的问题记录如下,权当作一个入门教程. 1,准备原始数据 由于Qlik Sense的示例应用只有一个单独的qvf文件,那么原始数据只有通过qvf来导出.此qvf中的数据模型如下图所示: Qlik Sense并没有提供数据模型包含数据的完整导出功能,所以只能采用最麻烦和原始的方式,即:创建表格,在表格中添加某个数据表

(此文章同时发表在本人微信公众号"dotNET开发经验谈",欢迎右边二维码来关注.) 题记:这篇其实不是一个操作向导了,主要对Power BI的嵌入特性进行探讨. Power BI是微软的创新性(或者称之为敏捷型)BI产品,从发布之初就备受关注,因为它是一个只能以纯SaaS模式提供服务端的BI产品.目前Power BI其实是以两种方式提供服务端: Power BI Service.只能通过Office 365来购买订阅,一般作为一个独立的BI应用供企业内部使用. Power BI Em

我们在前一篇文章微软新神器-Power BI,一个简单易用,还用得起的BI产品中,我们初步介绍了Power BI的基本知识.由于Power BI是去年开始微软新发布的一个产品,虽然已经可以企业级应用,但还在不断更新中,功能也在不断加强中,目前世面上的电子书和教程也几乎没有,所以本博客将持续提供相关咨询,以及原始整理的官方文档资料,以及会不断翻译以及制作中文版的学习资料,个人也在摸索之中,有不足,还请大家指正. 本文原文地址:一起学微软Power BI系列-官方文档-入门指南(1)Power BI

我们在文章: 一起学微软Power BI系列-官方文档-入门指南(1)Power BI初步介绍中,我们介绍了官方入门文档的第一章.今天继续给大家介绍官方文档中,如何获取数据源的相关内容.虽然是英文,但又图像,还比较容易理解. 由于Power BI是去年开始微软新发布的一个产品,虽然已经可以企业级应用,但还在不断更新中,功能也在不断加强中,目前世面上的电子书和教程也几乎没有,所以本博客将持续提供相关咨询,以及原始整理的官方文档资料,以及会不断翻译以及制作中文版的学习资料,个人也在摸索之中,有不足,

我们前2篇文章:一起学微软Power BI系列-官方文档-入门指南(1)Power BI初步介绍 和一起学微软Power BI系列-官方文档-入门指南(2)获取源数据 中,我们介绍了官方入门文档与获取数据等基本知识.今天继续给大家介绍官方文档中,最核定的一个步骤,建模,不管是在Power BI还是在Tableau中,建模都是一个必不可少的步骤,包括传统的Power Privot中,也需要建模这个过程.建模的过程是一个不断演变和需要不断总结经验的过程,和我们传统的关系类型数据库设计有一些类似. 本

在前面的系列文章中,我们介绍了官方有关获取数据,以及建模的原始文档和基本介绍.今天继续给大家介绍官方文档中,有关可视化的内容.实际上获获取数据和建模更注重业务关系的处理,而可视化则关注对数据的解读.这是我的理解,因为可视化的手段非常丰富,在面对大量的数据和模型,如何从中提取重要的关系,发现重要的数据趋势,并来指导生产和业务开展,这个才是体现数据价值的地方.可视化虽然很简单,但过程非常体现你对业务的理解和发现问题的思路,并不是一个拖动图表的过程.这一块内容非常多,以后有机会再根据实际案例来一步步掌

我们几篇系列文章中,我们介绍了官方入门文档与获取数据等基本知识.今天继续给大家另外一个重点,探索数据奥秘.有了数据源,有了模型,下一步就是如何解析数据了.解析数据的过程需要很多综合技能,不仅仅是需要掌握Power BI的功能要点,熟练的利用一些新功能来提高效率,同时还需要合理的利用仪表盘,以及合理的调整对象,同时作为一个完整的应用,必须掌握数据刷新和同步的技巧,避免做重复工作. 本文原文地址:一起学微软Power BI系列-官方文档-入门指南(5)探索数据奥秘 Power BI系列文章地址:微软