对于爬虫大家应该不会陌生,我们首先来看一下爬虫的定义:网络爬虫是一种自动获取网页内容的程序,是搜索引擎的重要组成部分.网络爬虫为搜索引擎从万维网下载网页,自动获取网页内容的应用程序.看到定义我们应该已经知道它是可以从万维网上下载网页解析网页数据的.大家想一下在数据分析情景中它的应用场景有哪些?采集天气数据,网站采集文章,采集各种票务信息,股票信息采集等等有很多地方都会用的爬虫采集数据进行数据分析.通过数据分析增加分析维度信息,尤其是行业数据对标. 提及爬虫有些软件工程师会第一时间想到Python

Power BI有手机版,目前支持安卓,苹果和WP,不过没有WP手机,苹果在国内还不能用,要FQ和用就不测试了.安卓的我也也是费了九牛二虎之力才把app下载下来,把方法分享给大家. FQ太麻烦,所以建议大家不要用了.同时我也使用了很多第三方的在线网站下载google商店的app工具,结果都不太好使用.后来找到一个流弊的软件:APKPure (最后提供下载) APKPure是干啥的呢: ApkPure 网站是基于安卓系统应用下载的辅助网站,对于没有安装Google Play的用户来说是个很实用的工

题记:这篇文章不仅是Power BI的入门教程,同时相对于Qlik Sense进行了简单比较. 最近把一个Qlik Sense的示例应用手动转成了Power BI的应用,把相关步骤和遇到的问题记录如下,权当作一个入门教程. 1,准备原始数据 由于Qlik Sense的示例应用只有一个单独的qvf文件,那么原始数据只有通过qvf来导出.此qvf中的数据模型如下图所示: Qlik Sense并没有提供数据模型包含数据的完整导出功能,所以只能采用最麻烦和原始的方式,即:创建表格,在表格中添加某个数据表

微软在休斯敦的全球合作伙伴大会上发布了Power BI for Office 365,通过Excel和Office 365中的自服务式商业智能解决方案为信息工作者提供了数据分析以及可视化功能以帮助他们更好的洞悉企业内部和外部的数据.其中有一个很棒的功能就是Power BI的QA功能,它是一种基于自然语言的方式来对数据进行检索.这个功能发布之后获得了很多人的关注并且希望微软能够提供更多的信息,以下就是Power BI 中关于这个特性的几个功能. QA通过用户输入的自然语言来查找,理解并且根据你的数

Power BI4月份的更新对整个产品进行了重大更新.此版本增加了基于DAX表达式定义视觉效果标题和按钮URL的功能.本月Power BI也新增了许多新的连接器,现在可以使用几种预览连接器,包括Power BI数据流和PDF连接器.数据准备也得到了一些重大更新,以及数据剖析和M智能感知的GA. Power BI Desktop4月产品功能摘要 报告 筛选窗格改进 支持完整的筛选器窗格编辑 Power BI添加了对新过滤器窗格的编辑的支持.现在可以添加和删除要过滤的字段,或者更改过滤器状态,控制窗

Power BI Desktop10月产品功能摘要 本月Power Plus Desktop的更新充满了整个产品的小型和大型改进.一个巨大的更新是Power BI服务支持我们的复合模型和聚合预览.这实际上使我们这群PBI粉丝们可以开始使用这些预览功能进行端到端的正常报告.另外本月还有两个重要的数据准备功能:合并查询和数据分析时的模糊匹配功能,可以帮助识别质量问题. 以下是10月重大更新的列表:让我们具体了解下: 报告 在过滤器中搜索 创作体验的改进 ArcGIS 地图的性能改进 数据模型 DAX

本月对Power BI Desktop 来讲是非常令人兴奋的一个月!!!以下是3月份最新的功能,下面马上带领大家看看本月的更新内容. 报表功能 报告页面工具提示(预览)  通过报告页面工具提示功能,可以设计报告页面,以用作报告中其他视觉效果的自定义工具提示.可以灵活地设计任何类型的自定义工具提示,鼠标悬停在图表数据上即可显示钻取页面的详细信息,这个功能确实是非常强大并且是期盼以久的功能!! 首先要使用此功能时,需要在选项对话框(文件>选项和设置>选项>预览功能)中启用该功能. 接着设计要

这个周末“山竹 ”强势来袭!很多人的目光都在关注暴力水果“山竹”,这个号称70年最强最大风力超17级 台风“山竹”今天就已经在小悦家窗台肆虐咆哮了一天了!不知其他的小伙伴们是不是好好的一个周末就只能被拘泥在家刷着朋友圈,听“山竹”肆虐的咆哮呼号.......而小悦在家里闲着无聊,心血来潮,随即打开了电脑,想做一个关于超强台风“山竹”的数据分析,借助Power BI 来实现对台风的各种想象. 超强台风“山竹”即将冲进南海 首先给大家普及下“台风”相关知识,台风数据从中央气象台风网获取,山竹正是“超

"你幸福吗?"已经成了网络热词,简单的问句背后蕴含着一个普通中国人对于所处时代的政治.经济.自然环境等方方面面的感受和体会.引发当代中国人对幸福的深入思考.实际上,国际上对幸福的讨论一直没有停止过. 比方,新经济基金会(New Economics Foundation)的"幸福星球指数"(Happy Planet Index)就是当中之中的一个,其特色在于弱化了幸福与经济之间的必定联系.觉得可持续发展才是王道.毕竟,人活着是为了开心和健康,而不是为了富有. 非常方便

说到大数据应用最多的技术,不得不提OLAP技术,在国内外,不论传统公司还是互联网公司,都开始利用OLAP技术分析挖掘大数据的价值.也许很多人对OLAP的概念还不是很清楚,简单来说,就把数据处理成数据立方,并把有可能的都预先算出来,然后在用户选择多维度汇总时,在预先的计算出来的数据基础上很快地计算出用户想要的结果,从而可以更好更快地支持极大数据量的及时分析. 了解OLAP技术之前要先理解维度与度量,如下图所示,票的分类可以看作是一个维度,时间可以看作是一个维度,地区可以看作是一个维度,维度还可以继

1.日期函数表作用 经常使用Excel或者PowerBI,Power Pivot做报表,时间日期是一个重要的纬度,加上做一些钻取,时间日期函数表不可避免.所以今天就给大家分享一个自定义的做日期表的方法,当然自己使用Excel用公式做一个也很快,八仙过海各显神通.我对C#比较了解,就用自己最了解的方式做了一个.大家可以自己扩充,或者可以把需求提供我,我统一完善.比如下面这个表(来自一个Power Pivot课程). 本文原文地址:http://www.cnblogs.com/asxinyu/p/P

千呼万唤的Power BI中国版终于落地了,相信12月初的微软技术大会之后已经铺天盖地的新闻出现了,不错,Power BI中国版真的来了,但还有些遗憾,国际版的一些重量级服务如power bi embeded,都还暂时不能用,但相信会很快,等了一年,也不在乎多等点时间了,而且中国版的一些服务已经可以先进行一些测试和技术储备了.今天就来说说Power BI帐号注册的相关问题,以及多人协作环境的搭建. 苦逼这篇文章应该在2016年末发出来的,杯具搞到半夜,Win10系统死掉了...无法保存,当时那个

Power BI Desktop 8月24日发布了更新版本.现将更新内容翻译整理如下,可以根据后面提供的链接下载最新版本使用. 1.主要功能更新 1.1 数据钻取支持在线版 以前的desktop中进行数据钻取时,很方便,但是发布到在线版后是无法进行的,新版本开始在线版支持了. 1.2支持对时间数据自上到下的钻取 对于时间类型的数据,可以自动汇总,按照 年-季度-月-日,根据日期字段自动进行钻取. 1.3 增加分析面板和参考线 这个在做一份综合的分析报表的时候很有用,以前在使用的时候为了加一条参考

说起Oracle数据库,以前没用过Oracle不知道,但是这1年用Oracle后,发现真的是想狂吐槽,特别是那个.NET驱动和链接字符串,特别奇葩.总归是和其他数据库不一样,标新立异,不知道为何.另外如果想去Oracle官网搞点东西,比啥都难,密码设置强度要求很高,经常记不住,每次都是重置密码再进去,总是要费周折.好在.NET的驱动中,现在已经有纯托管驱动(Oracle.ManagedDataAccess.dll)方便了不少,备受折磨的朋友赶紧去切换吧,很简单,几个命名空间换一个就好了.总算做了

前几个月时间,研究微软Power BI技术,由于没有任何文档和资料,只能在英文官网瞎折腾,同时也发布了英文文档的相关文章:系列文章,刚好上周把文章发布完,结果简体中文版上线了.哈哈,心里有苦啊,早知道这么快,我就省点时间了. 1.为何简体中文版姗姗来迟 之前我主要是进入英文版和繁体中文版,为什么之初没有简体中文版,我估计的主要原因有以下几个: 1) 由于国内的云监管政策,导致Power BI相关服务落地有点延后: 2) Power BI Desktop本身目前还有诸多不完善,所以今年的更新也挺频

在当前互联网,由于大数据研究热潮,以及数据挖掘,机器学习等技术的改进,各种数据可视化图表层出不穷,如何让大数据生动呈现,也成了一个具有挑战性的可能,随之也出现了大量的商业化软件.今天就给大家介绍一款逆天Power BI可视化工具.逆天的不仅仅是工具,还有其使用门槛和价格.        本文原文地址:http://www.cnblogs.com/asxinyu/p/Power_BI_Category.html Power BI系列文章地址:http://www.cnblogs.com/asxin

下面是本博客原创的微软Power BI技术相关文章,对于部分转载文章和资源,会注明出处. 本博客将发布基于微软Power BI相关的基础入门文章,视频教程等资源,敬请关注. 个人建立的Power BI技术群,目前正在学习阶段,有兴趣的朋友可以一起学习讨论.QQ群号:564786745(申请加入请备注(非该备注无法加入):博客园Power BI) 下列文章已经逐步完成,逐步发表中: 1.微软新神器-Power BI,一个简单易用,还用得起的BI产品,你还在等什么 2.千呼万唤始出来,微软Power

上一篇文章一起学微软Power BI系列-使用技巧(1)连接Oracle与Mysql数据库中,我们介绍了Power BI Desktop中连接Oracle和Mysql的方法,其实说到底还是驱动的问题,还有就是坑爹的驱动版本问题.换了新电脑,在导入模型时,居然碰到了Excel导入错误的情况.顺便记下来吧.其实还是驱动的问题. 1.连接Excel文件错误 新电脑连接Excel居然报错... 2.解决方法 详细的解决方法和说明可以参考PBD的中文文档:https://powerbi.microsoft

Overview of Power BI REST API https://msdn.microsoft.com/en-us/library/dn877544.aspx 验证方式 OAuth 2.0 https://oauth.net/2/ Create Dataset https://msdn.microsoft.com/zh-cn/library/mt203562.aspx Get Datasets https://msdn.microsoft.com/zh-cn/library/mt203

伴随着数据量的日益增长,通过自服务式的商业智能把数据转换成辅助决策支持的工具,越来越成为迫切的需求.在以前,处理这些数据往往只是IT人员范围内的事,但是通过Power BI for Office 365里面的新功能喝服务,微软降低了这个门槛.它里面都是基于大多数人已经非常熟悉的工具,包括Excel和Sharepoint. 这个系列来自于微软的Power BI Getting Started Guide,原文地址: http://office.microsoft.com/en-us/office3

(此文章同时发表在本人微信公众号"dotNET开发经验谈",欢迎右边二维码来关注.) 题记:这篇其实不是一个操作向导了,主要对Power BI的嵌入特性进行探讨. Power BI是微软的创新性(或者称之为敏捷型)BI产品,从发布之初就备受关注,因为它是一个只能以纯SaaS模式提供服务端的BI产品.目前Power BI其实是以两种方式提供服务端: Power BI Service.只能通过Office 365来购买订阅,一般作为一个独立的BI应用供企业内部使用. Power BI Em