本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 对于当下共享单车在互联网界的火热状况,笔者想从大数据文本挖掘的角度来做一番分析,主要是从海量的文本数据中找到有价值的讯息和观察视角,透过文本挖掘了解共享单车相关的热门话题和潜在趋势. Note:本文写于2017.07,那个时候,共享单车界算是"那时花开月正圆",局势还凑合. 2016年底以来,国内共享单车毫无征兆的就火爆了起来,彼时一张手机截屏蹿

本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 在本文中,笔者将会介绍大数据分析主要的处对象---社会化媒体(Social Media),以及对社会化媒体进行分析的重要手段--社会化聆听(Social Listening).最后,笔者将以汽车行业的一个实操案例,来讲述如何使用社会化聆听(工具)来对社会化媒体大数据进行分析. 0 楔子 "大数据"一直是最近几年全球很火的概念.搜索关键词"

本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 本文篇幅较长,分为五部分,在中间部分有关于心理分析工具的介绍,案例分散在第二部分和第五部分,大家在阅读的时候可以跳过"心理分析工具"部分,直接去看案例,如有不明白的地方,再回去查看理论基础,这样也会提升阅读效率. 现今互联网界,不管是研发.产品.设计,还是市场或运营,用户画像这个概念被炒得相当的火.如何构建用户画像的方法论可谓是汗牛充栋,但鲜有能

本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 在本文中,作者引出了"外部数据"这一概念,并实例分析,如何从海量的外部数据中获取可以对自身业务起到指导作用和借鉴意义的insight,并借助外部环境数据来优化自己. 现在互联网上关于"增长黑客"的概念很火,它那"四两拨千斤"."小投入大收益"的神奇法力令无数互联网从业者为之着迷.一般来说

本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 当我们想要创业却对市场行情不甚了解,该如何迅速了解市场行情,以便我们能更好的切入市场?本文作者介绍了一种零成本用大数据获悉市场行情的方法,对你想要了解市场行情非常有帮助. 最近一个朋友想创业,做母婴方面的项目,之前没做过该类项目,有了几个备选项目,分别是产后恢复.婴儿游泳.月子餐和月子会所,这些他都觉得不错,所以就有点选择恐惧症,想知道做哪个case有搞头

本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 作为数据分析爱好者,本文作者将想从数据的角度去解读<欢乐颂2>这部热播剧的方方面面,包括舆情传播.网络口碑.人物社交网络分析及,以及小说内容的文本分析. 5月11日,让众多安迪粉期待已久的<欢乐颂>第二季终于播出.相比首季,<欢乐颂2>在造型和场景上显得更为精致时尚,且其中每个角色的造型却都是遵从的其身份和背景,并不突兀. 正所谓

本文转自知乎 作者:苏格兰折耳喵 ----------------------------------------------------- 本文作者将结合自身经验,并以实际案例的形式进行呈现,涉及从数据采集.数据清洗.数据分析再到数据可视化的一整套流程分析,力求条理清晰的展现外部数据分析的强大威力.enjoy~ 在八月份,笔者曾经写过一篇针对外部数据分析的文章,一部分读者看过此文后,向笔者反映,说对外部数据的分析跳出了原有的只针对企业内部数据分析(用户数据.销售数据.流量数据等)的窠臼,在企业

数据清洗模块,包括几十个子模块, 这些子模块包含四类:生成, 转换, 过滤和执行. 数据清洗可以通过组合多个不同的子模块,生成多样的功能,通过拖拽构造出一个工作流,它能够产生一个有限或无限的文档序列.比如下面: 基本概念: ETL:即数据清洗,包含抽取(E),转换(T)和加载(L) 行,列: 在数据表格上的行列 流,子流:一个流代表一组模块构成链条,子流也是流,只不过是被别的流调用的,可以将流理解为函数 模块:构成流中的一个个的组件,分为生成,转换,过滤和执行 原列名: 一个模块的输入,如果有多

Influence maximization on big social graph Fanju PPT链接: social influence booming of online social network 一, Application:viral marketing 1, identify influence customers: seeds. 2, convince them to adopter product. other application: Rumor monitoring

IEEE/ACM International Conference on Advances in Social Network Analysis and Mining (ASONAM) 2014 Industry Track Call for Papers * Apologies if you received multiple copies of this CFP * Beijing China August 17-20, 2014Home Page: www.asonam2014.org F

网站日志分析项目案例(一)项目介绍:http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例(二)数据清洗:当前页面 网站日志分析项目案例(三)统计分析:http://www.cnblogs.com/edisonchou/p/4464349.html 一.数据情况分析 1.1 数据情况回顾 该论坛数据有两部分: (1)历史数据约56GB,统计到2012-05-29.这也说明,在2012-05-29之前,日志文件都在一个文件里边,采用了

I want to share this great post from Anoop that shows a easy way to add a notification system to dependency properties of a given element. It creates and attaches a new property to the existing property and let's you specify the PropertyChangedCallba

使用pandas进行数据清洗 本文转载自:蓝鲸的网站分析笔记 原文链接:使用python进行数据清洗 目录: 数据表中的重复值 duplicated() drop_duplicated() 数据表中的空值/缺失值 isnull()&notnull() dropna() fillna() 数据间的空格 查看数据中的空格 去除数据中的空格 大小写转换 数据中的异常和极端值 replace() 更改数据格式 astype() to_datetime() 数据分组 cut() 数据分列 split()

“微信小程序”将带来什么样的变化?就单单的是一个超级Web app?还是只是为了给大家手机节省一些空间?腾讯想要的是高达70%以上的“无法监测的巨大流量”,称之为“dark social”(暗社交). 无法监测的流量 其实,无论是淘宝.京东这些电商网站,还是头条.搜狐等内容聚合平台,以及滴滴.美团这样的生活服务网站,都面临一个问题,就是他们的访客到底从哪里来?他们的访客到底是怎么样的? 对内容平台而言,通过在文章底部设置带URL链接的分享按钮,通过流量分析工具(网盟.QLik或自己开发的组件)可

昨天玩了Oculus上的Casino VR(其实之前就知道这个瑞士公司,也下过standalone的PC client). 几把下来,居然觉得fun,总结起来: 1.是在一个immersive的环境中,所以很容易就一把一把接着不停的玩.因为poker的节奏紧凑.摘头盔需要下一定的决心. 2.虽然和真实poker真人间的交互差得很远,交互被局限在语音(虽然没人用,感觉很蠢)和有限的头的朝向.移动.有一局我装怂勾引玩家堵大的,然后跟进,用full house赢了,对方那个呆滞表情(目前还在研究VR里

新系统上线后,需要导入历史数据,但是旧数据格式,数据缺失,数据错误,奇异值,属性归类与新系统有很大的gap.因此我们需要建立一套数据动态清洗规则给Salesforce系统,通过这些规则自动清洗导入数据,清洗规则可以让function自己配置.而不需要IT负责 下面将详细举一个例子如何在salesforce中做数据处理.数据清洗需要分成5个步骤 1,建立2个关联数据的Object的和 一个数据清洗后台设置的Object的 2,数据导入页面csv 3,定义每个字段的范围.属性,如果是错误的则自动重新

This list is not exhaustive - help expand it! Social Tagging Systems Research Group Source Year Obtained Availability Contact References CiteULike Oversity Ltd. Primary Daily Snapshots Via Download after Email (link) Richard Cameron   Bibsonomy KDE P

简介     OLTP系统的后端关系数据库用于存储不同种类的数据,理论上来讲,数据库中每一列的值都有其所代表的特定含义,数据也应该在存入数据库之前进行规范化处理,比如说"age"列,用于存储人的年龄,设置的数据类型为INT类型.存入数据库的值是2000虽然看起来没有任何问题,但结合业务规则,这样的"Noisy"数据在数据分析过程中就会造成数据分析的结果严重失真,比如极大的拉高平均年龄.在真实的OLTP系统中,这类不该存在的数据往往会由于各种各样的原因大量存在,类似这

地址: 1. http://c0048925.itcs.hp.com:8080/datamining/report/brandfocus.html Social Media POC是针对Social Hub项目的一个扩展,由于Autonomy对于中文库的支持的不足,所以Social Media POC主要针对的是新浪微博中国的online-store来进行的项目.主要对社交媒体进行监控,分析和预测.其中包含有:焦点话题.聚类话题.用户画像等模块.cluster view. 情感分析,主要用于对H

KT Session2: 主要是代码的实现(KT is knowledge Transfer) 如图所示,在整个Social Hub项目中,我们的项目Data Feed Service处于承上启下的作用.对下,我们调用Autonomy的API Service,呈现给我们经过了筛选过的Media Data,向上我们可以提供给SmartPhone.store.hp.com来增加store流量,促成交易. 如图所示,是项目的架构图,提供Admin Site给Marketing Team做决策,这是各个