使用redis做pv、uv、click统计
redis实时统计
设计思路:
1、 前端smarty插件(smarty_function_murl),将网站所有的连接生成一个urlid,后端根据获取的参数将需要的数据存入redis。
2、后端插件(smarty_function_aurl),将urlid传入redis获取数据。
3、定时将数据跑出来存入关系数据库,清除redis记录
缩减开支事业部没了,编入其它组织了,这个东西我就停工了,分享下思路和代码。
<?php
/**
* 返回 redis 实例
* @staticvar \Redis $_redis
* @param int $database redis数据库
* @return \Redis
*/
public function redisw($database = 2) {
static $_redis_w;
if (is_null($_redis_w) || !($_redis_w instanceof \Redis)) {
$_redis_w = new \Redis;
$_redis_w->pconnect("xx.xx.xx.xxx:8301");
$_redis_w->auth('abc');
}
$_redis_w->select($database);
return $_redis_w;
} /**
* 读 返回 redis 实例
* @staticvar \Redis $_redis
* @param int $database redis数据库
* @return \Redis
*/
public function redisr($database = 2) {
static $_redis_r;
if (is_null($_redis_r) || !($_redis_r instanceof \Redis)) {
$_redis_r = new \Redis;
$_redis_w->pconnect("xx.xx.xx.xxx:8301");
$_redis_r->auth('abc');
}
$_redis_r->select($database);
return $_redis_r;
} // 析构函数
public function __destruct() { }
/**
*按天查询pv总数
* @param string $day
* 可以为空,默认是查询当天的(20121220)
* @return int
*/
public function pv($day=null)
{
if(empty($day))
$day = $this->_key;
$key=$this->_pv_key.$this->_key;
return $this->_redisr->zcard($key); }
/*
* 按天查询uv
* @param string $day
* 可以为空,默认是查询当天的(格式=20121220)
* @return int
*/
public function uv($day=null)
{
if(empty($day))
$day = $this->_key;
$key=$this->_hs_key.$this->_key;
return count($this->_redisr->keys($key."*"));
}
/*
* 按条件查询pv,uv数据
* @param string $type,按类型查询,支持{pv、uv、ck}
* @param string $key,查询的key目前支持{$urlid\},默认查询首页的key
* @param int $start 开始时间,时间戳格式,默认当天凌晨
* @param init $end 结束时间戳,默认当前时间戳
* $return int
*/
public function pvslot($type='pv',$key=null,$start=0,$end=0)
{
$pv=$uv=0;
$pv_arr=array();
if(empty($key))
$key = $this->_homepage_key;
if($start==0)
$start = strtotime (date('Ymd' . '00:00:01'));
if($end==0)
$end = $this->_time;
//统计pv的数据
$pv_arr = $this->_redisr->zrangebyscore($this->_url_key.$key, $start, $end);
$pv=count($pv_arr);
if($type=='pv')
return $pv;
//统计uv的数据
$uv_arr = array();
if ($pv > 0) {
//direct::10.2.5.186::1356073254::ju82lv4girj508udt0dv6bts72
foreach ($pv_arr as $po):
$po_ar = explode('::', $po);
if (!in_array($po_ar[3], $uv_arr)) {
$uv_arr[] = $po_ar[3];
}
endforeach;
$uv = count($uv_arr);
}
unset($pv_arr);
unset($uv_arr);
if($type=='uv')
return $uv;
//统计ck点击数
if($type=='ck')
return count($this->_redisr->zrangebyscore($this->_ck_key.$key,$start,$end)); //url pv
} /*
* ip地址
*/
static function _ip() {
foreach (array('HTTP_X_FORWARDED_FOR', 'HTTP_CLIENT_IP', 'REMOTE_ADDR') as $p) {
if (!empty($_SERVER[$p])) {
return $_SERVER[$p];
}
}
}
/**
* 获取当前时间
* @return int
*/
public function _time()
{
!$this->_time && $this->_time = time();
return $this->_time;
}
} /*
* pv思路
* ==按天统计==
* r->zdd(天,时间戳,url:sid) ;
* 统计今天的pv数:r->zcard(今天) return int;
* 统计某天某个时间段的pv个数 r->zcount(天,时间戳开始,时间戳结束) return int;
* 统计某个时间段的pv详细数据 r->zrangebyscore(天,开始时间戳,结束时间戳) return array;如果是月的需要另算>10天>mysql,统计
* ==按url统计pv==
* $_redis->zadd(url,时间戳,$ip.'::'.$sid));//value值暂时没有想法
* 统计某个url的pv数:r->zcard(url) return int;
* 统计某个url某个时间段的pv个数 r->zcount(url,时间戳开始,时间戳结束) return int;
* 统计某个时间段的pv详细数据 r->zrangebyscore(url,开始时间戳,结束时间戳) return array;如果是月的需要另算>10天>mysql,统计
* ==策略==
* 主库负责插入操作
* 从库1负责备份和查询。
* 从库1负责数据到mysql的工作。
* 从库2负责备
*
*
*/ ?>
使用redis做pv、uv、click统计的更多相关文章
- 实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
最近有个需求,实时统计pv,uv,结果按照date,hour,pv,uv来展示,按天统计,第二天重新统计,当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,typ ...
- 有关“数据统计”的一些概念 -- PV UV VV IP跳出率等
有关"数据统计"的一些概念 -- PV UV VV IP跳出率等 版权声明:本文为博主原创文章,未经博主允许不得转载. 此文是本人工作中碰到的,随时记下来的零散概念,特此整理一下. ...
- 日志分析_统计每日各时段的的PV,UV
第一步: 需求分析 需要哪些字段(时间:每一天,各个时段,id,url,guid,tracTime) 需要分区为天/时 PV(统计记录数) UV(guid去重) 第二步: 实施步骤 建Hive表,表列 ...
- redis做RDB时请求超时case
近期在排查redis做rdb时会有部分请求超时的case.初步推断是我们redisserver上开启了THP(Transparent Huge Pages). 1) Linux本身的 ...
- 网站流量分析指标-PV/UV/PR/ip分析及区别
1.什么是pv? PV(page view),即页面浏览量,或点击量;通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标. 高手对pv的解释是,一个访问者在24小时(0点到24点)内到底看了你 ...
- 网站流量分析指标-PV/UV/PR/IP
网站数据分析,经常会统计一个页面或者一个网站或者其他情况的PV/UV.下面简单说一下,这些量PV/UV/PR/IP. 1.PV PV(page view),即页面浏览量,或点击量.通常是衡量一个网络新 ...
- Redis除了做缓存--Redis做消息队列/Redis做分布式锁/Redis做接口限流
1.用Redis实现消息队列 用命令lpush入队,rpop出队 Long size = jedis.lpush("QueueName", message);//返回存放的数据条数 ...
- RabbitMq、ActiveMq、Kafka和Redis做Mq对比
转载自:https://blog.csdn.net/qiqizhiyun/article/details/79848834 一.RabbitMq RabbitMQ是一个Advanced Message ...
- 大数据学习day34---spark14------1 redis的事务(pipeline)测试 ,2. 利用redis的pipeline实现数据统计的exactlyonce ,3 SparkStreaming中数据写入Hbase实现ExactlyOnce, 4.Spark StandAlone的执行模式,5 spark on yarn
1 redis的事务(pipeline)测试 Redis本身对数据进行操作,单条命令是原子性的,但事务不保证原子性,且没有回滚.事务中任何命令执行失败,其余的命令仍会被执行,将Redis的多个操作放到 ...
随机推荐
- ios自定义View自动布局时计算大小
https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/AutolayoutPG/Impleme ...
- django 搭建自己的博客
原文链接:http://www.errdev.com/post/4/ 每一个爱折腾的程序员都有自己的博客,好吧,虽然我不太喜欢写博客,但是这样骚包的想法却不断涌现.博客园虽好,可以没有完全的掌控感,搭 ...
- Debian openvpn 配置
1.安装openvpn 和 iptables -- Debain 可以使用命令行`apt-get install openvpn iptables` 2.配置服务器 -- ```shell cp -R ...
- Objective-C 学习笔记(1)
文件描述: .h 类的声明文件,用户声明变量.函数(方法) .m 类的实现文件,用户实现.h中的函数(方法) 类的声明使用关键字 @interface.@end 类的实现使用关键字@implement ...
- Netbeans Platform 工程,免安装JDK
使用Netbeans 6.8 创建了一个Netbeans Platform 工程,以Zip形式发布后, 按照以下操作,可 以在客户端免安装JDK: 1. 从已安装JDK的计算机中,提取JDK:eg. ...
- HD1013Digital Roots
Problem Description The digital root of a positive integer is found by summing the digits of the int ...
- 用python实现远程复制 (scp + expect )
scp 功能很强大,但需要人工输入 password, 当然可以通过把 公钥保存在远程主机的 ~/.ssh 目录中,而后就不用输入password,但这需要配置. 用 sshpass 可能在命令输入 ...
- 备份Xcode6的配色主题以及代码模板
~/Library/Developer/Xcode/UserData/FontAndColorThemes ~/Library/Developer/Xcode/UserData/CodeSnippet ...
- hdoj 5358 First One
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5358 一开始一直以为是一道数学题,在找有什么规律化简Log2(S(i,j)),结束了以后才造 ⌊lo ...
- 为了支持AOP的编程模式,我为.NET Core写了一个轻量级的Interception框架[开源]
ASP.NET Core具有一个以ServiceCollection和ServiceProvider为核心的依赖注入框架,虽然这只是一个很轻量级的框架,但是在大部分情况下能够满足我们的需要.不过我觉得 ...