自从Facebook信息泄露丑闻事件发生后,互联网上的个人隐私及安全成为大众的"心病".而大众最讨厌的,是互联网企业收集自己的信息,因此都在积极讨伐这种行为.但他们却忘了,收集用户信息是很多互联网企业的生存之道.如果它们不能收集这些信息,不能将其化为广告资源,也就不会为大众提供免费的服务. 因此,互联网收集用户信息是可以理解的.但也要做到两点:一是保证用户的信息不会被泄露和滥用,二是要让用户对自身的信息具有掌控力.或许,这就是为何谷歌同样也是疯狂收集个人信息,却不会像Facebook那…

overview Oracle's cost-based optimizer (COB) uses statistics to calculate the selectivity (the fraction of rows in a table that the SQL statement's predicate chooses) of predicates and to estimate the "cost" of each execution plan. The COB will…

收集oracle统计信息 优化器统计范围: 表统计: --行数,块数,行平均长度:all_tables:NUM_ROWS,BLOCKS,AVG_ROW_LEN: 列统计: --列中唯一值的数量(NDV),NULL值的数量,数据分布: --DBA_TAB_COLUMNS:NUM_DISTINCT,NUM_NULLS,HISTOGRAM: 索引统计: --叶块数量,等级,聚簇因子: --DBA_INDEXES:LEAF_BLOCKS,CLUSTERING_FACTOR,BLEVEL: 系统统计:--…

Oracle重建所有表的索引的sql: SELECT 'alter index ' || INDEX_NAME || ' rebuild online nologging;' FROM USER_INDEXES WHERE TABLESPACE_NAME = 'xxx' AND STATUS = 'VALID' AND TEMPORARY = 'N' AND INDEX_TYPE = 'NORMAL' AND PARTITIONED = 'NO'; 然后把结果放到PLSQL命令容器执行即可. O…

在11g之前,当表的数据量改动超过总数据量的10%,就会晚上自己主动收集统计信息.怎样推断10%.之前的帖子有研究过:oracle自己主动统计信息的收集原理及实验.这个STALE_PERCENT=10%,是无法改动的,假设表很大.10%是许多的数据,很有可能造成统计信息不准确. 在11g之后,STALE_PERCENT=10%是能够改动的,分为全局(DBMS_STATS.SET_GLOBAL_PREFS )和表级别(DBMS_STATS.SET_TABLE_PREFS).表级别的设定: 改动为5…

数据库环境:SQL SERVER 2005 今天在生产库里抓到一条跑得慢的SQL,语句不是很复杂,返回的数据才有800多行, 却执行了34分钟,甚至更久. 先看一下执行结果 我贴一下SQL. SELECT a.dec_yt1 , b.dec_yt1 , a.dec_yt2 , b.dec_yt2 , a.dec_yt3 , b.dec_yt3 FROM ctlm8288 a , ( SELECT t.corr_id , t.clerk_id , )), ) AS dec_yt1 , )), )…

–收集数据库信息EXEC DBMS_STATS.gather_database_stats;EXEC DBMS_STATS.gather_database_stats(estimate_percent => 15); –收集schema信息EXEC DBMS_STATS.gather_schema_stats(‘SCOTT’);EXEC DBMS_STATS.gather_schema_stats(‘SCOTT’, estimate_percent => 15); –收集表信息EXEC DBM…

CREATE OR REPLACE PROCEDURE SchameB.PRC_GATHER_STATS AUTHID CURRENT_USER IS BEGIN SYS.DBMS_STATS.GATHER_TABLE_STATS('SchName', 'TableName', CASCADE => TRUE); END; / select owner,table_name,last_analyzed,num_rows from dba_tables where owner='SYSTEM' a…

在11g中,默认自己主动收集统计信息的时间为晚上10点(周一到周五,4个小时),早上6点(周六,周日,20个小时),例如以下所看到的: select a.window_name, a.repeat_interval,a.duration from dba_scheduler_windows a, dba_scheduler_wingroup_members b where a.window_name = b.window_name and b.window_group_name = 'MAINT…

最近在学习Oracle的统计信息这一块,收集统计信息的方法如下: DBMS_STATS.GATHER_TABLE_STATS ( ownname VARCHAR2, ---所有者名字 tabname VARCHAR2, ---表名 partname VARCHAR2 DEFAULT NULL, ---要分析的分区名 estimate_percent NUMBER DEFAULT NULL, ---采样的比例 block_sample BOOLEAN DEFAULT FALSE, ---是否块分析…

今天接到朋友数据库一个case,在DBCA建库时,把自己主动收集统计信息的选项去掉了,数据库执行半年没有收集过统计信息.如今要启用方法例如以下: exec DBMS_AUTO_TASK_ADMIN.ENABLE(); exec DBMS_AUTO_TASK_ADMIN.ENABLE(client_name => 'auto optimizer stats collection',operation =>'auto optimizer stats job',window_name=> nu…

    使用正则表达式收集主机信息        #!/usr/bin/env python   from subprocess import Popen, PIPE import re def getIfconfig():     p = Popen(['ifconfig'], stdout=PIPE)     data = p.stdout.read().split('\n\n')     return [i for i in data if i and not i.startswith('…

1.     理解什么是统计信息 优化器统计信息就是一个更加详细描述数据库和数据库对象的集合,这些统计信息被用于查询优化器,让其为每条SQL语句选择最佳的执行计划.优化器统计信息包括: ·         表的统计信息 o   行数 o   Block数 o   行平均长度 ·         列的统计信息 o   列中不同值的数量 o   列中null的数量 o   数据分布(柱状图/直方图) ·         索引的统计信息 o   叶子块的数量 o   索引的高度 o   聚簇因子(cl…

一.手动  执行Analyze table innodb和myisam存储引擎都可以通过执行“Analyze table tablename”来收集表的统计信息,除非执行计划不准确,否则不要轻易执行该操作,如果是很大的表该操作会影响表的性能. 二.自动触发以下行为会自动触发统计信息的收集 1.第一次打开表的时候2.表修改的行超过1/6或者20亿条时3.当有新的记录插入时4.执行show index from tablename或者执行show table stauts.查询information…

Linux检查和收集硬件信息的常用命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Linux基础真的很重要,基础不牢,地动山摇.这句话我是听老男孩创始人冉总说的一句话,起初我也不以为然.直到最近我kafka集群出现丢数据的情况,花了3天时间才查明白原因,是由于我磁盘IO到达瓶颈导致.而这个还是我通过运维同事部署的zabbix监控系统查出来的异常.当我登录操作系统竟然一时间竟然想不起用啥命令去查看相应的信息,于是我花费半天的时间恶补了一些基础,把常用的一些基础命令总结一…

---====================-- Impala 获取hive 的 metadata ---====================Impala 通常和Hive共用同一个metadata 数据库(通常是MySQL/PostgreSQL), 所以Impala 能够读取到Hive的元数据信息. 如果Impala需要访问Hive表, 需要将Hive metadata 刷新到impala中. 在Hive中Create/Drop表后, 或者HDFS rebalance,或者手工删除HDFS…

存储过程如下: create or replace procedure ad.table_analyse_bill( p_BillMonth in number,--bill_month p_tail in number, p_nInsId in number, p_nSeqId in number, --no use p_nStatus out number, p_szErrorMsg out varchar2 ) is v_sql varchar2(2000); table_name var…

1.概述 大致的流程就是在用户崩溃的时候,我们获取崩溃信息.应用当前的信息和手机信息,然后把它保存到手机内存卡,再找我就直接找出来看看.后来衍生到上线后某些奇葩机型会有部分问题,所以不得不上传到服务器,后来发现居然可以配合热修复一步一步如此神奇,接下来我们来玩一玩,如何才能把用户的崩溃信息上传到服务器.大家也可以去找腾讯他有现成的:https://bugly.qq.com/v2/index 友盟也有现成的:http://www.umeng.com/ 实现的原理都类似. 2.实现 2.1 拦截闪退…

写一个 python 脚本,收集以下信息 ( CentOS 6 ) : IP地址 <ip>    主机名 <hostname>    操作系统版本 <osver>    服务器厂商 <vendor>    服务器型号 <product>    主板序列号 <sn>    CPU型号 <cpu_model>    CPU核数 <cpu_num>    内存大小 <memory> #!/usr/bin/…

1.     理解什么是统计信息优化器统计信息就是一个更加详细描述数据库和数据库对象的集合,这些统计信息被用于查询优化器,让其为每条SQL语句选择最佳的执行计划.优化器统计信息包括: ·         表的统计信息o   行数o   Block数 o   行平均长度·         列的统计信息o   列中不同值的数量o   列中null的数量 o   数据分布(柱状图/直方图) ·         索引的统计信息o   叶子块的数量o   索引的高度o   聚簇因子(clustering…

收集主机信息: 主机名 ip 操作系统版本osver 服务器厂商vendor 服务器型号:product 服务器序列号:sn CPU型号:cpu_model CPU核数:cpu_num 内存大小:Memory #!/usr/bin/env python from subprocess import Popen,PIPE def getIfconfig(): p = Popen(['ifconfig'],stdout=PIPE) data = p.stdout.read() return data…

特殊情况如下 客户的统计信息是固定的,没办法收集统计信息 . SQL profile 是最后考虑方案,因为同样写法sql 比较多,几十条. Parallle 并行客户一般不考虑接受,OLTP 系统. 最好使用hint . 无法收集统计信息,怎样优化SQL. 首先在dev 环境收集统计信息,通过SQLHC ,收取结果. 其次使用收集信息的outline ,来代入,调优 结果如下: SELECT /*+                             BEGIN_OUTLINE_DATA  …

    案例:H3C 12508单板卡出现remove状态,需要配合研发收集诊断信息. (此文档只展示研发要求的诊断信息.) 总体:12500交换机返回三种文件----故障时诊断信息,主备单板的日志文件,主备单板的诊断日志 操作步骤: 一.故障时诊断信息: dis diagnostic-information diag收集必须在问题出现的时候,单板重起之前执行. 在save 时请选择 Y保存到 CF 卡方式.一般情况下,此命令执行一次会控制在 10 分钟之内,在这期间请不要对设备进行操作 请在管…

关于App收集个人信息基本规范,这里公开征求你的意见! https://www.thepaper.cn/newsDetail_forward_4122573 以后国家开始规范App收集个信息基本规范,不能再任性了!…

direct path read深入解析 前言 最近碰到一件很奇葩的事情,因为某条SQL执行缓慢,原因是走了笛卡尔(两组大数据结果集),而且笛卡尔还是NL的一个部分,要循环31M次. 很容易发现是统计信息没有导致的,收集完就好了. 结果过了个51假期回来有人反馈其他的SQL慢了,看了下慢的SQL涉及到的表就刚好是上次收集统计信息的表. 统计问题SQL的历史执行情况,发现时间刚好在那天收集完后开始变慢.咋回事. 后边发现慢的原因是对收集的那两张表做全表扫描时候用了直接路径读(DPR).暂定为表A和…

最简单的方法是使用标准的 Linux GUI 程序之一: i-nex 收集硬件信息,并且类似于 Windows 下流行的 CPU-Z 的显示. HardInfo 显示硬件具体信息,甚至包括一组八个的流行的性能基准程序,你可以用它们评估你的系统性能. KInfoCenter 和 Lshw 也能够显示硬件的详细信息,并且可以从许多软件仓库中获取. 或者,你也可以拆开计算机机箱去查看硬盘.内存和其他设备上的标签信息.或者你可以在系统启动时,按下相应的按键进入 UEFI 和 BIOS 界面获得信息.这两…

一.问题 Oracle在收集统计信息时默认的采样比例是DBMS_STATS.AUTO_SAMPLE_SIZE,那么AUTO_SAMPLE_SIZE的值具体是多少? 假设采样比例为10%,那么在计算单个列的distinct时与实际的差别大吗? 有哪些采样算法? 二.实验 准备三张实验表,t1/t2/t3,这三张表的数据内容完全一致,我们分别使用100%.10%.AUTO_SAMPLE_SIZE的比例去收集他们的统计信息. SQL> begin 2 dbms_stats.gather_table_s…

对于所有互联网企业来说,用户及其数据都是最核心.最根本的宝贵财富.因此,每家互联网企业都不会轻易将自家的数据与别人分享.试想一下,阿里会将淘宝和天猫的数据共享给京东吗?腾讯会把QQ和微信的数据分享给微博和陌陌吗?斗鱼会把自家的数据分享给虎牙吗?显然都是不可能的. 但就在近日,谷歌.微软.Facebook.Twitter这四大互联网巨头却联手推出了一项名为"数据传输计划"的新标准!该项计划的目标就是要打通数据传输壁垒,成为在不同平台之间移动数据的新方式.如果这一标准未来能够得到全面推广,…

除了google等搜索收集,还有其他途径进行信息收集,其中就包括用命令行或集成的软件.框架进行搜集信息. 1.先举例几个简单的命令: 其实也会是调用搜索引擎,如谷歌必应等,需要翻墙,可以用proxychains做命令行代理. • 邮件.主机:theharvester -d sina.com -l 300 -b google root@kali:~# theharvester -h Usage: theharvester options -d: Domain to search or compan…

摘要: GP3.1是要求建立组织级的关于该过程的制度.标准.模版等全套体系,要求覆盖该PA所有的SP和GP.GP3.2 体现的是持续改进,每个过程都应该收集相应的改进信息. 正文: GP3.1 Establish and maintain the description of a XXX process. 中文大意是:建立和维护该过程的制度. GP3.2 Collect work products,measures,measurement results,and improvement info…