2012年初入职赶集,当时处在流量讯猛增长的阶段,3年DBA生涯收获坡多,其实坑更多(泪... 后来在做开发时,慢慢体会到 ”运维“ 和 “开发” 确实存在沟通问题:知识不对称.如何解决呢?先总结下这三年吧 DBA职责 市面上招聘 JD 一大堆,随变找几个,马上能找出共性 数据库系统的规划.设计.管理.迁移 数据库的日常维护.备份.优化及恢复 Master-Slave架构搭建.维护 业务系统上线支持,数据库设计评审,提供架构方案 数据库不局限于 MySQL, Oracle, 如果分的不细,还会有…

[MySql]赶集网mysql开发36条军规 2012-05-14 14:02:33 分类: Linux   写在前面的话: 总是在灾难发生后,才想起容灾的重要性: 总是在吃过亏后,才记得曾经有人提醒过. (一)核心军规 (1)不在数据库做运算    cpu计算务必移至业务层: (2)控制单表数据量    int型不超过1000w,含char则不超过500w:    合理分表:    限制单库表数量在300以内: (3)控制列数量    字段少而精,字段数建议在20以内: (4)平衡范式与冗余…

[赶集网] [MySql]赶集网mysql开发36条军规 (一)核心军规(1)不在数据库做运算   cpu计算务必移至业务层:(2)控制单表数据量   int型不超过1000w,含char则不超过500w:   合理分表:   限制单库表数量在300以内:(3)控制列数量   字段少而精,字段数建议在20以内:(4)平衡范式与冗余   效率优先:   往往牺牲范式:(5)拒绝3B   拒绝大sql语句:big sql   拒绝大事物:big transaction   拒绝大批量:big bat…

赶集网mysql开发36军规 写在前面的话: 总是在灾难发生后,才想起容灾的重要性: 总是在吃过亏后,才记得曾经有人提醒过. (一)核心军规 (1)不在数据库做运算:cpu计算务必移至业务层 (2)控制单表数据量:单表记录控制在1000w (3)控制列数量:字段数控制在20以内 (4)平衡范式与冗余:为提高效率牺牲范式设计,冗余数据 (5)拒绝3B:拒绝大sql,大事物,大批量 (二)字段类军规 (6)用好数值类型 tinyint(1Byte) smallint(2Byte) mediumint…

写在前面的话: 总是在灾难发生后,才想起容灾的重要性: 总是在吃过亏后,才记得曾经有人提醒过. (一)核心军规 (1)不在数据库做运算    cpu计算务必移至业务层: (2)控制单表数据量    int型不超过1000w,含char则不超过500w:    合理分表:    限制单库表数量在300以内: (3)控制列数量    字段少而精,字段数建议在20以内: (4)平衡范式与冗余    效率优先:    往往牺牲范式: (5)拒绝3B    拒绝大sql语句:big sql    拒绝大事…

使用scrapy框架做赶集网爬虫 一.安装 首先scrapy的安装之前需要安装这个模块:wheel.lxml.Twisted.pywin32,最后在安装scrapy pip install wheel pip install lxml 这个地址是一个下载python包的好地方 https://www.lfd.uci.edu/~gohlke/pythonlibs/下载twisted pip install Twisted pip install pywin32 pip install scrapy…

代码已久,有可能需要调整 #coding:utf-8 from bs4 import BeautifulSoup #有这个bs4不用正则也可以定位要爬取的内容了 from urlparse import urljoin import requests import csv import html5lib URL = 'http://hn.ganji.com/fang1/' #爬取的目标地址 ADDR = 'http://hn.ganji.com/' if __name__ == '__name_…

1.打开赶集网登录界面,先模拟登录并抓包,获得post请求的request参数 2. 我们只需构造出上面的参数传入formdata即可 参数分析: setcookie:为自动登录所传的值,不勾选时默认为0. __hash__值的分析:只需要查看response网页源代码即可 ,然后用正则表达式提取. 3.代码实现 1.workon到自己的虚拟环境  cmd切换到项目目录,输入scrapy startproject ganjiwangdenglu,然后就可以用pycharm打开该目录啦. 2.在p…

字段不要使用null值.查询,索引方面不利.如果是整型,int,仅仅是设置 not null还不够.最好是这种一个默认的值0.为什么? text类型处理性能低于varchar.尽量不要使用text/blog数据类型,使用的话.拆分到单独的表中存储. 与阿里巴巴一个思想:大容量的数据不要存到数据库中去,比如图片,url. 将字符存储转换为数字存储.比如ip用int存储.为什么字符型数据建立索引,索引的名称要建立前缀:idx_pinyin是考虑字母的区分度吗?字母越长越容易区分? 它们习惯建立索引的…

位好,今天我的主题是 <DB运维的四个现代化> ,看标题就能明白,是关于DBA自动化运维平台的事情.http://dbaplus.cn/news-21-855-1.html 主要是分享下我在当当想到做到的一些事情,很多都是兄弟们一起努力的结果, 这篇文章也是对我们工作进行一次总结,整个平台的实现方法并没有用到什么高大上的框架,有亮点的地方我会着重说明,当然,有兴趣了解的同学,直接提问就好. 本次分享将分为以下三部分进行:    解密DB管理四大现代化    实例分析实践痛点    从信息展现开…