聊聊数据库~2.SQL环境篇

传统数据库上篇文章:聊聊数据库~开篇 https://www.cnblogs.com/dotnetcrazy/p/9690466.html 本来准备直接开讲NoSQL的(当时开篇就是说的NoSQL)考虑到有些同志可能连MySQL系都没接触过,所以我们2019说数据系的时候预计从MySQL(穿插MSSQL)开始,这篇文章就当试水篇,效果好就继续往下写~(这篇偏理论和运维) 1.1.MariaDB and MySQL 官方文档:https://mariadb.com/kb/zh-cn/mariad…

聊聊数据库~3.SQL基础篇

上篇回顾:聊聊数据库~SQL环境篇扩展:为用户添加新数据库的权限 PS:先使用root创建数据库,然后再授权grant all privileges on 数据库.* to 用户名@"%" identified by "密码";并刷新flush privileges; 查看权限:show grants for dnt; 效果: 1.3.MySQL部署之前有园友说,为啥不顺便说说UbuntuServer的部署呢?呃...一般来说公司服务器都是CentOS的占大多数…

聊聊数据库~4.SQL优化篇

1.5.查询的艺术上期回顾:https://www.cnblogs.com/dotnetcrazy/p/10399838.html 本节脚本:https://github.com/lotapp/BaseCode/blob/master/database/SQL/02.索引.查询优化.sql 文章有点小长,但认真阅读肯定会有所感触和收获的.PS:我把我能想到的都列下来了,如果有新的会追加,欢迎补充和纠错~ 1.5.1.索引大方向:减少冗余索引,避免重复(无用)索引 1.概念大一统分类: 聚簇…

聊聊数据库~5.SQL运维上篇

1.6.SQL运维篇运维这块逆天只能说够用,并不能说擅长,所以这篇就当抛砖之用,欢迎补充和纠错 PS:再说明下CentOS优化策略这部分的内容来源:首先这块逆天不是很擅长,所以主要是参考网上的DBA文章,之后请教了下运维相关的朋友,大家辩证看就行了,我只能保证90%的准确度(具体看业务) 1.6.1.概念 1.RAID系 RAID:磁盘冗余队列把多个容量小的磁盘组成一组容量更大的磁盘,并提供数据冗余来保证数据完整性的技术 RAID0:数据条带(好处:成本低,应用:数据备份) 需要硬盘数>=2…

聊聊数据库~6.SQL运维中篇

上篇回顾:https://www.cnblogs.com/dotnetcrazy/p/10810798.html#top 1.6.5.MySQL日志相关本文的测试环境:MySQL5.7.26.MariaDB5.5.60.MySQL8.0.16 PS:版本查询select version(); 1.MySQL常用日志服务器层日志(存储引擎层有自己的日志) 日志类型描述 error_log(错误日志) 记录MySQL启动.运行或停止时出现的问题 general_log(常规日志) 记录所有发送…

Mybaits配置多个数据库操作sql环境

mybitas可以配置sql语句适用于不同数据库下的操作,因为不同数据库sql语句可能有差别,接下来介绍如果进行操作 1.在jdbc.properprites配置驱动 jdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc:mysql://localhost:3306/mybatisjdbc.username=rootjdbc.password=123456 orcl.driver=oracle.jdbc.OracleDriverorcl.url=jdbc:…

SQL Server数据库性能优化之SQL语句篇【转】

SQL Server数据库性能优化之SQL语句篇http://www.blogjava.net/allen-zhe/archive/2010/07/23/326927.html 近期项目需要, 做了一段时间的SQL Server性能优化,遇到了一些问题,也积累了一些经验,现总结一下,与君共享.SQL Server性能优化涉及到许多方面,如良好的系统和数据库设计,优质的SQL编写,合适的数据表索引设计,甚至各种硬件因素:网络性能.服务器的性能. 操作系统的性能,甚至网卡.交换机等.这篇文章主要讲到…

SQL数据库基础知识-巩固篇<一>

SQL数据库基础知识-巩固篇<一>... =============== 首先展示两款我个人很喜欢的数据库-专用于平时个人SQL技术的练习<特点:体积小,好安装和好卸载,功能完全够用了> MySQL-57 DataBase MS-SQLServer-2000 DataBase SQL的含义:结构化查询语言(Structured Query Language)简称SQL 作用:SQL(Structured Query Language,结构化查询语言)是一种用于操作数据库的语言. 结…

使用Python批量修改数据库执行Sql文件

由于上篇文章中批量修改了文件,有的时候数据库也需要批量修改一下,之前的做法是使用宝塔的phpMyAdmin导出一个已经修改好了的sql文件,然后依次去其他数据库里导入,效率不说极低,也算低了,且都是些重复性的劳动,所以打算用Python来批量执行sql 环境版本:Python3.6系统:MacOSIDE:PyCharm第三方库:pymysql 厦门哪里有卖厦工叉车的 Show Code import pymysql host = 'xxx.65.9.191'username = 'root'p…

[转载] 我的WafBypass之道（SQL注入篇）

我的WafBypass之道(SQL注入篇) Web安全作者:先知技术社区 2016-11-23 7,566 [本文转自安全脉搏战略合作伙伴先知技术社区原帖地址安全脉搏编辑huan9740整理发布] 0x00 前言去年到现在就一直有人希望我出一篇关于waf绕过的文章,我觉得这种老生常谈的话题也没什么可写的. 很多人一遇到waf就发懵,不知如何是好,能搜到的各种姿势也是然并卵. 但是积累姿势的过程也是迭代的,那么就有了此文,用来总结一些学习和培养突破waf的思想. 可能总结…

淘宝数据库OceanBase SQL编译器部分源代码阅读--解析SQL语法树

OceanBase是阿里巴巴集团自主研发的可扩展的关系型数据库,实现了跨行跨表的事务,支持数千亿条记录.数百TB数据上的SQL操作. 在阿里巴巴集团下,OceanBase数据库支持了多个重要业务的数据存储.包含收藏夹.直通车报表.天猫评价等. 截止到2013年4月份.OceanBase线上业务的数据量已经超过一千亿条. 看起来挺厉害的,今天我们来研究下它的源码. 关于OceanBase的架构描写叙述有非常多文档.这篇笔记也不打算涉及这些东西,仅仅讨论OceanBase的SQL编译部分的代码. O…

个人永久性免费-Excel催化剂功能第21波-Excel与Sqlserver零门槛交互-执行SQL语句篇

在前两波中,已完成了Excel与Sqlserver的查询和上传功能,但难免许多临时的或更深入地操作数据库需要用Sql语句来操作,对一般用户电脑里,不可能有条件轻易安装一个数据库客户端软件,就算安装了对其中烦多的功能操作也不胜任. 开发一个简单的接受SQL语句对数据库进行访问操作就有点必要,当然这个落脚点放到Excel上是很不错的选择,毕竟所有用户电脑都有安装Excel. 并且在Excel上批量构造SQL语句也是容易的事,若有数据需要从数据库中导出,Excel作为装载小量数据并进行后续分析的容器是…

《淘宝数据库OceanBase SQL编译器部分源码阅读--解析SQL语法树》

淘宝数据库OceanBase SQL编译器部分源码阅读--解析SQL语法树曾经的学渣 2014-06-05 18:38:00 浏览1455 云数据库Oceanbase OceanBase是阿里巴巴集团自主研发的可扩展的关系型数据库,实现了跨行跨表的事务,支持数千亿条记录.数百TB数据上的SQL操作.在阿里巴巴集团下,OceanBase数据库支持了多个重要业务的数据存储,包括收藏夹.直通车报表.天猫评价等.截止到2013年4月份,OceanBase线上业务的数据量已经超过一千亿条. 看…

环境篇：呕心沥血@CDH线上调优

环境篇:呕心沥血@线上调优为什么出这篇文章? 近期有很多公司开始引入大数据,由于各方资源有限,并不能合理分配服务器资源,和服务器选型,小叶这里将工作中的总结出来,给新入行的小伙伴带个方向,不敢说一定对,但是本人亲自测试,发现集群使用率稳定提高了3分之1,最高可达到2分之1,有不对的地方欢迎留言指出. 注:可能有些服务没有设计,使用到的小伙伴可以参照这种方式去规划. 0 资源:集群服务安排服务名称子服务 CM-64G ZK-Kafka(3台)-12G DataNode(3台)-64G Nam…

环境篇：DolphinScheduler-1.3.1安装部署及使用技巧

环境篇:DolphinScheduler-1.3.1安装部署 1 配置jdk JDK百度网盘:https://pan.baidu.com/s/1og3mfefJrwl1QGZGZDZ8Sw 提取码:t6l1 #查看命令 rpm -qa | grep java #删除命令 rpm -e --nodeps xxx 将oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm上传至每个节点安装 rpm -ivh oracle-j2sdk1.8-1.8.0+update18…

环境篇：数据同步工具DataX

环境篇:数据同步工具DataX 1 概述 https://github.com/alibaba/DataX DataX是什么? DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.SQL Server.Oracle.PostgreSQL.HDFS.Hive.HBase.OTS.ODPS 等各种异构数据源之间高效的数据同步功能. 设计理念为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源.…

如何转换SQL Server 2008数据库到SQL Server 2005

背景介绍: 公司一套系统使用的是SQL SERVER 2008数据库,突然一天收到邮件,需要将这套系统部署到各个不同地方(海外)的工厂,需要在各个工厂部署该数据库,等我将准备工作做好,整理文档的时候,坑爹的事情发生了,居然发现有两三个工厂使用的还是SQL SERVER 2005数据库,要命的是这几个工厂没有SQL SERVER 2008的数据库服务器.而其中两个正准备做服务器的迁移升级,但是IBM的存储还没有到,没办法,这么"反人类,阻挡历史进程"的事情就发生了,我以为这种小概…

淘宝数据库OceanBase SQL编译器部分源代码阅读--Schema模式

淘宝数据库OceanBase SQL编译器部分源代码阅读--Schema模式什么是Database,什么是Schema,什么是Table,什么是列,什么是行,什么是User?我们能够能够把Database看作是一个大仓库,仓库分了非常多非常多的房间,Schema就是当中的房间,一个Schema代表一个房间,Table能够看作是每一个Schema中的柜子,行和列就是柜子中的格子.User就是房间的主人.简单来说,Schema是包含表,列,索引,视图等数据库对象的集合. OceanBase中的强…

sql基础篇

再跟SQL谈一谈--基础篇 1.简介 2.DDL & DML 3.SELECT ①DISTINCT ②WHERE ③AND & OR ④ORDER BY 4.INSERT 5.UPDATE 6.DELETE 1.简介什么是 SQL? SQL 指结构化查询语言 SQL 使我们有能力访问数据库 SQL 是一种 ANSI 的标准计算机语言 SQL 能做什么? SQL 面向数据库执行查询 SQL 可从数据库取回数据 SQL 可在数据库中插入新的纪录 SQL 可更新数据库中的数据 SQL 可从…

数据库基础SQL知识面试题一

数据库基础SQL知识面试题一作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 如标题所示,本篇博客主要介绍基础知识的面试题.大家可以用来测试面试者的技术水平,由于个人水平所限,难免会出现错误,欢迎广大读者和DBA专家留言指正. 一.常见的关系型数据库有那些?常见的非关系型数据库有那些? 答:常见的关系型数据库: 1>.MySQL: 2>.SQL Server: 3>.Oracle: 4>.Sybase: 5>.DB2等: 常见的非关系型数据库: 1>…

MySQL数据库中.SQL文件的导出方式

转自:http://tech.watchstor.com/management-117401.htm 在MySQL数据库中导入SQL文件是件很麻烦的事情,但是这是一项大家非常值得学习的技术,本文就从最简单的出发为大家讲解在MySQL数据库中怎么样导出.SQL文件. 步骤如下: 一.MySQL数据库的命令行模式的设置: 桌面->我的电脑->属性->环境变量->新建-> PATH=":path\mysql\bin;"其中path为MYSQL的安装路径. 二.简…

使用SQLMAP对网站和数据库进行SQL注入攻击

from:http://www.blackmoreops.com/2014/05/07/use-sqlmap-sql-injection-hack-website-database/ 0x00 背景介绍 1. 什么是SQL注入? SQL注入是一种代码注入技术,过去常常用于攻击数据驱动性的应用,比如将恶意的SQL代码注入到特定字段用于实施拖库攻击等.SQL注入的成功必须借助应用程序的安全漏洞,例如用户输入没有经过正确地过滤(针对某些特定字符串)或者没有特别强调类型的时候,都容易造成异常地执行SQL…

数据库学习---SQL基础(二)

数据库学习---SQL基础(一) 数据库学习---SQL基础(二) 数据库学习---SQL基础(三) 上篇复习的sql的增删改查,and ,or ,>=, <=,!=等逻辑运算符,还有in限制范围操作付,还有like查找相似操作符.使用表连接查找数据... 这篇主要复习各种内置函数使用. 特殊函数: SQL NULL 函数有时候进行计算的值是null,如price*(other+orderNums) 如果orderNums是为null那么结果为null,但原本预期如果没有订单数则为0最后结果…

文献综述十七：基于 sql环境下超市管理系统的设计与实现

一.基本信息标题:基于 sql环境下超市管理系统的设计与实现时间:2018 出版源:智能计算机与应用文件分类:uml技术的研究二.研究背景从超市管理系统的实际应用出发,在系统分析过程中,从功能和技术2个方面进行了总体设计,最终形成一套非常实用的管理系统. 三.具体内容文献的主要内容分为四大部分.一是论述,二是需求分析,三是数据库设计和系统功能实现. 论述:本文的目标是尽可能地提高营业者的工作效率.降低超市运营的成本,方便公司对超市工作人员的管理,满足消费者的消费需求,实现与社会上其它…

atitit.跨语言实现备份mysql数据库为sql文件特性 api 兼容性java c#.net php js

atitit.跨语言实现备份mysql数据库为sql文件特性 api 兼容性java c#.net php js 1. 两个方法:: bat vs mysqldump(推荐) vs lang api1 2. lang api基本的原理就是1 3. Mode only struts and data2 3.1. Php code2 4. Java code3 5. mysqldump --help 参数7 6. 参考13 1. 两个方法:: bat vs mysqldump(推荐) …

数据库的SQL模式

1.定义:何为MySQL的严格模式,简单来说就是MySQL自身对数据进行严格的校验(格式.长度.类型等),比如一个整型字段我们写入一个字符串类型的数据,在非严格模式下MySQL不会报错,同样如果定义了char或varchar类型的字段,当写入或更新的数据超过了定义的长度也不会报错.我认为这个对于编程来说没有任何好处,虽然我们尽量在代码中做数据校验.MySQL开启了严格模式从一定程序上来讲师对我们代码的一种测试,如果我们的开发环境没有开启严格模式在开发过程中也没有遇到错误,那么在上线或代码移植的时…

MySQL数据库”mysql SQL Error:1146,SQLState:42S02 “解决方法

项目在开发的时候在Mac平台下开发的,开发完了之后在LINUX环境上部署好之后,运行时MySQL数据库报错,提示为某个表不存在之类的错误信息,后来修改了MySQL的配置文件将大小写敏感去掉,问题解决. 这个问题的根源在于,在 MySQL 中,数据库和表其实就是数据目录下的目录和文件,因而,操作系统的敏感性决定数据库和表命名的大小写敏感.这就意味着数据库和表名在 Windows 中是大小写不敏感的,而在大多数类型的 Unix/Linux 系统中是大小写敏感的. MySQL大小写敏感可以通过配置文件…