1、配置文件 package config import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} case object conf { private val master ...

redo 重做日志 作用：确保事务的持久性，防止在发生故障，脏页未写入磁盘。重启数据库会进行redo log执行重做，到达事务一致性 undo 回滚日志 作用：保证数据的原子性，记录事务发生之前的数据的一个版本，用于回滚。 innodb事务的可重复读和读取已提交 隔离级别就是通过mvcc+undo实 ...

转自:https://blog.csdn.net/kk185800961/article/details/79378313/ 以下考虑主要为 Innodb 引擎 【 innodb_buffer_pool_size 】 用于缓存 索引 和 数据的内存大小, 这个当然是越多越好, 数据读写在内存中非常快 ...

1. 存在几个线程: 主库一个线程,从库两个线程 2.主库生成一个log dump线程,和从库IO线程交互 3.IO线程请求主库binlog,写入到中继日志relay log 4.SQL线程读取中继日志,解析然后写入到从库 ...

Mysql5.6.28-log版本,再创建数据库导入大量表以后,重启启动,16G内存几乎占满.

https://blog.csdn.net/m0_37984616/article/details/81047676 ...

MySQL索引 MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引。 MySQL官方对索引的定义为：索引（Index ...

如为8.0以上版本，可以直接使用原生的json解析器处理，低版本不支持 select t1.* ,concat(replace(substr(result,instr(result,'"url":"') +7,instr(result,'"}')-instr(result,'"url":"') -7 ...

nginx配置worker_processes auto;worker_cpu_affinity auto;events { use epoll; worker_connections 51200; multi_accept off; accept_multi off; }http { server ...

背景： 批量插入单词时，存在单词匹配例句，批量插入时，like匹配 批量插入时几十个单词挨个模糊匹配，接口超时，因为是后台管理系统，不打算接入ES，并且允许接口一定程度的慢，但接口超时得解决 方案： 1、正则表达式匹配，同样慢得令人发指 2、添加全文索引 只有Innodb和myisam存储引擎能用全 ...

可扩展性就是当增加资源以处理负载和增加容量时系统能够获得的投资产出率（ROI）。 一、规划可扩展性 二、为扩展赢得时间 优化性能 购买性能更强的硬件 三、向上扩展 四、向外扩展 可以把向外扩展（有时也称为横向扩展或者水平扩展）策略划分为三个部分：复制、拆分，以及数据分片（sharding）。 最常见 ...

问题描述 在阿里云的centos上部署了MySQL，而且已经配置了安全规则，但是用navicatMySQL时，出现下图的情况 解决方法： 1、再次阿里云的配置规则，发现没问题 2、登录centos系统，进行如下操作（一般可以直接复制，除了密码） mysql -u root -p use mysql; ...

1、内连接：将两个表中存在连结关系的字段符合连接条件的记录形成记录集 Select A.name,B.name from A inner join B on A.id=B.id和 Select A.name,B.name from A,B where A.id=B.id结果是一样的（内连接的inne ...

mysql的事务是innodb存储引擎独有的，myisam存储引擎不支持事务。 事务最经典的例子就是转账了，事务要保证的是一组数据库的操作要么全部成功，要么全部失败。是为了保证高并发场景下数据的正确性而定义。 事务并非mysql独有。在mysql中，数据库的事务隔离采用的是MVCC结合锁来实现的。 ...

背景系统结构如上图。经过排查是因为系统B拉取数据时间太长导致的推送超时。系统B拉取数据的方法是根据_tiemstamp(数据操作时间)分页查询系统A的接口,即：1SELECT字段名2FROM表名3WHERE_timestamp>=beginTimeAND_timestamp<=endTime4LIMITn,m;由于该数据是从其他数据源中导入的，所以_timestamp这个字段值几乎相同

——MySQL子查询与连接1、set names gbk: 设置客户端的显示形式为gbk(如果之前设置是utf-8编码则显示出来文字不能识别)2、子查询指嵌套在查询内部，必须在圆括号里使用，返回值是一个标量、一行也开始是一个数据表3、子查询是指在另一个查询里面的select子句4、在进行数据表的写入 ...

1.添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>o ...

原文:Mysql性能优化：为什么要用覆盖索引？ 导读 相信读者看过很多MYSQL索引优化的文章，其中有很多优化的方法，比如最佳左前缀，覆盖索引等方法，但是你真正理解为什么要使用最佳左前缀，为什么使用覆盖索引会提升查询的效率吗？ 本篇文章将从MYSQL内部结构上讲一下为什么覆盖索引能够提升效率。 In... ...

原文:Mysql性能优化：什么是索引下推？ 导读 本文章始发于本人公众号：码猿技术专栏，原创不易，谢谢关注推荐。 索引下推（index condition pushdown ）简称ICP，在Mysql5.6的版本上推出，用于优化查询。 在不使用ICP的情况下，在使用非主键索引（又叫普通索引或者二级索... ...

原文:Mysql性能优化：如何给字符串加索引？ 导读 现代大部分的登录系统都支持邮箱、手机号码登录两种方式，那么如何在邮箱或者手机号码这个字符串上建立索引才能保证性能最佳呢？ 今天这篇文章就来探讨一下在Mysql中如何给一个字符串加索引才能达到性能最佳。 本文首发于作者的微信公众号【码猿技术专栏】，... ...