Redis独立功能

一、发布与订阅

Redis的发布订阅功能由PUBLISH, SUBSCRIBE, PSUBSCRIBE, PUNSUBSCRIBE等命令实现，客户端可以订阅一个或多个频道/模式，服务器根据是否订阅频道、模式是否匹配，决定是否发送给指定客户端消息。

Redis多机

一、复制

Redis中可以使用SLAVEOF <master_ip> <master_port>实现主从复制，复制功能分两个操作：

• 同步：将从服务器的数据库状态更新至主服务器的最新状态
• 命令传播：在主服务器的数据库状态被修改，导致主从不一致时，让主从数据库重新回到一致状态

Redis单机

一、数据库

1、实现

Redis服务器将所有数据库都保存在服务器状态redis.h/redisServer结构的db数组中，db数组的每个项都是一个redis.h/redisDb结构，每个redisDb结构代表一个数据库。数组长度（数据库数量）由dbnum控制，默认有16个，通过SELECT命令切换数据库。

RedisClient结构中的db属性指向当前所使用的数据库，SELECT命令原理即修改该指针。

2、键空间

Redis是一个键值对K-V数据库服务器，服务器中的每个数据库都由一个redis.h/redisDb结构表示，其中，redisDb结构的dict字典保存了数据库中的所有键值对，这个字典称为键空间（key space）。所有针对数据库中数据的操作本质上都是对键空间字典的操作，同时也会进行一些维护：

Redis数据结构

一、简单动态字符串

Redis中保存的Key是字符串，value往往是字符串或者字符串的集合。可见字符串是Redis中最常用的一种数据结构。不过Redis没有直接使用C语言中的字符串，而只会使用C字符串作为字面量,因为C语言字符串存在很多问题：

• 获取字符串长度的需要通过运算
• 非二进制安全
• 不可修改

Redis构建了一种新的字符串结构，称为简单动态字符串（Simple Dynamic String），简称SDS。

MySQL高级二

一、锁

锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，除传统的计算资源（CPU、RAM、I/O）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。

• InnoDB按照锁的粒度分为以下三类：
  • 行级锁：每次操作锁住一条行数据
  • 表级锁：每次操作锁住整张表
  • 全局锁：锁定数据库中的所有表
• MyISAM、Memory等引擎仅支持表级锁，且不支持事务，因此适用于只读或以读为主的场景

MySQL高级一

一、基础

1、MySQL体系结构

• 1、连接层

  • 最上层是一些客户端和链接服务，包含本地sock 通信和大多数基于客户端/服务端工具实现的类似于TCP/IP的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。

• 2、服务层

  • 第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如 过程、函数等。在该层，服务器会解析查询并创建相应的内部解析树，并对其完成相应的优化如确定表的查询的顺序，是否利用索引等，最后生成相应的执行操作。如果是select语句，服务器还会查询内部的缓存，如果缓存空间足够大，这样在解决大量读操作的环境中能够很好的提升系统的性能。

• 3、引擎层

  • 存储引擎层， 存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API和存储引擎进行通信。不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，来选取合适的存储引擎。数据库中的索引是在存储引擎层实现的。

• 4、存储层

  • 数据存储层， 主要是将数据(如: redolog、undolog、数据、索引、二进制日志、错误日志、查询日志、慢查询日志等)存储在文件系统之上，并完成与存储引擎的交互。

一、介绍

canal，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

MySQL主从同步详解

一、原理

MySQL的主从复制涉及到三个线程，一个运行在主节点（log dump thread），其余两个(I/O thread, SQL thread)运行在从节点，如下图所示:

• 主节点 binary log dump 线程 当从节点连接主节点时，主节点会创建一个log dump 线程，用于发送bin-log的内容。在读取bin-log中的操作时，此线程会对主节点上的bin-log加锁，当读取完成，甚至在发动给从节点之前，锁会被释放。
• 从节点I/O线程 当从节点上执行start slave命令之后，从节点会创建一个I/O线程用来连接主节点，请求主库中更新的bin-log。I/O线程接收到主节点binlog dump 进程发来的更新之后，保存在本地relay-log中。
• 从节点SQL线程 SQL线程负责读取relay log中的内容，解析成具体的操作并执行，最终保证主从数据的一致性。

MySQL读写分离

一、主从库配置

1. ubuntu上安装Mysql

2. 修改主库环境配置

# 添加以下环境配置
[mysqld]
 
#[必须]主服务器唯一ID
server-id=1
 
#[必须]启用二进制日志,无后缀的文件名。也可以是本地的路径/log/bin-log
log-bin=bin-log

Redis

一、Redis基础

Redis五大数据类型：String(字符串)、Hash(哈希)、List(列表)、Set(集合) 和 zset(sorted set:有序集合)

1、字符串操作指令