校招 未知部门 / 数据 / 未知轮次

<h2>分库分表夺命连环问</h2> <p>整理了几个面试过程中分库分表常见问题分享给大家，这里面有常规面试必掌握题（1、2、3、5、7、10、11、12），也有面试拔高题（4、6、8、9、13、14、15），大家根据自己的需要查看，有<span>关于技术上的问题也可留言讨论，有问必答</span>。</p><h1><strong>1 为什么分库分表</strong></h1><h2><span>1.1 为什么要分库</span></h2><p>如果业务量剧增，数据库可能会出现性能瓶颈，这时候我们就需要考虑拆分数据库。从这两方面来看：</p><ul><li>磁盘存储</li></ul><p>业务量剧增，MySQL单机磁盘容量会撑爆，拆成多个数据库，磁盘使用率大大降低。</p><ul><li>并发连接支撑</li></ul><p>我们知道数据库连接数是有限的。在<strong>高并发的场景下</strong>，大量请求访问数据库，MySQL单机是扛不住的！高并发场景下，会出现<code>too many connections</code>报错。</p><p>当前非常火的微服务架构出现，就是为了应对高并发。它把订单、用户、商品等不同模块，拆分成多个应用，并且把单个数据库也拆分成多个不同功能模块的数据库（订单库、用户库、商品库），以分担读写压力。</p><h2><span>1.2 为什么要分表</span></h2><p><strong>假如你的单表数据量非常大，存储和查询的性能就会遇到瓶颈了，如果你做了很多优化之后还是无法提升效率的时候，就需要考虑做分表了。一般千万级别数据量，就需要分表。</strong></p><p>这是因为即使<code>SQL</code>命中了索引，如果表的数据量超过一千万的话，查询也是会明显变慢的。这是因为索引一般是<code>B+</code>树结构，数据千万级别的话，B+树的高度会增高，查询就变慢啦。MySQL的B+树的高度怎么计算的呢？跟大家复习一下：</p><p>InnoDB存储引擎最小储存单元是页，一页大小就是16k。B+树叶子存的是数据，内部节点存的是键值+指针。索引组织表通过非叶子节点的二分查找法以及指针确定数据在哪个页中，进而再去数据页中找到需要的数据，B+树结构图如下：</p><p>假设B+树的高度为2的话，即有一个根结点和若干个叶子结点。这棵B+树的存放总记录数为=根结点指针数*单个叶子节点记录行数。</p><p>如果一行记录的数据大小为1k，那么单个叶子节点可以存的记录数  =16k/1k =16. 非叶子节点内存放多少指针呢？我们假设主键ID为bigint类型，长度为8字节(面试官问你int类型，一个int就是32位，4字节)，而指针大小在InnoDB源码中设置为6字节，所以就是 8+6=14 字节，16k/14B =16*1024B/14B = 1170</p><p>因此，一棵高度为2的B+树，能存放1170 * 16=18720条这样的数据记录。同理一棵高度为3的B+树，能存放1170 *1170 *16 =21902400，大概可以存放两千万左右的记录。B+树高度一般为1-3层，如果B+到了4层，查询的时候会多查磁盘的次数，SQL就会变慢。</p><p>因此单表数据量太大，SQL查询会变慢，所以就需要考虑分表啦。</p><h1>2 什么时候分库分表</h1><p>对于<code>MySQL</code>，<code>InnoDB</code>存储引擎的话，单表最多可以存储<code>10亿</code>级数据。但是的话，如果真的存储这么多，性能就会非常差。一般数据量千万级别，<code>B+</code>树索引高度就会到<code>3</code>层以上了，查询的时候会多查磁盘的次数，<code>SQL</code>就会变慢。</p><p>阿里巴巴的<code>《Java开发手册》</code>提出：</p><blockquote><p>单表行数超过<code>500万</code>行或者单表容量超过<code>2GB</code>，才推荐进行分库分表。</p></blockquote><p><strong>那我们是不是等到数据量到达五百万，才开始分库分表呢？</strong></p><blockquote><p>不是这样的，我们应该<strong>提前规划分库分表</strong>，如果估算<code>3</code>年后，<strong>你的表都不会到达这个五百万</strong>，则不需要分库分表。</p></blockquote><p><strong>MySQL服务器如果配置更好，是不是可以超过这个500万这个量级，才考虑分库分表？</strong></p><blockquote><p>虽然配置更好，可能数据量大之后，性能还是不错，但是如果持续发展的话，还是要考虑分库分表</p></blockquote><p><strong>一般什么类型业务表需要才分库分表？</strong></p><blockquote><p>通用是一些<strong>流水表、用户表</strong>等才考虑分库分表，如果是一些<strong>配置类</strong>的表，则完全不用考虑，因为不太可能到达这个量级。</p></blockquote><h1>3 如何选择分表键</h1><p>分表键，即用来<strong>分库/分表</strong>的字段，换种说法就是，你以哪个维度来分库分表的。比如你<strong>按用户ID分表、按时间分表、按地区分表</strong>，这些<strong>用户ID、时间、地区</strong>就是分表键。</p><p>一般数据库表拆分的原则，需要先找到<strong>业务的主题</strong>。比如你的数据库表是一张企业客户信息表，就可以考虑用了<strong>客户号</strong>做为<code>分表键</code>。</p><p><strong>为什么考虑用客户号做分表键呢？</strong></p><blockquote><p>这是因为表是基于客户信息的，所以，需要将同一个客户信息的数据，落到一个表中，<strong>避免触发全表路由</strong>。</p></blockquote><h1>4 非分表键如何查询</h1><p>分库分表后，有时候无法避免一些业务场景，<strong>需要通过非分表键来查询</strong>。</p><p>假设一张用户表，根据<code>userId</code>做分表键，来分库分表。但是用户登录时，需要根据<strong>用户手机号</strong>来登陆。这时候，就需要通过手机号查询用户信息。而<strong>手机号是非分表键</strong>。</p><p>非分表键查询，一般有这几种方案：</p><ul><li>遍历：最粗暴的方法，就是遍历所有的表，找出符合条件的手机号记录（不建议）</li><li>将用户信息冗余同步到ES，同步发送到ES，然后通过ES来查询（推荐）</li></ul><p>其实还有<strong>基因法</strong>：比如非分表键可以解析出分表键出来，比如常见的，订单号生成时，可以包含客户号进去，通过订单号查询，就可以解析出客户号。但是这个场景除外，<strong>手机号似乎不适合冗余userId</strong>。</p><h1>5 分表策略</h1><h2><span>5.1 range范围</span></h2><p><code>range</code>，即范围策略划分表。比如我们可以将表的主键<code>order_id</code>，按照从<code>0~300万</code>的划分为一个表，<code>300万~600万</code>划分到另外一个表。如下图：</p><p>有时候我们也可以按时间范围来划分，如不同年月的订单放到不同的表，它也是一种<code>range</code>的划分策略。</p><ul><li>优点： range范围分表，有利于扩容。</li><li>缺点：可能会有热点问题。因为订单id是一直在增大的，也就是说最近一段时间都是汇聚在一张表里面的。比如最近一个月的订单都在300万~600万之间，平时用户一般都查最近一个月的订单比较多，请求都打到order_1表啦。</li></ul><h2><span>5.2 hash取模</span></h2><p><strong>hash取模策略：</strong></p><blockquote><p>指定的路由key（一般是<code>user_id、order_id、customer_no</code>作为key）对分表总数进行取模，把数据分散到各个表中。</p></blockquote><p>比如原始订单表信息，我们把它分成4张分表：</p><ul><li>比如id=1，对4取模，就会得到1，就把它放到t_order_1;</li><li>id=3，对4取模，就会得到3，就把它放到t_order_3;</li></ul><p>一般，我们会取<strong>哈希值，再做取余</strong>：</p><ul><li>优点：hash取模的方式，不会存在明显的热点问题。</li><li>缺点：如果未来某个时候，表数据量又到瓶颈了，需要扩容，就比较麻烦。所以一般建议提前规划好，一次性分够。（可以考虑一致性哈希）</li></ul><h2><span>5.3 一致性Hash</span></h2><p>如果<strong>用hash方式</strong>分表，前期规划不好，需要<strong>扩容二次分表，表的数量需要增加，所以hash值需要重新计算</strong>，这时候需要迁移数据了。</p><blockquote><p>比如我们开始分了<code>10</code>张表，之后业务扩展需要，增加到<code>20</code>张表。那问题就来了，之前根据<code>orderId</code>取模<code>10</code>后的数据分散在了各个表中，现在需要重新对所有数据重新取模<code>20</code>来分配数据</p></blockquote><p>为了解决这个<strong>扩容迁移</strong>问题，可以使用<strong>一致性hash思想</strong>来解决。</p><blockquote><p><strong>一致性哈希</strong>：在移除或者添加一个服务器时，能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系。一致性哈希解决了简单哈希算法在分布式哈希表存在的<strong>动态伸缩</strong>等问题</p></blockquote><h1>6 热点倾斜问题</h1><p>如果我们根据<strong>时间范围</strong>分片，某电商公司<code>11</code>月搞营销活动，那么大部分的数据都落在<code>11</code>月份的表里面了，其他分片表可能很少被查询，即<strong>数据倾斜</strong>了，有热点数据问题了。</p><p>我们可以使用<code>range范围+ hash哈希取模</code>结合的分表策略，简单的做法就是：</p><blockquote><p>在拆分库的时候，我们可以先用range范围方案，比如订单id在<code>0~4000万</code>的区间，划分为订单库1;id在<code>4000万~8000万</code>的数据，划分到<code>订单库2</code>,将来要扩容时，id在<code>8000万~1.2亿</code>的数据，划分到订单库3。然后订单库内，再用<code>hash取模</code>的策略，把不同订单划分到不同的表。</p></blockquote><h1>7 分布式事务问题</h1><p>分库分表后，假设两个表在不同的数据库，那么<strong>本地事务已经无效</strong>啦，需要使用<strong>分布式事务</strong>了。</p><p>常用的分布式事务解决方案有：</p><ul><li>两阶段提交</li><li>三阶段提交</li><li>TCC</li><li>本地消息表</li><li>最大努力通知</li><li>saga</li></ul><p><span>我是分布式事务框架Seata的Committer，大家有关于分布式事务的问题可以找我讨论</span></p><h1><span>8 跨节点Join</span></h1><p>在单库未拆分表之前，我们如果要使用<code>join</code>关联多张表操作的话，简直<code>so easy</code>啦。但是分库分表之后，两张表可能都不在同一个数据库中了，那么如何跨库<code>join</code>操作呢？</p><p>跨库Join的几种解决思路：</p><ul><li>字段冗余：把需要关联的字段放入主表中，避免关联操作；比如订单表保存了卖家ID（sellerId），你把卖家名字sellerName也保存到订单表，这就不用去关联卖家表了。这是一种空间换时间的思想。</li><li>全局表：比如系统中所有模块都可能会依赖到的一些基础表（即全局表），在每个数据库中均保存一份。</li><li>数据抽象同步：比如A库中的a表和B库中的b表有关联，可以定时将指定的表做同步，将数据汇合聚集，生成新的表。一般可以借助ETL工具。</li><li>应用层代码组装：分开多次查询，调用不同模块服务，获取到数据后，代码层进行字段计算拼装。</li></ul><h1>9 分页问题</h1><ul><li>方案1（全局视野法）：在各个数据库节点查到对应结果后，在代码端汇聚再分页。这样优点是业务无损，精准返回所需数据；缺点则是会返回过多数据，增大网络传输</li></ul><blockquote><p>比如分库分表前，你是根据<strong>创建时间排序</strong>，然后<strong>获取第2页数据</strong>。如果你是分了<strong>两个库</strong>，那你就可以每个库都根据时间排序，然后都返回<strong>2页</strong>数据，然后把两个数据库查询回来的数据<strong>汇总</strong>，再根据创建时间进行<strong>内存排序</strong>，最后再取第<strong>2</strong>页的数据。</p></blockquote><ul><li>方案2（业务折衷法-禁止跳页查询）：这种方案需要业务妥协一下，只有上一页和下一页，不允许跳页查询了。</li></ul><blockquote><p>这种方案，查询第一页时，是跟全局视野法一样的。但是下一页时，需要把当前最大的创建时间传过来，然后每个节点，都查询大于创建时间的一页数据，接着汇总，内存排序返回。</p></blockquote><h1>10 分布式ID</h1><p>数据库被切分后，不能再依赖数据库自身的主键生成机制啦，最简单可以考虑<code>UUID</code>，或者使用<strong>雪花算法</strong>生成<code>分布式ID</code>。</p><blockquote><p>雪花算法是一种生成分布式全局唯一ID的算法，生成的ID称为<code>Snowflake IDs</code>。这种算法由<code>Twitter</code>创建，并用于推文的ID。</p></blockquote><p>一个<code>Snowflake ID</code>有<code>64</code>位。</p><ul><li>第1位：Java中long的最高位是符号位代表正负，正数是0，负数是1，一般生成ID都为正数，所以默认为0。</li><li>接下来前41位是时间戳，表示了自选定的时期以来的毫秒数。</li><li>接下来的10位代表计算机ID，防止冲突。</li><li>其余12位代表每台机器上生成ID的序列号，这允许在同一毫秒内创建多个Snowflake ID。</li></ul><h1>11 分库中间件 </h1><p>目前流行的分库分表中间件比较多：</p><ul><li>Sharding-JDBC</li><li>cobar</li><li>Mycat</li><li>Atlas</li><li>TDDL（淘宝）</li><li>vitess</li></ul><p>我们项目当前就是使用<code>Sharding-JDBC</code>实现的分库分</p><h1>12 垂直、水平分库分表策略区别</h1><ul><li>水平分库：以字段为依据，按照一定策略（hash、range等），将一个库中的数据拆分到多个库中。</li><li>水平分表：以字段为依据，按照一定策略（hash、range等），将一个表中的数据拆分到多个表中。</li><li>垂直分库：以表为依据，按照业务归属不同，将不同的表拆分到不同的库中。</li><li>垂直分表：以字段为依据，按照字段的活跃性，将表中字段拆到不同的表（主表和扩展表）中。</li></ul><h1>13 不停服扩容</h1><p>不用停服。不停服的时候，应该怎么做呢，主要分五个步骤：</p><ol><li>编写代理层，加个开关（控制访问新的DAO还是老的DAO，或者是都访问），灰度期间，还是访问老的DAO。</li><li>发版全量后，开启双写，既在旧表新增和修改，也在新表新增和修改。日志或者临时表记下新表ID起始值，旧表中小于这个值的数据就是存量数据，这批数据就是要迁移的。</li><li>通过脚本把旧表的存量数据写入新表。</li><li>停读旧表改读新表，此时新表已经承载了所有读写业务，但是这时候不要立刻停写旧表，需要保持双写一段时间。</li><li>当读写新表一段时间之后，如果没有业务问题，就可以停写旧表啦</li></ol><a>#面经#</a><a>#技术#</a><a>#校招#</a>