数据库清理：如何制定有效的策略？(数据库清理策略)

随着时间的推移，数据库中的数据量不断地增长。这些数据包括已过时的记录、重复的信息、错误的数据等等。这使得数据库变得臃肿和低效，不仅会浪费空间和资源，而且也会影响数据查询和处理速度。因此，定期进行数据库清理是很有必要的。

创新互联是一家专业提供东安企业网站建设,专注与成都做网站、网站设计、外贸营销网站建设、H5网站设计、小程序制作等业务。10年已为东安众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

然而，制定一项有效的数据库清理策略并不是简单易行的。“有效的”策略应该在保证数据完整性和一致性的前提下，去除过时和无意义的数据，实现数据库的优化和更佳使用。在本文中，将讨论如何制定一项有效的数据库清理策略，以及应该考虑的因素。

之一步：了解业务需求

需要了解公司或组织的业务需求。在数据库清理策略中，必须明确哪些数据需要长期保存，以及哪些数据可以被清理。不同业务部门或项目可能有不同的需求。例如，销售部门需要长期保存客户信息和交易记录，而人力资源部门则需要推出员工档案和培训记录。因此，制定数据库清理策略之前，需要与业务相关方沟通并确认需求。

第二步：制定清理规则和时间表

在了解业务需求之后，需要制定规则和时间表。涉及到数据库清理的主要因素包括以下几个方面：

1. 数据库备份和还原：需要了解数据库备份周期和数据恢复的时间。数据库清理的规则必须兼容备份和恢复的过程，同时确保数据完整性。

2. 数据库大小限制：考虑数据库大小的限制。如果数据库已经接近存储上限，那么清理策略必须更加严格。

3. 保存时间：清理规则也应该指定数据的保存时间。例如，可以规定记录只保存6个月或一年。

4. 更改日期：清理策略应该跟踪每条记录的更改日期。基于更改的时间，可以判断哪些记录可以被清理。

5. 数据库区域：可以将数据库分为多个区域，并制定区域特定的清理规则。例如，可以针对客户信息和交易记录设置不同的清理策略。

第三步：识别需要清理的数据类型

清理规则应该包括需要清理哪些类型的数据。以下是可能需要清理的数据类型：

1. 过时信息：过时的信息对数据库没有好处。过时的信息可能会导致数据库变得占用空间，并且可能引起慢查询等问题。

2. 重复信息：重复的信息可能会导致数据错误。这可能影响处理速度和数据精度。

3. 错误的信息：错误的信息可能会影响数据精度和分析结果。在识别和清理错误信息时，需要详细了解业务需求和数据源。

第四步：指定清理策略

清理策略应该根据数据类型和业务需求指定。以下是几种可能的清理策略：

1. 删除过时信息：定期清理超过保存时间限制的信息。此外，还应该将不再需要的信息删除。

2. 合并重复信息：合并完全一致的重复信息，或者保留最新的信息。

3. 修正错误信息：修正出现在记录中的任何语法、格式或逻辑错误。

第五步：执行和监测

执行清理策略之前，需要先备份数据库。在执行期间，需要监测数据的完整性，并确保不会发生任何损失。完成清理后，需要验证数据库的完整性和数据的一致性。如果数据处理或查询方面发生任何问题，应该立即处理和修复。

结论：

为了制定一个有效的数据库清理策略，需要了解业务需求、确立清理规则和制定时间表、识别需要清理的数据类型以及指定相应的清理策略。在执行清理策略之前，请务必备份数据库，并在处理期间对数据进行监控和验证。只有确保数据完整性和一致性，才能实现更佳数据库使用体验。

成都网站建设公司-创新互联为您提供网站建设、网站制作、网页设计及定制高端网站建设服务！

谁知道数据库优化设计方案有哪些？

●数据库性能的优化

一个数据库系统的生命周期可以分成：设计、开发和成品三个阶段。在设计阶段进行数据库性能优化的成本更低，收益更大。在成品阶段进行数据库性能优化的成本更高，收益最小。

数据库的优化通常可以通型没过对网络、硬件、操作系统、数据库参数和应用程序的优化来进行。最常见的优化手段就是对硬件的岁友升级。根据统计，对网络、硬件、操作系统、数据库参数进行优化所获得的性能提升，全部加起来只占数据库系统性能提升的40%左右，其余的60%系统性能乎租槐提升来自对应用程序的优化。许多优化专家认为，对应用程序的优化可以得到80%的系统性能的提升。

●应用程序的优化

应用程序的优化通常可分为两个方面：源代码和SQL语句。由于涉及到对程序逻辑的改变，源代码的优化在时间成本和风险上代价很高，而对数据库系统性能的提升收效有限。

本文首先讨论了基于第三范式的数据库表的基本设计，着重论述了建立主键和索引的策略和方案，然后从数据库表的扩展设计和库表对象的放置等角度概述了数据库管理系统的优化方案。

关键词： 优化（Optimizing） 第三范式（3NF） 冗余数据（Redundant Data） 索引（Index） 数据分割（Data Partitioning） 对象放置（Object Placement）

1 引言

数据库优化的目标无非是避免磁盘I/O瓶颈、减少CPU利用率和减少资源竞争。为了便于读者阅读和理解，笔者参阅了Sybase、Informix和Oracle等大型数据库系统参考资料，基于多年的工程实践经验，从基本表设计、扩展设计和数据库表对象放置等角度进行讨论，着重讨论了如何避免磁盘I/O瓶颈和减少资源竞争，相信读者会一目了然。

2 基于第三范式的基本表设计

在基于表驱动的信息管理系统（MIS）中，基本表的设计规范是第三范式（3NF）。第三范式的基本特征是非主键属性只依赖于主键属性。基于第三范式的数据库表设计具有很多优点：一是消除了冗余数据，节省了磁盘存储空间；二是有良好的数据完整性限制，即基于主外键的参照完整限制和基于主键的实体完整性限制，这使得数据容易维护，也容易移植和更新；三是数据的可逆性好，在做连接（Join）查询或者合并表时不遗漏、也不重复；四是因消除了冗余数据（冗余列），在查询（Select）时每个数据页存的数据行就多，这样就有效地减少了逻辑I/O，每个Cash存的页面就多，也减少物理I/O；五是对大多数事务(Transaction)而言，运行性能好；六是物理设计(Physical Design)的机动性较大，能满足日益增长的用户需求。

在基本表设计中，表的主键、外键、索引设计占有非常重要的地位，但系统设计人员往往只注重于满足用户要求，而没有从系统优化的高度来认识和重视它们。实际上，它们与系统的运行性能密切相关。现在从系统数据库优化角度讨论这些基本概念及其重早迹纯要意义：

（1）主键(Primary Key)：主键被用于复杂的SQL语句时，频繁地在数据访问中被用到。一个表只有一个主键。主键应该有固定值（不能为Null或缺省值，要有相对稳定性），不含代码信息，易访问。把常用（众所周知）的列作为主键才有意义。短主键更佳（小于25bytes），主键的长短影响索引的大小，索引的大小影响索引页的大小，从而影响磁盘I/O。主键分为自然主键和人为主键。自然主键由实体的属性构成，自然主键可以是复合性的，在形成复合主键时，主键列不能太多，复合主键使得Join*作复杂化、也增加了外键表的大小。人为主键是，在没有合适的自然属性键、或自然属性复杂或灵敏度高时，人为形成的。人为主键一般是整型值（满足最小化要求），没有实际意义，也略微增加了表的大小；但减少了把它作为外键的表的大小。

（2）外键（Foreign Key）：外键的作用是建立关系型数据库中表之间的关系（参照完整性），主键只能从独立的实体迁移到非独立的实体，成为后者的一个属性，被称为外键。

（3）索引(Index)：利用索引优化系统性能是显而易见的，对所有常用于查询中的Where子句的列和所有用于排序的列创建索引，可以避免整表扫描或访问，在不改变表的物理结构的情况下，直接访问特定的数据列，这样减少数据存取时间；利用索引可以优化或排除耗时的分类*作；把数据分散到不同的页面上，就分散了插入的数据；主键自动建立了唯一索引，因此唯一索引也能确保数据的唯一性（即实体完整性）；索引码越小，定位就越直接；新建的索引效能更好，因此定期更新索引非常必要。索引也有代价：有空间开销，建立它也要花费时间，在进行Insert、Delete和Update*作时，也有维护代价。索引有两种：聚陆咐族索引和非聚族索引。一个表只能有一个聚族索引，可有多个非聚族索引。使用聚族索引查询数据要比使用非聚族索引快。在建索引前，应利用数据库系统函数估算索引的大小。

① 聚族索引（Clustered Index）：聚族索引的数据页按物理有序储存，占用空间小。选择策略是，被用于Where子句的列：包括范围查询、模糊查询或高度重复的列（连续磁盘扫描）；被用于连接Join*作的列；被用于Order by和Group by子句的列。聚族索引不利于插入*作，另外没有必要用主键建聚族索州洞引。

② 非聚族索引（Nonclustered Index）：与聚族索引相比，占用空间大，而且效率低。选择策略是，被用于Where子句的列：包括范围查询、模糊查询（在没有聚族索引时）、主键或外键列、点（指针类）或小范围（返回的结果域小于整表数据的20%）查询；被用于连接Join*作的列、主键列（范围查询）；被用于Order by和Group by子句的列；需要被覆盖的列。对只读表建多个非聚族索引有利。索引也有其弊端，一是创建索引要耗费时间，二是索引要占有大量磁盘空间，三是增加了维护代价（在修改带索引的数据列时索引会减缓修改速度）。那么，在哪种情况下不建索引呢？对于小表（数据小于5页）、小到中表（不直接访问单行数据或结果集不用排序）、单值域（返回值密集）、索引列值太长（大于20bitys）、容易变化的列、高度重复的列、Null值列，对没有被用于Where子语句和Join查询的列都不能建索引。另外，对主要用于数据录入的，尽可能少建索引。当然，也要防止建立无效索引，当Where语句中多于5个条件时，维护索引的开销大于索引的效益，这时，建立临时表存储有关数据更有效。

批量导入数据时的注意事项：在实际应用中，大批量的计算（如电信话单计费）用C语言程序做，这种基于主外键关系数据计算而得的批量数据（文本文件），可利用系统的自身功能函数（如Sybase的BCP命令）快速批量导入，在导入数据库表时，可先删除相应库表的索引，这有利于加快导入速度，减少导入时间。在导入后再重建索引以便优化查询。

（4）锁：锁是并行处理的重要机制，能保持数据并发的一致性，即按事务进行处理；系统利用锁，保证数据完整性。因此，我们避免不了死锁，但在设计时可以充分考虑如何避免长事务，减少排它锁时间，减少在事务中与用户的交互，杜绝让用户控制事务的长短；要避免批量数据同时执行，尤其是耗时并用到相同的数据表。锁的征用：一个表同时只能有一个排它锁，一个用户用时，其它用户在等待。若用户数增加，则Server的性能下降，出现“假死”现象。如何避免死锁呢？从页级锁到行级锁，减少了锁征用；给小表增加无效记录，从页级锁到行级锁没有影响，若在同一页内竞争有影响，可选择合适的聚族索引把数据分配到不同的页面；创建冗余表；保持事务简短；同一批处理应该没有网络交互。

（5）查询优化规则：在访问数据库表的数据(Access Data)时，要尽可能避免排序（Sort）、连接(Join)和相关子查询*作。经验告诉我们，在优化查询时，必须做到：

① 尽可能少的行；

② 避免排序或为尽可能少的行排序，若要做大量数据排序，更好将相关数据放在临时表中*作；用简单的键（列）排序，如整型或短字符串排序；

③ 避免表内的相关子查询；

④ 避免在Where子句中使用复杂的表达式或非起始的子字符串、用长字符串连接；

⑤ 在Where子句中多使用“与”（And）连接，少使用“或”(Or)连接；

⑥ 利用临时数据库。在查询多表、有多个连接、查询复杂、数据要过滤时，可以建临时表（索引）以减少I/O。但缺点是增加了空间开销。

除非每个列都有索引支持，否则在有连接的查询时分别找出两个动态索引，放在工作表中重新排序。

3 基本表扩展设计

基于第三范式设计的库表虽然有其优越性（见本文之一部分），然而在实际应用中有时不利于系统运行性能的优化：如需要部分数据时而要扫描整表，许多过程同时竞争同一数据，反复用相同行计算相同的结果，过程从多表获取数据时引发大量的连接*作，当数据来源于多表时的连接*作；这都消耗了磁盘I/O和CPU时间。

尤其在遇到下列情形时，我们要对基本表进行扩展设计：许多过程要频繁访问一个表、子集数据访问、重复计算和冗余数据，有时用户要求一些过程优先或低的响应时间。

如何避免这些不利因素呢？根据访问的频繁程度对相关表进行分割处理、存储冗余数据、存储衍生列、合并相关表处理，这些都是克服这些不利因素和优化系统运行的有效途径。

3.1 分割表或储存冗余数据

分割表分为水平分割表和垂直分割表两种。分割表增加了维护数据完整性的代价。

水平分割表：一种是当多个过程频繁访问数据表的不同行时，水平分割表，并消除新表中的冗余数据列；若个别过程要访问整个数据，则要用连接*作，这也无妨分割表；典型案例是电信话单按月分割存放。另一种是当主要过程要重复访问部分行时，更好将被重复访问的这些行单独形成子集表（冗余储存），这在不考虑磁盘空间开销时显得十分重要；但在分割表以后，增加了维护难度，要用触发器立即更新、或存储过程或应用代码批量更新，这也会增加额外的磁盘I/O开销。

垂直分割表（不破坏第三范式），一种是当多个过程频繁访问表的不同列时，可将表垂直分成几个表，减少磁盘I/O（每行的数据列少，每页存的数据行就多，相应占用的页就少），更新时不必考虑锁，没有冗余数据。缺点是要在插入或删除数据时要考虑数据的完整性，用存储过程维护。另一种是当主要过程反复访问部分列时，更好将这部分被频繁访问的列数据单独存为一个子集表（冗余储存），这在不考虑磁盘空间开销时显得十分重要；但这增加了重叠列的维护难度，要用触发器立即更新、或存储过程或应用代码批量更新，这也会增加额外的磁盘I/O开销。垂直分割表可以达到更大化利用Cache的目的。

总之，为主要过程分割表的方法适用于：各个过程需要表的不联结的子集，各个过程需要表的子集，访问频率高的主要过程不需要整表。在主要的、频繁访问的主表需要表的子集而其它主要频繁访问的过程需要整表时则产生冗余子集表。

注意，在分割表以后，要考虑重新建立索引。

3.2 存储衍生数据

对一些要做大量重复性计算的过程而言，若重复计算过程得到的结果相同（源列数据稳定，因此计算结果也不变），或计算牵扯多行数据需额外的磁盘I/O开销，或计算复杂需要大量的CPU时间，就考虑存储计算结果（冗余储存）。现予以分类说明：

若在一行内重复计算，就在表内增加列存储结果。但若参与计算的列被更新时，必须要用触发器更新这个新列。

若对表按类进行重复计算，就增加新表（一般而言，存放类和结果两列就可以了）存储相关结果。但若参与计算的列被更新时，就必须要用触发器立即更新、或存储过程或应用代码批量更新这个新表。

若对多行进行重复性计算（如排名次），就在表内增加列存储结果。但若参与计算的列被更新时，必须要用触发器或存储过程更新这个新列。

总之，存储冗余数据有利于加快访问速度；但违反了第三范式，这会增加维护数据完整性的代价，必须用触发器立即更新、或存储过程或应用代码批量更新，以维护数据的完整性。

3.3 消除昂贵结合

对于频繁同时访问多表的一些主要过程，考虑在主表内存储冗余数据，即存储冗余列或衍生列（它不依赖于主键），但破坏了第三范式，也增加了维护难度。在源表的相关列发生变化时，必须要用触发器或存储过程更新这个冗余列。当主要过程总同时访问两个表时可以合并表，这样可以减少磁盘I/O*作，但破坏了第三范式，也增加了维护难度。对父子表和1：1关系表合并方法不同：合并父子表后，产生冗余表；合并1：1关系表后，在表内产生冗余数据。

4 数据库对象的放置策略

数据库对象的放置策略是均匀地把数据分布在系统的磁盘中，平衡I/O访问，避免I/O瓶颈。

⑴ 访问分散到不同的磁盘，即使用户数据尽可能跨越多个设备，多个I/O运转，避免I/O竞争，克服访问瓶颈；分别放置随机访问和连续访问数据。

⑵ 分离系统数据库I/O和应用数据库I/O。把系统审计表和临时库表放在不忙的磁盘上。

⑶ 把事务日志放在单独的磁盘上，减少磁盘I/O开销，这还有利于在障碍后恢复，提高了系统的安全性。

⑷ 把频繁访问的“活性”表放在不同的磁盘上；把频繁用的表、频繁做Join*作的表分别放在单独的磁盘上，甚至把把频繁访问的表的字段放在不同的磁盘上，把访问分散到不同的磁盘上，避免I/O争夺；

⑸ 利用段分离频繁访问的表及其索引（非聚族的）、分离文本和图像数据。段的目的是平衡I/O，避免瓶颈，增加吞吐量，实现并行扫描，提高并发度，更大化磁盘的吞吐量。利用逻辑段功能，分别放置“活性”表及其非聚族索引以平衡I/O。当然更好利用系统的默认段。另外，利用段可以使备份和恢复数据更加灵活，使系统授权更加灵活。

利用合理建表、索引、存储过程。

系统优化，加内存

我陪你等，关注ing

四步教你如何完善企业数据库安全政策

随着日益复杂的攻击和不断上升的内部数据盗窃，数据库安全成为企业信息安全团队重点关注的焦点，超越了传统的认证、授权和访问控制。一个私人数据入侵，如信用卡号或财务数据，可以给机构造成巨大的损失，更不用说诉讼和违规罚款等可能会带来的持久影响。Forrester研究公司建议机构重新制定它们的数据库安全策略，在新安全特性的应用和功能上寻找差距，这有助于帮助数据库应对新的威胁。

　　1、建立一个集身份验证、授权、访问控制、发现、分类，以及补丁管理于一体的坚实基础

　　了解哪些数据库包含敏感数据是数据库安全战略的基本要求。企业应对所有的数据库采取一个全面的库存管理，包括生产和非生产的，并且遵循相同的安全政策给它们划分类别。所有的数据库，尤其是那些存有私人数据的数据库，应该有强的认证、授权和访问控制，即使应用层已经完成了认证和授权。缺乏这些坚实基础会削弱审计、监察和加密等其他的安全措施。

　　此外，如果不能每季度给所有的关键数据库打补丁，那么至少半年一次租轮，以消除已知的漏洞。使用滚动补丁或从数据库管理系统(DBMS)的供应商和其他厂商那里收集信息，以尽量减少应用补丁的停机时间。始终在测试环境下测试安全补丁，定期运行测试脚本，以确保修补程序不影响应用程序的功能或性能。

　　2、使用具有数据屏蔽、加密和变更管理等功能的预防措施

　　在建立了一个坚实和基本的数据库安全策略后，就应该开始采取预防措施，以保护重要的数据库。这样就为生产和非生产数据库提供了一个保护层。数据隐私不随着生产系统而停止，它也需要扩展到非生产环境，包括测试、开发、质量保证(QA)、分阶段和训练，基本上所有的私有数据都可以驻留。数据库安全专业人士应该评估在测试环境中或外亏咐包应用开发中用数据屏蔽和测试数据生成来保护私有数据的效果。

　　使用网络加密以防止数据暴露给在监听网络流量或数据静止加密的窥视者(他们关注存储在数据库中的数据)。当数据针对不同的威胁，这些加密方法可以实现相互独立。通常情况下，也不会对应用程序的功能有影响。

　　保护关键数据库的结构要按照标准化的变更管理程序来进行。在弊空信过去，对生产环境中的计划或其它数据库进行变更时需要关闭数据库，但新版本的数据库管理系统允许在联机时进行这些更改，这就带来了新的安全风险。一个标准化的变更管理程序能确保只有管理员在得到管理部门批准后才能改变生产数据库并且跟踪所有数据库的变更。机构还应该更新自己的备份和可行性计划，以处理数据或元数据因这些变更而发生的改变。

　　3、建立具有审计、监测和漏洞评估功能的数据库入侵检测系统

　　当重要数据发生意外变化或者检测到可疑数据时，有必要进行一个快速的调查来查看发生了什么事情。数据库里的数据和元数据可以被访问、更改甚至是删除，而且这些都可以在几秒钟的时间内完成。通过数据库审计，我们能够发现是谁改变了数据和这些数据是什么时候被改变的等问题。为了支持之前提到的管理条例标准，安全和风险管理的专业人士应该追踪私人数据的所有访问途径和变化情况，这些私人数据包括：信用卡卡号、社会安全卡卡号以及重要的数据库的名称和地址等信息。如果私人数据在没有授权的情况下被更改或者被访问，机构应该追究负责人的责任。最后，可以使用漏洞评估报告来确定数据库的安全空白地带，诸如弱效密码、过多的优先访问权、增加数据库管理员以及安全群组监测。

　　4、牢记安全政策、安全标准、角色分离和可用性

　　数据库安全策略不仅关注审计和监测，它也是一个端到端的过程，致力于减少风险、达到管理条例的要求以及防御来自内部和外部的各种攻击。数据库安全需要把注意力更多地放在填补安全空白、与其他安全政策协作以及使安全方式正式化上。在草拟你的安全策略时，要使你的数据库安全政策与信息安全政策一致;要注意行业安全标准;要强调角色分离;要清楚描述出数据恢复和数据使用的步骤。

关于数据库清理策略的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。

香港服务器选创新互联，香港虚拟主机被称为香港虚拟空间/香港网站空间，或者简称香港主机/香港空间。香港虚拟主机特点是免备案空间开通就用， 创新互联香港主机精选cn2+bgp线路访问快、稳定！

本文标题：数据库清理：如何制定有效的策略？(数据库清理策略)
网站地址：http://www.shufengxianlan.com/qtweb/news36/156136.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联