Optimizer_mode参数

MySQL 8.0 的宽松模式参数主要是用于调整SQL 语句的严格性和安全性。

在宽松模式下，MySQL 会尝试执行更多的SQL 语句，即使它们可能不符合最佳实践或安全标准。

下面是一些在MySQL 8.0 中与宽松模式相关的参数：
1.sql_mode：这是一个全局变量，用于设置SQL 模式。

在宽松模式下，通常会
设置sql_mode为ONLY_FULL_GROUP_BY和STRICT_TRANS_TABLES的组合。

这意味着，在执行涉及GROUP BY 子句的查询时，MySQL 会强制对SELECT 子句中的列进行聚合。

同时，对于严格模式的表（例如，存储引擎为InnoDB 的表），MySQL 会对违反某些规则的查询进行错误处理。

2.optimizer_search_depth：这是一个优化器参数，用于控制优化器在选择最佳执
行计划时搜索的深度。

在宽松模式下，通常会将该参数设置为较小的值，以便更快地找到可能的执行计划。

3.max_execution_time：这是一个全局变量，用于限制查询的最大执行时间。

在宽
松模式下，通常会将该参数设置为较大的值，以允许查询更长时间地执行。

请注意，在修改这些参数之前，应该仔细考虑它们对数据库性能和安全性的影响。

在生产环境中，建议根据实际需求和性能测试结果来调整这些参数。

GaussDB Oracle兼容参数1. 背景介绍GaussDB是华为公司自主研发的一款高性能、高可靠、高安全的分布式数据库管理系统。

它具备与Oracle数据库相似的语法和功能，可以无缝迁移Oracle数据库应用到GaussDB上。

为了进一步提升用户体验，GaussDB提供了一系列的Oracle兼容参数，以满足用户对于Oracle数据库特性和行为的期望。

本文将详细介绍GaussDB中与Oracle兼容性相关的参数，并对其进行全面解析和说明。

2. GaussDB Oracle兼容参数列表以下是GaussDB中与Oracle兼容性相关的参数列表：1.oracle_compatible2.cursor_sharing3.optimizer_dynamic_sampling4.optimizer_features_enable5.optimizer_index_cost_adj6.optimizer_mode7.plsql_warnings接下来，我们将逐个介绍这些参数，并给出其详细说明和使用方法。

2.1 oracle_compatibleoracle_compatible参数用于控制GaussDB是否启用Oracle兼容模式。

该参数可以设置为以下几个取值：•off：表示不启用Oracle兼容模式，此时GaussDB将按照自身默认行为执行。

•on：表示启用Oracle兼容模式，此时GaussDB将尽可能模拟Oracle数据库的行为。

2.2 cursor_sharingcursor_sharing参数用于控制GaussDB中的SQL语句共享策略。

该参数可以设置为以下几个取值：•exact：表示完全共享，即相同的SQL语句将共享相同的执行计划。

•similar：表示相似共享，即相似的SQL语句将共享相同的执行计划。

•force：表示强制共享，即所有SQL语句都将共享相同的执行计划。

2.3 optimizer_dynamic_samplingoptimizer_dynamic_sampling参数用于控制GaussDB中动态采样的使用情况。

optimizer参数Optimizer（优化器）是深度学习中训练模型时的一个重要组件。

下面是一些常见的参数：1. learning_rate（学习率）：学习率决定了模型权重更新的步长。

一般来说，学习率越小，模型训练越慢，但可能达到更好的准确性，而学习率越大，模型训练越快，但可能达到的最佳准确性较低。

2. momentum（动量）：动量用于增加模型在训练过程中的稳定性。

它对应一个参数，通常取值在0到1之间。

较高的值会推动模型的学习速度，但可能会导致适应性不足。

3. decay（衰减）：衰减是一种减少学习率的方式，以避免太多的权重调整使得模型无法收敛。

decay通常是用来保证权重的调整幅度不会太大，是一种避免过拟合现象的方法。

4. nesterov（Nesterov 动量）：Nesterov 动量是 momentum 的一种变体，它在更新权重之前先预测一下下一步的位置，并基于这个位置进行修改。

这个过程可以加速学习的速度。

5. clipnorm（梯度剪裁）：梯度剪裁是一种防止梯度爆炸的方法。

它对梯度的幅度进行控制，确保它不会过大而导致优化器出现偏差。

6. clipvalue（值剪裁）：与梯度剪裁类似，值剪裁是一种通过限制权重的范围来防止过度调整的方式。

它通常用于控制权重的范围，以确保模型的泛化能力。

7. rho（RMSprop 中的衰减系数）：RMSprop 算法引入了衰减系数，可以使得学习率同样方差的梯度进行加权平均。

通常来说，较高的值可以增加模型的稳定性。

8. epsilon：epsilon 是一个非常小的数值，用于避免分母为零的情况。

通常来说，epsilon 取值在1e-7到1e-10之间。

优化器模式optimizer_modeoracle的optimizer_mode参数说明：Syntax OPTIMIZER_MODE ={ first_rows_[1 | 10 | 100 | 1000] | first_rows | all_rows }Default value all_rows在oracle中，sql语句优化分成RBO（Rule-Based Optimization）基于规则的优化和CBO（Cost-Based Optimization）基于代价的优化。

在较早的oracle的版本中，oracle是采取基于规则的优化，根据oracle指定的规则优先顺序，对于指定的表进⾏执⾏计划的选择。

⽐如在规则中，索引的优先级⼤于全表扫描，那在查询某张拥有所有的表的时候，那就⼀定是使⽤索引。

在后来，oracle发现这样的做法并不科学，规则是死的，数据是活的，并不是说在所有的情况下使⽤规则都是可⾏的。

于是oracle开始推出了基于代价的优化，收集对象的统计信息并分析得出最优的执⾏计划。

从oracle9i开始，oracle就强烈建议使⽤CBO，这点从oracle10g和oracle11g的⽂档中关于优化参数optimizer_mode完全不提与RBO有关的⼏个选项就可以看出。

（有⼈说CBO考虑的代价主要是cpu和内存，这点不太赞同，在sql执⾏中，我们最需要考虑的⼀定是和io有关的部分，所以考虑的⽅向应该是逻辑读。

在下⾯的⼀个测试例⼦中可以看出RBO和CBO的⼀些区别）optimizer_mode决定了oracle使⽤RBO还是CBO，可选值如下：Choose:这是RBO和CBO“中间”的⼀种模式，具体是这样：1.当所包含的所有对象有统计信息时，那就是⽤CBO的优化⽅式。

2.当所包含的部分对象有统计信息时，也使⽤CBO的⽅式，并且对剩下的对象的统计信息进⾏“猜测”。

3.如果包含所有对象都没有统计信息时，使⽤RBO的⽅式。

dm数据库初始化参数引言概述：在数据库管理系统中，初始化参数是一组用于配置和优化数据库性能的设置。

DM数据库是一种常用的关系型数据库管理系统，其初始化参数的正确配置对于数据库的性能和稳定性至关重要。

本文将详细阐述DM数据库的初始化参数，包括其作用、配置方法和常见参数设置。

正文内容：1. 作用和重要性1.1 初始化参数的作用初始化参数是数据库在启动时加载的设置，它们决定了数据库的行为和性能。

通过正确配置初始化参数，可以优化数据库的性能、提高系统的稳定性和安全性。

1.2 初始化参数的重要性初始化参数的配置直接影响数据库的运行效果。

合理的参数设置可以提高数据库的并发处理能力、优化查询性能、减少资源消耗和提高系统的可用性。

2. DM数据库初始化参数的配置方法2.1 配置文件方式DM数据库的初始化参数可以通过修改数据库的配置文件来实现。

配置文件通常是一个文本文件，其中包含了各个参数的名称和对应的值。

通过修改配置文件中的参数值，可以对数据库的行为进行调整。

2.2 命令行方式DM数据库还提供了一些命令行工具，可以直接在命令行中修改和查看初始化参数的配置。

这种方式适用于临时调整参数值或者查看当前参数配置的情况。

3. DM数据库常见初始化参数设置3.1 内存相关参数3.1.1 SGA_TARGETSGA_TARGET参数用于配置数据库的共享内存区域的大小，包括缓冲区高速缓存和共享池。

适当增大该参数的值可以提高数据库的性能。

3.1.2 PGA_AGGREGATE_TARGETPGA_AGGREGATE_TARGET参数用于配置数据库的私有内存区域的大小，包括排序区和哈希区。

适当调整该参数可以提高排序和哈希操作的性能。

3.2 并发相关参数3.2.1 PROCESSESPROCESSES参数用于配置数据库可以同时运行的进程数。

适当增大该参数的值可以提高数据库的并发处理能力。

3.2.2 SESSIONSSESSIONS参数用于配置数据库可以同时支持的会话数。

pytorch优化器（optim）不同参数组,不同学习率设置的操作optim 的基本使⽤for do:1. 计算loss2. 清空梯度3. 反传梯度4. 更新参数optim的完整流程cifiron = nn.MSELoss()optimiter = torch.optim.SGD(net.parameters(),lr=0.01,momentum=0.9)for i in range(iters):out = net(inputs)loss = cifiron(out,label)optimiter.zero_grad() # 清空之前保留的梯度信息loss.backward() # 将mini_batch 的loss 信息反传回去optimiter.step() # 根据 optim参数和梯度更新参数 w.data -= w.grad*lr⽹络参数默认使⽤统⼀的优化器参数如下设置⽹络全局参数使⽤统⼀的优化器参数optimiter = torch.optim.Adam(net.parameters(),lr=0.01,momentum=0.9)如下设置将optimizer的可更新参数分为不同的三组，每组使⽤不同的策略optimizer = torch.optim.SGD([{'params': other_params},{'params': first_params, 'lr': 0.01*args.learning_rate},{'params': second_params, 'weight_decay': args.weight_decay}],lr=args.learning_rate,momentum=args.momentum,)我们追溯⼀下构造Optim的过程为了更好的看整个过程，去掉了很多条件判断语句，如 >0 <0# ⾸先是⼦类Adam 的构造函数class Adam(Optimizer):def __init__(self, params, lr=1e-3, betas=(0.9, 0.999), eps=1e-8,weight_decay=0, amsgrad=False):defaults = dict(lr=lr, betas=betas, eps=eps,weight_decay=weight_decay, amsgrad=amsgrad)'''构造了参数params，可以有两种传⼊格式,分别对应1. 全局参数 net.parameters()2. 不同参数组 [{'params': other_params},{'params': first_params, 'lr': 0.1*lr}]和 <全局> 的默认参数字典defaults'''# 然后调⽤⽗类Optimizer 的构造函数super(Adam, self).__init__(params, defaults)# 看⼀下 Optim类的构造函数只有两个输⼊ params 和 defaultsclass Optimizer(object):def __init__(self, params, defaults):torch._C._log_api_usage_once("python.optimizer")self.defaults = defaultsself.state = defaultdict(dict)self.param_groups = [] # ⾃⾝构造的参数组，每个组使⽤⼀套参数param_groups = list(params)if len(param_groups) == 0:raise ValueError("optimizer got an empty parameter list")# 如果传⼊的net.parameters()，将其转换为字典if not isinstance(param_groups[0], dict):param_groups = [{'params': param_groups}]for param_group in param_groups:#add_param_group 这个函数,主要是处理⼀下每个参数组其它属性参数(lr,eps)self.add_param_group(param_group)def add_param_group(self, param_group):# 如果当前参数组中不存在默认参数的设置，则使⽤全局参数属性进⾏覆盖'''[{'params': other_params},{'params': first_params, 'lr': 0.1*lr}]如第⼀个参数组只提供了参数列表，没有其它的参数属性，则使⽤全局属性覆盖，第⼆个参数组则设置了⾃⾝的lr为全局 (0.1*lr)'''for name, default in self.defaults.items():if default is required and name not in param_group:raise ValueError("parameter group didn't specify a value of required optimization parameter " +name)else:param_group.setdefault(name, default)# 判断是否有⼀个参数出现在不同的参数组中，否则会报错param_set = set()for group in self.param_groups:param_set.update(set(group['params']))if not param_set.isdisjoint(set(param_group['params'])):raise ValueError("some parameters appear in more than one parameter group")# 然后更新⾃⾝的参数组中self.param_groups.append(param_group)⽹络更新的过程(Step)具体实现1、我们拿SGD举例，⾸先看⼀下，optim.step 更新函数的具体操作2、可见，for group in self.param_groups，optim中存在⼀个param_groups的东西，其实它就是我们传进去的param_list，⽐如我们上⾯传进去⼀个长度为3的param_list,那么 len(optimizer.param_groups)==3 , ⽽每⼀个 group ⼜是⼀个dict, 其中包含了每组参数所需的必要参数optimizer.param_groups:长度2的list，optimizer.param_groups[0]：长度6的字典3、然后取回每组所需更新的参数for p in group['params'] ,根据设置计算其正则化及动量累积，然后更新参数 w.data -= w.grad*lrdef step(self, closure=None):loss = Noneif closure is not None:loss = closure()for group in self.param_groups:# 本组参数更新所必需的参数设置weight_decay = group['weight_decay']momentum = group['momentum']dampening = group['dampening']nesterov = group['nesterov']for p in group['params']: # 本组所有需要更新的参数 paramsif p.grad is None: # 如果没有梯度则直接下⼀步continued_p = p.grad.data# 正则化及动量累积操作if weight_decay != 0:d_p.add_(weight_decay, p.data)if momentum != 0:param_state = self.state[p]if 'momentum_buffer' not in param_state:buf = param_state['momentum_buffer'] = torch.clone(d_p).detach()else:buf = param_state['momentum_buffer']buf.mul_(momentum).add_(1 - dampening, d_p)if nesterov:d_p = d_p.add(momentum, buf)else:d_p = buf# 当前组学习参数更新 w.data -= w.grad*lrp.data.add_(-group['lr'], d_p)return loss如何获取指定参数1、可以使⽤d_parameters() 取回所有参数，然后设定⾃⼰的筛选规则，将参数分组2、取回分组参数的id map(id, weight_params_list)3、取回剩余分特殊处置参数的id other_params = list(filter(lambda p: id(p) not in params_id, all_params))all_params = model.parameters()weight_params = []quant_params = []# 根据⾃⼰的筛选规则将所有⽹络参数进⾏分组for pname, p in d_parameters():if any([pname.endswith(k) for k in ['cw', 'dw', 'cx', 'dx', 'lamb']]):quant_params += [p]elif ('conv' or 'fc' in pname and 'weight' in pname):weight_params += [p]# 取回分组参数的idparams_id = list(map(id, weight_params)) + list(map(id, quant_params))# 取回剩余分特殊处置参数的idother_params = list(filter(lambda p: id(p) not in params_id, all_params))# 构建不同学习参数的优化器optimizer = torch.optim.SGD([{'params': other_params},{'params': quant_params, 'lr': 0.1*args.learning_rate},{'params': weight_params, 'weight_decay': args.weight_decay}],lr=args.learning_rate,momentum=args.momentum,)获取指定层的参数id# # 以层为单位，为不同层指定不同的学习率# ## 提取指定层对象special_layers = t.nn.ModuleList([net.classifiter[0], net.classifiter[3]])# ## 获取指定层参数idspecial_layers_params = list(map(id, special_layers.parameters()))print(special_layers_params)# ## 获取⾮指定层的参数idbase_params = filter(lambda p: id(p) not in special_layers_params, net.parameters())optimizer = t.optim.SGD([{'params': base_params},{'params': special_layers.parameters(), 'lr': 0.01}], lr=0.001)补充：【pytorch】筛选冻结部分⽹络层参数同时设置有参数组的时候该怎么办？在进⾏神经⽹络训练的时候，常常需要冻结部分⽹络层的参数，不想让他们回传梯度。

Oracle的SQL语句执行效率问题查找与解决方法一、识别占用资源较多的语句的方法（4种方法）1.测试组和最终用户反馈的与反应缓慢有关的问题。

2.利用V_$SQLAREA视图提供了执行的细节。

（执行、读取磁盘和读取缓冲区的次数）•数据列EXECUTIONS：执行次数DISK_READS：读盘次数COMMAND_TYPE：命令类型（3:select,2:insert;6:update;7delete;47:pl/sql程序单元）OPTIMIZER_MODE：优化方式SQL_TEXT：Sql语句SHARABLE_MEM：占用shared pool的内存多少BUFFER_GETS：读取缓冲区的次数•用途1、帮忙找出性能较差的SQL语句2、帮忙找出最高频率的SQL3、帮忙分析是否需要索引或改善联接3.监控当前Oracle的session，如出现时钟的标志，表示此进程中的sql运行时间较长。

4.Trace工具：a)查看数据库服务的初始参数：timed_statistics、user_dump_dest和max_dump_file_sizeb)Step 1: alter session set sql_trace=truec)Step 2: run sql；d)Step 3: alter session set sql_trace=falsee)Step 4:使用“TKPROF”转换跟踪文件f)Parse，解析数量大通常表明需要增加数据库服务器的共享池大小，query或current提取数量大表明如果没有索引，语句可能会运行得更有效，disk提取数量表明索引有可能改进性能，library cache中多于一次的错过表明需要一个更大的共享池大小二、如何管理语句处理和选项•基于成本（Cost Based）和基于规则（Rule Based）两种优化器，简称为CBO 和RBO •Optimizer Mode参数值:Choose：如果存在访问过的任何表的统计数据，则使用基于成本的Optimizer,目标是获得最优的通过量。

oracle,执行计划的时候走索引,但是实际不走索引：索引不走执行计划o racle oracle强制走索引oracle索引失效oracle hint用法篇一：Oracle执行计划不走索引的原因总结不走索引大体有以下几个原因：你在Instance级别所用的是all_rows的方式你的表的统计信息(最可能的原因) 你的表很小，上文提到过的,Oracle的优化器认为不值得走索引。

解决方法：可以修改init.ora中的OPTIMIZER_MODE这个参数,把它改为Rule或Choose,重起数据库。

也可以使用4中所提的Hint。

不走索引的其它原因：1、建立组合索引，但查询谓词并未使用组合索引的第一列，此处有一个INDEX SKIP SCAN概念。

2、在包含有null值的table列上建立索引，当时使用select count(*) from table时不会使用索引。

3、在索引列上使用函数时不会使用索引，如果一定要使用索引只能建立函数索引。

4、当被索引的列进行隐式的类型转换时不会使用索引。

如:select * from t where indexed_column = 5，而indexed_column列建立索引但类型是字符型，这时Oracle会产生隐式的类型转换，转换后的语句类似于select * from t where to_number(indexed_column) = 5，此时不走索引的情况类似于case3。

日期转换也有类似问题，如: select * from t where trunc(date_col) = trunc(sysdate)其中date_col为索引列，这样写不会走索引，可改写成select * from t where date_col = trunc(sysdate) and date_col trunc(sysdate+1)，此查询会走索引。

5、并不是所有情况使用索引都会加快查询速度，full scan table 有时会更快，尤其是当查询的数据量占整个表的比重较大时，因为full scan table采用的是多块读，当Oracle优化器没有选择使用索引时不要立即强制使用，要充分证明使用索引确实查询更快时再使用强制索引。