Tensor Krylov methods for model reduction of the stochastic mean of a parametric dynamical system

现代电子技术Modern Electronics Technique2024年5月1日第47卷第9期May 2024Vol. 47 No. 90 引 言钢材作为一种重要的工业产品正随着经济的发展扩张规模、提升产量，尽管目前生产制造水平有了巨大的进步，但在钢材的生产和加工过程中，很容易受到各种不良因素的影响，从而使钢材表面产生多种类型的缺陷[1]。

比较常见的缺陷有划痕、孔洞、裂纹，这些不同类型的缺陷会使得钢材的耐久性、使用强度急剧下降，缺陷会随着时间影响正常使用，甚至会造成不可预料的后果，所以，迅速而精确地识别钢材表面的缺陷变得至关重要。

在AI 技术日益成熟的今天，计算机视觉逐步取代了传统的检测手段。

计算机视觉可以较好地解决传统检测方法漏检率高、成本高等缺点，它在图像分类、人脸识别和目标检测等领域得到了广泛应用[2]。

近年来，在金属表面缺陷检测领域，文献[3]提出了一种基于自适应空间特征融合结构与EIOU 损失函数的改进YOLOv4算法，提高了检测精度。

文献[4]在YOLOv4的基础上设计了一个并行的双通道注意力模块，提出了YOLO ⁃DCSAM 算法对铝带缺陷进行检测。

文献[5]基于YOLOX 模型，结合新型特征提取网络ECMNet 与数据增基于改进YOLOX 的钢材表面缺陷检测研究刘 毅， 蒋三新(上海电力大学 电子与信息工程学院， 上海 201306)摘 要： 针对目前单阶段目标检测网络YOLOX 的特征提取能力不足、特征融合不充分以及钢材表面缺陷检测精度不高等问题，提出一种改进YOLOX 的钢材表面缺陷检测算法。

首先，在Backbone 部分引入改进的SE 注意力机制，增添一条最大池化层分支，进行权重融合，强化重要的特征通道；其次，在Neck 部分引入ASFF 模块，充分利用不同尺度的特征，更好地进行特征融合；最后，针对数据集所呈现的特点，将IOU 损失函数替换为EIOU 损失函数，改善模型定位不准确的问题，提高缺陷检测精度。

torchvision.models特征提取-回复题目：Torchvision.models特征提取：从入门到熟练导言：深度学习已经成为计算机视觉领域中最具影响力的技术之一。

然而，训练一个深度神经网络需要大量的计算资源和时间。

为了减小这个负担，研究人员经常使用预训练的模型来提取特征，这可以极大地减少训练时间和数据的需求。

Torchvision.models是PyTorch库中一个强大的工具，用于特征提取和迁移学习。

本文将一步一步介绍如何使用torchvision.models 进行特征提取，以及如何将这些特征用于自己的任务。

第一步：导入必要的库和模块在使用任何工具之前，首先需要导入所需的库和模块。

对于Torchvision.models，需要导入torchvision.models和torchvision.transforms模块。

同时，也需要导入torchvision.datasets 和torch.utils.data模块，以便加载和处理数据。

pythonimport torchimport torchvision.models as modelsimport torchvision.transforms as transformsimport torchvision.datasets as datasetsimport torch.utils.data as data第二步：加载预训练模型接下来，需要选择一个预训练的模型作为特征提取器。

Torchvision.models提供了一系列经典的预训练模型，如ResNet、VGG、AlexNet等。

我们可以通过简单调用相应的函数来加载这些模型。

pythonmodel = models.resnet50(pretrained=True)在上述代码中，通过调用models.resnet50()函数，我们加载了一个预训练的ResNet-50模型，并将其存储在变量model中。

P Y T O R C H A N D T H E N E W C H A L L E N G E S O F M L微信扫码二维码，免费报告轻松领加入微信群领行研报告资料集每日领取最新免费5+份精选报告1.扫一扫二维码，添加客服微信（微信号：Teamkon2）2.添加好友请备注：姓名+单位+业务领域3.群主将邀请您进专业行业报告资源群报告整理于网络，只用于分享，如有侵权，请联系我们加入“知识星球行业与管理资源”，免费下载报告1.免费下载各领域行业研究报告、咨询公司管理方案，企业运营制度、科技方案与大咖报告等。

2.每月同步更新2000+份最新行业资源；涵盖科技、金融、教育、互联网、房地产、生物制药、医疗健康等行研报告、科技动态、管理方案；微信扫码加入“知识星球行业与管理资源”，获取更多行业报告、管理文案、大师笔记203743721181371551671952643153184957621469247237115371200120022003200420052006200720082009201020112012201320142015201620172018C i t a t i o n C o u n tGradient-Based Learning Applied to Document Recognition, LeCun et al., 1998LeCun’s Law and the Rise of Deep LearningTRANSLATION SPARK AR OCULUS VR BLOOD DONATIONS400T+ PREDICTIONS PER DAY1B+ PHONES RUNNING NEURAL NETS GLOBALLYSIMPLICITY OVERCOMPLEXITYHARDWARE ACCELERATED INFERENCEDISTRIBUTED TRAININGDYNAMIC NEURAL NETWORKS EAGER &GRAPH-BASED EXECUTIONWHAT IS PYTORCH?B U I L T B Y T H EC O M M U N I T YB U I L T F O RP R O D U C T I O N D E S I G N E D F O RR E S E A R C H E R SB U I L T B Y T H EC O M M U N I T YB U I L T F O RP R O D U C T I O N D E S I G N E D F O RR E S E A R C H E R S~1,200C O N T R I B U T O R S 50%+Y O Y G R O W T H22KP Y T O R C H F O R U M U S E R SB U I L T B Y T H EC O M M U N I T YB U I L T F O RP R O D U C T I O N D E S I G N E D F O RR E S E A R C H E R SG R O W T H I N A R X I V M E N T I O N S I N R E S E A R C H P A P E R S16K+S T U D E N T S E N R O L L E DI N C O U R S E S21MM I N U T E S O F W A T C H T I M E I N T H E L A S T 12 M O N T H S U D A C I T YF A S T.AI Practical Deep Learning for Coders, V3Part 2: Deep Learning from the FoundationsIntroduction to MachineLearning for Coders A Code-First Introduction to Natural Language ProcessingB U I L T B Y T H EC O M M U N I T YB U I L T F O RP R O D U C T I O N D E S I G N E D F O RR E S E A R C H E R SR E S E A R C H P R O D U C T I O NP Y T O R C HP Y T O R C HP Y T O R C HP Y T O R C HC O R E PR I N C I P L E S BUILDING FOR SCALE DEVELOPEREFFICIENCYDEVELOPER EFFICIENCY ENABLING A HIGH VELOCITY OF MODEL ITERATION AND INNOVATIONC L E A N A P I S``Today, we name and access dimensions by comment:# Tensor[N, C, H, W]images = torch.randn(32, 3, 56, 56)images.sum(dim=1)images.select(dim=1, index=0)But naming explicitly leads to more readable and maintainable code:NCHW = [‘N’, ‘C’, ‘H’, ‘W’]images = torch.randn(32, 3, 56, 56, names=NCHW)N A M E DT E N S O R SE X P E R I M E N T A L`T O R C H S C R I P TModels are Python TorchScriptprograms, an optimizable subset ofPython+ Same “models are programs” idea+ Production deployment+ No Python dependency+ Compilation for performanceoptimization class RNN(nn.Module):def __init__(self, W_h, U_h, W_y, b_h, b_y):super(RNN, self).__init__()self.W_h = nn.Parameter(W_h)self.U_h = nn.Parameter(U_h)self.W_y = nn.Parameter(W_y)self.b_h = nn.Parameter(b_h)self.b_y = nn.Parameter(b_y)def forward(self, x, h):y = []for t in range(x.size(0)):h=torch.tanh(x[t]@self.W_h+********_h+self.b_h)y+=[torch.tanh(********_y+self.b_y)]if t % 10== 0:print ("stats: ", h.mean(), h.var())return torch.stack(y), h# one annotation!script_rnn = torch.jit.script(RNN(W_h, U_h, W_y, b_h, b_y))C O R E PR I N C I P L E S BUILDING FOR SCALE DEVELOPEREFFICIENCYBUILDING FORSCALEHIGH PERFORMANCE EXECUTION FOR MODEL TRAINING AND INFERENCE30%50%FB data used in an ML pipeline TODAY FB data used in an MLpipeline in 20183X ML Data Growth in One YearWORKFLOWS TRAINED RANKING ENGINEERS COMPUTE CONSUMED3XINCREASE 2XINCREASE 3X INCREASEO P T I M I Z I N G F O R H A R D W A R E B A C K E N D SPYTORCH DEVELOPMENT ENVPYTORCH JITMKL-DNN Cuda/CuDNN(Q)NNPACK FBGEMMXLA Glow TVMBryce Canyon(70X HDDs + Integrated Compute)Big Basin (8X GPU + 2X CPU)Twin Lakes(Single socket CPU card, Low Mem)Feature Engineering 1Training 2Inference3Lightning(30X Flash Drives JBOF)Tioga Pass (Dual CPU, High Mem)Tioga Passsxm2Efficient inference on server and mobile devices using reduced precision math.CONTROLDYNAMICQUANTIZATIONPOSTTRAININGQUANTIZATION QUANTIZATION AWARE TRAINING LESS MEMORYCOMPUTE SPEEDUPP Y T O R C HR E S E A R C HP R O T O T Y P I N GP R O D U C T I O ND E P L O Y M E N T +N A M E D T E N S O R SPyTorch set the bar for ML Developer UX by focusing on expressivity and productivity"I want to write a program, not to (manually) build a graph"Where are similar areas for improvement today?D a t a h a s s e m a n t i c m e a n i n g!But we force users to drop that context and use an abstract"Tensor" mathematical objectType to enter a caption.K e y I n s i g h t:N a m e d D i m e n s i o n sInspired by and done in collaboration with Prof. Alexander Rush, now Cornell Tech.K e y I n s i g h t:N a m e d D i m e n s i o n s Today we name and access dimensions by commentToday we name and access dimensions by comment But naming explicitly leads to more readable andmaintainable code K e y I n s i g h t:N a m e d D i m e n s i o n sBy retaining semantic meaning, we also avoid common "Tensor Pitfalls" -Accidental Broadcasting-Accidental AlignmentBy retaining semantic meaning, we also avoid common "Tensor Pitfalls" -Accidental Broadcasting-Accidental AlignmentA c c i d e n t a lB r o a d c a s t i n g We didn't expect broadcasting to happen, but it did:A c c i d e n t a lB r o a d c a s t i n g We didn't expect broadcasting to happen, but it did:We can catch this automatically!A c c i d e n t a lB r o a d c a s t i n gWe didn't expect broadcasting to happen, but it did:Broadcast by position, but check that dimension names arealigned.We can catch this automatically!By retaining semantic meaning, we also avoid common "Tensor Pitfalls" -Accidental Broadcasting-Accidental AlignmentA c c i d e n t a l A l i g n m e n tNo 1->N broadcast occurs across semantically distinct dimensions, but size happens to match.A c c i d e n t a l A l i g n m e n tNo 1->N broadcasting occurs across semantically distinctdimensions, but size happens to match.But there are so many formats!A c c i d e n t a l A l i g n m e n tNo 1->N broadcasting occurs across semantically distinctdimensions, but size happens to match.But there are so many formats!There is a "time bomb" if I ever normalize the wrong formatand the "unaligned" dimensions have the same size!A c c i d e n t a l A l i g n m e n tNo 1->N broadcasting occurs across semantically distinct dimensions, but size happens to match.A c c i d e n t a l A l i g n m e n tNo 1->N broadcasting occurs across semantically distinctdimensions, but size happens to match.If we broadcast by name (align_as), we only need a singlenormalize function for all formats。

PyTorch面试知识点PyTorch是一个基于Torch的开源机器学习库，它提供了一个灵活的深度学习开发框架，因此在面试中对于PyTorch的了解是非常重要的。

下面是一些PyTorch面试中可能会涉及到的知识点。

1. 张量（Tensor）张量是PyTorch中最基本的数据结构，它类似于NumPy中的多维数组。

面试官可能会问你张量的创建方法、操作和索引等相关知识点。

以下是一些常见的张量操作：•创建一个张量：可以使用torch.tensor()函数创建一个新的张量。

还可以使用其他函数如torch.zeros(), torch.ones(), torch.randn()等来创建特定类型的张量。

•张量的操作：PyTorch提供了一系列的张量操作函数，如torch.add(), torch.matmul(), torch.transpose()等。

你应该熟悉这些函数的用法。

•张量的索引：与NumPy类似，你可以使用索引和切片来访问张量的元素。

同时，你还可以使用torch.masked_select()函数根据条件选择张量中的元素。

2. 自动求导（Autograd）PyTorch中的自动求导是其最重要的特性之一，它允许你在模型训练过程中自动计算梯度。

在面试中，你可能会被问到什么是自动求导、如何计算梯度以及如何使用PyTorch的自动求导功能。

以下是一些与自动求导相关的知识点：•自动求导机制：PyTorch使用动态图来实现自动求导。

你可以通过将requires_grad属性设置为True来追踪张量的操作，并使用backward()函数计算梯度。

•梯度计算：PyTorch使用反向传播算法来计算梯度。

你可以通过调用backward()函数在计算图上的某个节点上计算梯度。

•torch.no_grad()上下文管理器：有时候你可能需要在不计算梯度的情况下对张量进行操作。

在这种情况下，你可以使用torch.no_grad()上下文管理器来关闭自动求导功能。

逻辑斯蒂4参数求导
逻辑斯蒂4参数是指逻辑斯蒂回归模型中的4个参数，分别为：输入层的权重向量$w$、偏差$b$、输出层的权重向量$w'$和偏差$b'$。

对逻辑斯蒂4参数求导的过程如下：
1. 调用`torch.autograd.backward()`方法对损失函数进行反向传播，无返回值，但会更新各个叶子节点的梯度属性参数列表`grad_tensors`。

2. 调用`torch.autograd.grad()`方法求取梯度，返回值为导数（张量形式），参数列表包括：`outputs`是对谁求导，`input`是求谁的导数，`create_graph=Ture`可以保留计算图用于高阶求导，`retain_graph`同上，`grad_outputs`等于上面的`grad_tensors`。

需要注意的是，在进行多次求导时，需要先清零梯度，否则梯度不会自动清零。

在进行逻辑斯蒂4参数求导时，可以根据具体需求选择合适的方法。

若你想了解更多关于逻辑斯蒂4参数求导的内容，可以继续向我提问。

使用tensorly进行cp分解的算法原理概述说明1. 引言1.1 概述在大数据时代，数据量的爆炸性增长给数据分析和处理带来了巨大挑战。

高维张量是一种常见的数据结构，例如多维数组或矩阵。

传统的分解方法无法有效地处理高维张量，并且会导致计算复杂度的急剧增加。

因此，开发一种高效、准确的分解方法变得至关重要。

本文将介绍CP（CANDECOMP/PARAFAC）分解算法及其原理，并通过使用Tensorly库来实现该算法。

CP分解是一种常用的高维张量分解方法，可以将一个高阶张量表示为多个低阶核张量的叠加形式，从而更好地表达和理解数据中隐藏的模式。

1.2 文章结构本文按以下内容组织：引言：简述文章背景和目的；CP分解简介：介绍CP分解概念及其应用领域；Tensorly库介绍：对T ensorly库进行功能和特点介绍，并提供使用方法简介；CP分解算法原理详解：详细说明CP分解的步骤、示意图以及算法原理；实例与应用案例分析：通过实例案例和应用案例进行进一步探讨与验证；结论与展望：总结文章内容，并展望CP分解在未来的发展方向。

1.3 目的本文的主要目的是全面介绍使用Tensorly库进行CP分解的算法原理。

通过对CP分解算法及其原理的详细阐述，读者将能够更好地理解和应用该方法来处理高维张量数据。

通过实例与应用案例的分析，读者还可以进一步探索和了解CP 分解在不同领域中的实际应用。

最后，本文将对相关内容进行总结，并提出对CP分解方法未来发展的展望。

2. CP分解简介2.1 引言CP分解是一种用于高维数据分析的矩阵分解技术，也被称为CANDECOMP/PARAFAC（CP）分解。

它是由Carroll和Andre de Carvalho 等人于1970年提出的，广泛应用于多元数据分析、信号处理、计算机视觉等领域。

CP分解可以将一个高阶张量表示为若干低秩张量的叠加，从而实现对原始数据的有效表示和降维。

2.2 CP分解概述CP分解的核心思想是将一个高阶张量表示为多个低秩张量的叠加。

pytorch 拟牛顿法lbfgs算法拟牛顿法是一种优化算法，用于寻找函数的局部最小值。

L-BFGS （Limited-memory Broyden-Fletcher-Goldfarb-Shanno）算法是一种拟牛顿法的变种，特别适用于大规模优化问题，因为它使用有限的内存来近似Hessian矩阵的逆。

在PyTorch中，您可以使用torch.optim.LBFGS优化器来应用L-BFGS算法进行优化。

下面是使用PyTorch的L-BFGS算法的一般步骤：定义要优化的目标函数（损失函数）。

创建一个初始参数向量（或张量）。

创建LBFGS优化器，将目标函数和初始参数向量传递给它。

使用step方法来执行优化步骤，不断迭代直到达到收敛条件。

以下是一个简单的示例：import torchfrom torch.optim import LBFGS# 1. 定义目标函数（这里是一个简单的二次函数）def objective(x):return (x - 2) ** 2# 2. 创建初始参数向量x = torch.tensor([5.0], requires_grad=True)# 3. 创建LBFGS优化器，将目标函数和参数向量传递给它optimizer = LBFGS([x])# 4. 执行优化步骤，直到达到收敛条件def closure():optimizer.zero_grad()loss = objective(x)loss.backward()return lossfor _ in range(100):optimizer.step(closure)print("Optimal x:", x.data)print("Optimal objective value:", objective(x).item()) 在上面的示例中，closure函数用于计算损失并执行反向传播。

４改进损失函数的Yolov3车型检测算法徐义鎏，贺鹏（三峡大学计算机与信息学院，湖北宜昌443000）摘要：针对yolov3算法应用于车辆类型检测中速度较快但精度相对较低的问题，提出在原始yolov3算法中使用GIoU 代替均方差损失函数作为边界框回归损失函数，在边界框置信度损失函数中融入focal loss 损失函数两种损失函数改进方法。

实验结果表明改进后的yolov3模型在保持速度不变的情况下精度得到显著提升，在交通车型数据集中mAP 值相比原始yolv3模型上升了3.62%，具有一定优势。

关键词：GIoU ；focal loss ；yolov3；目标检测；损失函数中图分类号：TP391文献标识码：A 文章编号：1673-1131（2019）12-0004-04Yolov3vehicle detection algorithm with improved loss functionXu yiliu,He peng(School of Computer and Information,China Three Gorges University,Yichang,Hubei 443000,China )Abstract:Aiming at the problem that the yolov3algorithm is applied to the vehicle type detection with high speed but relatively low precision,it is proposed to use GioU instead of the mean square error loss function as the bounding box regression loss function in the original yolov3algorithm,and incorporate the focal in the bounding box confidence loss function.Loss loss function Two loss function improvement methods.The experimental results show that the improved yolov3model has significantly improved the accuracy while maintaining the same speed.The mAP value in the traffic model data set is 3.62%higher than the original yolv3model.Keywords:GIoU,focal loss,yolov3,target detection,loss function1概述车辆类型检测是计算机视觉领域的一项重要应用，在特定的任务场景下识别特定的车型具有一定的应用前景，不同任务下需要检测的目标车型均不同。

tensor toolbox使用手册摘要：一、Tensor Toolbox简介1.Tensor Toolbox的定义与作用2.Tensor Toolbox的发展历程二、Tensor Toolbox的使用1.Tensor Toolbox的安装与配置2.Tensor Toolbox的基本操作3.Tensor Toolbox的高级功能三、Tensor Toolbox的应用领域1.机器学习2.深度学习3.自然语言处理4.计算机视觉四、Tensor Toolbox的优势与不足1.优势a.强大的计算能力b.丰富的API接口c.社区支持2.不足a.依赖GPU环境b.学习曲线较陡峭五、Tensor Toolbox的未来发展1.持续优化与改进2.拓展应用领域3.促进我国人工智能技术发展正文：Tensor Toolbox是一个强大的科学计算库，旨在为机器学习、深度学习、自然语言处理和计算机视觉等领域提供高效的计算支持。

作为一个开源项目，Tensor Toolbox的发展历程经历了多个版本迭代，吸引了全球众多开发者和研究者的参与和贡献。

使用Tensor Toolbox非常简单，首先需要安装与配置Tensor Toolbox。

安装完成后，用户可以通过各种编程语言（如Python、C++等）调用Tensor Toolbox提供的API接口进行张量计算。

Tensor Toolbox还支持GPU加速，使得大规模数据和复杂计算变得更加高效。

除了基本操作外，Tensor Toolbox 还提供了诸如自动微分、梯度下降等高级功能，方便用户进行深度学习模型的训练和优化。

Tensor Toolbox的应用领域非常广泛，涵盖了机器学习、深度学习、自然语言处理和计算机视觉等多个领域。

Tensor T oolbox不仅被广泛应用于学术界，还在工业界得到了广泛的认可，很多知名企业如谷歌、百度等都基于Tensor Toolbox开发了自己的深度学习框架。

基于深度学习的塑性变形理论建模研究进展
王新云;唐学峰;余国卿;龙锦川;温红宁;邓磊;金俊松;龚攀;张茂
【期刊名称】《塑性工程学报》
【年(卷),期】2024(31)4
【摘要】传统塑性理论模型由于引入了适当的假设和简化,面对复杂变形机制和复杂变形条件时具有局限性。

基于深度学习的理论建模作为数据驱动的建模新范式,具有精度高、通用性强的特点,是塑性理论建模的重要方向。

介绍了深度学习的建模方法,如传统神经网络模型、物理启发式神经网络模型和神经算子网络,分析了各个模型的特点。

总结了近年来基于深度学习的塑性理论建模方法在本构关系、损伤断裂模型、微观组织模型和多尺度模型等方面应用的研究进展,并分析了提高模型精度、泛化能力和可解释性的方法。

最后提出了基于深度学习的塑性理论建模方法面临的挑战和未来发展方向。

【总页数】25页(P92-116)
【作者】王新云;唐学峰;余国卿;龙锦川;温红宁;邓磊;金俊松;龚攀;张茂
【作者单位】华中科技大学材料成形与模具技术全国重点实验室
【正文语种】中文
【中图分类】TG316.8
【相关文献】
1.基于大变形理论的塑性变形量线性递减矫直理论研究
2.基于深度学习的溶剂定量构效关系建模研究进展
3.超塑性变形力学理论和成形规律的研究进展
4.塑性变形理论建模新范式:人工智能赋能和数据科学驱动
因版权原因，仅展示原文概要，查看原文内容请购买。