深度学习基础知识整理
Without deviation from the norm，progress is not possible（不偏离常规，就无法取得进步-Frank Zappa）
第一课：数学分析与概率论
Taylor展式及其应用、凸函数、jensen不等式、常见分布与共轭分布
第二课：数理统计与参数估计
Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计
第三课:矩阵和线性代数
从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程
第四课:凸优化
凸函数、共轭函数、凸优化、Lagrange对偶函数
第五课：回归
高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系
应用方向：线性回归、Logistic回归实现和分析
第六课：梯度下降与拟牛顿法
梯度下降算法、自适应学习率、拟牛顿、LBFGS
应用方向：自适应学习率代码实现和参数调试分析
第七课：最大熵模型
熵、相对熵、信息增益、最大熵模型、Softmax回归
应用方向：独立成分分析ICA求解盲源分离BBS问题
第八课：决策树和随机森林（蒙特卡罗）ID3、C4.5、CART、Bagging
研究方向:使用随机森林进行数据分类（蒙特卡洛）
第九课：SVM
线性可分支持向量机、软间隔、核函数、SMO
研究方向：使用SVM进行数据分类
第十课：聚类
K-means/K-Medoids、密度聚类、谱聚类、
应用方向：K-means、谱聚类代码实现和参数调试分析
第十一课：推荐系统
相似度量方案、协同过滤（User-based/ltem-based）、PCA/SVD、随机游走
应用方向：协同过滤用于商品推荐、SVD隐变量的推荐
第十二课：提升
梯度提升决策树GBDT、Adaboost、前向分步算法
应用方向：Adaboost与随机森林（蒙特卡洛）结合、用于数据分类
第十三课：EM算法和GMM
EMM算法、GMM、主题模型pLSA
应用方向：分解部分观测数据的男女身高、图像分解
第十四课：普斯贝叶斯和贝叶斯网络初步
有向分离、（隐）马尔科夫模型HMM
第十五课：主题模型用EM算法计算pLSA、Dirichiet分布、LDA、Gibbs采样
应用方向：使用Gibbs采样计算给语料的主题
第十六课：采样
MCMC（Markov chain Monte Carlo）、Metropolis-Hastings 算法、Gibbs采样
第十七课：变分
KL(pllq)与KL（qllp）分析、平均场理论
第十八课：隐马尔科夫模型HMM
概率计算问题、HMM参数学习问题、状态预测问题
应用方向：使用HMM进行中文分词
第十九课：条件随机场CRF
无向图模型、MRF、前向-后向算法
第二十课：深度学习
全连接网络、链式法则与BP算法、卷积网络、残差网络、应用方向：使用BP网络对样本分类
第十三课：深度学习总体介绍
1.神经网络；传统到现代
2.深度学习应用特定
3.深度学习发展方向
4.深度学习框架比较：用Tensorflow进行课程学习
第十四课：传统神经网络
1. 线性回归
2. 非线性激励函数
3. loss 函数，常见问题：过拟合，正则化，dropout
实例：传统神经网络络实现
第十五课反向反馈：深度学习模型优化基础
1. SGD 梯度下降介绍
2. 神经网络的梯度优化
3. 神经网络训练
实例：反向梯度优化对比
第十六课卷积神经网络
1. 卷积核以及卷积层
2. AlexNet最早的现代神经网络
3. VGG，GoogleNet,，ResNet. 近期的高级网络LeNet
实例：利用已有模型进行物体分类／特征提取
第十七课迁移学习
1. 理论分析
2. 迁移模型&原始训练模型
3. 如何设计新的的网络
实例：表情识别／人脸识别／动物识别
第十八课与时域信息相关的深度学习
1. RNN
2. LSTM
3. 图片标题生成
4. 视频处理
实例：LSTM用于图片标题生成
第十九课自然语言处理
1. 处理之前：speech to text
2. 词语表达，word2vect
3. 语句生成LSTM
实例：根据上下文回答问题
第二十课给予深度学习的目标检测
1. 传统的目标检测方法
2. 初代算法：Region CNN
3. 升级：SPP Net，Fast RCNN，Faster RCNN
4. 深度学习另辟蹊径：YoLo和SSD
实例：自动驾驶的核心：实时目标检测
第二十一课深度卷积神经偶的重要应用
1. 图片问答
2. 图像模式转换
3. 图像高清化
4. 围棋程序，Alpha go
5. 自动游戏机器人，DeepMind Atari
实例：图片艺术风格转化
第二十二课无监督学习：对抗网络GAN
1. 传统无监督学习Autoencode，K Means，Sparse Coding
2. RBM 限制博斯曼机，深度学习的另一支
3. 生成对抗网络GAN
实例：机器生成图片，以假乱真
第二十三课：迁移学习
第二十四课：增强学习
记忆模型，远超过RNN的GTMM
第二十五课：二值神经网络
普通二值神经网络，YodaNN，
XLA如何让机器学习在TensorFlow上提升速度
第二十六课：对偶学习
纳米神经网络NanoNet
A solution to the single-question crowd wisdom problem（选自自然杂志意味流行算法解决群体智慧中缺陷）
语义理解（目前自然语言界最大难关）使用LSTM+Attion解决
像素卷积神经网络（PixelCNN++）可将图像生成速度提高183倍
WaveNet
RLSS schedule to be posted soon（深度学习与强化学习暑期学校）机器与大脑学习项目
课程计划
CNNs
RNNs
Generative Models 2
Computational Neuroscience 1
Learning to learn
Coffe Break
Neural Networks
Structured Models /Advanced Vision
ProbabillsticNumerics
Natural Language Understanding
Computational
常见问题：
Q：会有实际上机演示和动手操作吗？
A：有，几乎每节课，老师均会准备上机演示部分，学员可以学习老师的实践经验。
Q：参加本门课程有什么要求？
A：有一定Python编程能力，有几本大学数学基础。
Q：本课程怎么答疑？
A：会有专门的QQ班级群，同学们可以针对课上知识的问题，或者自己学习与
动手实践中的问题，向老师提问，老师会进行相应解答。也推荐大家到小象问答社区提问，方便知识的沉淀，老师会集中回答，不会因为QQ群信息刷屏而被老师错过。
Q：本课程需要什么环境？
A：开发环境主要以Ubuntu为主，深度学习训练需要有可以支持的显卡，基本要求GTX 960，有条件的尽量GTX 1080，GTX Titan X 更好（显卡的内核数以及显存数尽量多一点）。
深度学习与深度教学 所谓“深度学习”（deeper learning），就是指在真实复杂的情境中，学生运用所学的本学科知识和跨学科知识，运用常规思维和非常规思维，将所学的知识和技能用于解决实际问题，以发展学生的批判性思维、创新能力、合作精神和交往技能的认知策略。 “深度学习”与传统的外部灌输、被动接受、知识符号的“浅层学习”相比具有明显特征： 1.强化情感驱动的“非认知学习”与传统的片面强调知识技能的“认知型学习”相比，“深度学习”把“非认知学习”放到突出的位置。如自我管理、时间管理、自主性、适应性、执行力等等。“非认知学习”属于社会—情感性学习，它与各种认知性学习紧密相联，但性质不同。种种研究表明，对许多学生而言，“非认知学习”及技能与认知型学习相比，在学生的核心素养体系中居于十分重要的地位，并且预示着更长久的成功。 2.立足于真实情境的问题解决核心素养离不开知识，但单纯的知识不等于素养。只有将知识与技能用于解决复杂问题和处理不可预测情境所形成的能力和道德才是核心素养。“深度学习”强调让学生在真实情境里，通过自主与合作学习，迁移所学知识，解决实际问题。 3.侧重于挑战性内容和高阶思维能力的学习适应知识经济、终身学习、信息社会和全球化时代的需要，“问题解决、批判性思维、开放性视野和创新能力”被国际公认为是21 世纪的高阶思维能力。基于“深度学习”的学习评价不在于你学到了多少知识、解答了多少问题，而在于你的学习内容有多大的挑战性，解答的问题是否具有21 世纪高阶思维能力的特征。 4.学科内和学科间的整合性学习未来社会人们所遇到的情境和问题更加具有开放性、综合性、不确定性和复杂性，仅仅依靠某一方面或某一学科的知识以难以胜任问题解决的重任，而需要调动多角度、多维度、系统性、综合性的知识和多方面的能力。因此，基于学科内和学科间的课程整合，就成为21 世纪以来教育改革的重要趋势。 5.突出深度思辨的思维指向就学习而言，假设、推断、思辨、想象、联想比知识更重要。通过思辨培养学生敢于实践、勇于探究的科学精神和追求真理、敢于质疑的批判性思维，并引导学生去关注人与自我、人与他人、人与自然、人与社会的关系，去思考人类的幸福和未来；通过思辨引导学生根据具体问题，独立思考、自主判断，比较和辨析不同观点，去发现新问题、提出新观点、探寻新规律。 综上所述，正是由于“深度学习”具有区别于传统学习的上述显著特征，就使得基于核心素养的教学方式的变革，必然以引导学生走向“深度学习”为导向。具体地说，基于核心素养的“深度教学”应该是基于价值引领的教学、基于真实情境的教学、基于高质量问题的教学、基于学科内和学科间的整合性教学、基于思辨的教学、基于微探究的研究性教学。从“深度学习”走向“深度教学”，深入推进基于核心素养的教学方式的改革，把基于核心素养的教学真正落实到课堂教学中，落实到学生的学习方式和教师的教学方式的深刻变革中，这样就把核心素养从一个抽象的理论变成一个看得见、摸得着的行动。
浅析基础埋置深度计算 摘要：在基坑开挖前，受土体自重应力的作用，土样处于三向应力状态，基坑开挖和土样采集过程中，土体受到扰动，改变了其实际的受力状态，为弥补土工试验及现场浅层平板载荷试验与土样实际受力情况的差异，应考虑基础埋置深度对地基承载力的影响。基础埋深的根本目的是满足地基础稳定和变形，区分不同情况下的基础埋深，正确的对地基承载力特征值进行修正。 关键词：基础基础埋深房屋高度独立基础筏板基础独立基础加防水板基础 桩基础 地基基础是结构抗震设计中的重要内容之一。它直接关系到结构设计基本数据的正确选取。对各类构筑物的地基基础进行施工，地基与基础是根本，施工不好将会导致严重问题，比如：构建筑物下沉、倾斜甚至倒塌等。 从结构设计出发，不仅要考虑建筑地基是否处于安全状态，同时还应考虑是否发生过大的沉降和不均匀沉降，在确保地基稳定性的前提下同时满足建筑物实际所以承受的变形能力，此时的承载力称为承载力特征值。根据《地基规范》第5.2.4条当基础宽度大于3m或埋置深度大于0.5m时，从载荷试验或其他原位测试、经验值等方法确定的地基承载力特值，应按下式修正： -修正后的地基承载力特征值； -地基承载力特征值，由勘察报告提供； 、-基础宽度和埋深的地基承载力修正系数，按基底下土的类别查表取值； - 基础埋置深度（m），一般自室外地面标高算起。在填方整平地区，可自填土 地面标高算起，但填土在上部结构施工后完成时，基础埋置深度自天然地面标高算起。对于地下室，如采用箱形基础或筏基时，基础埋置深度自室外地面标高算起；当采用独立基础时，应从室内地面标高算起。 由上式可知基础埋置深度的取值决定了修正后的地基承载力特征值的准确性，也决定了基础设计是否正确。基础埋置深度的计算问题，其本质是对地基承载力特征值的修正提高问题。对填方整平地区基础埋深的计算，规范依据填土的时机确定填方对地基承载力特征值的影响，先期填土（在结构施工前完成）对地基土承载力有一定的压密提高作用（长期压密对地基土承载力的提高，与填土年限及地基土类别有关），而后填土（在上部结构施工后）则不考虑其对地基土承载力的压密提高作用，仅作为地面超载考虑。
深度学习机器配置 方案一：配置一个“本地服务器”–通俗来说就是一台“高配”电脑。 优点：比较自由，不受约束。 缺点：价格昂贵，需要考虑金钱问题。（配置一台初级的深度学习主机大概需要左右） 适用情况： 1）你本人有充足的的资金； 2）需要发表论文，多次训练自己的Model； 3）尝试运行别人的Model； 4）想要从事深度学习领域的研究； 方案二：配置一台自己的“云服务器主机” 优点：可以按照项目的需要选择合适的配置，比较灵活。 缺点：针对个人来讲，价格还是比较贵的。 适用情况： 1）由于项目的需要，需要使用到深度学习，需要训练Model； 2）初创企业 注：根据我个人的了解，当前云服务器的计费方式主要有两种：按时计费、按月计费和按年计费。国内有的公司提供了相应的GPU服务器和FPGA服务器平台，但是还处于测试阶段。 方案三：配置一个“深度学习集群” 优点：更快更高效的获得自己的Model,即加快开发的效率； 缺点：对于个人来讲不太现实，一般是大公司的选择； 适用情况： 1）具有雄厚基金的大公司，如BAT等都有自己的深度学习集群平台和自己的深度学习框架；2）深度学习领域的初创公司；以上就是3种训练Model的方式，下面我将会给出一些有用的云服务器连接，感兴趣的同学可以自己探索。 百度AI云服务器，支持PaddelPaddel和Tensorflow 腾讯云服务器，支持GPU云服务器和FPGA云服务器，后者处于内测阶段 阿里云服务器，支持GPU云服务器和FPGA云服务器，后者处于内测阶段 华为机器学习云服务器 微软云服务器，国内不支持GPU服务器，北美支持 联众集群，一个专业的GPU集群解决方案提供商
拓宽深度学习途径，培育学生学习素养 “深度学习”就是指在教师引领下，学生围绕着具有挑战性的学习主题，全身心积极参与、体验成功、获得发展的有意义的学习过程。在此过程中，学生掌握学科的核心知识，理解学习过程，把握学科的本质及思想方法，形成积极的内在学习动机、高级的社会性情感、积极的态度、正确的价值观，成为既具独立性、批判性、创造性、又有合作精神、基础扎实的优秀的学习者，成为未来社会历史实践的主人。弗赖登塔尔曾说“数学是一种艺术，也是一种能应用的工具，能够帮助我们解决问题。”学生的数学核心素养最主要的是能够结合自己的实践经验和生活情景，运用数学知识和数学思维分析，解决数学问题，发挥数学的应用价值，实现数学素养的提升。 深度学习的提出，既是对教学规律的尊重，也是对时代挑战的主动回应。拓宽学生深度学习的途径，这样才能真正提高学生的数学学习素养。深度学习具有以下五个特征： 1.联想与结构：经验与知识的相互转化 通过调动以往的经验来参与当下的学习，又要将当下的学习内容与已有的经验建立起结构性的关联，从而使知识转化为与学生个体有关联的、能够操作和思考的内容。学生所学的知识不是零散、碎片式、杂乱无章的信息，而是有逻辑、有体系、有结构的知识；学生不是孤立地学习知识，而是在教师的引导下，根据当前的学习活动去联想、调动、激活以往的经验、知识，以融会贯通的方式对学习内容进行组织，从而建构出自己的的知识结构。 2.活动与体验：学生的学习机制 “活动与体验”是深度学习的核心特征，回答的是学生的学习机制问题。“活动”是指以学生为主体的主动活动，而非简单的肢体活动，“体验”是指学生作为个体全部身心投入活动时的内在体验。学生的学习，不是被动地去容纳外在知识的灌输，也不是从实践开始的盲目试误，而是通过主动的、有目的的活动，对人类已有认识成果及其过程的学习与体验，它需要学生全身心地投入，真正成为教学活动的主体。 学生之间的互助合作、课堂讨论中的互相启发、小组作业中的相互依赖与信任等等，这些活动本身，也典型地再现着知识发现过程中的人与人的相互依赖、
深度学习读后感 Document number：PBGCG-0857-BTDO-0089-PTT1998
《深度学习的7种有力策略》这本书让我受益匪浅，该书作者是美国着名的教学改革专家Eric Jensen和LeAnn Nickelsen。面对海量教学内容，教师怎样才能确保学生达到深入和持久的理解呢为此，他们勾勒了深度学习（DELC），这是一种包含脑研究、标准和个体学习差异在内的教学模式，以帮助教师为深度理解和批判思维而教。 读后，让我印象深刻的是书中所阐述的DELC七个步骤：设计标准与课程、预评估、营造积极的学习文化、预备与激活先期知识、获取新知识、深度加工知识和评价学生的学习。新课程标准要求：现代的教学模式以学生为主体，以能力培养为核心，以过程为线索，以发现为题，解决问题为形式，是学生主动获取知识，认识和解决问题的重要实践活动，在教学中，老师只有找准自己的角色定位，才能全面提高教学质量。而DELC这一课程设计模板将简洁而清晰地体现自己的教学构想，丰富的加工活动将循着有序的操作步骤配合以直接可用的表单来展开自己的教学过程，也体现了以学生为主体的思想。 通过回味，思考，让我对这种教学模式有了更深的认识。 一、有效备课 新课程要求教师拥有有效的教学理念，掌握有效的教学策略，引导学生有效学习，这就要求教师首先要进行有效备课。对于教师而言，要想上好课，却必须要备好课，而有效备课自然而然成了有效上课的前提。 1、吃透教材 对于教材，教师要敢于突破教师用书上的条条框框，打破陈旧的观点，敢于融入自己的独特见解，要根据课程内容结合学生实际对教材加以科学的、灵活的、有效的处理，合理地选择教学材料和教学资源。只有这样，教师才会放手去改组教材，拓展教材，进而超越教材，让教材亲近学生，服务生活，从而保持教师自我处理教材的独立性和创造性。 2、确定目标 新课标要求教师备课的有效目标必须把握三维目标，即结果性目标（知识与技能）、程序性目标（过程与方法）、体验性目标（情感态度与价值观）。 自“有效教学”的理念进入课堂后，教学是否有效是以学生学到了什么，学生的思维是否得到了发展为指标。教师要明确一节课知识与能力的获得经过哪些步骤、程序和阶段；懂得在学习的前、中、后选取何种具体做法，整个学习过程实现最优化。注重学习方法，要考虑这一方法什么时候能有效发挥，不同类型的学生应采取不同方法，个体与整体学习效果最好。备课还要考虑到教师在教学过程中怎样指导，怎样与学生互动，怎样评价等问题，考虑到课堂上会遇到这样或那样意想不到的问题，需要我们运用教育机智随机应变，需要我们进行教学反思，再进行补充备课，写出体会和反思，记下学生学习活动中的闪光点或困惑。这样的备课对改进课堂教学质量，提高教学效率是有极大帮助的。 二、有效教学 1、整合教学内容
深度学习基础知识整理 Without deviation from the norm，progress is not possible（不偏离常规，就无法取得进步-Frank Zappa）
第一课：数学分析与概率论 Taylor展式及其应用、凸函数、jensen不等式、常见分布与共轭分布 第二课：数理统计与参数估计 Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计 第三课:矩阵和线性代数 从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程 第四课:凸优化 凸函数、共轭函数、凸优化、Lagrange对偶函数 第五课：回归 高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系 应用方向：线性回归、Logistic回归实现和分析 第六课：梯度下降与拟牛顿法
梯度下降算法、自适应学习率、拟牛顿、LBFGS 应用方向：自适应学习率代码实现和参数调试分析 第七课：最大熵模型 熵、相对熵、信息增益、最大熵模型、Softmax回归 应用方向：独立成分分析ICA求解盲源分离BBS问题 第八课：决策树和随机森林（蒙特卡罗）ID3、C4.5、CART、Bagging 研究方向:使用随机森林进行数据分类（蒙特卡洛） 第九课：SVM 线性可分支持向量机、软间隔、核函数、SMO 研究方向：使用SVM进行数据分类 第十课：聚类 K-means/K-Medoids、密度聚类、谱聚类、 应用方向：K-means、谱聚类代码实现和参数调试分析
第十一课：推荐系统 相似度量方案、协同过滤（User-based/ltem-based）、PCA/SVD、随机游走 应用方向：协同过滤用于商品推荐、SVD隐变量的推荐 第十二课：提升 梯度提升决策树GBDT、Adaboost、前向分步算法 应用方向：Adaboost与随机森林（蒙特卡洛）结合、用于数据分类 第十三课：EM算法和GMM EMM算法、GMM、主题模型pLSA 应用方向：分解部分观测数据的男女身高、图像分解 第十四课：普斯贝叶斯和贝叶斯网络初步 有向分离、（隐）马尔科夫模型HMM 第十五课：主题模型用EM算法计算pLSA、Dirichiet分布、LDA、Gibbs采样
《深度学习的内涵解读》心得体会 张莹 今年9月底，我们有幸听到了山东省泰安市实验学校着名的崔成林教授关于深度学习的讲座，讲座相当精彩，引人入胜，使我们受益匪浅！ 崔教授从什么是“深度学习”“深度学习”有哪些基本特征如何在课堂中实施“深度学习”三个方面进行阐述。 首先提出：深层学习与高质量的学习结果有密切的关系。只有提高质量的课堂才有生命力，只有学生喜欢的课堂才有生命力，学生最喜欢的教学策略，是让主动权在学生们中间不断传递，并含有大量的辩论和讨论机会。只有瞄准核心素养才有生命力，“核心素养”是教育的最终目标，而“深度学习”是实现目标的路径。具有高层次思维能力学生课堂表现：1.对提出的问题，通过自己的独立思考有所见解。2.解答问题时，学生能用多种方式表达自己的见解。3.在讨论时能向同伴提出有建设性的意见。 其次是深度学习的基本特征是：批判理解、内容整合、问题解决、迁移运用、知识建构。深度学习所强调的整合，还包括新旧知识和信息的整合，它提倡将新学内容与已知概念、原理联系起来，整合到原有的认知结构中，从而引起对新知识信息的理解、长期保持及迁移应用。知识建构是指个体在某特定社会环境中互相协作、共同参与某种有目的的活动，最终形成某种观念、理论或假设等智慧产品。批判性思维是一种审视真伪、理性推论的思维方式。不仅包含“独立思考”，
还包含“真理多元”。 最后是深度学习的实施途径。先要凝炼优质问题。最好的学习发生在教师停止讲授的时候，这取决于： 1、好的问题或活动。2、合适的策略。3、清晰的时间安排。有预设、可操作、分步骤。知识是相互联系的一个整体，但传统课堂存在着知识碎片的问题，如经常会听到教师的提问“那么，三角形的内角和是多少呢”“这段文字运用了什么样的描写方法”“某某事件发生在什么时间”等等。这种片断和分散式的学习只适合对基础知识的考核，不利于知识的深入推进。还要嵌入评价设计。思维碰撞”课堂是以思维差异为资源，多维对话为载体，交互反馈为保障，旨在培养学生“批判性思维和独立人格”的公民课堂。所谓有效学习就是要把学生头脑中正确的、不正确的，或者不全面的、不深刻的都暴露出来，经过“碰撞”，再进入学生的脑中。
促进深度学习的课堂教学策略研究 2015年04月20日15:23 来源：《课程·教材·教法》2019年第201911期作者：安富 海字号 打印纠错分享推荐浏览量102 作者简介：安富海，西北师范大学西北少数民族教育发展研究中心，甘肃兰州730070 安富海，1981年生，男，甘肃庆阳人，教育部人文社会科学重点研究基地西北师范大学西北少数民族教育发展研究中心副教授，教育学博士，主要从事课程与教学论研究。 内容提要：深度学习是一种基于高阶思维发展的理解性学习，具有注重批判理解、强调内容整合、促进知识建构、着意迁移运用等特征。深度学习不仅需要学生积极主动的参与，还需要教师通过确立高阶思维发展的教学目标、整合意义联接的学习内容、创设促进深度学习的真实情境、选择持续关注的评价方式进行积极引导。 关键词：深度学习浅层学习教学策略 标题注释：本文系2019年教育部人文社科项目(14XJC880001)和2019年甘肃省高等学校科研项目(2019A022)成果之一。 新课程改革以来，课堂教学中的独白和灌输逐渐被“自主、合作、探究”等新型学习方式所取代，对话成为课堂教学的主旋律。这种新型的对话式的课堂教学模式与传统的授受式的课堂教学模式相比，在学生学习兴趣的激发、学生参与课堂活动的广度和师生合作交流的状态等方面都实现了质的飞跃。但由于教师对新型学习方式的内涵、原理、实施策略等方面理解不到位，使得“自主、合作、探究”等学习方式在实施过程中出现了许多问题。调查发现，许多自称合作性、探究性的课堂上，学生忙碌于各种“工具”的使用和“自由”的交流，对于学习活动要解决的核心问题，往往只停留在对过程和步骤的认识层面上。从课堂学习的现状来看，和传统的死记硬背、机械训练的学习相比，“自主、合作、探究”等学习方式改变的仅仅是学生记忆知识的愉悦程度，并没有体现出对新型学习方式所强调的自主学习的能力、合作学习的意识、科学探究的精神的重视。这种只关注外在形式、忽视其精神实质的学习过程并没有使学生真正理解知识、体验情感、践行价值观，而仅仅使学生记住了知识、认识了情感、了解了价值观。这种基于简单记忆和重复训练的浅层学习对于促进学生理解知识、建构意义、解决问题等能力的发展有很大的局限。本研究拟针对这一问题，运用深度学习的原理分析浅层学习存在的问题及原因，进而从教师的角度探讨促进学生深度学习的策略。 一、深度学习的内涵 深度学习理论认为学习既是个体感知、记忆、思维等认知过程，也是根植于社会文化、历史背景、现实生活的社会建构过程。[1]深度学习(deep learning)
深度学习基础知识整理 ，（不偏离常规，就无法取得进步）
第一课：数学分析与概率论 展式及其应用、凸函数、不等式、常见分布与共轭分布 第二课：数理统计与参数估计 不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计 第三课:矩阵和线性代数 从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程 第四课:凸优化 凸函数、共轭函数、凸优化、对偶函数 第五课：回归 高斯分布、回归、梯度下降、特征选择与过拟合欠拟合关系应用方向：线性回归、回归实现和分析 第六课：梯度下降与拟牛顿法 梯度下降算法、自适应学习率、拟牛顿、
应用方向：自适应学习率代码实现和参数调试分析 第七课：最大熵模型 熵、相对熵、信息增益、最大熵模型、回归 应用方向：独立成分分析求解盲源分离问题 第八课：决策树和随机森林（蒙特卡罗）3、C4.5、、 研究方向:使用随机森林进行数据分类（蒙特卡洛） 第九课： 线性可分支持向量机、软间隔、核函数、 研究方向：使用进行数据分类 第十课：聚类 、密度聚类、谱聚类、 应用方向：、谱聚类代码实现和参数调试分析 第十一课：推荐系统
相似度量方案、协同过滤（）、、随机游走 应用方向：协同过滤用于商品推荐、隐变量的推荐 第十二课：提升 梯度提升决策树、、前向分步算法 应用方向：与随机森林（蒙特卡洛）结合、用于数据分类 第十三课：算法和 算法、、主题模型 应用方向：分解部分观测数据的男女身高、图像分解 第十四课：普斯贝叶斯和贝叶斯网络初步 有向分离、（隐）马尔科夫模型 第十五课：主题模型用算法计算、分布、、采样 应用方向：使用采样计算给语料的主题
xx学习基础知识整理 Without deviation from the norm，progress is notpossible（不偏离常规，就无法取得进步-Frank Zappa） 第一课： 数学分析与概率论 Taylor展式及其应用、凸函数、jensen不等式、常见分布与共轭分布 第二课： 数理统计与参数估计 Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计 第三课: 矩阵和线性代数 从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程第四课: 凸优化 凸函数、共轭函数、凸优化、Lagrange对偶函数 第五课： 回归 高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系 应用方向： 线性回归、Logistic回归实现和分析 xx：
梯度下降与拟xxxx 梯度下降算法、自适应学习率、拟牛顿、LBFGS 应用方向： 自适应学习率代码实现和参数调试分析 第七课： 最大熵模型 熵、相对熵、信息增益、最大熵模型、Softmax回归应用方向：独立成分分析ICA求解盲源分离BBS问题第八课： 决策树和随机森林（蒙特卡罗）ID 3、"C 4." 5、CART、Bagging 研究方向: 使用随机森林进行数据分类（蒙特卡洛） xx： SVM 线性可分支持向量机、软间隔、核函数、SMO 研究方向： 使用SVM进行数据分类 第十课： 聚类
K-means/K-Medoids、密度聚类、谱聚类、 应用方向： K-means、谱聚类代码实现和参数调试分析第十一课： 推荐系统 相似度量方案、协同过滤（User-based/ltem-based）、PCA/SV D、随机游走 应用方向： 协同过滤用于商品推荐、SVD隐变量的推荐第十二课： 提升 梯度提升决策树GBDT、Adaboost、前向分步算法 应用方向： Adaboost与随机森林（蒙特卡洛）结合、用于数据分类 第十三课： EM算法和GMM EMM算法、GMM、主题模型pLSA 应用方向： 分解部分观测数据的男女身高、图像分解第十四课： 普斯贝叶斯和贝叶斯网络初步有向分离、（隐）马尔科夫模型HMM 第十五课： 主题模型用EM算法计算pLS A、Dirichiet分布、L
5.5.3基础埋置深度 1.基础埋置深度的定义 基础埋置深度（简称埋深）一般是指室外天然地面标高至基础底面的距离。确定基础埋深，就是选择较理想的土层作为持力层，基础埋置深，基底两侧的超载大，地基承载力高，稳定性好；基础埋置浅，工程造价低，施工工期短。在满足地基稳定和变形要求等条件的前提下，基础应尽量浅埋，以节省工程量且便于施工。 2.基础埋置深度的主要影响因素 影响基础埋置深度的主要因素有：建筑物的用途类型及荷载大小性质、工程地质和水文地质条件、当地冻结深度、建筑场地的环境条件等方面，设计时应综合考虑。其中工程地质条件对基础设计方案起着决定性的作用。通常把直接支撑基础的土层称为持力层，其下的各土层称为下卧层。为了满足建筑物对地基承载力和地基变形的要求，应当选择压缩性小、承载力高的坚实土层作为地基持力层，由此确定基础的埋置深度。在实际工程中，应根据岩土工程勘察成果报告的地质剖面图，分析各土层的深度、层厚、地基承载力大小与压缩性高低，结合上部结构情况进行技术与经济比较，确定最佳的基础埋深方案。 3.基础埋置深度的计算 “基础埋置深度”在规范中经常出现，但有时又有区别： 1）《地基规范》-5.2.4条计算修正以后的地基承载力特征值，此时采用的埋深主要考虑基础破坏时周围的土体是否能够发挥有利的作用，故区分不同的情况： （1）在填方整平地区，可自填土地面标高算起，但填土在上部结构施工完成后，应从天然地面标高算起。 （2）对于地下室，当采用箱形基础或筏基时，基础埋置深度自室外地面标高算起。 （3）对于地下室，当采用独立基础或条形基础时，应从室内地面标高算起。 其确定方法如下： （1）对独立基础和条形基础，如图5.5.3-1：①外墙基础的埋置深度：2 21d d d +=②内墙基础的埋置深度：新近沉积土及人工填土1 d 图5.5.3-1独立柱基、条基埋深计算 （2）对主楼和裙楼一体的结构，如图5.5.3-2： 当B B B 221≥+时，主楼基础的埋深计算时可将基础底面以上范围内的荷载，作为基础两侧的超载考虑并将其折算成等效埋深，然后取实际埋深和等效埋深的最小值。
对“深度学习”的深度理解 在当前的课程与教学改革中，已经把“深度学习”作为改进课堂教学，落地发展学生核心素养的主要载体，但在本人接触的一些一线教师和教育工作者中，对深度学习的理解仍存在一些误区，本文笔者结合学习《深度学习—走向核心素养》的思考，对深度学习与其它学习的区别作一辨析。 一、深度学习与机器学习 深度学习的概念来源人工神经网络的研究，2006年Hinton在研究机器学习，如何仿照人的大脑建立多层神经网络时，提出了深度学习的概念。深度学习是机器学习的一种，而机器学习是实现人工智能的必由路径，深度学习已经成为人工智能研究的重要方向。通过深度学习的研究，人类要模拟人脑建立进行分析学习的神经网络，通过它来模仿人脑的机制，并用来解释数据，处理图像，声音和文本等。 我们这里所说的深度学习不是指人工智能的机器学习，是相对于以记忆、了解、理解层次的知识学习为目标的浅层学习而提出，深度学习着重在知识综合、应用、分析、解释、评价、创新层次的学习，培养学生高阶思维能力和实践创新能力。深度学习是以核心知识为载体，培养学科思维、学科能力，形成核心素养。 二、深度学习与学习深度 深度学习通过大概念、大任务的单元教学设计，以真实的教学情境，解决真实的学科问题，从而形成核心素养。其有三个特点：（1）知识水平不超过课标的要求；（2）强调学生的原有经验，遵循学生的认知发展规律；（3）教学设计关注全要素，让学生体验学习的全过程。 学习深度是指知识、能力学习或情感体验的纵深发展，根据学生个体情况，智优学生、普通学生和智障学生的学生深度应该不同，一般在高中阶段应以课标为准绳，不同学生个体达到的学业质量水平和核心素养水平会不同。但笔者认为对于超常学生，应有超常教学，应不局限于课标的要求，可以突破学科的阶段性设限，提前学完基础学科，进入研究性学习和学术阶段，尽早进行学术研究阶段，为国家培养高素质拔尖人才。 三、深度学习与有效学习 有效学习追求的是单位时间内信息的输入会被学习者部分吸收或全部吸收，并不介意学习的方法是讲授式、接受式、发现式还是体验式，相对于当前某些无
基础埋置深度及基础形式 1、基础埋置深度 高层建筑由于高度大、重量大，受到的地震作用和风荷载值较大，因而倾覆力矩和剪力都比较大。为了防止倾覆和滑移，高层建筑的基础埋置深度要深一些，使高层建筑基础周围所受到的嵌固作用较大，减小地震反应。《钢筋混凝土高层建筑设计与施工规程》规定： ①在天然地基上基础埋置深度不小于建筑物总高度的1/12。 ②采用桩基时，桩基承台的埋置深度不宜小于建筑物总高度的1/15。 ③当地基为岩石时，基础埋置深度可减小一些，但应采用地锚等措施。 2、基础形式 基础承托房屋全部重量及外部作用力，并将它们传到地基；另一方面，它又直接受到地震波的作用，并将地震作用传到上部结构。可以说，基础是结构安全的第一道防线。基础的形式，取决于上部结构的形式、重量、作用力以及地基土的性质。基础形式有以下几种： ①柱下独立基础：适用于层数不多、地基承载力较好的框架结构。当抗震要求较高或土质不均匀时，可在单柱基础之间设置拉梁，以增加整体性。 ②条形基础：条形基础、交叉条形基础比柱下独立基础整体性要好，可增加上部结构的整体性。 ③钢筋混凝土筏形基础：当高层建筑层数不多、地基土较好、上部结构轴线间距较小且荷载不大时，可以采用钢筋混凝土筏形基础。 ④箱形基础是高层建筑广泛采用的一种基础类型。它具有刚度大、整体性好的特点，适用于上部结构荷载大而基础土质较软弱的情况。它既能够抵抗和协调地基的不均匀变形，又能扩大基础底面积，将上部荷载均匀传递到地基上，同时，又使部分土体重量得到置换，降低了土压力。 ⑤桩基也是高层建筑广泛采用的一种基础类型。桩基具有承载力可靠、沉降小的优点，适用于软弱土壤。震害调查表明，采用桩基常常可以减少震害。但是必须注意，在地震区，应避免采用摩擦桩，因为在地震时土很容易松动，使桩的承载力迅速下降。
《深度学习:走向核心素养》读后感 高邮第一中学 《深度学习:走向核心素养》是由教育部基础教育课程教材发展中心副主任刘月霞和北京师范大学大学教授郭华所著。该书是深度学习教学改进丛书的一本。具有很好的指导意义。 核心素养：是学生必须具备的适应终身发展的必备品格和关键能力，注重自主发展、合作参与、综合实践。是所有学生应具有的最关键、最必要的基础素养，是知识、能力和态度的综合表现。核心素养可通过教育来发展，未来基础教育的顶层理念就是强化学生的核心素养。核心素养综合表现为9 大素养，具体为:社会责任、国家认同、国际理解、人文底蕴、科学精神、审美情趣、身心健康、学会学习、实践创新。 深度学习：是指在教师的引领下，学生围绕着具有挑战性的学习主题，全身心积极参与、体验成功、获得发展的有意义的学习过程。在这个过程中，学生掌握学科的核心知识，理解学习的过程，把握学科的本质及思想方法，形成积极的内在学习动机、高级的社会性情感、积极的态度、正确的价值观，成为即具有独立性、批判性、创造性又有合作精神，基础扎实的优秀的学习者，成为未来社会历史实践的主人。 一、为什么要推进深度学习 1、深度学习是我国全面深化课程改革、落实核心素养的重要途径 （1）现实回应（2）时代先声（3）价值追求 2、深度学习是信息时代教学变革的必然选择 （1）与机器共舞（2）现实困境（3）教育应对 3、与世界同行：深度学习的相关研究借记 （1）关于深度学习的研究历程 （2）各种界说 （3）关于深度学习的实现 （4）关于深度学习的评价 （5）关于深度学习推进的要素分析 （6）关于深度学习的成效 二、什么是深度学习 1、深度学习是培养核心素养的重要途径 （1）少教多说 （2）以学习为主体的主动学习活动 （3）树人 （4）挑战性的学习主题 2、深度学习是触及学生心灵的教学 （1）真教学：能打动学生 （2）触动学生心灵的学习 （3）依循教学规律进行深度教学 （4）培养未来社会历史实践的主体 3、深度学习是教师充分发挥主导作用的活动 （1）确立学生最近发展区 （2）帮助学生真正成为教学主体 （3）两次倒转 （4）帮助学生亲身经历知识发现和构建过程 4、深度学习的五个特征
关于几种情况下基础埋置深度取值的说明 一、计算基底附加应力时用的自重应力 Pc 不论基础两侧的土体高程是否相同，基础埋置深度均从原地面（天然地面）算起。 【理由】根据附加应力的定义可以看出，所谓附加应力就是在原来的基础上，由于外荷载增加的那部分应力。计算时，应该用基底实际压力减去原 来此处的应力，也就是减去此处从天然地面算起的自重应力。 二、计算基底压力时用的基础与土的混合自重 Gk 如果基础两侧的土体高程不同，基础埋置深度取两侧埋深的平均值。 【理由】计算 Gk 的目的实际上是为了计算基底压力，而这个压力由上部传来出来的荷载 Fk 加上基础与土的混合自重 Gk ，这时如果基础两侧埋 深不同，无论是取低值还是高值，都不能真实反应基底受力情况，所以要 取平均值计算。 三、对地基承载力进行深度修正的时用的基础埋深d 基本依就是安全保守原则，地基承载力的深度修正实际上就是考虑了基础 底面以下土体的侧向约束作用，这个作用来自于边载乘以侧压力系数，根 据摩尔强度理论，边载越大（深度修正时取的埋深d越大），地基承载力 提高的越多，所以考虑安全保守原则，一定是取在整个施工及使用过程中，基础两侧埋深最小的情况进行修正。 1、如果没有地下室，没有填方和挖方时，不论是哪种基础型式， 埋深都从室外地面算起 【理由】因为这种情况下，室外地面高程低于室内地面（谁也不会让室内 地面比室外地面还低，难道不怕往屋里倒灌水嘛） 2、如果有地下室，但是没有填方或者挖方时，应分两种情况： （1）对于独立基础或条形应从室内地面算起； （2）对于箱型基础或筏型基础应从室外地面算起
【理由】独立基础或条形基础的室内埋深应从地下室地面算起，地下室地 面肯定是低于室外地面，所以按室内地面计算；箱型基础或筏型基础属于 整体基础，室内埋深应从一层的地面，由于室外地面肯定低于室内地面， 所以按室外地面计算。 3、对于室外地面有填方或者挖方的情况，按照发生时间的先后，应分三种情况： （1）在上部结构施工结束之后填方，应按原天然地面算起 这时的填方虽然增加了地基承载力，但施工过程中，地基的承载力不受填 方的影响。如果按填方后地面进行修正，将可能导致上部结构施工过程中 就发生地基破坏。 （2）在上部施工之前填方，应按填土地面算起 这时的填方已经起到了对地基承载力的增强作用，应按填土地面算起。（3）对于室外地面存在挖方的情况，如果没有地下室，一般从挖方后的地面算起。如果有地下室，对于箱型基础或筏型基础应从挖方后的地面算起。对于独立基础或条形基础应按挖方后的地面与地下室地面两者之间最低面 算起。 实际上，在上部结构施工结束后，一般都是在室外地面填方，是不允许挖 方的，除非脑子进水了。 4、地基承载力深度修正时，计算平均重度m g 用的埋深d ，与深度修正时所取的埋深d 相同。综上所述，对于地基承载力的深度修正问题，只要掌握了安全保守的原则，遇到具体问题，具体分析就行了。
AI芯片分类： 功能： 1.Training(训练) 2. Inference(推理)两个环节； 应用场景: 1. Cloud/DataCenter(云端) 2. Device/Embedded(设备端) 技术架构发展类型： 1、通用类芯片，代表如GPU、FPGA； 2、基于FPGA的半定制化芯片，代表如深鉴科技DPU、百度XPU等； 3、全定制化ASIC芯片，代表如谷歌TPU、寒武纪Cambricon-1A等； 4、类脑计算芯片，代表如IBM TrueNorth、westwell、高通Zeroth等。 类型比对 一、GPU 优点：具有数以千计的计算核心可实现10-100倍应用吞吐量 支持对深度学习至关重要的并行计算能力 比传统处理器更加快速加快了训练过程 目前最普遍采用的深度学习运算单元之一。 局限性：
1. 应用过程中无法充分发挥并行计算优势。深度学习包含训练和应用两个计算 环节，GPU在深度学习算法训练上非常高效，但在应用时一次性只能对于一张 输入图像进行处理，并行度的优势不能完全发挥 2. 硬件结构固定不具备可编程性。深度学习算法还未完全稳定，若深度学习算 法发生大的变化，GPU无法灵活的配置硬件结构。 能耗虽然GPU要好于CPU，但其能耗仍旧很大 二、FPGA FPGA，即现场可编辑门阵列，是一种新型的可编程逻辑器件，由于其具有静态可重复编程和动态在系统重构的特性，使得硬件的功能可以像软件一样通过编程来修改。 FPGA作为人工智能深度学习方面的计算工具，主要原因就在于其本身特性： 可编程专用性，高性能，低功耗。北京大学与加州大学的一个关于FPGA 加速深度学习算法的合作研究。展示了FPGA 与CPU 在执行深度学习算法时的耗时对比。在运行一次迭代时，使用CPU耗时375 毫秒，而使用FPGA 只耗时21 毫秒，取得了18 倍左右的加速比。 根据瑞士苏黎世联邦理工学院（ETHZurich）研究发现，基于FPGA的应用加速比CPU/GPU方案，单位功耗性能可提升25倍，而时延则缩短了50到75倍，与此同时还能实现出色的I/O集成。而微软的研究也表明，FPGA的单位功耗性能是GPU 的10倍以上，由多个FPGA 组成的集群能达到GPU 的图像处理能力并保持低功耗的特点。根据英特尔预计，到2020年，将有1/3 的云数据中心节点采用FPGA 技术。
神经网络的定义 神经网络是一组大致模仿人类大脑构造设计的算法，用于识别模式。神经网络通过机器感知系统解释传感器数据，对原始输入进行标记或聚类。神经网络所能识别的模式是包含在向量中的数值形式，因此图像、声音、文本、时间序列等一切现实世界的数据必须转换为数值。神经网络帮助我们进行聚类和分类。可以将其理解为建立在你所存储和管理的数据之上的一个聚类与分类层。对于未标记的数据，神经网络可以按照输入样例的相似之处将数据分组；若能用已标记的数据集定型，神经网络就可以对数据进行系统分类。（更准确地说，神经网络提取特征，再输入其他算法进行聚类和分类；因此可以将深度神经网络视为更大的机器学习应用系统的一部分，这个系统中还包括强化学习、分类和回归分析的算法。） 神经网络的要素 深度学习系统指一系列由多个层堆叠组成的特定神经网络。每一层则由节点构成。运算在节点中进行，节点的运作模式与人类的神经元大致相似，遇到足够的刺激信息时就会激活并释放信号。节点将输入数据与一组系数（或称权重）结合，通过放大或抑制输入来指定其在算法学习任务中的重要性。输入数据与权重的乘积之和将进入节点的激活函数，判定信号是否继续在网络中传递，以及传递的距离，从而决定信号如何影响网络的最终结果，例如分类动 作。 节点层是一行类似神经元的开关，在输入数据通过网络时开启或关闭。从最初接收数据的第一个输入层开始，每一层的输出同时也是下一层的输入。 我们将输入特征与可调整的权重匹配，由此指定这些特征的重要性，即它们对网络的输入分
类和聚类方式有多大程度的影响。 深度神经网络的重要概念 顾名思义，深度学习网络与更常见的单一隐藏层神经网络的区别在于深度，即数据在模式识别的多步流程中所经过的节点层数。 传统机器学习系统主要使用由一个输入层和一个输出层组成的浅层网络，至多在两层之间添加一个隐藏层。三层以上（包括输入和输出层在内）的系统就可以称为“深度”学习。所以，深度是一个有严格定义的术语，表示一个以上的隐藏层。在深度学习网络中，每一个节点层在前一层输出的基础上学习识别一组特定的特征。随着神经网络深度增加，节点所能识别的特征也就越来越复杂，因为每一层会整合并重组前一层的特征。 这被称为特征层次结构，复杂度与抽象度逐层递增。这种结构让深度学习网络能处理大规模高维度数据集，进行数十亿个参数的非线性函数运算。 最重要的是，深度学习网络可以发现未标记、非结构化数据中的潜在结构，而现实世界中的数据绝大多数都属于这一类型。非结构化数据的另一名称是原始媒体，即图片、文本、音视频文件等。因此，深度神经网络最擅长解决的一类问题就是对现实中各类未标记的原始媒体进行处理和聚类，在未经人工整理成关系数据库的数据中，甚至是尚未命名的数据中识别出相似点和异常情况。 例如，深度学习网络可以处理一百万张图片，根据其相似之处进行聚类：一个角落是猫的图片，一个角落是破冰船的图片，还有一个角落都是你祖母的照片。这就是所谓智能相册的基础。 同样的原理还可以应用于其他数据类型：深度学习可以对电子邮件或新闻报道等原始文本进行聚类。通篇都是愤怒投诉的邮件可以聚集到向量空间的一个角落，而客户的满意评价或者垃圾邮件则可以聚集到别的角落。这就是各类信息过滤器的基础，也可以用于客户关系管理（CRM）。这对于语音消息同样适用。如果使用时间序列，数据可以按正常/健康行为或异常/危险行为进行聚类。由智能手机生成的时间序列数据可以用于洞悉用户的健康状况和生活习惯；而由汽车零部件产生的时间序列数据则可以用来预防严重故障。 与多数传统的机器学习算法不同，深度学习网络可以进行自动特征提取，而无需人类干预。由于特征提取是需要许多数据科学家团队多年时间才能完成的任务，深度学习可以用于缓解专家人数不足造成的瓶颈。较小的数据科学家团队原本难以实现规模化，而深度学习可以增强他们的力量。 用未标记数据定型时，深度神经网络的每一节点层会自动学习识别特征，方法是反复重构输入的样本，让网络猜测结果与输入数据自身几率分布之间的差异最小化。例如，受限玻尔兹曼机就以这种方式进行所谓的重构。 深度神经网络通过这一过程学习识别具体相关特征和理想结果之间的关联－它们在特征信号与特征所代表的含义之间建立联系，可以是完全重构，也可以利用已标记的数据。 深度学习网络最终有一个输出层：一个逻辑或softmax分类器，用于指定某一种特定结果或
深度学习入门必须理解这25个概念 1、神经元（Neuron）——就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成一个输出。类似地，在神经网络的情况下，神经元接收输入，处理它并产生输出，而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。 2、权重（Weights）——当输入进入神经元时，它会乘以一个权重。例如，如果一个神经元有两个输入，则每个输入将具有分配给它的一个关联权重。我们随机初始化权重，并在模型训练过程中更新这些权重。训练后的神经网络对其输入赋予较高的权重，这是它认为与不那么重要的输入相比更为重要的输入。为零的权重则表示特定的特征是微不足道的。让我们假设输入为a，并且与其相关联的权重为W1，那么在通过节点之后，输入变为a *W1。 3、偏差（Bias）——除了权重之外，另一个被应用于输入的线性分量被称为偏差。它被加到权重与输入相乘的结果中。基本上添加偏差的目的是来改变权重与输入相乘所得结果的范围的。添加偏差后，结果将看起来像a* W1 偏差。这是输入变换的最终线性分量。 4、激活函数（Activation Function）——一旦将线性分量应用于输入，将会需要应用一个非线性函数。这通
过将激活函数应用于线性组合来完成。激活函数将输入信号转换为输出信号。应用激活函数后的输出看起来像f（a *W1+ b），其中f就是激活函数。在下图中，我们将'n'个输入给定为X1 到Xn 而与其相应的权重为Wk1 到Wkn。我们有一个给定值为bk 的偏差。权重首先乘以与其对应的输入，然后与偏差加在一起。而这个值叫做u。U =ΣW*X +b 激活函数被应用于u，即f(u)，并且我们会从神经元接收最终输出，如yk = f（u）。常用的激活函数最常用的激活函数就是Sigmoid，ReLU 和softmax（a）Sigmoid——最常用的激活函数之一是Sigmoid，它被定义为： sigmoid(x)=1/(1+e -x )Sigmoid 变换产生一个值为0 到1 之间更平滑的范围。我们可能需要观察在输入值略有变化时输出值中发生的变化。光滑的曲线使我们能够做到这一点，因此优于阶跃函数。（b）ReLU（整流线性单位）——与Sigmoid 函数不同的是，最近的网络更喜欢使用ReLu 激活函数来处理隐藏层。该函数定义为：f(x)=max(x,0)当X>0 时，函数的输出值为X；当X使用ReLU 函数的最主要的好处是对于大于0 的所有输入来说，它都有一个不变的导数值。常数导数值有助于网络训练进行得更快。（c）Softmax——Softmax 激活函数通常用于输出层，用于分类问题。它与sigmoid 函数是很类似的，唯一的区别就是输出被归一化为总和为1。Sigmoid 函数将发挥作用以防我们有