当前位置：文档之家 › kettle源码解读

kettle源码解读

  • 格式：docx
  • 大小：16.80 KB
  • 文档页数：2

第 1 页 共 2 页 kettle源码解读

（原创版）

目录

1.Kettle 简介

2.Kettle 的架构和核心组件

3.Kettle 的数据存储和处理

4.Kettle 的任务和作业

5.Kettle 的性能优化和扩展性

6.总结

正文

1.Kettle 简介

Kettle 是一款开源的 ETL 工具，其主要功能是帮助数据管理员和开发人员将数据从一个数据源迁移到另一个数据源。Kettle 可以处理各种类型的数据源，包括数据库、文件系统和数据仓库等。它具有强大的数据转换和数据处理能力，可以帮助用户完成复杂的数据集成任务。

2.Kettle 的架构和核心组件

Kettle 的架构主要由四个核心组件组成，分别是：资源管理器、转换引擎、步骤管理和仓库管理。资源管理器负责管理所有的资源，包括数据源、目标数据存储和转换步骤等。转换引擎负责执行具体的数据转换任务，包括数据抽取、数据转换和数据加载等。步骤管理器负责管理所有的

ETL 步骤，包括数据的输入、输出和转换等。仓库管理器负责管理所有的数据仓库，包括数据的存储和查询等。

3.Kettle 的数据存储和处理

Kettle 支持各种类型的数据存储和处理，包括关系型数据库、对象 第 2 页 共 2 页 数据库、文件系统和数据仓库等。用户可以根据具体的需求选择不同的数据存储和处理方式。Kettle 提供了强大的数据转换功能，可以实现各种类型的数据转换，包括数据清洗、数据聚合和数据分组等。

4.Kettle 的任务和作业

Kettle 的任务和作业是其核心功能之一。任务是指一个具体的数据处理任务，例如数据抽取、数据转换或数据加载等。作业是指一个完整的数据处理过程，包括多个任务的组合和调度等。用户可以根据具体的需求创建和管理任务和作业，以实现复杂的数据处理任务。

5.Kettle 的性能优化和扩展性

Kettle 提供了一系列的性能优化和扩展性功能，包括数据缓存、并行处理和分布式处理等。数据缓存可以有效地减少数据访问的时间，提高数据处理的速度。并行处理可以充分利用计算机的多核处理能力，提高数据处理的效率。分布式处理可以实现多个计算机的协同处理，提高数据处理的能力和可靠性。

6.总结

Kettle 是一款功能强大的 ETL 工具，可以帮助用户完成复杂的数据集成任务。它具有灵活的架构和强大的数据处理能力，可以满足各种类型的数据存储和处理需求。

合集下载

SSD源码解读——损失函数的构建

SSD源码解读——损失函数的构建

SSD源码解读——损失函数的构建

之前，对SSD的论⽂进⾏了解读，可以回顾之前的博客：。

为了加深对SSD的理解，因此对SSD的源码进⾏了复现，主要参考的github项⽬是。同时，我⾃⼰对该项⽬增加了⼤量注释：

搭建SSD的项⽬，可以分成以下三个部分：

1. ；

2. ；

3. 损失函数的构建；

4. 。

接下来，本篇博客重点分析损失函数的构建。

检测任务的损失函数，与分类任务的损失函数具有很⼤不同。在检测的损失函数中，不仅需要计类别置信度的差异，坐标的差异，还需要使

⽤到各种tricks，例如hard negative mining等。

在train.py中，⾸先需要对损失函数MultiBoxLoss()进⾏初始化，需要传⼊的参数为num_classes类别数，正例的IOU阈值和hard negative

mining的正负样本⽐例。在论⽂中，VOC的类别总数是21（20个类别加上1个背景）；当预测框与GT框的IOU⼤于0.5时，认为该预测框是

正例；hard negative mining的正样本和负样本的⽐例是1:3。

# 损失函数

criterion = MultiBoxLoss(num_classes=voc['num_classes'],

overlap_thresh=0.5,

neg_pos=3)

在models/multibox_loss中，定义了损失函数MultiBoxLoss()。在函数forward()中，需要传进来两个参数，分别是predictions和targets，其

中，predictions是SSD⽹络得到的结果，分别是预测框坐标，类别置信度和先验锚点框；⽽targets是则是数据读取中的值，是GT框的坐标

和类别label。⾸先，需要创建坐标loc_t和类别置信度conf_t的tensor，其shape分别是[batch_size,8732,4]和[batch_size,8732]。然后，使⽤

String、StringBuffer、StringBuilder源码解读

String、StringBuffer、StringBuilder源码解读

String、StringBuffer、StringBuilder源码解读

序

好长时间没有认真写博客了，过去的⼀年挺忙的。负责过数据库、线上运维环境、写代码、Code review等等东西挺多。

学习了不少多⽅⾯的东西，不过还是需要回归实际、加强内功，⽅能扛⿍。

去年学习Mysql列举了⼤纲，书写了⼀部分。后来进⼊到⼯作状态，就没有继续书写。当然其实没有书写的内容部分已经总结到了公司内部

的wiki中，或者在⼯作过程中⼤半也应⽤过，也懒得书写下来了。看什么时候⼜有⼼情，重新回顾总结⼀下吧。

下⼀步的学习计划

数据结构、算法、源代码解读、多线程（哎，学⽆⽌境）

为什么先说String呢？

其实绝⼤部分业务开发过程中String都是最常⽤的类。常常利⽤JProfiler这类⼯具做内存分析时，能看到char[]（为什么是char[]在接下来的源

码解读中会有提现）能站到70%以上。类关系图

简要对⽐

差别StringStringBufferStringBuilder

常量 / 变量常量变量变量

线程是否安

全安全安全⾮安全

所在内存区

域Constant String Pool(常量

池)heapheap

是否能被继

承否否否

代码⾏数3157718448

使⽤场景在字符串不经常变化的场

景在频繁进⾏字符串运算（如拼接、替换、删除

等），

并且运⾏在多线程环境在频繁进⾏字符串运算（如拼接、替换、和删除

等），

并且运⾏在单线程的环境

场景举例常量的声明、少量的变量

运算XML 解析、HTTP 参数解析和封装SQL 语句的拼装、JSON 封装从代码⾏数来上说String类更⼤，其中⼤量的⽅法重载拓展了篇幅。同时注释⽂档详细，注释的⾏⽂风格常常看到⼀个简短的定义之后，紧

跟⼀个由that或the引导的定语从句（定语从句⼀般皆放在被它所修饰的名（代）词之后）。

例:

1 /**

2 * Allocates a new {@code String} that contains characters from a subarray

Ardupilot-ArduCopter-3.2.1 源码解读

Ardupilot-ArduCopter-3.2.1 源码解读

ArduCopter-3.2.1 源码解读

本文针对多轴飞行器最简单常见的stabilize_run模式（即自稳模式）的代码进行解读。

首先，在进行代码解读之前，首先我们要先想好，一个飞行器要工作在stabilize_run模式，需要什么输入，最后输出了什么东西。很容易地，我们知道在stabilize_run模式下，飞行器要周期性地检测陀螺仪信号来更新计算目前的角度，检测加速度计和电子罗盘来修正分别修正pitch、roll和Yaw；同时要检测遥控器的输入，转化为相应的油门值、pitch目标值、roll目标值、Yaw转动速度目标值。然后把上面的输入进行PID运算，最后输出各个电机的PWM值。

因此，我们需要从ArduCopter-3.2.1源码中找到下面的程序：

a. 程序是如何周期性运行的；

b. 程序在哪里更新各个传感器的值（加速度计、陀螺仪、电子罗盘）；

c. 飞行器姿态解算；

d. 遥控器的输入是在哪些程序检测，并转换成pitch、roll、yaw目标值的；

e. PID的计算；

f. 电机PWM值输出；

下面，我们根据上面的思路找到相应的程序并进行解读。

程序的周期性运行

首先，我们先了解程序是如何周期性运行的。在ArduPilot官网的“Scheduling Code to Run

Intermittently (Code Overview)”做出了介绍 （网址：/wiki/apmcopter-code-overview/code-overview-scheduling-your-new-code-to-run-intermittently/）。要让程序周期性运行，有两种办法，一种是在 AP_Scheduler::Task

scheduler_tasks[] PROGMEM列表里面添加函数，并定义多少时间运行一次以及设置超时，另一种是在fast_loop()函数里面新增代码。

scheduler_tasks[]可以在ArduCopter.cpp里找到：

ASP.NETCore5-Kestrel源码解读

ASP.NETCore5-Kestrel源码解读

Core5-Kestrel源码解读

上节讲到了kestrel服务器的配置及使⽤，相信很多同学已经对kestrel服务器有了初步的了解，那么有的同学可能会想更加深⼊的了解⼀下Kestrel服务器的是怎么实现监听和接收

http请求的，今天我们来看下Kestrel服务器的源码，相信看完这些，你⼀定会对Kestrel服务器的运⾏机制有更深⼊的了解。

⾸先，让我们从程序启动类Program.cs开始分析。

public class Program

{

public static void Main(string[] args)

{

CreateHostBuilder(args).Build().Run();

}

public static IHostBuilder CreateHostBuilder(string[] args) =>

Host.CreateDefaultBuilder(args)

.ConfigureWebHostDefaults(webBuilder =>

{

eStartup();

});

}

其中，Host类链式调⽤了两个⽅法：CreateDefaultBuilder

ConfigureWebHostDefaults

⾸先我们来看下CreateDefaultBuidler⽅法：

public static IHostBuilder CreateDefaultBuilder(string[] args)

{

HostBuilder hostBuilder = new HostBuilder();

eContentRoot(Directory.GetCurrentDirectory());

hostBuilder.ConfigureHostConfiguration((Action) (config =>

{

...

}));

hostBuilder.ConfigureAppConfiguration((Action) ((hostingContext, config) =>