第六节数据处理的基本方法前面我们已经讨论了测量与误差的基本概念,测量结果的最佳值、误差和不确定度的计算.然而，我们进行实验的最终目的是为了通过数据的获得和处理,从中揭示出有关物理量的关系，或找出事物的内在规律性,或验证某种理论的正确性,或为以后的实验准备依据.因而，需要对所获得的数据进行正确的处理，数据处理贯穿于从获得原始数据到得出结论的整个实验过程。
包括数据记录、整理、计算、作图、分析等方面涉及数据运算的处理方法。
常用的数据处理方法有:列表法、图示法、图解法、逐差法和最小二乘线性拟合法等，下面分别予以简单讨论.一、列表法列表法是将实验所获得的数据用表格的形式进行排列的数据处理方法。
列表法的作用有两种：一是记录实验数据，二是能显示出物理量间的对应关系.其优点是,能对大量的杂乱无章的数据进行归纳整理，使之既有条不紊，又简明醒目；既有助于表现物理量之间的关系，又便于及时地检查和发现实验数据是否合理，减少或避免测量错误；同时，也为作图法等处理数据奠定了基础.用列表的方法记录和处理数据是一种良好的科学工作习惯，要设计出一个栏目清楚、行列分明的表格，也需要在实验中不断训练，逐步掌握、熟练，并形成习惯。
一般来讲，在用列表法处理数据时，应遵从如下原则：（1)栏目条理清楚,简单明了,便于显示有关物理量的关系。
（2)在栏目中，应给出有关物理量的符号，并标明单位（一般不重复写在每个数据的后面）.（3)填入表中的数字应是有效数字。
(4）必要时需要加以注释说明。
例如，用螺旋测微计测量钢球直径的实验数据列表处理如下。
用螺旋测微计测量钢球直径的数据记录表∆mm=.0±004从表中，可计算出nD D i∑=6799.5=（mm ） 取799.5≈D mm,D D i i -=ν.不确度的A 分量为（运算中D 保留两位存疑数字) ()12-=∑n S iD ν1100.0≈（mm) B 分量为（按均匀分布) 3∆=D U2300.0≈(mm ）则 2600.022≈+=D D U S σ（mm)取 300.0=σ（mm)测量结果为003.0997.5±=D （mm ）。
数据预处理的⽅法有什么？1.数据清理缺失值的处理删除变量：若变量的缺失率较⾼（⼤于80%），覆盖率较低，且重要性较低，可以直接将变量删除。
定值填充：⼯程中常见⽤-9999进⾏替代统计量填充：若缺失率较低（⼩于95%）且重要性较低，则根据数据分布的情况进⾏填充。
对于数据符合均匀分布，⽤该变量的均值填补缺失，对于数据存在倾斜分布的情况，采⽤中位数进⾏填补。
插值法填充：包括随机插值，多重差补法，热平台插补，拉格朗⽇插值，⽜顿插值等模型填充：使⽤回归、贝叶斯、随机森林、决策树等模型对缺失数据进⾏预测。
哑变量填充：若变量是离散型，且不同值较少，可转换成哑变量，例如性别SEX变量，存在male,fameal,NA三个不同的值，可将该列转换成IS_SEX_MALE, IS_SEX_FEMALE, IS_SEX_NA。
若某个变量存在⼗⼏个不同的值，可根据每个值的频数，将频数较⼩的值归为⼀类'other'，降低维度。
此做法可最⼤化保留变量的信息。
离群点处理处理⽅法简单统计分析：根据箱线图、各分位点判断是否存在异常，例如pandas的describe函数可以快速发现异常值。
3 原则：若数据存在正态分布，偏离均值的3 之外. 通常定义范围内的点为离群点。
基于绝对离差中位数（MAD）：这是⼀种稳健对抗离群数据的距离值⽅法，采⽤计算各观测值与平均值的距离总和的⽅法。
放⼤了离群值的影响。
基于距离：通过定义对象之间的临近性度量，根据距离判断异常对象是否远离其他对象，缺点是计算复杂度较⾼，不适⽤于⼤数据集和存在不同密度区域的数据集基于密度：离群点的局部密度显著低于⼤部分近邻点，适⽤于⾮均匀的数据集基于聚类：利⽤聚类算法，丢弃远离其他簇的⼩簇。
具体处理⼿段根据异常点的数量和影响，考虑是否将该条记录删除，信息损失多若对数据做了log-scale 对数变换后消除了异常值，则此⽅法⽣效，且不损失信息平均值或中位数替代异常点，简单⾼效，信息的损失较少在训练树模型时，树模型对离群点的鲁棒性较⾼，⽆信息损失，不影响模型训练效果噪声处理噪声是变量的随机误差和⽅差，是观测点和真实点之间的误差，即。
数据处理设计原则
数据处理设计原则是在进行数据处理和分析时应遵循的一些基本原则。
以下是一些常见的数据处理设计原则：
1. 数据完整性：确保数据的完整性是数据处理的首要原则。
这意味着要确保所有必需的数据都被正确地收集和存储，并且没有丢失或损坏。
2. 数据精确性：确保数据的准确性是另一个重要原则。
这意味着要确保数据被正确地输入、处理和验证，以避免错误的数据对后续分析和决策产生误导。
3. 数据一致性：数据一致性是指在不同的数据源和数据处理过程中，数据的定义和格式保持一致。
这可以通过使用标准化的数据模型、定义数据字典和采用一致的数据处理规范来实现。
4. 数据安全性：数据安全性是确保数据不受未经授权的访问、修改或破坏的原则。
这可以通过实施适当的访问控制、加密和备份策略来实现。
5. 数据可追溯性：数据可追溯性是指能够跟踪和审计数据的来源、变更和使用情况。
这可以通过记录数据的元数据、实施数据审计和日志记录来实现。
6. 数据可扩展性：数据可扩展性是指能够有效地处理和分析大规模数据的能力。
这可以通过使用合适的数据存储和处理技术、优化数据查询和计算性能来实现。
7. 数据合规性：数据合规性是指遵守法律、法规和行业标
准对数据进行处理和保护的要求。
这包括保护个人隐私、保密商业机密和符合数据保护法规等。
8. 数据可用性：数据可用性是指确保数据能够及时、可靠地被用户访问和使用的原则。
这可以通过提供高可用性的数据存储和处理系统、设计直观的数据访问界面来实现。
这些数据处理设计原则可以帮助组织建立可靠、安全和高效的数据处理流程，从而支持数据驱动的决策和业务需求。
-般试验设计和数据处理原则1 •试验的实施正式试验开始之前，可在少数志愿者中进行预试验，用以验证分析方法、评估变异程度、优化采样时间，以及获得其他相关信息。
预试验的数据不能纳入最终统计分析。
（1）空腹试验：试验前夜至少空腹10小时。
一般情况下，在空腹状态下用240mL水送服受试制剂和参比制剂。
口腔崩解片等特殊剂型应参考说明书规定服药。
（2）餐后试验：试验前夜至少空腹10小时。
受试者试验当日给药前30分钟时开始进食标准餐，并在30分钟内用餐完毕，在开始进餐后30分钟时准时服用试验药，用240mL水送服。
（3）服药前1小时至服药后1小时内禁止饮水，其他时间可自由饮水。
服药后4小时内禁食。
每个试验周期受试者应在相同的预定时间点用标准餐。
（4）通常最高规格的制剂可以一个单位（单片或单粒）服用，如生物样品分析方法灵敏度不足，则可在安全性允许的条件下，在说明书单次服药剂量范围内同时服用多片/粒最高规格制剂。
（5）试验给药之间应有足够长的清洗期（一般为待测物7倍半衰期以上）。
（6）应说明受试制剂和参比制剂的批号、参比制剂的有效期等信息。
建议受试制剂与参比制剂药物含量的差值小于5%。
试验机构应对试验制剂及参比制剂按相关要求留样。
试验药物应留样保存至药品获准上市后2年。
2.餐后生物等效性研究标准餐的组成建议采用对胃肠道生理功能和药物生物利用度影响大的餐饮进行餐后生物等效性研究，如高脂（提供食物中约50% 的热量）高热（约800—1000干卡）饮食。
其中蛋白质约提供150千卡热量，碳水化合物约提供250千卡热量，脂肪约提供500-600千卡热量。
报告中应提供试验标准餐的热量组成说明。
3 •样品采集通常建议采集血液样品。
多数情况下检测血浆或血清中的药物或其代谢产物浓度。
有时分析全血样品。
建议恰当地设定样品采集时间，使其包含吸收、分布、消除相。
一般建议每位受试者每个试验周期采集12-18个样品，其中包括给药前的样品。
采样时间不短于3个末端消除半衰期。
