数据清洗 - 主题 - twt企业IT交流平台

热点

14 会员关注

议题说明数据对机器学习模型训练起着至关重要的基础作用，使用高质量数据集用于训练或微调模型，能够大大提升模型的效果和性能。在垂直领域训练过程中，有很多种任务，如何收集和标注多种情况的数据，对提升模型的综合能力应对有重要意义。长尾数据指的是数据集中一些类别样本数据...(more)

银行大语言模型·2024-01-10

在长尾场景下，数据清洗是至关重要的。以下是清洗长尾数据的方法、措施和注意点：异常值处理：长尾数据中常见异常值，可利用统计学方法处理异常值，确保数据准确性。缺失值处理：长尾数据可能存在较多缺失值，需采用适当方法填充或处理，如均值填充、插值法等，以保证数据完整性。特征选择...

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。