智能交通系统的数据采集、处理和审核流程设计
人工智能训练师主机:CPU(intel i5 及以上)、内存(不少于 16GB)、操作系统(windows10)、支持深度学习训练;
30min
某智能交通系统希望通过车辆的行驶数据,利用人工智能技术进行交通流量预测和拥堵预警。你作为人工智能训练师,需要设计一套全面的业务数据采集、处理和审核流程,确保数据在进入交通流量分析系统之前经过严格的采集、清洗、审核和预处理。这里提供一个车辆行驶数据集(vehicle_traffic_data.csv),包含以下字段:
VehicleID: 车辆ID
DriverName: 驾驶员姓名
Age: 年龄
Gender: 性别(Male/Female)
Speed: 车速(km/h)
TravelDistance: 行驶距离(km)
TravelTime: 行驶时间(min)
TrafficEvent: 交通事件(Normal, Accident, Traffic Jam, Breakdown)
你作为人工智能训练师,根据提供的vehicle_traffic_data.csv数据集和Python代码框架(1.1.5.ipynb),完成以下数据的采集、处理和审核任务,确保数据的准确性和可靠性。请按照以下要求完成任务,确保结果准确并保存相应的截图。
(1)数据采集:
通过运行Python代码(1.1.5.ipynb),从本地文件vehicle_traffic_data.csv中读取数据,并将数据加载到DataFrame中。显示前5行数据截图以jpg的格式保存,命名为“1.1.5-1”。
(2)数据清洗与预处理:
通过运行Python代码(1.1.5.ipynb)对数据进行清洗和预处理,具体要求如下:
处理缺失值:对缺失值进行删除。
数据类型转换:确保每个字段的数据类型正确。
处理异常值:删除不合理的年龄、车速、行驶距离和行驶时间。
清洗后的数据保存为新文件cleaned_vehicle_traffic_data.csv。
(3)数据合理性审核: 通过运行Python代码审核以下字段的合理性:
年龄:应在18到70岁之间。
车速:应在0到200 km/h之间。
行驶距离:应在1到1000 km之间。
行驶时间:应在1到1440分钟(24小时)之间。
对不合理的数据进行标记,并将审核结果截图以jpg的格式保存,命名为“1.1.5-2”。
(4)数据统计:
通过运行Python代码(1.1.5.ipynb),完成以下数据统计任务:
统计每种交通事件的发生次数。
统计不同性别的平均车速、行驶距离和行驶时间。
统计不同年龄段的驾驶员数(18-25岁、26-35岁、36-45岁、46-55岁、56-65岁、65岁以上)。
将统计结果分别截图以jpg的格式保存,分别命名为“1.1.5-3”、“1.1.5-4”、“1.1.5-5”。
所有结果文件储存在桌面新建的考生文件夹中,文件夹命名为“准考证号+身份证号后六位”。
(1)能结合人工智能技术要求和业务特征,设计整套业务数据采集流程;
(2)能结合人工智能技术要求和业务特征,设计整套业务数据处理流程;
(3)能结合人工智能技术要求和业务特征,设计整套业务数据审核流程;
(1)数据完整性:数据无缺失,每项记录完整。
(2)数据合理性:所有数值在合理范围内,无异常点。
(3)数据一致性:字段类型正确,数据格式统一。
(4)分析准确性:统计结果反映真实数据分布,无偏差。
考生文件夹可以保存在桌面。
jupyter notebook 工作目录(根目录):虚拟机环境中的D:\jupyter_notebook。
jupyter notebook 打开方式:在终端中输入jupyter notebook启动。
ipynb填充代码运行后,附带结果保存为html格式上传。保存方法:jupyter notebook中File->Download as->HTML(.html)。
ipynb代码在下划线上填充,请勿随意添加、删除或修改源代码的其他部分,以免影响考试结果。
截图工具:Windows附件->截图工具。截图只截取输出结果部分,其余多余内容不截取。