04 / RSI / IOT TASK BENCH
RSI-IoT 算法研发任务
RSI Task Bench 围绕真实感知数据,构建可训练、可评测的算法研发型 Agent 环境。
IMU 时序图像与深度雷达检测5-shot 语音
当前聚焦 RSI-IoT 方向。我们将 IMU 时序、图像、雷达、深度数据和语音特征组织成有明确数据边界、资源限制与验收方式的任务。Agent 需要在限定算力和时间内完成数据分析、方法设计、实验验证,并提交可运行的算法方案,而不只是给出方法描述。
RSI TASK BENCH / IOT
当前任务覆盖
从时序、视觉到雷达与语音,围绕六种算法研发场景。
- 01
IMU 活动识别
在时序窗口与活动类别上建立可复现的分类方案。
- 02
跨客户端泛化
留出客户端,检验模型跨设备与参与者的迁移表现。
- 03
多模态低样本学习
利用有限标注样本,联合不同感知模态完成学习。
- 04
婴儿监护图像分类
在明确标签与授权范围内完成监护图像分类。
- 05
雷达与图像人员检测
结合雷达与图像信息,在留出场景中验证检测结果。
- 06
5-shot 语音指令识别
在每类仅有少量样例的设置下完成语音指令识别。
按任务选择评测指标Macro F1跨客户端平均准确率AP50
DELIVERY / CONTENT
交付什么
具体范围按项目需求、授权与安全边界确定。
- 01Harbor 隔离环境、公开开发数据与独立隐藏测试集
- 02任务说明、统一推理入口、实验日志和可运行方案
- 03公开评分器与独立自动评测器;按任务提供 Macro F1、跨客户端平均准确率、AP50 等反馈
SCENARIO / EXAMPLE
数据场景示例
以跨客户端 IMU 活动识别为例,Agent 在公开开发数据上分析类别和客户端差异,设计特征处理与模型训练方案,通过统一推理入口提交结果;隐藏客户端只用于独立评测。
QUALITY SIGNAL / 04
如何检查质量
按任务核验 Macro F1、跨客户端平均准确率或 AP50,并检查时间与算力预算、数据隔离、入口可运行性及实验可复现性。
CONTEXT→ACTION→FEEDBACK