一、什么是yumdig?
Yumdig是一个面向电商业务场景的多模态数据标注工具,它的主要特点是支持多种数据类型的标注,包括文本、图片、音频等,同时支持标注团队协同工作,提供标注任务分配、质量管控等功能。
从技术角度来看,yumdig采用前后端分离的架构,前端采用React开发,后端采用Python Flask框架实现,同时采用Redis作为缓存层、MySQL作为数据存储层。
二、yumdig的特点有哪些?
1、支持多种数据类型的标注
yumdig支持文本、图片、音频等多种数据类型的标注,可以满足各种不同业务场景下的标注需求。
2、支持标注团队协同工作
yumdig提供了丰富的标注任务分配、质量管控等功能,可以有效提高标注团队的协同效率。
3、可扩展性强
yumdig采用前后端分离的架构,可以方便地扩展新的数据类型、标注任务等功能。
4、安全性高
yumdig采用Redis作为缓存层、MySQL作为数据存储层,同时采用了多种安全保护措施,保障用户数据的安全性。
三、yumdig的使用示例
1、创建标注任务
可以通过yumdig的后台管理系统创建新的标注任务,设置任务名称、任务描述、数据类型、标注类型、标注员数量等信息。
task = Task(name="商品评论标注", desc="标注商品评论情感极性", data_type="text",
annotation_type="tagging", status="created", creator="admin", annotator_count=5)
db.session.add(task)
db.session.commit()
2、分配标注任务
可以通过yumdig的后台管理系统,将已创建的标注任务分配给标注员,同时可以设置标注员的工作时长、报酬等信息。
annotations = Annotation.query.filter_by(status="created").all()
for annotator in annotators:
for annotation in annotations:
task_assignment = TaskAssignment(task_id=annotation.task_id, annotator_id=annotator.id, data_id=annotation.id,
status="assigned", assign_time=datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
db.session.add(task_assignment)
db.session.commit()
3、进行标注工作
标注员可以登录yumdig的前端界面,进行相应的标注工作。
4、审核标注结果
可以通过yumdig的后台管理系统,对标注结果进行审核,保证标注结果的质量。
annotations = Annotation.query.filter_by(status="annotated").all()
for annotation in annotations:
results = AnnotationResult.query.filter_by(annotation_id=annotation.id).all()
tags = set([result.value for result in results])
if len(tags) != 1:
annotation.status = "re_annotation"
else:
annotation.status = "audited"
db.session.commit()
四、yumdig未来的发展方向
1、更丰富的标注功能
未来yumdig将支持更丰富的标注功能,包括视频、语音识别、多轮对话等领域。
2、更加智能的标注质量管控
未来yumdig将引入机器学习算法,提高标注结果的质量,并且降低人工审核成本。
3、更加便捷的扩展性
未来yumdig将会提供更加便捷的扩展性,使得用户可以方便地扩展新的数据类型、标注任务等功能。
原创文章,作者:小蓝,如若转载,请注明出处:https://www.506064.com/n/232079.html