“有多少智能,就有多少人工”。
戏谑的话藏在人工智能的背面,至今仍成立。刚从大学出来的丁洋,前途暂时踩在这句话的后半部分。
丁阳大学学习轻化工程。毕业后,系里的大部分学生都去了三班倒的造纸厂。他不想去工厂。今年6月毕业后,丁阳从回到海口,8月初拿着一本电子训练题库,两天后成为文心的“新手”数据标记员。
在海口市秀英区招商局大厦,文信的数据标注员习惯称之为“基地”。200多人在这个基地进出,分布在这栋办公楼的三楼。入职前要签保密协议,进门要刷脸,一人一台电脑。很多电脑都是老板从山西租来的,因为在当地租这些设备的熟人不多。
“这台电脑不需要500元。有一次我把主机拿到闲鱼上搜,值60元。我可以装一个比这个好很多的500元。”
丁阳高考报的电脑后来被调到轻工程,但他对此并不感兴趣。相反,他在大学里看到了很多关于计算机和软件工程的事情,这让他很快听说了去年年底ChatGPT的出现。
今年12月,他注册了一个ChatGPT账号,随后“能力比我预知的要多”,他说。
当我在基地的过程中遇到丁洋时,他面前电脑屏幕上的问题是:“成功人士的标准是什么?”
这可能是客户的真实问题,也可能是凭空产生的测试问题,但在屏幕前,需要标记。
标注并不容易。
在这个问题下,会有五个不同的答案。数据标记员应该阅读它,然后找出每个答案中的所有缺陷。
例如,错误的单词或逻辑单词,如“因为”和“因此”被误用,但更多的是回答非问题,或者所谓的“幻觉”出现在没有事实依据的段落中。
他想根据答案的质量给这五个答案打分,满分5分,共5分,最低1分。3分及以下答案,丁阳需要将每个错误分为标记系统给出的不同类型的错误。
这个复杂的纠错过程是在训练中生成合适的奖励模型RM(rewardmodel,也叫偏好模型),评分和排序的动作会使模型与人类的偏好进一步对齐。
这也是ChatGPT取胜的关键,OpenAI的论文中曾描述过这一点,指令微调(Instructiontuning)让人工智能在这个过程中与人类的想法对齐。
在数据标记员工作之前,需要一些更专业的人员将扩散的语料库变成具体的问答对,然后像例题一样喂给大模型。经过大量正确的问答数据训练,后者开始自己解决问题。
在这个阶段,数据标记员从安全性、准确性和相关性的角度对大型模型产生的答案质量进行评估,这进一步培养了一个奖励模型。最后,奖励模型将取代手动标记。
OpenAI估值超过300亿美元的背后,有大量时薪不到2美元的肯尼亚数据标注劳动力,否则去年12月就到不了丁洋了。
然而,丁阳并不理解RM或SFT的定义。他说,在开始之前的培训中没有这些理论内容,有些人甚至不知道他们工作的新话是什么。但这并不重要,重要的是完成事情。
早上九点到六点,做六点休息和一份工作,基本工资1800元。一个月后,如果平均每天能标记足够的40个问题,基本工资就会得到。基本工资按完成率计算,准确性也应考虑在内。“老兵”的稳定工作量是每天7次、80个,遇到的问题也比较难。平均来说,一个月能拿到4000元。如果你努力一点,比如每天标100道题,一个月能拿到7000元。
对于丁阳这样的刚毕业的学生来说,4000元是一份起步不低的工作。海口人均月薪只有3000元,甚至10人中有6人一个月拿不到3000元。当地著名的后安粉卖11元,ChatGPT标记员一个小时就能买到一碗。相比之下,粉很贵。按照他的话说,海口人赚的钱不多,但他们愿意从吃东西开始。
丁阳说:“股票是最难的,或者是汽车。遇到这个问题可能需要20分钟。
“比如有人会问是买宝马3系还是奔驰C系。”这时候大模型会列出80多个关于两款车的参数给客户比较,所以他要跟着屁股后面逐一核对每个参数的真实性。
半个月的工作也标注了几百道题,但他说自己印象中能拿到3分就好了,很少有4分。
他记得一道题拿到4分,题目是“林黛玉为什么要打白骨精?”
文欣没有沿着杆子爬。林黛玉没有回头打白骨精,然后介绍了林黛玉和白骨精各自的人物背景。从答案质量的每一个层面来看,这几乎是无可挑剔的。
我把这个问题提到了Claude2,它说:“白骨精化作为王熙凤,多次侮辱林黛玉。林黛玉对白骨精的伤害很生气。”——幻觉真的很麻烦。
2020年初,“人工智能培训师”正式成为职业,并被列入国家职业分类目录。两年后,大模型的浪潮突然在这个目录上切断了更多的漏洞。
看着人工智能带走人类的旧工作,然后指望它创造新的工作。就像马车被汽车取代一样,新工业将给马车司机一个劳动致富的新世界的一般描述,大量有钱找目标投资者买这个说法,有些人不买,比如英国杰弗里·辛顿,他曾经奠定了深入的学习基础,但现在担心。
但目前最直观的创作就是丁洋这样的大模型数据标注员。
2022年以前,人工智能的前沿阵地仍然无法控制自己自动驾驶的定义阶段,对数据标记员有一个冷淡的描述:
“如果人工智能被视为动物,数据标记员的工作大致相当于准备饲料。”
这项工作很便宜,重复——甚至不足以喂饲料。
一个传统的数据标记员,每天的工作只是仔细观察每个接收到的图像,标记汽车或狗的轮廓,标记,拖到不同的文件夹;或者用点阵工具标记驾驶视频中每帧的障碍物,留下一个完整的“驾驶区域”。
一个数据标注员每天可能要做2000次这样的动作。
只有通过注明的数据才能被人工智能学习。一家自动驾驶数据供应商曾表示,自动化水平仅为5%,95%的自动化工作仍由人工完成。
大模型到来后,数据标记本身也开始发生变化。大模型数据标记员的主要工作不仅是对屏幕上的简单拉框、描点或标记,而且是对生成内容的评估、排序和评分。如果涉及多轮对话或多模态内容生成,则更加困难。
如果说传统CV和NLP时代的模型标注更倾向于遵循客观规则,那么大模型的标注规则就要主观得多,考验标注人员的素质。正因为如此,百度在海口和山西的大模型标注团队都是本科以上学历。
海口基地的一般标记员有机会晋升为质量检验员,然后成为培训师和主管,最终成为项目经理。这是几个月内建立起来的一个渠道。一位在海口为文欣做数据标记的代理商表示,试用期结束后,内部岗位可以晋升,没有时间轴。
丁阳说:“这是一个快速成型的新产业。”每一个环节都是新手。
质检员完成第一次审批后,将题库交给第二次审批。第二次审批是百度内部审批,这些培训数据脱离了丁阳标记团队的手。
为文心工作的丁洋和整个基地的200多人,都不能说是百度的员工。
海口基地的标记人员属于四个不同的代理商。他们的劳动合同与这些第三方数据标记企业签订。这就是这个职位的做法。百度从自动驾驶到大型人工智能的历史悠久,背后是全国600多家代理商和300多个城市的20万数据标记人员。
百度为自己的大模型专职团队预置了近万人的规模,该计划将兑现为未来全国十多个城市
发布者:5840,转转请注明出处:https://www.5840.cn/lives/1048.html
评论列表(0条)