国产精一区二区_午夜视频99_免费白白视频_中文字幕一区免费

數(shù)據(jù)標(biāo)注工:訓(xùn)練AI,被AI替代

甲子光年
+ 關(guān)注
2023-07-18 17:25
1047次閱讀
增長和淘汰同時進行。

數(shù)據(jù)標(biāo)注工:訓(xùn)練AI,被AI替代

增長和淘汰同時進行。

前景和覆滅同時存在,數(shù)據(jù)標(biāo)注從業(yè)者代延從未如此矛盾。

30歲的內(nèi)蒙古人代延在今年初創(chuàng)業(yè),組建了一個近30人的線上標(biāo)注團隊。此前代延曾在數(shù)據(jù)標(biāo)注的眾包平臺做了兩年。可以稱為是“熟工”的他,對眼下的局面既期待又緊張。

他從年初就關(guān)注到ChatGPT。從AI企業(yè)注冊量的粗暴增長上,代延看到了AI的行業(yè)爆火與數(shù)據(jù)標(biāo)注的創(chuàng)業(yè)機會。天眼查數(shù)據(jù)顯示,僅今年一季度就新增注冊17萬家人工智能相關(guān)企業(yè),目前總計已有267萬家。

他想象著自己能跟隨行業(yè)共進,公司未來能發(fā)展到100人的規(guī)模。但眼下的現(xiàn)狀卻難以支撐他的期盼:數(shù)據(jù)標(biāo)注的圈子很快被沖破——大量標(biāo)注需求、標(biāo)注工人和中間商一同涌入,單價更低了。

就像工程隊接觸不到有建筑需求的甲方,只能從承包方手上接項目一樣,代延接觸的工價因項目層層轉(zhuǎn)手越壓越低。他拒絕干一天只能拿到30元的標(biāo)注項目。

與此同時,代延還面臨著標(biāo)注業(yè)沒有職業(yè)晉升、沒有合同保障、被拖款也投訴無門的窘迫。他自嘲:“我們就是新時代的數(shù)據(jù)民工。”

但這并不是問題的全部。更大的問題在于,自動化標(biāo)注也正在吞噬他們手上僅有的項目。由代延這樣的數(shù)據(jù)標(biāo)注員訓(xùn)練的AI,正在人類監(jiān)督中自我學(xué)習(xí),進行自標(biāo)注。

自動化標(biāo)注將極大減少企業(yè)成本,也成為數(shù)據(jù)標(biāo)注市場上最被看好的方向。

代延不得不為“AI可能完全取代人”做準(zhǔn)備。他帶著團隊同時做文本標(biāo)注類別的教輔標(biāo)注和3D點云標(biāo)注項目。一個是文字,一個是圖片視頻。代延做好了一個項目如果被AI顛覆,就立馬帶著團隊轉(zhuǎn)型去另一個領(lǐng)域的打算。

此外,團隊人數(shù)也要精簡。代延劃掉了腦海中想象的百人公司規(guī)模。他認(rèn)為最終或許只會保留20人的熟手團隊。

這些由數(shù)據(jù)標(biāo)注員一手訓(xùn)練的AI,一邊讓他們夢想著賺得更多,同時逼著他們做好被顛覆的打算。

為了讓機器像人一樣理解文字、語音、圖片,人類創(chuàng)造了一個機器的學(xué)習(xí)鏈條:采集物理世界的實物圖像和聲音,對數(shù)據(jù)進行標(biāo)注、清洗,將數(shù)據(jù)轉(zhuǎn)換為一串串代碼后輸送給機器。

AI學(xué)者認(rèn)為,三歲嬰兒通過眼睛“拍攝”了數(shù)億張圖片,反復(fù)認(rèn)識世界。所以只要給機器灌輸足夠多的數(shù)據(jù),也能讓機器從學(xué)會識字、認(rèn)句子,最終理解語言背后的深意。

標(biāo)注圖集ImageNet上有1500萬張圖片,這個數(shù)據(jù)集幫助無數(shù)AI企業(yè)獲得在計算機視覺上的突破,比如人臉識別、搜圖看看。

為了搭建ImageNet,全球167個國家的近5萬名數(shù)據(jù)標(biāo)注工一起標(biāo)注了兩年半,他們都來自眾包平臺Mechanical Turk。

標(biāo)注要求十分簡單,MTurk常見的工作內(nèi)容就是區(qū)分照片的顏色,或者對圖像中出現(xiàn)的動物進行分類,或是用一個個方框框定選定對象,標(biāo)注其名稱:這是蛋糕、這是汽車、這是一朵云等等。

數(shù)據(jù)標(biāo)注工:訓(xùn)練AI,被AI替代

圖/整數(shù)智能

該平臺上的20萬名零工分布在人力成本低廉的非洲和東南亞,甚至形成了特色「數(shù)據(jù)標(biāo)注村」。他們標(biāo)記的數(shù)據(jù)支撐著科技企業(yè)在AI上的探索。

中國的上百萬名標(biāo)注員分布在貴州、山西、山東、河南等省份的二三線城市,并逐步向人力成本更低的縣城滲透。他們或是依賴線上眾包平臺,或是加入線下的數(shù)據(jù)標(biāo)注公司和標(biāo)注基地。

標(biāo)注內(nèi)容根據(jù)場景區(qū)分為文本、圖像和語音,對應(yīng)著幫助機器獲得識字、識圖和聽聲音的功能。

早期的標(biāo)注項目集中在互聯(lián)網(wǎng)企業(yè),主要標(biāo)注語音和文本。現(xiàn)在則轉(zhuǎn)向自動駕駛企業(yè)標(biāo)注由激光雷達掃描獲得的3D場景,比如點云標(biāo)注;或是更垂直的文本和語音標(biāo)注方向:幫助教育公司的大模型提供教輔類標(biāo)注數(shù)據(jù);或是為醫(yī)療機構(gòu)的大模型提供校對后的醫(yī)療數(shù)據(jù)。

當(dāng)AI邁入2.0時代,ChatGPT驚艷了投資者、企業(yè)家和創(chuàng)業(yè)者,大家對AI的期待已經(jīng)不僅僅是死板地識別文本、語音和圖片的信息了。人們還希望AI能像人一樣真正理解事物之間的聯(lián)系,識別微小的區(qū)別和動作背后的情緒,主動地分辨和搜集信息。

比如讓自動駕駛汽車區(qū)分前方是一個空扁的塑料袋,而不是一塊顏色體積相近的石頭;讓游泳池旁的攝像頭不再只是記錄泳池旁發(fā)生了什么,而是理解發(fā)生了什么,在有人溺水時發(fā)出警報。

這些依然需要依賴數(shù)據(jù)標(biāo)注,并且對標(biāo)注提出更高的要求——更垂直、更精確、更節(jié)約。

標(biāo)注市場的熱潮也由此開始。

很難有數(shù)據(jù)直接說明新的標(biāo)注需求激增,但這并不難判斷。因為僅2023年一季度,中國就新增了17萬家人工智能企業(yè),而只要是用到AI的公司,就勢必有數(shù)據(jù)標(biāo)注的需求。

需求很快傳導(dǎo)至數(shù)據(jù)標(biāo)注市場。在數(shù)據(jù)標(biāo)注從業(yè)者聚集的貼吧內(nèi),一天能刷新出十幾條項目招人的帖子,包括且不限于文本標(biāo)注、錄題審核、無人機售賣視頻標(biāo)注、2D檢測桿、3D點云等從文本到圖片視頻的標(biāo)注項目。

一位從業(yè)多年的數(shù)據(jù)標(biāo)注工作者察覺到,今年的無人車標(biāo)注項目有所增加,而由AI2.0熱催生的垂直領(lǐng)域大模型創(chuàng)業(yè),讓原本沒落的文本標(biāo)注項目細分至不同賽道,也增加了小眾的數(shù)據(jù)標(biāo)注的需求。

在需求的推動下,成立新團隊淘金的不止代延。山東東營的張唯在去年底也開始投身數(shù)據(jù)標(biāo)注創(chuàng)業(yè),半年發(fā)展為一個十幾人的小團隊。依靠當(dāng)?shù)卣难a貼和扶持,張唯的公司不僅獲得免費的辦公室,政府還幫忙拉通甲方資源。

項目訂單不少,從最初十幾萬的項目到最近的40萬訂單,緊迫的交付任務(wù)讓張唯更積極地尋找標(biāo)注工:前幾天,張唯僅一天就添置了6臺電腦。

在河南鄭州,一家做數(shù)據(jù)標(biāo)注的眾包平臺正遷移至能容納百人的兩層辦公樓。它們在門口招牌、辦公室里都寫上公司的定位:“AI人工智能大數(shù)據(jù)研發(fā)基地”“重復(fù)的數(shù)據(jù)清洗,是為了你的AI更智能”。

“標(biāo)注項目訂單多到做不過來。”其負責(zé)人說。

數(shù)據(jù)標(biāo)注工:訓(xùn)練AI,被AI替代

一家數(shù)據(jù)標(biāo)注公司的喬遷儀式現(xiàn)場‍圖片來源/受訪對象提供

熱錢也久違地進入了標(biāo)注公司的口袋。數(shù)據(jù)標(biāo)注龍頭海天瑞聲,在今年的3~5月股價最高漲了4倍。

根據(jù)36氪消息,今年以來B輪及以前的十余家數(shù)據(jù)標(biāo)注平臺,集體迎來了接近100%增幅的高估值。從去年下半年開始,自動標(biāo)注公司陸續(xù)獲得新融資。

  • 2022年9月,博登智能獲得千萬元融資;12月,星塵數(shù)據(jù)完成A輪融資5000萬元,相距上一次2018年6月獲得融資已經(jīng)時隔4年半。
  • 2023年4月,數(shù)據(jù)標(biāo)注解決方案公司「愷望數(shù)據(jù)」獲得新一輪戰(zhàn)略融資;6月,AI數(shù)據(jù)公司「整數(shù)智能」獲得數(shù)千萬Pre A輪融資。

他們斗志昂揚地打出替代人工標(biāo)注的口號:“重構(gòu)數(shù)據(jù)標(biāo)簽生產(chǎn)”“自動化產(chǎn)線+規(guī)模化人力”“打破自動駕駛標(biāo)注的手工模式”。

顯然,資本市場也正重新關(guān)注這個新興領(lǐng)域。

數(shù)據(jù)標(biāo)注的鏈條由三部分組成。

  • 上游:1~150人的數(shù)據(jù)標(biāo)注公司、線上散兵和小作坊。
  • 中游:數(shù)據(jù)服務(wù)商,一類是承接上下游的中介方眾包平臺,一類是企業(yè)為穩(wěn)定投入產(chǎn)業(yè)而選擇自建標(biāo)注基地。
  • 下游:科技公司、行業(yè)企業(yè)、AI公司、科研單位,在2018年左右以互聯(lián)網(wǎng)企業(yè)為主導(dǎo),現(xiàn)在轉(zhuǎn)至車企、自動駕駛企業(yè)。

行業(yè)普遍采取分包模式,即先由甲方企業(yè)發(fā)標(biāo),第三方服務(wù)商參與競標(biāo),競標(biāo)成功后進入企業(yè)的供應(yīng)商梯隊,其中核心供應(yīng)商能享受優(yōu)先任務(wù)選擇權(quán)和更多訂單。

企業(yè)對核心供應(yīng)商的要求是擁有至少30人的交付團隊,成熟的訂單交付經(jīng)驗,建立培訓(xùn)體系、把控交付質(zhì)量和數(shù)量的能力。穩(wěn)定的生產(chǎn)團隊,最終導(dǎo)向讓公司更有競爭力的低報價。

然而,管控團隊帶來的低價優(yōu)勢已然被打亂。“今年競標(biāo)慘烈!”一位服務(wù)商告訴「甲子光年」,“一個項目我們報200元,有人報80元一天。”

最終項目由報價低的團隊拿下,最后卻回到更成熟的團隊手上。“他們完不成又被甲方轉(zhuǎn)回給我們,但價格已經(jīng)上不去了。”

由于代延的線上團隊不直接接觸甲方。所以市面上多級分包層層壓價的混亂局面,讓他們倍感壓力。

數(shù)據(jù)標(biāo)注是資源型行業(yè),誰能拿到和甲方的合作誰就有優(yōu)勢。代延透露,一些個體注冊公司后,謊稱有40-50人的專業(yè)團隊,以極低的價格參與投標(biāo),拿下項目后,拆分成4-5份分給不同的團隊,小團隊再往下分,層層抽傭,中間商賺到差價,分給數(shù)據(jù)標(biāo)注工的計件價越來越低。

只要有人接盤,就會一直螺旋向下。

「甲子光年」得到的一份價格表顯示,從2D標(biāo)注到3D激光點云標(biāo)注,標(biāo)注項目單價一般為0.5~1.5元/框。代延曾接到過打了對折的單框價,“至少轉(zhuǎn)過四五手了”。

單價內(nèi)卷直接導(dǎo)致標(biāo)注人員的薪資縮水。代延和團隊屬于半全職狀態(tài),團隊成員多為寶媽、大學(xué)生、自由職業(yè)者和職高學(xué)生,每天拉框6小時。保持著這樣的狀態(tài),代延在2022年疫情期間,每月有4~5千元的收入。

“有電腦、有電就能操作”,這是數(shù)據(jù)標(biāo)注招人貼中常見的吸引人入行的話。過去,這一度是數(shù)據(jù)標(biāo)注行業(yè)最顯著的優(yōu)勢。但今天這種優(yōu)勢卻讓整個行業(yè)陷入內(nèi)卷。現(xiàn)在代延每月收入只有2~3千元。

雖然收入降低,但工作量并沒有下降。恰恰相反,數(shù)據(jù)標(biāo)注的工作更加復(fù)雜與細致。

數(shù)據(jù)標(biāo)注的資深從業(yè)者們更懷念互聯(lián)網(wǎng)時期的標(biāo)注市場:單框價格高3倍,項目量大。一個60~70人的團隊,能拿到月入30萬的業(yè)績。“現(xiàn)在市場上都是產(chǎn)值(單人每天標(biāo)注產(chǎn)生的價值)不到百元的項目,以前一天大幾百。”一位從業(yè)者說。

那時的項目操作簡單且沒有要求,比如給無人車做2D場景標(biāo)注,對圖片中的車輛拉框時,只要能框住就行,沒有要求。

但現(xiàn)在不同,“貼合度”是甲方最看重的驗收標(biāo)準(zhǔn)。“去年還要求誤差在5~7毫米,今年就要3~5毫米了。誤差要求越來越小。”代延說。

人工智能學(xué)者吳恩達多次強調(diào),有標(biāo)注的高質(zhì)量數(shù)據(jù)才能釋放人工智能的價值,高質(zhì)量數(shù)據(jù)越多,人工智能的發(fā)展就會越快。

在無人車的標(biāo)注數(shù)據(jù)中,表現(xiàn)為矩形框與標(biāo)注對象的貼合度,貼合度越高算法精度越高,算法對車輛的控制越精準(zhǔn)。

高質(zhì)量的文本標(biāo)注項目,表現(xiàn)為語義理解的正確性、答題的正確率等。正確率越高,被訓(xùn)練的大模型越聰明。

熟手才能保證數(shù)據(jù)交付又快又好。代延曾經(jīng)讓一個新手參與核驗ChatGPT做完的數(shù)學(xué)題是否完整、邏輯是否正確、語言能否被小學(xué)生理解。新手標(biāo)注的7500個數(shù)據(jù)因正確率太低,被甲方要求返工,代延和同事花了十幾天才糾正完。

數(shù)據(jù)標(biāo)注越來越不是一個沒門檻的活。復(fù)雜的語音標(biāo)注,醫(yī)療、法律、金融等專業(yè)數(shù)據(jù)集標(biāo)注生產(chǎn),更需要有學(xué)科知識儲備的專業(yè)人才做專業(yè)標(biāo)注。

代延認(rèn)為,以無人車項目為例,新人成為2D標(biāo)注熟手需要做3個月,成為3D熟手需要練習(xí)4~6個月。

這種練習(xí)是指,訓(xùn)練拉框的精確度,用鼠標(biāo)在電腦的標(biāo)注頁面一氣呵成拉出一個矩形框,能準(zhǔn)確蓋住標(biāo)注對象,不踩線、不漏點,甚至是嚴(yán)絲合縫。

數(shù)據(jù)標(biāo)注工:訓(xùn)練AI,被AI替代

圖/數(shù)據(jù)標(biāo)注熟手指出標(biāo)注中的問題

只是,當(dāng)機器開始自學(xué),替代人為機器做標(biāo)注,人們花費時間訓(xùn)練的技能還有意義嗎?

代延意識到AI在靠近,是從前段時間做的圖片標(biāo)注項目中。

這是一個代延做了兩年的老項目——識圖。數(shù)據(jù)標(biāo)注工需要識別圖片中的文字并打印出來,價格是8毛/張。代延標(biāo)注的數(shù)據(jù),被喂入了識圖模型中。現(xiàn)在,這一模型已經(jīng)熟練地識別圖片中的文字。代延的標(biāo)注工作開始被縮減為訂正和審核。難度下降了,標(biāo)注單價也下跌了。

被人類用標(biāo)注訓(xùn)練的AI,正在替代人力的標(biāo)注工作。在蘇黎世大學(xué)的調(diào)查報告中,研究人員通過實測發(fā)現(xiàn),ChatGPT在15項標(biāo)注任務(wù)中的處理能力高于眾包人員。大模型嵌入眾包平臺的進度條也被拉快了。洛桑聯(lián)邦理工學(xué)院之后的研究發(fā)現(xiàn),已有超過30%的眾包標(biāo)注者在處理文本標(biāo)注時使用了大模型。

AI無疑比人工更省時省力:研究人員表示,ChatGPT的單位成本只相當(dāng)于MTurk的1/20。

代延也做好了這條業(yè)務(wù)線隨時會被“更完善的AI”取代的準(zhǔn)備。他把未來押寶在更有技能要求的自動駕駛標(biāo)注中。

但自動駕駛標(biāo)注也正被AI侵入。相比人工的拉框方式,自動化標(biāo)注只需要內(nèi)置大模型,進行參數(shù)設(shè)置后,原本需要手動標(biāo)注的矩形框會自動生成。目前唯一的問題是,生成的矩形框有踩線、貼合度太低等質(zhì)量問題,需要人工逐一檢驗。

效率的提升讓車企驚喜。理想在使用大模型2.0進行自動化標(biāo)定,效率是人的1000倍;特斯拉一直在積極推進自動標(biāo)注的進展,比如在2022年6月裁撤了200名為特斯拉標(biāo)注視頻,以改進輔助系統(tǒng)的美國員工,因為特斯拉的自動標(biāo)注能力大幅改善,標(biāo)注10000個不到60秒的視頻,只需要大模型運行一周,而不再需要人工標(biāo)注幾個月。

AI數(shù)據(jù)公司整數(shù)智能的創(chuàng)始人林群書說,越來越多的車企和AIGC企業(yè)采用大模型產(chǎn)品做自動化標(biāo)注,營收正在大幅增長。他們最新的動作是在新加坡建立研發(fā)分部。

但對于自動化標(biāo)注的增長,第三方服務(wù)商沒那么樂觀。河南一家眾包平臺的項目經(jīng)理說,自動化標(biāo)注還不能取代60%以上的標(biāo)注需求,只能作為輔助標(biāo)注工具,處理單一或特定數(shù)據(jù),提升人效。

另一家數(shù)據(jù)標(biāo)注公司的產(chǎn)品經(jīng)理認(rèn)為,自動標(biāo)注只能過濾簡單的基礎(chǔ)數(shù)據(jù),還不能像人一樣從復(fù)雜有爭議的場景中精確識別物體。這也是數(shù)據(jù)標(biāo)注市場,如今依然是以自動駕駛標(biāo)注數(shù)據(jù)為主導(dǎo)的原因。

不過大家也認(rèn)同,未來的數(shù)據(jù)標(biāo)注將從重人力轉(zhuǎn)向重技術(shù)的趨勢。

總之,不是被同行“卷死”,就是被技術(shù)“卷死”。但坐以待斃肯定不行,數(shù)據(jù)標(biāo)注的第三方公司在尋找未來的出路。

代延的計劃是緊跟市場,保持警惕,隨時裁員,同時向做自動化標(biāo)注工具的方向發(fā)展。一家眾包平臺的創(chuàng)始人在和同行交流時說,未來不能堆人力,要有研發(fā)能力。

對于個人呢?行業(yè)里流傳的職場路徑是,新手標(biāo)注工——熟手標(biāo)注工——標(biāo)注項目管理員/經(jīng)理——甲方公司數(shù)據(jù)分析師,最終實現(xiàn)月薪上萬的晉升。

代延認(rèn)識的數(shù)據(jù)標(biāo)注工沒人在朝這個方向走,他們要么停留在原地,要么退出,最好的情況是建立自己的標(biāo)注團隊,像代延這樣,不過他也沒有覺得更輕松。

一邊是AI風(fēng)口帶來的項目需求增長,一邊是更混亂的競價、更低的人均產(chǎn)值和正迅速成長的AI。兩種情緒是交織的,AI會帶來無限機遇,AI也會淘汰“我們”。

(應(yīng)受訪對象要求,文中名字均為化名)

本文來自微信公眾號“甲子光年”(ID:jazzyear),作者:馬慧,36氪經(jīng)授權(quán)發(fā)布。

[免責(zé)聲明]

原文標(biāo)題: 數(shù)據(jù)標(biāo)注工:訓(xùn)練AI,被AI替代

本文由作者原創(chuàng)發(fā)布于36氪企服點評;未經(jīng)許可,禁止轉(zhuǎn)載。

資深作者甲子光年
0
消息通知
咨詢?nèi)腭v
商務(wù)合作