Mechanical Turk工人正在使用AI來自動化成為人類-啟東興東石化成套設備廠

Mechanical Turk工人正在使用AI來自動化成為人類

發布時間： 2023/6/15

　　把這個歸為不可避免但很搞笑。Mechanical Turk是一種服務，從一開始就似乎在招致惡作劇，事實上，研究人員表明，近一半的“土耳其人”似乎在使用人工智能來完成專門由人類完成的任務，因為人工智能做不到。我們已經關閉了這個循環；大家干得好！　
　　Amazon的Mechanical Turk讓用戶可以將簡單的任務分成任意數量的小子任務，這些子任務只需要幾秒鐘就能完成，而且只需支付幾美分——但專注的零工工人可以完成數千件工作，從而賺取適度但可靠的工資。正如杰夫·貝索斯 (Jeff Bezos) 當時令人難忘的說法，它是“人工人工智能”。
　　這些通常是當時難以自動化的任務——比如驗證碼，或者識別句子的情緒，或者簡單的“在這張圖片中的貓周圍畫一個圓圈”，人們可以快速可靠地完成這些事情。它被標記相對復雜的數據的人們和旨在大規模進行人類評估或決策的研究人員廣泛使用。
　　它以著名的國際象棋“自動機”命名，該機實際上是利用隱藏在其底部的人類來下棋——Poe寫了一篇偉大的當代對它的拆解。有時自動化是困難的或不可能的，但在這種情況下，你可以用人類制造一種機器。人們必須小心謹慎，但多年來證明它很有用。
　　但瑞士EPFL研究人員的一項研究表明，Mechanical Turk工人正在使用大型語言模型（例如ChatGPT）自動化他們的工作：一條蛇咬著自己的尾巴，或者可能完全吞噬了自己。
　　當他們考慮使用像MTurk這樣的服務作為“循環中的人”來改進或檢查LLM響應時，問題就出現了，這些響應基本上是不可信任的：
　　依靠眾包來驗證LLM輸出或創建用于比較的人類黃金標準數據是很誘人的。但是，如果眾包工作者自己正在使用法學碩士，例如，為了提高他們在眾包平臺上的生產力，從而提高他們的收入呢？
　　為了大致了解這個問題，他們分配了一個“抽象總結”任務，由turkers完成。通過論文中描述的各種分析（仍未發表或經過同行評審），他們“估計33%-46%的人群工作者在完成任務時使用了LLM?！?br /> 　　對某些人來說，這不足為奇。自該平臺啟動以來，turking中就可能存在某種程度的自動化。速度和可靠性受到激勵，如果你能編寫一個腳本以90%的準確率處理某些請求，你就可以賺到相當多的錢。由于對個人貢獻者流程的監督如此之少，不可避免的是，其中一些任務實際上不會像宣傳的那樣由人類執行。誠信從來都不是亞馬遜的強項，因此依賴他們毫無意義。
　　但是看到它像這樣布置，并且對于一項直到最近似乎只有人類才能完成的任務——充分總結一篇論文的摘要——它不僅質疑Mechanical Turk的價值，而且暴露了迫在眉睫的“ AI生成數據的AI訓練”是另一個Ouroboros式的困境。
　　研究人員（Veniamin Veselovsky、Manoel Horta Ribeiro和Robert West）提醒說，隨著現代LLM的出現，這項任務特別適合秘密自動化，因此特別容易成為這些方法的犧牲品。但最先進的煤氣排水器技術正在穩步推進：
　　LLM越來越受歡迎，不僅支持文本，還支持圖像和視頻輸入和輸出的多模態模型正在興起。有了這個，我們的結果應該被視為“煤礦中的金絲雀”，它應該提醒平臺、研究人員和人群工作者尋找新的方法來確保人類數據保持人類數據。
　　AI吞噬自身的威脅多年來一直被理論化，并在LLM的廣泛部署后幾乎立即成為現實：Bing的寵物ChatGPT引用了自己的錯誤信息來支持有關COVID陰謀的新錯誤信息。
　　如果您不能100%確定某件事是由人類完成的，那么您最好假設它不是。這是一個必須堅持的令人沮喪的原則，但我們做到了。