作者：天空之城·城主，來源：Web3天空之城
主持人：
我第一次遇見我們即將介紹的嘉賓Sam Altman是在大約20年前，那時他正在开發一款名爲Loop的本地移動應用程序。我們都得到了紅杉資本的支持，實際上，我們都是紅杉資本的第一批童子軍。
他投資了一家名不見經傳的金融科技公司Stripe，而我投資了Uber。在那個小實驗中...
Sam：
你投資了Uber？我以前從未聽說過。
是的，我想是的。
你應該寫一本書，Jacob。
我和Sam作爲童子軍參與的那個小型實驗基金是紅杉資本回報率最高的基金。我聽說，幾百萬美元變成了超過2億美元。他還曾在Y Combinator工作過一段時間，並在2014年至2019年擔任總裁。2016年，他與他人共同創立了OpenAI，其目標是確保通用人工智能造福全人類。2019年，他離开YC，全職加入OpenAI擔任首席執行官。
2022年11月30日，事情變得非常有趣。那天是OpenAI推出ChatGPT的日子。2023年1月，微軟投資了100億美元。2023年11月，在瘋狂的五天時間裏，Sam被OpenAI解僱。每個人都要去微軟工作。一堆心形表情符號在X和Twitter上瘋傳，人們开始猜測該團隊已經達到了通用人工智能。世界末日就要來臨了。突然間，幾天後，他又回到了OpenAI的首席執行官的位置。
據報道，2023年2月，Sam正在尋求爲一個AI芯片項目籌集7萬億美元。此前有報道稱，Sam正在尋求從Masayoshi San那裏籌集10億美元，與iPhone的聯合創始人Johnny Ive一起打造一款iPhone殺手。
與此同時，ChatGPT變得越來越好，並成爲家喻戶曉的名字。它對我們的工作方式和工作完成方式產生了巨大影響。據報道，它是歷史上在短短兩個月內用戶數量達到1億的最快產品。
看看OpenAI的瘋狂收入增長。據報道，去年他們的ARR達到了20億美元。歡迎收聽全能播客，
我觀察到整個行業都在緊張地期待GPT-5的發布。據我了解，它可能會在今年夏天的某個時候推出，但這個時間窗口相當寬泛。你能否爲我們具體化一些？
Sam：
我們會花費一些時間來發布這個主要的新模型。我相信，當我們這樣做的時候，一定會非常棒。我們會仔細考慮如何進行。可能會以一種與我們發布以前模型不同的方式來發布它。另外，我甚至不確定我們是否會稱之爲GPT-5。
我想說的是，自從我們發布了GPT-4以來，尤其是在過去的幾個月裏，很多人都注意到了它的優秀表現。我認爲這更好地揭示了世界的本質，它並不是簡單的1、2、3、4、5、6、7，而是一個使用AI系統的過程，整個系統會持續地變得越來越好。我認爲這既是一個更好的技術方向，也更容易讓社會適應，我相信這就是我們的發展方向。
主持人：
那么，這是否意味着我們不會有漫長的訓練周期，而是會不斷地重新訓練或訓練子模型，Sam？也許你可以和我們分享一下未來大型模型在架構上可能會發生哪些變化。
Sam：
你可以想象的一種情況就是我們一直在訓練一個模型。這對我來說似乎是一種合理的做法。
我們這次討論的是不同的發布方式。你是在考慮先向付費用戶發布，還是放慢發布速度以讓紅隊緊張，因爲現在風險太大了。實際上，你有如此多的付費用戶，而且大家都在關注着你的每一步。你現在必須更加深思熟慮，對嗎？
是的，目前GPT-4仍然只對付費用戶开放，但我們真正想做的一件事情是弄清楚如何讓免費用戶也能使用更先進的技術。我認爲這是我們使命中非常重要的一部分。我們的目標是構建人工智能工具並使其廣泛可用，無論是免費的還是不那么昂貴的，無論它是什么，這樣人們就可以使用它們去創造未來，而不是讓天空中的神奇AGI創造未來並將其傾瀉在我們身上。這似乎是一條更好的道路，也是一條更鼓舞人心的道路。我堅信事情確實在朝着這個方向發展。所以我很遺憾，我們還沒有想出如何讓免費用戶使用GPT-4級別的技術。這是我們真正想做的事情。我必須承認，這非常昂貴。
Sam，我認爲人們經常討論的兩個大因素可能是潛在成本和延遲，這在某種程度上限制了殺手級應用的速率。然後我認爲第二個因素是人們在开源世界與閉源世界中構建的長期能力。我認爲，這個領域的狂熱之處在於其开源社區的熱情。一個令人難以置信的例子是，我們爲Devon做了一個非常瘋狂的演示，這是在五六周前，效果非常出色。然後，一些年輕人根據MIT的开放許可證（如OpenDevon）發布了這個項目。它的表現非常好，幾乎可以與其他閉源的項目相媲美。因此，也許我們可以從這個問題开始討論，即，保持這些模型閉源的商業決策是什么？你認爲未來幾年會有怎樣的發展？
對於你的問題的第一部分，速度和成本，這些對我們來說非常重要。我不想給出一個時間表，說明我們何時可以大幅降低延遲，因爲研究很難，但我相信我們能夠做到。我們希望大幅降低延遲，大幅降低成本。我相信這會發生。我們仍處於科學發展的早期階段，無法理解其工作原理。此外，我們擁有所有工程方面的順風。所以我不知道什么時候我們才能獲得便宜到無法計量的智能，而且速度如此之快，以至於我們和其他所有人都覺得它是即時的。但我相信我們可以達到相當高的智能水平。這對我們很重要，對用戶來說也很重要，它將解鎖很多東西。
關於开源和閉源，我認爲兩者都有其優點。我認爲，我們已經开源了一些項目，將來我們會开源更多的項目。但實際上，我們的使命是朝着人工智能的方向發展，並想辦法廣泛地分配它的好處。我們有一個策略，似乎引起了很多人的共鳴。顯然，它並不適合所有人。而且這是一個龐大的生態系統。還會有开源模型和以這種方式構建的人。
我個人對开源特別感興趣的一個領域是，我想要一個盡可能好的开源模型，可以在我的手機上運行。我認爲，世界還沒有足夠好的技術來开發出一個好的版本。但這似乎是一件非常重要的事情，在某個時候要做。
你會這樣做嗎？你會發布嗎？
我不知道我們會不會，或者有人會。
Llama 3怎么樣？
Llama 3在手機上運行？
我想也許有70億參數（手機）版本。
是的。我不知道那是否適合手機，但是……
那應該適合手機。
但是我不知道，我不確定那是否適合，我還沒有玩過。我不知道它是否足以完成我在這裏考慮的事情。
因此，當Llama 3發布時，我認爲很多人最大的收獲是，哇，他們已經趕上了GPT-4。我認爲它並不是在所有方面都平等，但總的來說，它非常非常接近。我想問題是，你們不久前發布了4，你們正在开發5，或者對4進行更多升級。我想聽聽你的觀點，即如何在开源環境中保持領先，你有何看法？這通常是一項極具挑战性的任務，你怎么看？
我們的目標並不是制造出我們能制造的最智能的權重集，而是制造出一個有用的智能層供人們使用。模型只是其中的一部分。我相信我們將在這方面保持領先，我希望我們在這方面能夠遠遠領先於世界其他國家。但整個系統還有很多其他工作，不僅僅是模型權重。我們必須像其他任何企業一樣，以傳統方式建立持久價值。我們必須想出一個偉大的產品和堅持下去的理由，並以優惠的價格交付它。
當你創立這個組織時，你所說的目標或討論的部分內容是，這對任何一家公司來說都太重要了，因此，它需要开放。然後轉變爲，任何人都看不到它太危險了，我們需要把它鎖定，因爲你對此有些擔心。我想知道，這是真的嗎？因爲憤世嫉俗的一方會說，這是一種資本主義的舉動。然後，我很好奇從开放开始的決定是什么。世界需要看到這一點。關閉真的很重要。只有我們才能看到。那么，你是怎么得出這個結論的呢？
我們發布ChatGPT的部分原因是我們希望全世界都能看到這一點。我們一直在試圖告訴人們人工智能真的很重要。如果你回到2022年10月，那時並沒有那么多人認爲人工智能會那么重要，或者它真的發生了。我們試圖做的很大一部分就是把技術交到人們手中。現在，再次重申，有不同的方法可以做到這一點。我認爲確實有一個重要的角色，就是說，比如，這是實現它的方法。
但事實上，我們有這么多人使用ChatGPT的免費版本，我們不投放廣告，我們也不會試圖從中賺錢。我們只是因爲我們希望人們擁有這些工具而推出它。我認爲它做了很多工作，提供了很大的價值，教人們如何釣魚，也讓世界真正思考這裏發生的事情。現在，我們仍然沒有找到所有答案。我們和其他人一樣，正在摸索着前行。我認爲，隨着我們學習新事物，我們會多次改變策略。
當我們創辦OpenAI時，我們真的不知道事情會如何發展，不知道我們會制作語言模型，不知道我們會制作產品。我清楚地記得第一天，我們當時想，好吧，現在我們都在這裏。要把這一切准備好很困難。但現在會發生什么？也許我們應該寫一些論文。也許我們應該圍着白板站着。我們一直在努力，一步一步地弄清楚下一步是什么，下一步是什么，下一步是什么。我想我們會繼續這樣做。
我可以再次確認一下，以確保我沒有聽錯嗎？我理解您的觀點是，無論是开源還是閉源，所有這些模型，無論您做出何種業務決策，都將逐步提高其准確度。並非所有的公司都有足夠的資本，但假設有四到五家，比如Meta、谷歌、微軟等，或者可能還有一家初創公司。這些公司都在开放網絡上運作。然後很快，這些模型的准確性或價值可能會轉移到這些專有的訓練數據源，這些數據源你可能可以獲取，也可能無法獲取，或者別人可以獲取而你無法獲取。
您認爲事情的發展趨勢是這樣的嗎？开放網絡使每個人都達到一定的門檻，然後就變成了一場爭奪數據的軍備競賽？
我並不這么認爲。我堅決認爲這不會變成一場爭奪數據的軍備競賽，因爲當模型變得足夠智能時，它不應該只是關於獲取更多的數據，至少不是用於訓練的數據。數據可能很重要，因爲它有其價值。我從這一切中學到的最重要的一件事是，很難對未來幾年的走向做出自信的預測，所以我現在不想嘗試。我想說的是，我期待世界上出現許多非常有能力的模型。我覺得我們剛剛偶然發現了一個新的自然或科學事實，或者你可以稱之爲我們可以創造的事實。我不認爲這是字面意思，但它就像一個精神點。智能只是物質的這種突現屬性，這就像物理規則之類的東西。所以人們會弄清楚的。但是會有所有這些不同的系統設計方法。人們會做出不同的選擇，想出新的想法。我敢肯定，就像任何其他行業一樣，我預計會有多種方法，不同的人喜歡不同的方法。有些人喜歡 iPhone，有些人喜歡 Android 手機。我認爲會有這樣的效果。
讓我們回到第一部分，只討論成本和速度。你們所有人的NVIDIA吞吐量都受到了一點比特率限制，我認爲您和大多數人都已經宣布了可以獲得多少產能，因爲這是他們能夠生產的最大產能。基板上需要發生什么才能真正降低計算成本、加快計算速度、獲得更多能源？您如何幫助行業解決這些問題？
我們肯定會在算法上取得巨大進步。我不想低估這一點。我對芯片和能源非常感興趣。但是，如果我們能夠使相同質量的模型效率提高一倍，那就相當於我們的計算能力提高了一倍。我認爲那裏有大量的工作要做。我希望我們能真正看到這些結果。除此之外，整個供應鏈非常復雜。有邏輯工廠的產能。世界可以生產多少HBM。你可以快速獲得許可證、澆築混凝土、建立數據中心，然後安排人員將所有线路全部連接起來。最後是能源，這是一個巨大的瓶頸。但我認爲，當它對人類有如此大的價值時，世界就會有所作爲。我們將致力於讓這一目標更快地實現。可能性的確存在，我無法給出具體的概率，但我相信，正如你所說，這是一個巨大的基礎性突破。我們已經擁有了更高效的計算方式，然而，我並不喜歡過度依賴它，也不愿意花費過多的時間去思考它。
在設備方面，你提到了可以安裝在手機上的模型。顯然，無論是LLM還是SLM等，我相信你都在考慮這個問題。但是，設備本身會發生變化嗎？它是否需要像iPhone一樣昂貴？
我對此非常感興趣。我喜歡新的計算形式，每一次重大的技術進步似乎都會帶來新的事物。手機的優秀程度令人難以置信，因此我認爲這裏的門檻非常高。我個人認爲，iPhone是人類歷史上最偉大的技術產品，它真的是一個非常棒的產品。
那么，接下來會是什么呢？
我不知道。如果能超越它，那將是非常棒的事情，但我認爲門檻非常高。
我一直在與約翰尼·艾維合作，我們一直在討論各種想法，但我不確定，是不是新的設備必須更復雜，或者實際上只需要更便宜、更簡單？幾乎每個人都愿意爲手機付費，所以如果你能制造出一種更便宜的設備，我認爲攜帶第二件設備或使用第二件設備的障礙就相當高了。因此，我認爲，考慮到我們都愿意爲手機付費，或者我們大多數人都愿意，我認爲更便宜並不是解決問題的答案。
那么，答案有什么不同呢？
是否會有一種專門的芯片可以在手機上運行，並且能夠很好地驅動手機大小的AI模型？
可能會有，但手機制造商肯定會這樣做，這並不需要新的設備。我認爲你必須找到一些技術所能實現的真正不同的交互範式。如果我知道它是什么，我會很高興現在就开始研究它。
現在，你可以在應用程序中使用語音。事實上，我將手機上的操作按鈕設置爲直接進入ChatGPT的語音應用程序，我和我的孩子一起使用它，他們喜歡和它交談。它有延遲問題，但它真的很棒。
我們會做得更好。我認爲語音是下一個事物的暗示。比如，如果你能讓語音交互變得非常好，那感覺就像是一種使用電腦的不同方式。
然而，就像我們已經遇到的問題，比如，爲什么它沒有響應？而且，感覺就像CB，就像一遍又一遍。用起來真的很煩人，但是當它給你正確的答案時，它也很出色。
我們正在努力解決這個問題。現在它很笨重，很慢，感覺不太流暢、不真實或不自然。我們會讓這一切變得更好。
關於計算機視覺呢? 你可以選擇佩戴相關設備。你可以將視覺或視頻數據與語音數據結合起來。
如今，人工智能已經能夠了解你周圍發生的一切。你可以像使用多模態設備那樣詢問ChatGPT，例如：“我正在看什么？”或者“這是什么植物？”我必須承認，這種能力非常強大。這顯然是另一個暗示。
然而，無論人們是選擇佩戴眼鏡，還是在需要時使用某種設備，都會引發許多社會人際問題，佩戴電腦設備會變得非常復雜。
我們在谷歌眼鏡的使用中已經看到了這一點。在執行任務時，人們可能會遭遇困擾。我忘記了一些具體的情況。
如果人工智能無處不在，例如在人們的手機上，那么它可以解鎖哪些應用程序呢？你有沒有這種感覺？你希望看到什么？
我想我需要的就是一種始終在线、超低摩擦的設備，我可以通過語音或文本，或者理想情況下通過其他方式與它交互。它只需要知道我想要什么，有一種持續的存在幫助我度過一天。它擁有盡可能多的背景信息，就像世界上最偉大的助手。正是這種存在讓我變得越來越好。
當你聽到人們談論人工智能的未來時，他們可能會想象出兩種不同的方式，雖然聽起來沒有什么不同。但我認爲，在實踐中，我們在設計系統時會有很大的不同。我想要一個能延伸自我，像一個幽靈或另一個自我，或者這個真正屬於我的東西，代表我行事，回復電子郵件，甚至不需要告訴我這件事。它有點像我，變得越來越像我。另一方面，我想要一個優秀的高級員工。它可能會非常了解我，我可能會委托它。你可以訪問我的電子郵件，我會告訴你限制。但我認爲它是一個獨立的實體。我個人更喜歡獨立實體的方式，並認爲這就是我們要去的地方。
所以從這個意義上說，它不是你，而是一個隨時可用、總是很棒、超級能幹的助理主管。
在某種程度上，它就像一個代理人，它代表你工作，了解你想要什么，預測你想要什么，這就是我對你所說的話的理解。
我認爲會有代理人的行爲，但高級員工和代理人之間是有區別的。
我想要它，我認爲我喜歡高級員工的一點是他們會反駁我。他們有時不會做我要求的事情，或者有時會說，如果你想的話，我可以做那件事。但如果我這么做了，我認爲會發生以下情況。然後這樣，然後那樣。
你真的確定嗎？
我絕對想要那種氛圍，而不僅僅是我給它一個任務，它盲目地去做。它可以推理，並且反駁。它能夠推理，它與我的關系就像我期望與一個真正有能力的人共事時所建立的關系，這與諂媚者不同。
確實，如果我們擁有像賈維斯 (Jarvis) 這樣具有推理能力的工具，它可能會對我們今天使用的許多極具價值的產品界面產生影響。以Instacart、Uber和DoorDash爲例，這些服務並非旨在成爲管道，而是提供一組API給一群無處不在的智能代理，這些代理代表着全球80億人工作。那么，我們需要思考的是，我們應該如何改變對應用程序工作方式、整個體驗基礎設施的理解，以適應這個你以代理方式與世界交互的新世界？
我個人對設計一個人類和人工智能都能使用的世界非常感興趣。我喜歡它的可解釋性，喜歡交接的流暢性，喜歡我們能夠提供反饋的能力。例如，DoorDash可以向我未來的人工智能助手公开一些API，使其能夠下訂單等。我可以拿着手機說：“好的，AI助手，請在DoorDash上下這個訂單。”我可以看到應用程序打开，看到東西在點擊，我可以說：“嘿，不，不是這個。”設計一個人類和AI都可以同樣使用的世界，我認爲這是一個有趣的概念。
出於同樣的原因，我對人形機器人比對其他形狀的機器人更感興趣。這個世界是爲人類設計的，我認爲我們應該保持這種狀態。共享界面是一個好主意。
因此，你會看到語音、聊天等模式正在取代應用程序。你只需告訴它你想要壽司，它知道你喜歡什么壽司，知道你不喜歡什么，並會盡最大努力去滿足你。
我很難想象，我們進入了一個完全不同的世界，你會說：“嘿，ChatGPT，給我點壽司。”它會回答：“好的，你想從這家餐廳點嗎？什么種類，什么時間，隨便什么。”我認爲用戶，我認爲可視化用戶界面對很多事情都非常好。我很難想象一個你從不看屏幕，只使用語音模式的世界。但我可以想象很多事情都是這樣的。
蘋果嘗試過Siri。據說你可以用Siri自動訂購Uber。我認爲沒有人這樣做過，因爲……你爲什么要冒險不把它放在手機裏？正如你所說，質量不好。但是當質量足夠好時，你實際上會更喜歡它，因爲它更輕。你不必拿出手機。你不必搜索你的應用程序並按下它。哦，它會自動將你注銷。哦，等等，重新登錄。這真是太痛苦了。
這就像用Siri設置計時器一樣。我每次都會這樣做，因爲它真的很好用，很棒。而且我不需要更多信息。但是訂購Uber時，我想查看幾個不同選項的價格。我想探究一下，這個技術的應用範圍有多廣。我甚至想要了解他們在地圖上的具體位置，因爲我可能會選擇步行去某個地方。我認爲，通過查看Uber訂單屏幕，我可以在更短的時間內獲取更多信息，而如果我必須通過音頻通道來獲取這些信息，那么所需的時間將會更長。我喜歡你提出的這種觀察事物發生的想法，這真的很酷。我認爲這將會帶來一些變化，我們會爲不同的任務使用不同的界面。我相信這種趨勢會持續下去。
在所有在OpenAI上構建應用程序和體驗的开發人員中，有沒有一些讓你印象深刻的？你是否覺得這是一個非常有趣的方向，即使它只是一個玩具應用程序。但是，你們是否有指出並說這真的很重要的？
今天早上，我遇到了一家新公司，實際上，它甚至還不能算作一家公司。這就像兩個人將在一個暑期項目中工作，試圖最終真正成爲人工智能導師。我一直對這個領域很感興趣。在我們的平台上，有很多人做出了很棒的事情。但如果有人能以你真正喜歡的方式交付，他們用了一句我喜歡的話，那就是這將像蒙特梭利級別的再造，讓人們學習事物的方式。但如果你能找到這種新方法讓人們自己探索和學習新的方式，我個人對此感到非常興奮。
德文，你之前提到的很多與編碼相關的東西，我認爲那就像一個非常酷的未來愿景。我認爲，醫療保健應該因此而發生相當大的變化。但我個人最興奮的是更快、更好地進行科學發現。盡管GPT-4顯然沒有在很大程度上發揮作用，但它可能會通過提高科學家的生產力來加速事情的發展。
Sam……那將是一個勝利。這些模型的訓練和構建方式與語言模型不同。對一些人來說，顯然，有很多相似之處。但是有許多模型都具有一種從頭开始的架構，它們被應用於這些特定的問題集、這些特定的應用，例如化學相互作用建模。你肯定會需要其中的一些。
我認爲，對於我們討論的許多事情，我們普遍缺少的是能夠進行推理的模型。一旦你有了推理能力，你就可以將其連接到化學刺激器或其他任何東西上。
是的，這是我今天想討論的重要問題，即模型網絡的概念。人們經常談論代理，就好像有一組线性的調用函數在發生。但在生物學中出現的一件事是具有交叉相互作用的系統網絡，系統的聚合……網絡的聚合產生輸出，而不是一個東西調用另一個東西，那個東西調用另一個東西。我們是否看到這種架構中出現了專門的模型或網絡模型，它們共同解決更大的問題集，使用推理？有計算模型可以做化學或算術之類的事情，還有其他模型可以做，而不是一個純粹泛化的模型來統治它們。
我並不確定有多少推理能夠轉化爲一種廣泛推廣的形式。我對此持懷疑態度，這更多的是一種直覺和期望，如果真能如此，那將是極好的。我並不確定……
讓我們以蛋白質建模爲例。我們有大量的訓練數據、蛋白質圖像以及序列數據，基於這些數據，我們建立了一個預測模型，並且我們有一套流程和步驟來實現這一目標。
你是否曾設想過存在一種通用的人工智能或偉大的推理模型，它能夠找出如何構建子模型，並通過獲取必要的數據來解決問題，然後解決問題……
實現這一目標的方法有很多。也許它會訓練一個文字模型，或者可能只是知道一個大模型。它可以選擇所需的其他訓練數據，提出問題，然後進行更新。
我想真正的問題是，所有這些初創公司是否都會倒閉？因爲許多初創公司都在以這種模式工作，即獲取特殊數據，然後從頭开始用這些特殊數據訓練新模型。然後它只做那一件事。而且它在那件事上工作得很好。它比其他任何東西都好。
我想你已經可以看到一個版本了。
當你談論生物學和這些復雜的系統網絡時，我之所以能理解，是因爲我最近病得很重。現在我好多了。但就像身體一次一個系統地被打敗一樣。就像你確實能看出，好吧，這是級聯的事情。這讓我想起了你談論的生物學，就像你不知道這些系統之間的相互作用有多大，直到事情开始出錯。這有點有趣。
但我當時正在使用ChatGPT試圖弄清楚發生了什么，不管怎樣，我會說，我對此並不確定。然後我就發表了一篇論文，甚至沒有閱讀論文，就像在上下文中一樣。它說，哦，那是我不確定的事情，現在我改爲這么想。所以這就像你所說的一個小版本，你可以說，我不知道這個東西，你可以添加更多信息，你不需要重新訓練建模者來添加到這裏的上下文中。
所以這些預測蛋白質結構的模型，比如說，對，這是整個基礎。現在，AlphaFold3上還有其他分子。他們能做到嗎？是的，這基本上是一個最好的廣義模型進入並獲取訓練數據然後自行解決問題的世界嗎？
也許你可以舉個例子，你能告訴我們關於Sora的情況嗎？你的視頻模型可以生成令人驚嘆的動態圖像、動態視頻，以及那裏的架構有什么不同，無論你愿意分享什么，如何讓它與衆不同。
是的，所以我首先說一般性的問題，你顯然需要專門的模擬器、連接器、數據片段等等，但我的直覺。再說一次，我沒有科學依據，我的直覺是，如果我們能夠找出廣義推理的核心，將其與新的問題領域聯系起來，就像人類是廣義推理者一樣，我認爲是否可以更快地解鎖，我想是的。但是，是的，你看它不是從語言模型开始的。這是一個專爲視頻定制的模型。然而，我們顯然還沒有進入那個世界。
舉個例子，爲了建立一個優秀的視頻模型，你們從零开始構建，我猜測你們使用了一些不同的架構和不同的數據。但在未來的廣義推理系統，也就是AGI，無論什么系統，理論上都可以通過理解如何實現這一點來達到目標。
是的，一個例子是，據我所知，世界上所有最好的文本模型仍然是自回歸模型。最好的圖像和視頻模型是擴散模型。這在某種程度上有些奇怪。
因此，關於訓練數據存在很大的爭議。我認爲你們是所有公司中最體貼的，你們現在已經與FT等籤訂了許可協議。我們在這裏必須謹慎一些，因爲你們卷入了《紐約時報》的訴訟，我想你們無法與他們達成關於訓練數據的協議。
你如何看待合理使用的公平性？我們在播客上進行了激烈的辯論。顯然，你的行動充分表明，你正試圖通過許可協議來實現公平。那么，你個人對創作優美音樂、歌詞、書籍的藝術家的權利持什么立場？你利用這些權利制作衍生產品，然後將其貨幣化？什么是公平？我們如何才能讓藝術家創造內容，然後決定他們希望其他人如何處理這些內容？
我只是好奇你的個人信念，因爲我知道你在這方面是一個深思熟慮的人。我知道我們行業中的許多其他人對內容創作者的看法並不十分深思熟慮。所以我認爲不同類型的人會有很大不同。
在公平使用方面，我認爲我們在現行法律下有一個非常合理的立場，但我認爲人工智能是如此不同。但對於藝術之類的東西，我們需要以不同的方式去思考。
但是，假設你在網上讀了一堆數學知識，並學會了如何做數學，我認爲這對大多數人來說似乎無可非議。然後，還有另一群人可能會有不同的看法。實際上，爲了讓這個答案不要太長，我不再深入討論這個問題。
所以我認爲有一類人會說，好吧，有廣義的人類知識，你可以說，如果你學會了，那就是，那就是开放領域之類的，如果你去學習畢達哥拉斯定理。這是光譜的一端。我認爲光譜的另一個極端是藝術，甚至可能更具體一點，我會說它就像在做，它是一個以另一位藝術家的風格或相似性產生藝術的系統，這可能是最極端的。然後在光譜中間還有許多許多情況。
我認爲，從歷史上看，討論的焦點一直是訓練數據，但隨着訓練數據的價值降低，討論將越來越多地轉向推理時發生的事情。而系統做什么，實時訪問上下文中的信息，或者採取類似措施，推理時發生的事情，以及新的經濟模式如何，將受到更多爭論。
因此，如果您說，例如，如果您說，例如，用泰勒·斯威夫特的風格爲我創作一首歌曲，即使模型從未接受過任何泰勒·斯威夫特歌曲的訓練，您仍然會遇到問題，即模型可能讀過關於泰勒·斯威夫特的文章，可能知道她的主題，泰勒·斯威夫特意味着什么。接下來的問題是，即使這個模型從未接受過泰勒·斯威夫特歌曲的訓練，我們是否應該允許它這樣做？如果是的話，泰勒·斯威夫特應該如何得到相應的報酬？
我認爲首先，這種情況下應該有一個選擇權，即可以選擇加入或退出，然後應該有一個經濟模型。以音樂爲例，從歷史角度來看，這裏有一些有趣的東西值得一看，那就是採樣以及圍繞採樣的經濟學如何運作。這是完全一樣的事情，但它是一個有趣的起點。
Sam，讓我挑战一下這一點。
你舉的這個例子有什么不同？模型學習歌曲的結構、節奏、旋律、和聲、關系，發現使音樂成功的所有底層結構，然後使用訓練數據構建新音樂。而人類聽了很多音樂，他們的大腦正在處理和建立所有相同的預測模型，這些都是相同的發現或理解。這裏有什么區別？爲什么你要說也許藝術家應該得到獨特的報酬，這不是一個採樣的情況，你不是人工智能沒有輸出，它也沒有在模型中存儲實際的原創歌曲。
是的，學習結構。
所以我並不是想強調這一點，因爲我同意，就像人類受到其他人類的啓發一樣。我是說，如果你說爲我創作一首泰勒斯威夫特風格的歌曲。
我明白了。我認爲這就是提示利用一些藝術家的地方。
我個人認爲，這是一個不同的情況。
你愿意讓模型自己訓練，使用人類創作的整個音樂語料庫來訓練音樂模型，而不向輸入音樂的藝術家支付版稅？
然後，你不能問藝術家的具體提示，你可以說，嘿，給我一首很酷的流行歌曲，這首歌相當現代，講述了心碎的故事，用女性的聲音
我們目前決定不做音樂了。部分原因是，你在哪裏劃清界限。
我最近和幾位我非常欽佩的音樂家見面，我只是想談談這些極端情況，但即使在這個世界裏，如果我們去，假設我們付錢給10,000名音樂家創作一堆音樂，只是爲了制作一個很棒的訓練集，音樂模型可以學習關於強大歌曲結構的一切。什么造就了好的、朗朗上口的節拍和其他一切。並且只對此進行訓練，假設我們仍然可以制作出很棒的音樂模型，也許我們可以。我有點像是把它當作一個思想實驗擺在音樂家面前。而他們好吧，在那個時候我無法從任何原則上反對這一點。然而，我仍然不喜歡它。現在，這不一定是不這樣做的理由。但這是。
你看到蘋果發布的廣告了嗎，也許是昨天，或者類似的東西，將人類的所有創造力壓縮到一個非常薄的iPad中？
你對此有何看法？
人們對此非常激動。
是的。反應比你想象的要強烈。
我顯然非常看好人工智能，但我認爲人類創造力和人類藝術表達有一些美妙之處。對於一個能夠在科學研究上做得更好的人工智能來說，這太棒了，來吧。然而，如果人工智能能夠達到人類深刻而美麗的創造性表達的程度，我認爲我們需要明確這將會如何發生。它將成爲一種工具，引領我們達到更高的創意高度。但我認爲我們需要找到方法來實現這一點，以保留我們所有人所關心的精神。
我認爲你的行動具有很強的說服力。我們試圖在DALL-E中塑造《星球大战》中的角色。如果你要求達斯·維達，它會說，嘿，我們不能那樣做。因此，我想，你已經在內部組建了紅隊或者你可以隨意稱呼它。我們已經嘗試過了。是的，你不允許人們使用其他人的知識產權。所以你已經做出了這個決定。
現在，如果你要求它制作一只絕地鬥牛犬或一只西斯領主鬥牛犬（我就是這么做的），它會把我的鬥牛犬變成西斯鬥牛犬。
關於你所說的有一個有趣的問題，是的。我們昨天發布了一個叫做規範的東西，我們試圖說明我們的模型應該如何表現。這是一項艱巨的任務。這是一份很長的文件。在每種情況下准確指定限制應該在哪裏是非常困難的。我認爲這是一個需要更多投入的討論。
然而，關於可能不應該產生達斯·維達，但西斯尊主、西斯風格的東西或絕地武士的想法在這一點上就像是文化的一部分，這些都是艱難的決定。
是的，我認爲你是對的。音樂行業將考慮這個機會，讓泰勒·斯威夫特的歌曲成爲他們的機會。這是四部分合理使用測試的一部分，這些測試可以利用現有藝術的新創新。迪士尼有一個論點，嘿，如果你要制作索拉版本的阿育王，或者歐比旺·克諾比，那就是迪士尼的機會。這對你來說是一個很好的合作夥伴關系。
因此，我認爲我將這一部分標記爲人工智能和法律。
那么，讓我問一個更高層次的問題。當人們說監管人工智能時，這是什么意思？如果你愿意的話，你也可以對加州新提出的法規發表評論。
我對此感到非常擔憂。有很多擬議的法規，但我看到的大多數關於加利福尼亞州的法規讓我感到擔憂。我還擔心各州會自己這樣做。
當人們說要監管人工智能時，我認爲他們的意思並不是一個具體的事物。我認爲有些人會禁止整個事情。有些人會說，不允許它开源，要求它开源。我個人最感興趣的是，我認爲會有人說，看，我可能錯了。我承認這是一個前瞻性的聲明。而做出這些聲明總是很危險的。但我認爲在不遠的將來，會有那么一天，我們說的不是幾十年後，人工智能說前沿人工智能系統能夠對全球造成重大傷害。對於這些系統，同樣，我們對核武器或合成生物等可能產生非常負面的影響的東西進行全球監督，而這些影響可能遠遠超出一個國家的範疇。我期待看到某個國際機構正在研究最強大的系統，並確保進行合理的安全測試。這些系統不會自動逃避，也不會自我改進等。
然而，對此的批評在於，你擁有資源去討好、遊說、參與，你與政治家們關系密切，而對於初創公司來說，盡管他們對此充滿熱情並進行投資，但他們卻沒有足夠的資源來處理這個問題。這種監管俘獲的現象，正如我們的朋友比爾·格利（Bill Gurley）去年在他的演講中所指出的。
因此，也許你可以正面解決這個問題。如果我們只關注那些價值超過100億美元或超過1000億美元或其他任何美元的計算機上訓練的模型，我會對此感到滿意。這是我可以接受的一條线。我認爲這不會給初創公司帶來任何監管負擔。
因此，如果你擁有制造核彈的核原料，就像有一小部分人擁有它一樣，你可以使用類似核檢查員的情況的類比。我認爲這是一個有趣的觀點。
我可以再說一件事嗎？當然。我對這裏的監管過度感到非常緊張。我認爲我們做得太多，甚至有點過頭，都可能出錯。我認爲我們做得不夠，也可能會出錯。但我確實認爲部分原因在於……現在，我們已經看到監管越權或控制在其他領域變得非常糟糕。
而且，也許什么也不會發生。但我認爲，談論我們認爲可能發生的事情以及實現這一目標需要做些什么，這是我們職責和使命的一部分。
Sam，挑战在於，我們有保護人民、保護整個社會的法規。
然而，我們正在制定的法規賦予政府進入和審計商業機密的權利。我們以前從未見過這種程度的法規。基本上，加州提出的立法和一些聯邦提出的立法基本上要求政府審計一個模型、審計軟件、審計和審查模型的參數和權重。然後你需要他們的勾選才能將其部署用於商業或公共用途。
對我來說，這感覺就像我們試圖控制政府機構以制造恐懼。因爲人們很難理解這一點，害怕它的影響，他們想控制它。而控制它的唯一方法就是說，在我發布它之前給我審計權。
是的，他們一無所知。這些人一無所知。這些東西的寫作方式，你讀了它，你會抓狂。因爲如你所知，在12個月內，這些東西無論如何都不會有意義。我之所以推動採用基於代理的方法來解決大局問題，而不是像法律那樣寫出來，
我不認爲即使這些人是真正的世界專家，我也不認爲他們能夠在12或24個月內正確處理。我不認爲。我們將對這些政策進行審查，對您的所有源代碼進行全面檢查，並逐一查看您的所有權重。我確實認爲存在許多瘋狂的提議，特別是當模型不斷接受重新訓練，變得更加動態時。這也是我認爲它是有意義的原因。
在飛機獲得認證之前，我們會進行一系列安全測試，讓飛機通過這些測試。這與閱讀所有代碼的過程完全不同。我們是在審查模型的輸出，而不是查看模型的內部。
因此，我認爲進行安全測試是有意義的。
那么，Sam，我們應該如何實現這一點呢？
我在此不僅代表OpenAI，也代表整個行業，甚至代表人類。我擔心，如果我們限制這些有巨大發展潛力和對人類有巨大益處的技術，我們可能會陷入黑暗時代。那么，我們應該如何改變這種情況並實現這一目標呢？
因爲政府層面的發展速度太快，人們似乎都弄錯了方向，我對此感到擔憂。在此基礎上，Sam，例如，Lama的架構決策非常有趣，因爲我們將讓Llama在盡可能少的約束下成長。我們還有另一種東西，我們稱之爲Llama Guard，它旨在成爲這些保護性護欄。
你認爲問題得到正確解決的方式是什么？
以目前模型的強度來看，肯定會出現一些問題。我不想輕視這些或不認真對待這些。但我並不擔心GPT-4級模型會帶來任何災難性風險。我認爲有很多安全的方法可以選擇部署它。
如果我們這樣說，也許我們會找到更多的共同點。我喜歡這個具體的例子，即模型具有能力，技術上也具有能力，即使它們不以這種方式使用，也可以進行遞歸式自我改進，或者自主設計和部署生物武器，或諸如此類的東西。或者是一種新模型。那是遞歸式自我改進的要點。
我們應該在國際層面對模型的輸出進行安全測試，因爲這些模型有合理的機會在那裏構成威脅。我不認爲像GPT-4這樣的東西，當然不會構成任何威脅，好吧，我不是說任何威脅，因爲我們不認爲，是的，我不認爲GPT-4對這些事情構成實質性威脅。我認爲有很多安全的方法來發布這樣的模型。
但是，當重大人員傷亡是一個嚴重的可能性時，比如飛機或任何其他例子，我認爲我們很高興有某種測試框架，比如當我上飛機時，我不會考慮飛機，我只是假設它會是安全的。
Sam，現在有很多關於就業的擔憂。你在YC時做過很多關於UBI的測試。你的結果很快就會出來。我只是說，這是一項五年前結束或开始的研究。首先是測試版研究，然後是長期研究。然而，你從這一切中學到了什么？
確實，你爲何要开始這一切？你能否解釋一下你爲何要开始研究通用基本收入（UBI）？
我們在2016年开始考慮這個問題，大約在同一時間，我們开始認真對待人工智能。理論上，社會和經濟中的就業變化，以及某種更深層次的意義（例如，社會契約將如何改變）可能帶來的變化幅度，意味着我們應該進行大量研究，探索關於如何安排這些新變化的各種想法。
我必須承認，我並不是政府處理大多數旨在幫助窮人的政策的狂熱支持者。我傾向於相信，如果你能給人們錢，他們會做出正確的決定，市場會發揮作用。我非常支持提高最低生活標准，減少貧困，甚至消除貧困。但我感興趣的是，是否有比我們爲現有社會安全網所做的嘗試更好的方法，以及處理事情的方式。
我認爲給人們錢並不能解決所有問題，當然也不能讓人們都感到快樂。但它可能會解決一些問題，讓人們有更好的視野來幫助自己。我對此很感興趣。
我認爲，現在我們看到了一些方法，所以2016年已經是很久以前的事了。現在我們看到了人工智能正在發展的一些方式，我想知道是否有比傳統的UBI概念更好的事情要做。比如，我想知道，未來是否更像是通用基本計算，而不是通用基本收入。每個人都會得到一部分GPT-7計算，他們可以使用它，可以轉售它，可以捐贈給某人用於癌症研究。但是，你得到的不是美元，而是生產力的一部分。是的，你擁有部分生產力。
好的，讓我們談談八卦。那么，讓我們回到去年十一月。到底發生了什么？
如果你有具體的問題，我很樂意回答，也許我說過我們會在某個時候談論它。
所以這就是重點。發生了什么？你被解僱了，然後你回來了，這是一場宮廷陰謀。有人在背後捅你刀子嗎？你找到了人工智能的終極目標（AGI）了嗎？發生了什么事？這是一個安全的空間。
我被解僱了。我說過要回來，我當時有點不確定我想做什么，因爲我非常沮喪。我意識到我真的很喜歡OpenAI和那裏的人，我會回來的，我知道這會很難。這比我想象的還要難。但我當時就想，好吧，沒問題。我同意回來。董事會花了一段時間才弄清楚。然後，我們有點像是在試圖讓團隊團結起來，繼續爲我們的客戶做事。然後，开始制定其他計劃，然後董事會決定聘請另一位臨時首席執行官。天哪，那家夥叫什么名字？他的存在就像是在嚇唬人，這是非常棒的。我只有好東西要說。
那么，你是在哪裏得知你被解僱的消息的呢？
我是在拉斯維加斯的一家酒店房間裏度過周末的時候得知的。我收到了一條短信，他們說，开火接機。我想在我試圖思考我是否被解僱之前，你也遇到過這種情況。我並不認爲我已經厭倦了這種情況。是的，我收到了一條短信。不，這只是一件奇怪的事情。
那么，這條短信是誰發的呢？
實際上，我在前一天晚上就收到了這條短信。然後我和董事會通了電話。然後就是這樣。然後我有點，然後一切都變得瘋狂。我當時我的手機無法使用。它只是不停地震動，比如短信、電話。
基本上，你是被推文解僱的。這在特朗普政府期間發生過幾次。
他們在發推文之前確實先給我打電話，這對他們來說很好。然後，我在酒店房間裏度過了幾個小時的完全神遊狀態。我當時非常困惑，不知道該怎么做。太奇怪了。
然後，我飛回家，可能是上了飛機，大約在下午 3 點左右。仍然像，你知道的，瘋狂的電話不停地響個不停。我親自見了一些人。到了那天晚上，我想，好吧，我會去做 AGI 研究，我對未來感到非常高興。是的，我有選擇。
然後第二天早上，我和幾位董事會成員通了電話，討論回來的問題，這又導致了幾天的混亂。然後，我覺得事情解決了。好吧，中間有很多瘋狂的事情。
其中有多少是因爲這些非營利董事會成員？
好吧，我們只有一個非營利董事會。所以都是非營利董事會成員。董事會人數減少到六個人。然後他們把格雷格從董事會中除名，然後解僱了我。
所以，董事會中只有非營利經驗的人和有創業經驗的人之間是否存在文化衝突？如果你愿意的話，也許你可以分享一下行動背後的動機，任何你能分享的東西。
我認爲文化衝突一直存在。顯然，並不是所有董事會成員都是我最喜歡的人，但我非常尊重他們對待 AGI 的嚴肅態度以及正確處理 AI 安全的重要性。即使我完全不同意他們的決策和行動，我也從未懷疑過他們的正直或對安全和有益的 AGI 的共同使命的承諾。
我認爲他們在這個過程中做出了正確的決定，或者知道如何平衡 OpenAI 必須做對的所有事情嗎？不。但我認爲他們有意圖，有 AGI 規模的意圖，並把它做好。
實際上，讓我問你這個問題。所以 OpenAI 的使命明確是創造 AGI，我認爲這真的很有趣。許多人認爲，如果我們創造出人工智能（AGI），那將是某種事情出錯的意外結果。他們對此感到極度恐懼。然而，OpenAI卻將其視爲實際的使命。這是否會讓你對你所做的事情感到更多的恐懼？我理解這也能產生動力，但你如何調和這一點？我想知道，爲什么這是使命？
我認爲，首先我要回答的是，這確實引發了很大的恐懼。我認爲世界上很多人都對AGI，甚至當前的AI感到非常害怕，同時也對其發展方向感到非常興奮，甚至更加害怕和興奮。我們爲此而苦苦掙扎。但我認爲這是不可避免的。我還認爲它會帶來巨大的好處。但我們必須找到如何以合理的方式到達那裏的方法。很多事情都會發生改變，而改變會讓人們感到不舒服。所以我們有很多事情需要做對。
我可以問一個不同的問題嗎？你已經創造了一個最熱門的公司。而你確實處於中心的位置。但是從經濟角度來看，你回避了所有這些價值，這非常獨特。你能給我們講講嗎？
是的，我希望我當時拿到了股權，這樣我就不必回答這個問題了。如果我能回到過去……
爲什么他們現在不給你一筆補助金？爲什么董事會不給你一筆你應得的大額期權補助金？當時的決定是什么？爲什么那如此重要？
當時的決定，最初的原因只是我們非營利組織的結構。從動機的角度來看，這很好。但主要是我們的董事會需要大多數無私的董事。我想，那很好。我現在不需要股權。我有點……但是，我希望……
但是以這種奇怪的方式，現在你經營着一家公司，是的，它會產生這些奇怪的問題，比如，你的真正動機是什么……
完全正確。
這太深刻了……我注意到的一件事是，人們很難想象他們會說“我不需要更多的錢”。我也知道音調是多么的不敏感...我認爲人們認爲這有點別有用心。是的。所以假設...他還在做什么來賺錢？如果我只是說，我要用OpenAI賺一萬億美元，我想每個人都會過得更輕松，而這救不了我。這會省去很多陰謀論。
Sam，你是一個偉大的交易撮合者。我關注了你的整個職業生涯。你在這方面很厲害。你擁有所有這些關系。你真的很擅長籌集資金。你在這方面很棒。你還有約翰尼·艾維，，你投資公司，你得到了球，你籌集了7萬億美元來建造晶圓廠，所有這些東西。所有這些因素綜合在一起，
這裏我只是开個玩笑。顯然，你並沒有籌集到7萬億美元，這可能只是市值之類的東西。然而，拋开這些不談，關鍵在於你已經進行了所有這些交易。他們對你的不信任，是因爲你的動機是什么？你最後離开了，OpenAI內部的機會是什么？哪些機會應該屬於Sam，而這些非營利組織的人卻不信任你？是這樣嗎？
如果我們是設備公司，或者我們正在做一些芯片制造公司，那些就不是Sam的項目。就像OpenAI會得到那筆股權一樣。他們會得到的。
然而，這並不是公衆的看法。這並不是像你那樣，那些整天都在評論這些事情的人的看法。這是公平的，因爲我們還沒有宣布這些事情，因爲它還沒有完成。我不認爲世界上大多數人都在考慮這個問題。但我同意，這在技術評論員中引發了很多陰謀論。
如果我可以回到過去，我會說，讓我公平地把這一點說清楚。然後，我仍然會這樣做，因爲我真的很關心AGI，我認爲這是世界上最有趣的工作。但至少，它會向所有人發出警告。
那么，什么是芯片項目？那是7萬億美元。那個7萬億美元的數字是從哪裏來的？
我不知道那是從哪裏來的。實際上，我真的不知道。我認爲世界需要更多的人工智能基礎設施，遠遠超過目前計劃建設的數量，而且成本結構也不同。我們在那裏玩的具體方式是，我們仍在試圖弄清楚。
你喜歡OpenAI的組織模式是什么？它是像快速行動、打破常規、高度分散的小團隊嗎？還是更多的是這種有組織的努力，你需要計劃，因爲你想防止一些極端情況？
這並不是因爲我們需要更有組織來防止極端情況。而是因爲這些系統非常復雜，集中賭注非常重要。比如，在這樣做之前，你有像DeepMind這樣的公司，所有這些不同的團隊都在做這些不同的事情。他們分散了賭注。你讓OpenAI說，我們基本上要讓整個公司一起努力制作GPT-4。這對於如何運營一個人工智能研究實驗室來說是難以想象的。但我認爲，至少它是有效的，它對我們是有效的。所以不是因爲我們想避免極端情況，而是因爲我們想集中資源，做這些大而難、復雜的事情。在我們的工作中，確實存在大量的協調工作。
好的，Sam，我明白你需要離开了。你在過去的一小時裏表現得非常出色。歡迎你隨時回來，我很高興能與你們交談。是的，這是一次非常有趣的對話。感謝你的到來，
Sam，也感謝你的坦誠。我們已經討論了這個問題超過一年了。這真是太棒了，我對此感到非常感激。
我很期待在下一次重大發布會後能再次回來，這樣我就可以更直接地談論其中的一些事情。
是的，你已經收到了 Zoom 鏈接。每周都會使用相同的 Zoom 鏈接，同一時間，你可以隨時加入(笑)。
鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。