OpenAI神秘gpt2正在A/B測試,奧特曼搶先劇透,網友已玩嗨
https://www.qbitai.com/2024/05/140099.html
明敏
OpenAI正在秘密A/B測試下一代模型,實力超強被懷疑是GPT-4.5或GPT-5。
就在奧特曼當謎語人暗示之後,兩款新模型悄悄上線大模型競技場。
https://tinyurl.com/57psz9bm
提示詞:畫一個自由女神像。
和GPT-4-Turbo(左)同場競技,gpt2-chatbot(右)明顯更勝一籌。
https://tinyurl.com/yc84ndz3
先前一款名為gpt2-chatbot的超強模型僅僅上線一天,熱情的網友就把伺服器擠爆了,不
得不下架,大家紛紛表示還沒玩過。
這次重新上線後,模型在一次報錯中 直接給出了跳轉OpenAI平台網站的連結 。
這下大家都嗨了,做實了是OpenAI在搞A/B測試?
也有人表示,這倆模型可能已經在推理和計劃方面進行微調。
現在在競技場裡隨機匹配,就能遇到這兩個新模型。
這不,網友們已經紛紛前去測試,一探它們的底細了。
程式碼能力突出
和第一次露面有所不同,如今想要用上gpt2,只能在Arena(battle)裡碰運氣,Direct
Chat中找不到它們的影子。
有的人運氣好,試了5次就成功讓這倆模型battle了一局。
https://tinyurl.com/yc4tjwyy
結合幾個範例來看,im-also-a-good-gpt2-chatbot產生的答案似乎總是更簡潔一些。
https://tinyurl.com/7zfv4p6j
程式碼生成方面,它能一次產生一個可執行的遊戲程式碼。
提示詞:Code Flappy Bird game in Python
https://tinyurl.com/ywpc67wz
效果如下:
https://tinyurl.com/3hspmth4
如果回答的代碼有誤,可以進一步追問讓它自己改正。
例如讓它們寫一個康威生命遊戲的程式碼,在未告知使用Colab時,模型寫出的程式碼有
問題。
但繼續追問並表示自己用的是Colab,im-also-a-good-gpt2-chatbot能夠自己修改對程式
碼,im-a-good-gpt2-chatbot不行。
還有在解決物理題方面,有Reddit用戶說im-also-a-good-gpt2-chatbot能解答出其他模
型都答不對的物理題。
問題:綠燈俠從一棟高樓頂跳下,他從靜止狀態開始做自由落體運動到地面,在他下
落過程的最後1秒時,距離地面的距離是大樓一半的高度,這座樓有多高?
不過我們實測了下,im-a-good-gpt2-chatbot似乎也能做對。
https://tinyurl.com/ydbxm2ct
還有人測試了一道推理題目,im-a-good-gpt2-chatbot可回答正確,
im-also-a-good-gpt2-chatbot也能做到但需要兩次提示。
問題:現在有兩個足球隊。 球隊A贏了8次,球隊B贏了5次,已知剩下7次比賽,球隊
B想要贏得整場比賽,還需要至少贏幾場?
https://tinyurl.com/ads7rtcf
網友:白嫖大家回饋嗎?
儘管OpenAI還是沒有正式認領gpt2-chatbot,但網友幾乎已經默認它們是一家了。
因此有人覺得,gpt2-chatbot在競技場上搞A/B測試,這不是讓大家免費給他當志工。
OpenAI想要對內部模型進行人工評估,應該付給測試人員報酬,而不是在免費社區做。
有人覺得他們這麼做,就是為了炒熱度。
但現在gpt2-chatbot的底層模型到底是啥還不確定。
有人直接問了gpt2-chatbot,但可能有幻覺,它表示自己基於GPT-4架構,是GPT-4.5的變
體。
但之前奧特曼在公開演講中已經否定了。 測試網友表示自己沒有給GPT-4.5相關的提示內
容。
https://tinyurl.com/ws3dnjpv
也有人懷疑,這兩個模型大小不一樣,叫這個名字是不是因為採用了GPT-2的架構來訓練
模型。
這和單純的MoE不同,它們使用了Q*、合成數據,Sam的推特編輯歷史是不是暗示了這
一點?
值得一提的是,最近有大V爆料稱本週OpenAI將公佈進軍搜尋引擎的消息。
https://tinyurl.com/46b3tumr
OpenAI已經更新了網站主頁,第一個輪番頁是一個搜尋框上面寫著“向ChatGPT問任何事
情”
https://tinyurl.com/pjxwf72m
爆料說這次發布的時間可能在北京時間週五的凌晨2點。
總之,最近OpenAI的動向,都有點神秘。
參考連結:
[1]https://twitter.com/itsandrewgao/status/1787758687651811705
[2]https://twitter.com/DimitrisPapail/status/1787899811514982887
[3]https://twitter.com/AlphaSignalAI/status/1786025388902097077
[4]https://gizmodo.com/powerful-new-gpt2-chatbot-mysteriously-returns-1851460717
--