"為什麼現在新的深度學習模型都很少割出test dataset?"
在進行實驗的時候,
發現近三年來的研究工作,
很多都沒有切割test dataset,
論文裡也沒有列出test dataset的實驗結果.
反而都直接以validation dataset包含test dataset.
比例也從以往常用 train:val:test = 8:1:1 (7:2:1)
變成 train:val = 8:2
很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.
為什麼現在新的深度學習模型都很少割出test dataset?
這些新模型其實只是舉手之勞就可以做這到件事,
而且按照指導教授的要求,
論文裡要是沒有test dataset的實驗結果,
應該是不能被刊登.
不得其解...
大大們可以詳細說明解釋這個原因嗎?
還有,
想知道指導教授的堅持是對的嗎?
先謝謝各位深度學習的高手~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.215.133 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1628928727.A.BDC.htmlyiche1樓請問可以條列出幾篇有這種情況的ICCV CVPR論文嗎？ 08/14 16:26
lukelove2樓一般的benchmark應該是光data就有分train/test吧 哪有必 08/14 16:39
→ lukelove3樓要再把train的一部分拿去切test 08/14 16:39
Raymond07104樓有DataScience板 08/14 17:19
sooge5樓你要相信投上的paper 還是相信你教授的話 08/14 17:32
→ KindWei6樓本質上並沒有 test ，都看到的ground truth，大家一起調 08/14 18:34
→ KindWei7樓分數就好啦，除非像 kaggle，有一個公正方把 test 藏起 08/14 18:34
→ KindWei8樓來不給看，大家不要 overfit valid 才有意義 08/14 18:34
andy56569樓除非不曉得test set的label 不然有沒有切是一樣的 08/14 20:51
itis042310樓哪些 paper 沒有切 test set 啊好奇 08/14 23:06
jamfly11樓你可以舉例你看的文章嗎？因為通常都會有公定的benchmark 08/14 23:37
→ jamfly12樓來比較分數，不太有可能會有你說的只report validation se 08/14 23:37
→ jamfly13樓t的成績 08/14 23:37
sooge14樓有小型dataset 一載下來就切 train 和test 而已 說到底vali 08/15 00:08
→ sooge15樓dation 和test 都是不被訓練過的資料 本質根本一樣用誰去測 08/15 00:08
→ sooge16樓哪有什麼差 08/15 00:08
→ sooge17樓並不是paper 不切 而是dataset 本身就沒切三份 08/15 00:10
→ sooge19樓我這篇CVPR paper的室內資料集就是切train和test而已 08/15 00:16
sooge20樓然後很特別是這篇是從train data 再切validation出來 08/15 00:31
→ sooge22樓這篇hawp同樣用上面那篇的dataset就沒再切validation出來 08/15 00:36
→ sooge23樓所以一個validation真的是各種表態 唯一不變的是 人家拿的 08/15 00:38
→ sooge24樓那份，你要稱validation還是稱test 的dataset要拿去當評分 08/15 00:38
→ sooge25樓標準的 就絕對不能那下去訓練就對了 08/15 00:38
DarkIllusion26樓validation的評估指標參與模型選擇 跟test是有差的 08/15 01:10
followwar27樓sooge是國人? 該篇作者都是大陸人耶 08/15 21:28
→ agario28樓sooge 那篇是沒切 val 但原po說的是沒切test吧 08/19 20:33