各位大大您們好,
我正在做實價登錄的分析,因為實價登錄的資料有點亂,所以我寫了一堆算式去算,但是
一個檔案都太大(至少150-180MB),所以每次更新都要跑一整個晚上,重點是還不知道
是否有跑完(三不五時會發現計算錯誤)。。。。
想改到資料庫或其他的架構,是不是真的會比較快?但是重點是有辦法處理大量的計算。
。。。
真的不知道該用什麼。。。
我不是唸相關科系的,實在不知道該從哪裡下手。。。。
想聽聽大家專業意見,不管是ACCESS或是python或是有其他大家覺得更好的方式 ,有一
個方向我再去好好鑽研。。。
麻煩大家幫我指點明燈~~~ 跪恩!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.9.201.197 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1624350474.A.258.html→ airtsubasa1樓換電腦 06/22 16:30
gnseed2樓演算法寫得不好吧...連G都沒出現的資料不能稱為大 06/22 16:34
→ final013樓excel?? 那個不是很慢 06/22 16:37
ntpuisbest4樓用r data table 寫的非常快 06/22 16:37
kokolotl5樓excel函數一大就算到死了 改用R或python都舒服很多 06/22 16:51
Virness6樓mysql mongo都可以我之前也是excel超痛苦 06/22 17:04
→ MOONY1357樓看你的檔案類型啊 是一天一個檔案還是一個檔案會慢慢變 06/22 17:05
→ MOONY1358樓大 後者的話直接建議塞進db 前者大概就是換語言讀寫 06/22 17:06
azzc103110樓python去讀 再去下你要看的函數 06/22 19:43
→ lazarus112111樓把function換成vba來跑會快不少 06/22 20:04
→ lazarus112112樓之前資料量大用excel都盡量不寫函數,不然下拉時容 06/22 20:10
→ lazarus112113樓量跟耗的效能都會等比成長 06/22 20:10
→ tedmax10014樓不動產業的RD?? 06/22 21:04
→ DrTech15樓才不到200M,用程式讀到記憶體算,就解決了。根本不用資料 06/22 21:57
→ DrTech16樓庫。 06/22 21:57
→ yyc121717樓要不要試試看Google colab 06/22 23:24
qazxws18樓Apache Spark 06/23 00:13
new12285119樓Hadoop 06/23 00:32
marc4720樓julia 06/23 01:41
→ KeyFSN23樓才 180 MB 根本不用什麼 spark 啦 XD 06/23 12:42
→ KeyFSN24樓直接 python 全讀到 memory 然後算一算就結了 06/23 12:43
sammythekid25樓樓上講完了 06/23 14:57
enthos26樓https://www.udemy.com/course/python-auto 06/23 19:22
wahaha27927樓用aws elk做資料搜尋 06/24 00:19
adsl1236728樓DB用哪一個? 06/24 15:50
→ 本人29樓哈哈哈哈,謝謝大家的幫忙,但大家的回覆我真的看不懂, 06/24 18:30
→ 本人30樓大家實在是太專業了。。。。我是在一家建商,老闆常叫 06/24 18:30