[請益] excel轉資料庫(大量計算)

軟工

27180

各位大大您們好,

我正在做實價登錄的分析,因為實價登錄的資料有點亂,所以我寫了一堆算式去算,但是
一個檔案都太大(至少150-180MB),所以每次更新都要跑一整個晚上,重點是還不知道
是否有跑完(三不五時會發現計算錯誤)。。。。

想改到資料庫或其他的架構,是不是真的會比較快?但是重點是有辦法處理大量的計算。
。。。

真的不知道該用什麼。。。

我不是唸相關科系的,實在不知道該從哪裡下手。。。。

想聽聽大家專業意見,不管是ACCESS或是python或是有其他大家覺得更好的方式 ,有一
個方向我再去好好鑽研。。。

麻煩大家幫我指點明燈~~~ 跪恩!

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.9.201.197 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1624350474.A.258.html
airtsubasa1樓換電腦 06/22 16:30
gnseed2樓演算法寫得不好吧...連G都沒出現的資料不能稱為大 06/22 16:34
final013樓excel?? 那個不是很慢 06/22 16:37
ntpuisbest4樓用r data table 寫的非常快 06/22 16:37
kokolotl5樓excel函數一大就算到死了 改用R或python都舒服很多 06/22 16:51
Virness6樓mysql mongo都可以我之前也是excel超痛苦 06/22 17:04
MOONY1357樓看你的檔案類型啊 是一天一個檔案還是一個檔案會慢慢變 06/22 17:05
MOONY1358樓大 後者的話直接建議塞進db 前者大概就是換語言讀寫 06/22 17:06
azzc103110樓python去讀 再去下你要看的函數 06/22 19:43
lazarus112111樓把function換成vba來跑會快不少 06/22 20:04
lazarus112112樓之前資料量大用excel都盡量不寫函數,不然下拉時容 06/22 20:10
lazarus112113樓量跟耗的效能都會等比成長 06/22 20:10
tedmax10014樓不動產業的RD?? 06/22 21:04
DrTech15樓才不到200M,用程式讀到記憶體算,就解決了。根本不用資料 06/22 21:57
DrTech16樓庫。 06/22 21:57
yyc121717樓要不要試試看Google colab 06/22 23:24
qazxws18樓Apache Spark 06/23 00:13
new12285119樓Hadoop 06/23 00:32
marc4720樓julia 06/23 01:41
KeyFSN23樓才 180 MB 根本不用什麼 spark 啦 XD 06/23 12:42
KeyFSN24樓直接 python 全讀到 memory 然後算一算就結了 06/23 12:43
sammythekid25樓樓上講完了 06/23 14:57
enthos26樓https://www.udemy.com/course/python-auto 06/23 19:22
wahaha27927樓用aws elk做資料搜尋 06/24 00:19
adsl1236728樓DB用哪一個? 06/24 15:50
本人29樓哈哈哈哈,謝謝大家的幫忙,但大家的回覆我真的看不懂, 06/24 18:30
本人30樓大家實在是太專業了。。。。我是在一家建商,老闆常叫 06/24 18:30
更多請益
[請益] offer選擇請益
[請益] offer 選擇
[請益] offer請益
[請益] 直接把密碼寄給使用者算不算資安問題啊?
[請益] 什麼是經驗、熟悉?
[請益] docker 在mac上的網路設定
[請益] 要寫遠端遙控app / 網站需要準備什麼?
[請益] 跳轉到奇怪釣魚網站