各位好
小弟目前的工作是後端Web仔寫寫API
後來業務上有接觸到mapreduce Apache Flink 這種大數據運算框架
想請教一下各位前輩
如果為了下一份工作打算
會用這些框架 是有辦法往資料工程師當下一份工作嗎？
或者是說需要補足的知識工具其實更多？
靠刷題之後找Backend Engineer比較容易？
謝謝各位
--
[請益] Web跟資料工程
軟工
29160
各位好
小弟目前的工作是後端Web仔寫寫API
後來業務上有接觸到mapreduce Apache Flink 這種大數據運算框架
想請教一下各位前輩
如果為了下一份工作打算
會用這些框架 是有辦法往資料工程師當下一份工作嗎？
或者是說需要補足的知識工具其實更多？
靠刷題之後找Backend Engineer比較容易？
謝謝各位
--
ripple01291樓Chatgpt問世後未來說不準了 04/10 06:13
kimoji2樓很多資料工程都要值班維運喔 04/10 08:35
→ gpctv3樓ETL很可怕 04/10 08:55
BigCockman4樓身兼backend和data 老闆最愛 04/10 09:49
hsuchengmath5樓要轉data eng ，看他的JD啊，或是去linkedin敲data 04/10 12:24
→ hsuchengmath6樓eng 然後問 04/10 12:24
acgotaku7樓這些都是高級excel 只是工具 沒啥優勢或門檻 04/10 12:46
acgotaku8樓AI 取代這種工具類的操作/分析者 是可預見的未來 04/10 12:49
samhsu9樓Data Engineer 炙手可熱，就算沒落也可以轉後端，沒道理 04/10 12:56
→ samhsu10樓不選 04/10 12:56
是怕資料工程這塊 是不是需要補很多東西 弄一弄反而沒刷題走後端高？
不然好像刷題走後端比較容易？
→ alan511樓你可以試著取代看看啊 de的重點一直是人不是工具操作 04/10 13:00
→ acgotaku12樓我沒有說取代de 是取代初級的分析操作者 04/10 13:09
→ acgotaku13樓因為我認為原po敘述 離 de的能力需求還是差滿多 04/10 13:12
→ loadingN14樓看你想清資料還是繼續當web仔 04/10 13:39
→ DrTech15樓身為專業工程師，有時間可以拿實際證據與實作來說明吧。如 04/10 13:39
→ DrTech16樓果DE可以被AI部分取代，真的歡迎拿實際例子來交流學習。 04/10 13:39
→ DrTech17樓資料工程師養成，要實務一點，不要會一堆工具，然後什麼都 04/10 13:48
→ DrTech18樓沒做過。舉例：有10億筆結構化資料，你要怎麼存與查詢，一 04/10 13:48
→ DrTech19樓秒可以查到？ 朝這種很實務的角度去學，才是正軌。沒環境 04/10 13:48
→ DrTech20樓就自己造垃圾資料，架虛擬環境來玩。 04/10 13:48
→ DrTech21樓只是用過工具，然後一遇到實際問題就掛，可能很難找類似工 04/10 13:50
→ DrTech22樓作。 04/10 13:50
Hsins23樓DE 在處理的主要業務不是分析操作，樓上 DrTech 說的才是 D 04/10 14:36
→ Hsins24樓E 在關心的，需要根據業務需求規劃資料生命周期內的資料儲 04/10 14:36
→ Hsins25樓存方式跟型態，說是高級 Excel 工具是在哈囉…… 04/10 14:36
abc6537926樓看起來你想走運算平台而不是倉儲？ 04/10 15:00
對應該是資料工程那塊 倉儲應該算是資料分析？
可能比較像Ｄ大跟Ｈ大說這樣 因為我也是自己摸索來用 但說是高級EXCEL工具是有點怪
啦
這些框架大方向應該都算是強調大數據資料可以更快速的吧
Sunal27樓原來現在DE只是專注工具的使用?那被AI取代剛剛好 04/10 16:00
cmcer28樓大家都預設AI不能解決實務的問題也是挺值得討論的點 04/10 16:22
→ alan529樓解決老闆不想用rdb想用mongo存結構化資料的問題 04/10 17:15
→ alan530樓ai應該會叫我解決老闆 04/10 17:15