原標題:什么是大數據開發工程師?與一般Java開發有什么區別?
最近發現有些同學并不太了解大數據開發工程師這個職位,所以想簡單介紹一下什么是大數據開發工程師,當前互聯網公司的數據開發到底是什么樣子的?和一般的Java或者PHP工程師在工作上有什么區別?
什么不是大數據開發?
什么是大數據開發
1. 大數據開發需要的技能
到智聯上搜了一下大數據開發工程師這個職位,隨便點了幾個職位,截圖如下:
所以說,現在互聯網公司所指的大數據開發用到的工具是:hadoop,hive,hbase,spark,kafka等。
2. 大數據開發做的事情
PC互聯網時代,各門戶網站(比如:新浪,網易,搜狐)關注的是各自網站今天被打開了幾次(pv),今天有多少人(uv)訪問了網站。更復雜一點的比如:
移動互聯網時代,手機應用被用戶打開的次數和人數也是大家關注的重點,但是除此之外還多出了許多其他非常重要的數據,由于手機屏幕的限制,信息流成為了移動時代的主流。
各大門戶網站非常關注自己的新聞客戶端中:在信息流中曝光了多少篇文章,其中有多少篇文章被用戶點擊了。每篇文章閱讀了長時間,因為用戶點擊的文章越多,使用客戶端的時間越長,各公司的廣告收入才越高,所以各公司想方設法推薦用戶喜歡的內容。
3. 如何做這些事情
因為網站的瀏覽行為,手機客戶端中文章的曝光或者點擊這些數據非常大,基本以億為單位起。所以傳統的把統計信息放到數據庫中的方式已經不能完成這項統計工作。(例如:wordpress博客中,用戶每閱讀一篇文章,mysql中就會更新這篇文章的閱讀次數+1)
所以大數據是通過日志來統計這些指標。
比如:后臺服務的日志(apache,tomcat,weblogic,nginx日志)
主要難點在于:
大數據開發和一般開發對比
在轉做大數據開發之前,一直在用Java作業務系統:例如hr系統(考勤,薪資等),收費系統。
談談我個人對業務系統開發和大數據開發的理解:
業務系統:
一句話:對數據庫的各種增刪改查操作。
重點難點在于:
大數據開發
一句話:對字符串的各種算數。
重難點在于:
返回搜狐,查看更多
責任編輯: