簡介
項目經(jīng)驗:
1、上海電信數(shù)據(jù)中心高級數(shù)據(jù)架構(gòu)師,負責數(shù)據(jù)中心項目基礎(chǔ)架構(gòu)、數(shù)據(jù)建模,ETL、脫敏解決方案。完成上海市人群分布趨勢分析項目。每天處理的數(shù)據(jù)在150TB。主要使用技術(shù)(HADOOP,HBASE,HIVE,KAFKA,STORM,KETTLE等)。
2、上海寶鋼大數(shù)據(jù)部分負責人,擅長基于Hadoop的海量數(shù)據(jù)平臺的搭建,PB級數(shù)據(jù)的處理和基于Hadoop的開發(fā)和集群的維護。對hadoop、hive、storm、spark等大數(shù)據(jù)開源框架有深入的研究,能深入框架源碼講解其原理。通過大數(shù)據(jù)來監(jiān)控生產(chǎn)的安全,質(zhì)檢等。主要使用技術(shù)(HADOOP,HBASE,HIVE,KAFKA,STORM,KETTLE,SPARK,SQOOP,FLUME等)。
3、日本OKI產(chǎn)品視頻發(fā)布系統(tǒng):客戶錄制各種產(chǎn)品介紹或者產(chǎn)品用法視頻,通過一套高清視頻處理系統(tǒng),變成p2p流媒體視頻。此項目數(shù)據(jù)量比較大,所以在各個用戶瀏覽量比較大的頁面進行頁面的緩存處理。使用的技術(shù):(LINUX/J2EE/ORACLE/WEBLOGIC/JSP/AJAX/SERVLET)。
4、日本千葉縣票務系統(tǒng)(Linux/WebLogic/Oracle/jsp/servlet):
該項目是目前日本的票務系統(tǒng)。由多家軟件公司合作開發(fā)包括有日本的方正株式會社,并且自己開發(fā)了一套框架。
5、日本E-MARKETING搜索引擎:
該項目是為各大企業(yè)提供的一套DIY的搜索引擎,客戶可以根據(jù)自己的需要,搜索該客戶內(nèi)部的所有信息。由于客戶比較多,所有一共用到了5臺linux系統(tǒng)的服務器集群。使用的技術(shù):(Linux/J2EE/MYSQL/apache/tomcat/Hibernate/Struts/Spring/ANT/AWT/lucene/nutch)。
6、北京氣象局氣象信息實時發(fā)布系統(tǒng)(Linux/J2EE/WebLogic/sturts2/spring/ibatis)
目前北京氣象局正在使用的信息發(fā)布系統(tǒng),本項目難點,信息量比較大,信息格式非常多,所以需要為所有的信息格式定制一個解析模板。
7、新世界教育信息搜索引擎(Linux/J2EE/DB2/Struts/lucene/wget)
-ETAD-OA綜合辦公系統(tǒng)(STRUTS/ITABIS/SPRING/DWR2/WEBLOGIC/DB2):本系統(tǒng)是高效率、低成本、跨區(qū)域管理的辦公自動化解決方案,融合了最新KM思想的第三代辦公自動化系統(tǒng)軟件,有效提高企業(yè)的內(nèi)部管理和工作效率,降低了整體經(jīng)營成本。包括檔案管理、信息中心、會議管理、財務管理、客戶管理、工作流、公文管理等子系統(tǒng)。