智城识别ID 96783
承接项目数 0
好评率 0%
会员 1级
总收入 ¥ 0RMB
保证金 0 RMB
服务领域 应用软件专区 大数据

团队成员

头像

杜顺利 大数据开发工程师

日薪:800元/天(8小时)
1.熟悉hadoop(HDFS,MapReduce)机制原理,有MapReduce较多开发经验; 2.熟悉Hive,有Hive QL开发经验;hive UDF开发 ,做数据清洗; 3. 对Storm、kafka、Zookeeper、Sqoop、Hue,flume等技术有一定研究; 4. 熟悉Linux环境与命令,shell脚本编程有较多经验; 5. 熟悉Java、C、C++以及对汇编有一定应用; 6. 熟悉MySql,hbase,redis,Cassandr...

客户如何评价

欢迎对我的工作做出评价

承接项目列表

我还没有完成任何项目

工作经历


2016-05-02--2017-10-30 红星美凯龙 大数据开发工程师

(2) 数据通用引擎
开发环境:java + IDEA + MySQL + redis + Cassandra
系统性能(单节点):
并发:100
TPS:12000--12500
平均响应时间:8--9ms
单条访问,响应时间:0-1ms
项目功能描述:和名称描述一样,通用;在公司各业务线都可以调用,既为公司各业务线提供统一的实时数据与详情数据API接口,目前已经接入40多条业务线,如商品,文章,导购等,支持单id查询,批量查询以及混合查询。
使用场景:搜索系统,推荐系统,收藏系统,足迹系统,用户画像系统等等

(3)推荐系统
开发环境:eclipse + java +redis +hana + mysql +Cassandra + hive+ABTest
系统性能:由于各个推荐方式不同,响应速度有所差别,整体比通用引擎性能好。
系统描述:功能与名称一样,推荐。各个业务线推荐规则算法不同,在此不做过多陈述。整体上来说就是根据用户id,详情(物品)id,推荐几个关联id。
(4)数据同步系统
开发环境:IDEA + Java +canal + Cassandra + mysql
开发需求:我们部门业务涉及到各个BU业务,急需一套系统,整理各业务线的业务表,使其多表转化为一张宽表,统一对外输出业务;提高系统性能。
系统描述:每条业务线都会有多表,通过该系统会清洗出一张宽表,供team一起使用。该系统会监控MySQL的binlog,根据binlog确定变动的表,实时更新宽表。
(5)数据魔方
开发环境:IDEA + java +Cassandra + mysql +HaNa
系统描述:与名称一样,就是一个数据魔方,一个报表展示系统;展示各种维度的统计数据。供公司内部,商家使用。以小区维度为例,可以展示,小区详情,各topN,订单数,金额数,标签各种统计数据等等。


教育经历


2010-10-01--2013-06-01

学校:华北水利水电大学
专业:电子信息科学与技术
学历:本科

案例

图片1 thumb
数据埋点收集