深入HBase、Spark、Alluxio、Greenplum、StreamSQL等大数据技术及其架构设计

来源:华体会全站官网登录入口 发布时间:2024-01-02 15:35:10 阅读: 1

  将在深圳举办,峰会秉承干货实料的内容原则,邀请业内顶尖的架构师、大数据总监和PMC共话弹性计算、大数据平台构建、优化提升大数据平台的各项性能、Spark部署实践、企业流平台实践,以及实现应用大数据支持业务创新发展等核心话题,旨在通过来自国内一线互联网公司的实践案例,为开发者提供一个最有价值的高效技术交流平台。

  陈敏敏,苏宁云商大数据中心总监,主要负责智能推荐、数据仓库和数据应用等部门的开发团队,并负责建设支撑供应链、物流、财务、运营等的统一数据平台。成电本科,上交硕士,《Storm 技术内幕与大数据实践》一书作者(人民邮电出版社、出口台湾),中关村大数据产业联盟专委会委员,2012年牵头成立三星电子研究院上海分部技术委员会(把关 Code Review 和技术架构),后在1号店分别任资深开发经理、精准化部门总架构师,目前主要关注推荐系统、应用架构、数据平台、OLAP等相关技术。

  个人简介:曾在eBay,PPTV任职DBA。2012年加入唯品会,依次经历从0到1参与数据库基本的建设、大数据基础平台和实时计算平台的工作;2016年加入饿了么负责大数据基础架构,主要负责数据平台工具链及数据仓库。

  演讲简介:随着接入需求方越来越多样化,对大数据的数据使用、数据存储与计算的需求也慢慢变得多样化,业务的快速的提升及集群的规模急速扩大。如何在这样的场景下通过有限的资源来构建大数据平台、稳定支撑住业务的发展是一个不小的挑战。本次分享主要谈一谈从数据平台工具链、技术选型及架构设计出发的一些个人经验。

  个人简介:百度外卖资深研发工程师,负责百度外卖的大数据平台,致力于大数据引擎的研究和大数据平台架构的设计和研发。

  演讲主题:《Greenplum在百度外卖大数据架构的应用实践及性能优化实践》

  个人简介:2015年加入腾讯,供职于TEG数据平台部,主要负责StreamingSQL及实时计算平台的相关工作。在加入腾讯前曾供职于京东商城、聚美优品,有多年的大数据相关工作经验,尤其擅长分布式存储、HBase、实时数据采集等领域。

  演讲简介:StreamSQL是一个通过SQL描述实时计算业务需求并将其转换成实时计算任务的开发平台。相对于传统实时计算平台Storm,StreamSQL内建丰富的字符串处理、时间、统计、复杂数据结果处理等各类计算函数,除了支持标准SQL之外还根据流式数据特点新增窗口统计特性,具有强大的统计计算能力。StreamSQL解决了传统Storm原生API使用复杂、上手难度高的问题,减少了用户对复杂实时计算框架和编程语言的学习成本,让用户具有更加良好的流式开发体验。

  理解StreamSQL的设计目标并从中获得启发:让用户通过通用的SQL查询语言完成实时计算需求,减少用户对复杂实时计算框架及编程语言的学习成本,提高实时计算任务的开发效率。

  个人简介:Intel亚太研发中心Spark团队研发经理,Apache Spark活跃开发者,致力于Apache Spark框架在Intel平台架构上的性能分析与优化。

  演讲简介:性能调优在Spark大数据应用中一直是大家普遍关心的话题。本次分享将主要探讨以下内容:

  新硬件采购时,怎样的硬件配置对Spark应用可以有最佳的效能或者最好的性价比?

  通过展示不同特性的典型Spark应用的性能分析和调优手段,揭示如何释放硬件性能,监控硬件性能发挥,并在此基础上,测试不同硬件配置诸如内存、网络、磁盘、CPU选型,对于Spark大数据应用程序性能的影响,指导运维人员决策购买或者升级新的硬件零部件。

  听众受益:针对硬件性能监控来调优Spark应用程序性能,并揭示Spark应用的最高性价比环境部署最佳实践。

  个人简介:就职于滴滴出行基础平台部,负责HBase、Spark相关开发。

  演讲简介:面对企业的加快速度进行发展,每天几百亿业务访问、数据的疯狂增长和多租户场景下,到底企业该怎么来面对HBase集群规模继续扩展、集群管理、资源隔离、风险管理、服务保障、成本账单、业务监控及集群运维所带来的问题。

  个人简介:2016年加入魅族,主要负责数据应用平台的规划、架构设计和落地实现。

  演讲简介:魅族DMP(用户洞察平台),通过对三方受众数据的汇聚、清洗、智能运算,构建了庞大的精准人群数据中心,提供丰富的用户画像数据及实时的场景识别力。

  对内:无缝对接各类业务平台的数据应用,如广告平台、PUSH推送、个性化推荐之间建立了数据通道,支持公司级的精准营销,消息及时送达服务等场景。

  对外:完善对数据的管理及输出流程,以开放接口形式为全行业从业者提供标准的精准人群标签,帮助优化投放并提升营销效果。达到对受众的精准投放,释放数据真正价值。

  本次分享将介绍用户洞察平台所采用的架构,探讨其间遇到的技术难点和解决过程,回顾目前架构的不足之处以及将来改进的方向。

  个人简介:博士毕业于南京大学计算机系,Alluxio PMC成员。参与完成了Alluxio社区很多工作,包括性能测试框架Alluxio-Perf、Alluxio缓存策略优化、Alluxio与HadoopECO多个组件的整合等。已经以一作身份在分布式并行计算领域一流期刊/会议上发表论文10篇等,并且参与编写书籍《深入理解大数据》。同时是南京大数据技术Meetup组织人,多次在国内外知名技术大会上演讲。曾在Microsoft Research、Intel、Baidu、星环科技从事大数据系统实习工作。

  演讲简介:Alluxio是一个开源内存级分布式大数据虚拟存储系统。在三年多的时间里,Alluxio开源社区已有来自全世界近500名的贡献者,成为大数据领域内历史上成长最快的项目之一。Alluxio系统已经部署在包括百度,巴克莱银行,华泰证券,英特尔,华为和去哪儿网等许多公司当中。在其中一些生产环境中,Alluxio已经行了一年多,管理数据PB级别的数据。Alluxio项目最新几个版本极大提升了系统性能,Scalability和使用者真实的体验,并增加了一系列新功能,包括统一命名空间、REST API等更便利用户使用Alluxio。Alluxio未来将让更多用户人群能够正常的使用Alluxio,着重提高安全性支持,支持新语言binding,以及进一步增加稳定性和对资源有效使用。此外,还会探索新的API,让应用程序能够更有效地访问数据。

  将于2017年6月10-11日于深圳南山区滨大酒店举行,集阿里、腾讯、百度、滴滴出行、Intel、微博、唯品会的资深架构师和一线实践者,纳知名研发案例,遇见苏宁云商大数据中心总监陈敏敏、Apache RocketMQ联合发起人冯嘉、饿了么大数据平台部总监毕洪宇等大牛。

  目前八折优惠售票中,五人团购立减1000元,更多嘉宾和详细议题关注和票务点击。

  将于2017年6月10-11日于深圳南山区滨大酒店举行,集阿里、腾讯、百度、滴滴出行、Intel、微博、唯品会的资深架构师和一线实践者,纳知名研发案例,遇见苏宁云商大数据中心总监陈敏敏、Apache RocketMQ联合发起人冯嘉、饿了么大数据平台部总监毕洪宇等大牛。

  目前八折优惠售票中,五人团购立减1000元,更多嘉宾和详细议题关注和票务点击。返回搜狐,查看更加多