近几年，随着开源社区的蓬勃发展，大数据技术已相对成熟，，主流网络公司应用大数据技术实现科技赋能业务，大数据以平台化管理的框架和模式已逐渐成熟，金融行业纷纷尝试大数据技术，提升业务服务能力。
在科技能力建设方面，公司长期采用自主建设的科技发展模式，科技自主研发能力较强，具备自主规划、自主研究和自主建设的能力。
大数据平台以开源大数据生态（HADOOP/SPARK）技术为基础，采用分布式、并发计算等技术理念，支持Lambda大数据处理架构，集实时数据处理和离线批量式数据处理于一体。在数据采集、数据存储、资源管理、计算框架、数据分析和数据展示等7个大数据处理逻辑层次上，每一层均有3-5种技术组件，满足多项目群、多种架构体系的技术要求。
从集团层面搭建大数据平台，为各子公司提供统一的资源平台、技术平台，各子公司以租户的方式使用大数据资源和技术，形成与传统关系型数据库的有效技术补充。大数据平台应用大数据技术解决业务场景需求，稳步提升公司运营能力。
以开源大数据生态（HADOOP/SPARK）技术为基础，采用分布式、并发计算技术提高数据处理能力。大数据平台的整体架构见图4-1。
搭建大数据平台，产寿集团共享平台资源，以租户的方式运营，数据隔离方式见图4-2。
大数据平台采用分布式存储、流式计算技术提高数据处理能力。大数据平台主要的逻辑架构见图4-3，技术架构图见图4-4。
从整个项目建设从2019年1月至209年7月份，持续7个月，上线后，大数据平台的重点工作转为平台稳定性保障和试点推广工作。
平台论证和选型。公司调研市面主流大数据管理平台，经过管理功能验证和技术组件测试，综合成本和产品成熟度，完成平台选型工作。
平台搭建。完成平台选型后，协调相关资源，进行硬件采购和平台搭建工作，与技术厂商讨论建设方案，包括物理机和虚机、网络、服务器配置、各技术组件分布、资源划分等方面，形成完成的平台建设方案。
试点运行。平台上线个寿险大数据应用，通过磨合和一直在优化，经过2个月，解决了平台运行的主要技术问题，保障了应用稳定运行的要求。
截止至2020年6月份，容器云上已运行近40个系统，包括集团、产险、寿险、阳光信保、产险信保、金科和惠金所等7个子公司的项目。这中间还包括产险电销大脑和寿险准备金和再保等核心系统。
大数据平台集群规模达到近百台服务器，可提供计算资源CPU：220C、内存：1.5T，可提供存储1.2PB数据。大数据平台已存储500T数据，平均每天执行50000个任务。
整体上，大数据平台运行稳定，应用系统所需资源充足，无重大事故，服务等级水平（SLA）超过99%以上。
建立和推广开源大数据平台及技术规范，增强大数据技术上的支持能力。借鉴传统数据库的巡检机制，制定大数据平台的季度性巡检制度，通过巡检报告及时有效地发现问题，优化平台，处理问题及未然。
当前，大数据平台已对接近40个项目，包括集团、产险、寿险、阳光信保、产险信保、金科和惠金所等7个子公司的项目。
对于传统数据处理，大数据平台主要从两个方面提升数据计算解决能力，数据实时处理和数据海量批处理。具体的项目效果见图7-1。
在PAAS层，大数据平台不同与传统的关系型数据库，分布式的数据存储和计算，在硬件、技术组件调优和多租户管理等方面，公司缺少相应管理制度和技术能力。
大数据底层采用物理机搭建，机架设计、多副本冗余和操作系统调优走了很多弯路，摸着石头过河，引入底层科学技术人才，找到多机架分布式设计、软件副本冗余和自动化标准化初装操作系统等一系列的办法，实现硬件资源利用率高和稳定性很高等目标。
在技术组件调优方面，大数据技术组件多，性能参数复杂，而且不同数量级采用的技术策略，遇到的技术问题不同，10T级别数据量性能参数和100T级别的差异很大，解决方法也不同，甚至同样的策略性能表现完全相反。我们查找国外资料，阅读源代码，学习核心原理，经过三轮集中式的性能优化，解决了HDFS海量小文件问题和HBASE内存溢出问题，以及KUDU时钟和性能等问题，大数据平台的核心组件已相对稳定。
在多租户管理方面，经常受到资源定价、资源争抢和应用开发不规范等问题的困扰。运营团队在市场上多方比价硬件成本，结合平台技术资源类型和比例等因素，最终采用小集群大机器的建设策略，完美的找到硬件成本和平台资源单价的契合点，最低的成本提供最多的资源，比公有云大数据资源单价便宜13%。通过资源池化、分组隔离和接入层等方式，大数据平台初步解决资源争抢的问题，再加上定期资源容量监控和需求征集，未雨绸缪，抢在资源不足之前，安排集群扩容，2019年规划实施三次集群扩容，规模较年初增长6倍以上。与传统业务系统开发思路相同，我们整理常见的开发问题，多次组织各子公司开发团队共同研讨，制定出符合公司大数据开发规模、团队特点的大数据开发规范，保障大数据开发和运营的效率和质量。返回搜狐，查看更加多