请问滴普的数据智能可以为客户带来什么好处吗？

来源：蜘蛛抓取(WebSpider) 时间：2022-07-06 08:53 标签： 澜普智能

为了解决公司模型&特征迭代的系统性问题，提升算法开发与迭代效率，部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题，在大数据与算法间架起科学桥梁，提供强有力的样本及特征数据支撑。平台从 Hive 、Hbase 、关系型数据库等大数据 ODS ( Operational Data store ) 层进行快速的数据 ETL ，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学家、数据工程师、机器学习工程师做算法模型的数据测试、训练、推理及其他数据应用。

本篇文章主要分享特征平台 flink on K8s 的部署实践，文章主要分以下几个方面进行介绍。首先本文对 K8s 基本概念及 Flink 任务执行图进行简要介绍，接着文章对比了现有的几种 Flink on K8s 部署方式，

为什么flink 要基于K8s做部署？

  • 容器环境容易部署、清理和重建：不像是虚拟环境以镜像进行分发部署起来对底层系统环境依赖小，所需要的包都可以集成到镜像中，重复使用。

  • 更好的隔离性与安全性，应用部署以pod启动，pod之间相互独立，资源环境隔离后更安全。

  • k8s集群能够利用好资源，机器学习、在线服务等许多任务都可以混合部署。

  • 云原生的趋势，丰富的k8s生态，以及大数据计算上云原生的趋势

Kubernetes 为您提供了一个可弹性运行分布式系统的框架。Kubernetes 会满足您的扩展要求、故障转移、部署模式等，Kubernetes 项目的本质，是为用户提供一个具有普遍意义的容器编排工具。

  • K8S被称为云时代的操作系统（其中的镜像就类似软件安装包）

  • 旨在提供“跨主机集群的自动部署、扩展以及运行应用程序容器的平台”

  • 调度、资源管理、服务发现、健康检查、自动伸缩、滚动升级…

Deployment: 对一组相同 Pod 的高级抽象，可以自动重启恢复，保障高可用。

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算

可以理解为 Client 模式的Application Mode，这种模式充分利用资源管理框架的优势，例如Yarn，Mesos等，达到更强的资源隔离性，flink应用之间不会相互影响。一个Job一个Cluster实例。

Flink提交的程序，被当做集群内部Application，不再需要Client端做繁重的准备工作例如执行main函数

数，生成JobGraph，下载依赖并分发到各个节点等），main函数被提交给JobManager执行。

  • 用户需要对 K8s 有一些最基本的认识，这样才能保证顺利将 Flink 运行到 K8s 之上。

  • 目前主要使用静态的资源分配。需要提前确认好需要多少个 TaskManager，如果 Job 的并发需要做一些调整，TaskManager 的资源情况必须相应的跟上，否则任务无法正常执行。

  • 无法实时申请资源和释放资源。如果维持一个比较大的 Session Cluster，可能会资源浪费。但如果维持的 Session Cluster 比较小，可能会导致 Job 跑得慢或者是跑不起来。

  • 通信，将这些请求资源直接下发给 K8s Cluster，告诉它需要多少个 TaskManger，每个 TaskManager 多大。当任务运行完之后，它也会告诉 K8s Cluster 释放没有使用的资源。相当于 Flink 用很原生的方式了解到 K8s Cluster 的存在，并知晓何时申请资源，何时释放资源。

  • Native 是相对于 Flink 而言的，借助 Flink 的命令就可以达到自治的一个状态，不需要引入外部工具就可以通过 Flink 完成任务在 K8s 上的运行。

3.5部署方案最终选择

申请资源，而成为最佳的部署方式，另外因为任务主要是离线批处理，每个appllication可以包含多个job 比较适合业务需求。 

# 如果有引用第三方 Python 依赖库， 可以在构建镜像时安装上这些依赖
  
    
    
  • 
      
    
        它和 Session 最大的差异就在于它是一步提交的。因为没有了两步提交的需求，如果不需要在任务起来以后访问外部 UI，就可以不用外部的 Service。可直接通过一步提交使任务运行。通过本地的 port-forward 或者是用 K8s ApiServer 的一些 proxy 可以访问 Flink 的 Web UI。此时，External Service
      
    
    
    • 
  

  

    Flink应用编写流程如下图：
  

  

    这块产品主要是采用flink sql去完成 功能，运行模式比较统一，注册source、sink、 执行sq，因此可以采用同一份代码，提供给用户sql编辑框或者用户界面上选择所需要读取的库表字段后端组合成sql语句，最终统一任务运行形成一个离线计算平台，通过动态传递参数进行flink应用的提交和执行。
  

  

    后端在数据库中配置好source和sink的类型以及连接信息暴露给前端。
  

  

    前端去选择对应的数据源比如说mysql、hive，然后选择所需要读取的库表，展示table schema ，用户 可以选择需要读取的库表字段。同时选择需要存储的数据汇如说elasticsearch、mysql等，获取这些动态参数后，通过k8s java client 去创建 job去提交flink应用。
  

  

    flink应用启动时获取这些db、库表信息、库表字段后传递给FLink程序，flink程序构造成flinksql去执行应用，具体不在详细执行。
  

  

    本文为大家分享 flink on K8s 部署的实践经验，简要介绍了 K8s 基本概念与 Flink 执行图，对 Flink 不同的部署方式进行了对比，并使用具体 demo 分析了 Pyflink on K8s 部署的过程中组件间的协调过程，协助大家在上手使用的同时了解底层执行过程。
  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 澜普智能 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐