交通拥堵指数发布系统
建设面向交叉口、路段、道路、区域不同空间维度 的标准化指标体系,形成标准指标库,提升指标监测权威性。基 于底层分析指标,构建交通流态势、违法态势、事故态势、天气态势业务模型,形成对交通流、交通违法、交通事故、天气 的基础评价,作为分析评价系统 的基础能力。交通流态势下基 于多维指标体系 的核心应用,通过监测指标变化,展示交叉口、路段、道路、区域 的运行状态。（1）交叉口运行监测在交叉口维度下,通过服务水平、饱 和度···
查看详情
01
数据采集
数据交换
数据转换
数据清洗
数据质量管理
数据比对
数据集成治理套件
使用特定工具 和实践,企业实施这些方法以产生有价值 的见解。企业利用数据 的最常见方式之一是商业智能(BI),这是一组将原始数据转换为可操作信息 的实践 和技术。这些数据可用 于各种目 的：进行分析或创建机器学习模型。但它不能以其原始格式使用。任何处理数据处理 的系统都需要从存储中移动信息并在此过程中将其转换以供人或机器使用。此过程称为Extract, Transform, Load, or ETL。
ETL 开发分为三 个主要阶段：
抽取：企业将历史信息或实时数据流式传输到许多系统中。这些信息分散在不同 的软件中,并以各种格式构建。提取阶段需要定义所需 的数据源,无论是 ERP、CRM 还是第三方系统,并从中收集数据。
转换：当从其来源收集数据时,它通常被放置在一 个名为Staging Area 的临时存储中。放置在该区域中时,数据会根据定义 的标准 和模型进行格式化。例如,不同格式 的财务数字 $34.50、0.90 美分、01,65 将更改为单一 的连贯格式：$34.50、$0.90、$1.65。
加载：ETL 过程 的最后阶段是将结构化 和格式化 的数据加载到数据库中。如果数据量很小,可以使用任何类型 的数据库。BI、大数据处理 和机器学习中使用 的一种特定类型 的数据库称为数据仓库。
仓库 的结构不同 于通常 的数据库：它可能包含多种工具来表示来自多 个维度 的数据,并使其可供每 个用户访问。数据表示 工具连接到仓库,以便用户可以将其拖出并进行操作。表示工具是通过交互式仪表板 和报告工具提供分析数据 的实际 BI 工具。
通常,ETL 开发人员是数据工程团队 的一员——负责数据提取、处理、存储 和维护相应基础架构 的酷孩子。数据工程团队 的主要任务是获取原始数据,决定它应该如何被消费,使其成为消费,然后存储在某 个地方。
团队 的名单取决 于项目 的范围、目标、数据处理 的步骤 和所需 的技术。因此,数据工程团队可能包括以下角色：
数据架构师：可以是数据科学或数据工程团队 的一员。数据架构师 的职责是规划数据工程师将开发 的基础设施。
数据工程师：这是一种特定类型 的软件工程师,他们开发接口 和生态系统以获取信息。
数据分析师：该团队成员负责定义数据收集方法、数据模型、类型并概述转换过程。
数据库/仓库开发人员：数据作为任何其他信息必须存储在某 个地方。它可以是普通 的 SQL 数据库,也可以是特殊类型 的存储数据仓库。数据库/仓库开发人员负责数据存储 的建模、开发 和维护。
DBA 或数据库管理员：如果有多 个数据库,或者一 个数据库/仓库 的结构,像火箭科学一样复杂,这是一 个负责数据库管理 的人。
数据科学家：处理机器学习 的项目还包括数据科学专家,甚至是专门 的部门。
商业智能开发人员：这是一位专注 于开发 BI 接口 的软件工程师。
ETL 开发人员 和ü/管理相应 的基础设施来涵盖数据处理 的提取、转换 和加载阶段。ETL 开发人员 的职责是什么？
就 BI 项目而言,ETL 开发人员是主要 的工程角色之一。虽然主要职责是负责提取、转换、加载阶段,但 ETL 开发人员执行与数据分析、测试 和系统架构相关 的任务。为了概述 ETL 开发人员可以执行 的所有可能任务,我们将很快介绍所有可能 的任务：
雷竞技raybet-雷竞技电竞平台流程管理
ETL 开发人员或专门 的开发人员团队 的主要任务是：
设计ETL流程设计
系统架构设计
需求管理及开发
ETL工具 的实际开发/实施
对工具 和数据测试
雷竞技raybet-雷竞技电竞平台数据建模
在从源中提取数据之前,ETL 开发人员应定义所需 的格式。将在仓库（ 和用户界面）中表示 的数据 的最终格式称为数据模型。
通过与业务分析师、数据分析师 和数据科学家合作,构建 和记录数据模型。ETL 开发人员将使用这些模型来定义转换阶段 和执行格式化 的底层技术。
架构设计
仓库是用 于保存结构化数据 的大型存储设施。它通常被分解成更小 的元素,如数据集市。数据集市用 于为专门 的部门提供对具有特定属性 的所需数据 的访问权限。例如,如果仓库是收集所有信息 的大型存储区域,则数据集市是存储主题数据（会计、网站指标等） 的较小数据库。
仓库本身或数据集市连接到最终用户界面,帮助用户访问信息、操作信息、进行查询 和形成报告。此外,数据可以在格式化阶段用元数据丰富,这也涉及到整 个仓库架构 的变化。
ETL 开发人员负责定义数据仓库架构以及将数据加载到其中 的工具。仓储是一 个复杂 的过程,其开发通常由专门类型 的数据库开发人员进行。但是,ETL 开发人员可以拥有构建它所需 的所有技能 和知识。
数据开发
每 个系统组件独立设计后 的最后阶段是数据管道 的开发。数据管道是一种技术基础设施,它将作为单 个系统自动执行以下操作：
Data extraction from a given sources.只要信息存储在各种系统中,ETL 工具就应该与每 个系统集成。
Data uploading into a staging area.暂存区是格式化发生 的地方。在某些情况下,可以在仓库中完成,但大多数情况下使用单独 的数据库来加快流程并保持仓库清洁。
Data formatting. 当数据传输到暂存区时,它会被格式化以满足定义 的标准。这可能包括以下操作：
数据清洗,删除无用数据字段 的过程
数据结构/映射,定义数据类型 的过程以及它们之间 的连接
添加元数据以丰富详细信息
Loading structured data into the warehouse. 数据可以按部分加载或不断更新。动态信息可能需要查询方法来从数据源请求更新 的数据。如果不需要更新,则按部分加载数据。
雷竞技raybet-雷竞技电竞平台ETL 测试
在开发过程中,ETL 开发人员负责测试系统、单元、数据模型 和仓库架构。除了常规 的 QA 活动外,ETL 测试还需要检查以下方面：
Data model testing
Data warehouse architecture testing
Representation tools check
Data flow validation
Uploading/downloading/querying speed testing
System performance tests
