Discuz! Board

標題: 它们的影响相当大，因为它们的许多用户包括数据分析 [打印本頁]

作者: shahadat548 時間: 2024-2-11 18:10
標題: 它们的影响相当大，因为它们的许多用户包括数据分析
师数据科学家、机器学习工程师和业务用户。分析工程从何而来？数据分析专注于将原始数据转化为可操作的见解的过程。然而，从历史上看，这个过程是支离破碎的。数据科学家专注于高级建模以发现见解和模式。数据工程师构建并维护存储、管理和向下游提供数据以进行分析所需的基础设施和管道。理解这些数据变得越来越复杂，需要一个能够在数据工程的技术复杂性与数据科学的分析严谨性之间架起桥梁的角色。实时数据处理和敏捷数据运营的需求也暴露出市场的缺口。分析工程师登场：他们不仅了解数据基础设施，还了解数据分析的细微差别。他们设计和维护可扩展的数据工作流程，确保数据完整性，并创建用户友好的数据使用平台。我们可以将这个角色的起源追溯到 Fishtown Analytics ，该公司开发了一种名为dbt的工具，即数据构建工具。 DBT 是使数据分析师能够以不同方式对数据仓库中的数据进行转换和建模的关键。

他们可以直接在SQL中执行这些转换，将 ETL（提取、转换、加载）过程转移到 ELT（提取、加载、转换）。 dbt 培育了一个活跃的大型社区，分享最佳实践，创建开源 dbt 包，并共同推动分析工程向前发展。因此，分析工程不仅仅涉及收集和存储；还涉及收集和存储。它涉及高效且有效地将数据转化为战略资产。 2.什么是分析工程师？您可以将分析工程师视为将数据科学原理与数据工程师的架构专业知识相结合的人员 BTC 号码数据 他们是混合型专业人员，通常专注于构建强大且可扩展的数据工作流程，以帮助其他业务职能部门自信地使用其内部数据资产。在实践中，分析工程师可能会编写 SQL 脚本将数据模塑到用户友好的表中，使用数据构建工具 (dbt) 等工具来测试和记录数据转换，并使用 Snowflake 或 BigQuery 等平台来确保数据以最佳方式存储。分析。他们的工作确保当数据科学家或分析师查询数据时，结果是准确、一致和及时的。分析工程师应该超越技术层面来了解他们工作的业务环境。

他们经常与利益相关者合作，在创建模型之前了解他们的数据需求，以确保与公司的分析优先级保持一致。分析工程师遍布各个行业。例如，在医疗保健领域工作的分析工程师可能负责存储和转换实时收集患者数据的可穿戴设备传输的数据。他们必须设计一个系统来提取数据、清理数据（例如删除错误数据）并为医疗保健专业人员提供访问数据的方法。他们面临的一个挑战是必须针对每个患者档案整合来自许多不同来源和类型的数据，例如实验室结果和电子病历。 3. 分析工程师、数据工程师、数据科学家：有什么区别？更好地理解这些角色如何不同但又相互关联的一种方法是检查与数据处理和分析管道中每个角色相关的特定任务、工具和目标。

歡迎光臨 Discuz! Board (http://bobakemono.w1n.tw/)