From 940162075c5ceb040dd69b251b3aeab0f562dafb Mon Sep 17 00:00:00 2001 From: "zhouzhongping@7wate.com" Date: Sun, 27 Aug 2023 23:30:47 +0800 Subject: [PATCH] =?UTF-8?q?=E5=B7=A5=E4=BD=9C=EF=BC=9A=E8=81=8C=E4=B8=9A?= =?UTF-8?q?=E6=96=B9=E5=90=91?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docusaurus.config.js | 20 ++++++++++---------- work/data-engineer/home.md | 27 +++++++++++++++++++++++++++ work/devops/home.md | 29 ----------------------------- work/sre-engineer/home.md | 28 ++++++++++++++++++++++++++++ work/sre/home.md | 31 ------------------------------- 5 files changed, 65 insertions(+), 70 deletions(-) create mode 100644 work/data-engineer/home.md delete mode 100644 work/devops/home.md create mode 100644 work/sre-engineer/home.md delete mode 100644 work/sre/home.md diff --git a/docusaurus.config.js b/docusaurus.config.js index 9cf43c6d..7894f3fe 100644 --- a/docusaurus.config.js +++ b/docusaurus.config.js @@ -260,9 +260,9 @@ const config = { [ "@docusaurus/plugin-content-docs", { - id: "devops", - path: "work/devops", - routeBasePath: "devops", + id: "data-engineer", + path: "work/data-engineer", + routeBasePath: "data-engineer", sidebarPath: require.resolve("./sidebars.js"), editUrl: "https://git.7wate.org/zhouzhongping/wiki/src/branch/master", showLastUpdateAuthor: true, @@ -273,9 +273,9 @@ const config = { [ "@docusaurus/plugin-content-docs", { - id: "sre", - path: "work/sre", - routeBasePath: "sre", + id: "sre-engineer", + path: "work/sre-engineer", + routeBasePath: "sre-engineer", sidebarPath: require.resolve("./sidebars.js"), editUrl: "https://git.7wate.org/zhouzhongping/wiki/src/branch/master", showLastUpdateAuthor: true, @@ -328,7 +328,7 @@ const config = { metadata: [ { name: "keywords", - content: "7wate, wiki, blog, c, c++, java, python, linux", + content: "7wate, wiki, blog, python, linux", }, ], navbar: { @@ -401,11 +401,11 @@ const config = { }, { label: "SRE 工程师", - to: "/sre", + to: "/sre-engineer", }, { - label: "DevOps 工程师", - to: "/devops", + label: "Data 工程师", + to: "/data-engineer", }, ] }, diff --git a/work/data-engineer/home.md b/work/data-engineer/home.md new file mode 100644 index 00000000..8e152f60 --- /dev/null +++ b/work/data-engineer/home.md @@ -0,0 +1,27 @@ +--- +slug: / +sidebar_position: 1 +--- +## 数据工程师（data-engineer） + +数据工程师（data-engineer）是现代数据驱动的企业中的核心角色，他们专注于设计、构建和维护能够处理各种规模数据集的系统，从 GB 级别到 PB 级别。这些系统通常用于数据存储、查询和分析，支持企业的决策制定、产品创新和运营优化。 + +**职责与工作内容：** + +1. **数据处理与存储**：设计和实施数据存储解决方案，如关系型数据库、Hadoop、HBase 和 Cassandra。 +2. **数据流处理与 ETL**：使用工具如 Apache Kafka、Apache Flink 进行实时数据流处理，同时设计和实现 ETL 流程。 +3. **数据集成**：整合来自不同来源的数据，确保数据的一致性和完整性。 +4. **性能优化**：优化数据查询和处理的性能，确保系统的高效运行。 +5. **系统维护与监控**：监控数据系统的健康状况，进行故障排除和性能调优。 +6. **跨团队协作**：与数据科学家、业务分析师、BI 专家和其他团队合作，确保他们可以轻松访问和使用数据。 + +**必备技能与知识：** + +1. **数据技术栈**：熟悉数据库技术（如MySQL、PostgreSQL）、Hadoop 生态系统（如HDFS、MapReduce、Hive）和 Spark。 +2. **分布式系统**：理解分布式系统的原理和挑战，如数据一致性、分区容错等。 +3. **编程与脚本**：如 Java、Scala、Python 等，用于数据处理和自动化任务。 +4. **数据建模与设计**：能够设计高效、可扩展的数据模型和架构。 +5. **系统监控与维护**：使用工具如 Grafana、Prometheus 进行系统监控和告警。 +6. **沟通与团队合作**：与各团队沟通协作，理解业务需求，为其提供所需的数据支持。 + +总的来说，数据工程师确保数据系统的稳定、高效和可扩展，从而支持企业做出数据驱动的决策。他们的专业知识和技能，使得企业能够充分利用其数据资产，为客户和业务提供价值。 \ No newline at end of file diff --git a/work/devops/home.md b/work/devops/home.md deleted file mode 100644 index 8872da2b..00000000 --- a/work/devops/home.md +++ /dev/null @@ -1,29 +0,0 @@ ---- -slug: / -sidebar_position: 1 ---- - -## DevOps 工程师 - -DevOps（Development and Operations）工程师是一种将开发（Development）和运维（Operations）角色合并的职位。他们的主要目标是建立和维护一个可以迅速、高效地交付和更新软件的环境。 - -DevOps 工程师的主要职责包括： - -1. 持续集成和持续部署（CI/CD）：DevOps 工程师负责建立和管理自动化的部署流程，以加快开发周期并提高产品质量。 -2. 基础设施自动化：DevOps 工程师使用自动化工具来管理和配置服务器，以及部署应用，减少了人工干预的可能性并提高了效率和准确性。 -3. 系统监控和日志管理：DevOps 工程师使用各种工具和技术来收集、分析和管理系统和应用程序日志，以及监控系统性能，以便在问题发生时快速响应。 -4. 故障排查和恢复：当系统或应用出现问题时，DevOps 工程师需要快速定位问题，找出解决方案，并进行恢复。 -5. 安全性和合规性：DevOps 工程师需要对系统的安全性负责，确保所有的应用和数据都符合安全和合规要求。 -6. 与开发团队紧密协作：DevOps 工程师需要与开发团队紧密协作，了解他们的需求，提供支持，并协助他们更好地利用 DevOps 工具和方法。 - -成为一名优秀的 DevOps 工程师，通常需要具备以下技能和知识： - -1. 有扎实的系统和网络基础知识。 -2. 熟悉至少一种编程或脚本语言，例如 Python、Ruby、Shell等。 -3. 熟练使用各种 DevOps 工具，如 Jenkins、Docker、Kubernetes、Ansible 等。 -4. 了解云计算平台，如 AWS、Google Cloud、Azure等。 -5. 具有良好的问题解决和故障排查能力。 -6. 有良好的沟通能力，能够与各个团队有效地协作。 - -总的来说，DevOps 工程师是一种需要全面技能的角色，他们需要在开发和运维之间架起桥梁，通过自动化和持续交付，提高开发效率和产品质量。 - diff --git a/work/sre-engineer/home.md b/work/sre-engineer/home.md new file mode 100644 index 00000000..5e73f32e --- /dev/null +++ b/work/sre-engineer/home.md @@ -0,0 +1,28 @@ +--- +slug: / +sidebar_position: 1 +--- + +## SRE (站点可靠性工程师) + +站点可靠性工程师（ SRE、Site Reliability Engineering）是现代互联网企业中的核心角色，他们致力于确保在线服务的稳定性和可用性。**SRE 的存在，是为了将软件工程与系统运维的最佳实践结合，从而构建和维护高效、可靠的分布式系统。** + +**职责与工作内容：** + +1. **监控与故障排除**：SRE 工程师持续对系统进行实时监控，确保其性能和可用性。一旦出现故障，他们会迅速定位并解决问题。 +2. **自动化与工具开发**：通过编程和自动化技术，SRE 工程师简化和优化系统管理，提高效率并增强系统的可靠性。 +3. **容量规划**：他们评估系统资源的需求，确保系统能够应对预期的负载和流量。 +4. **故障分析与预防**：对系统故障进行深入分析，识别并解决潜在问题，从而提高系统的稳定性。 +5. **紧急响应**：在系统出现紧急故障时，SRE 工程师会迅速采取行动，最大程度地减少停机时间和业务影响。 +6. **跨团队协作**：与软件开发、产品团队等进行合作，共同解决系统和运维问题。 + +**必备技能与知识：** + +1. **系统与网络基础**：这是 SRE 的基础，包括算法、数据结构、网络编程等。 +2. **编程与脚本**：如 Python、Go 等，用于自动化和工具开发。 +3. **容器化与云计算**：如 Docker、Kubernetes，这些技术在现代互联网企业中被广泛采用。 +4. **运维工具与技术**：如监控系统、配置管理和自动化部署，帮助 SRE 更高效地管理系统。 +5. **故障排除与分析**：能够迅速定位问题并找出解决方案。 +6. **沟通与团队合作**：与各团队沟通协作，共同解决问题。 + +综上所述，SRE 工程师是一个综合性极强的角色，他们既需要软件工程技能，又要具备系统运维知识。他们的存在，确保了在线服务的高可靠性，为用户提供了卓越的服务体验。 diff --git a/work/sre/home.md b/work/sre/home.md deleted file mode 100644 index c73365e0..00000000 --- a/work/sre/home.md +++ /dev/null @@ -1,31 +0,0 @@ ---- -slug: / -sidebar_position: 1 ---- - -## SRE 工程师 - -SRE（Site Reliability Engineering）工程师是一种在互联网企业中非常重要的角色，他们负责确保在线服务的可靠性和可用性。SRE的主要目标是将软件工程和系统运维领域的最佳实践结合起来，以构建和维护稳定、可靠的分布式系统。 - -一个SRE工程师的职责主要包括以下几个方面： - -1. 监控和故障排除：SRE工程师需要对系统进行实时监控，保证其性能和可用性。当出现故障时，他们需要迅速定位问题并找出解决方案。 -2. 自动化和工具开发：SRE工程师需要利用编程和自动化技术来简化和改进系统管理和操作。这不仅可以提高效率，还可以提升系统的可靠性。 -3. 容量规划：SRE工程师负责评估系统资源的需求和使用情况，以确保系统有足够的容量来应对预期的负载和流量。 -4. 故障分析和预防：SRE工程师需要对系统故障进行深入的分析，找出潜在的问题，然后采取相应的预防措施，以提高系统的稳定性和可靠性。 -5. 紧急响应：当系统出现紧急事件或故障时，SRE工程师需要迅速采取行动，以最小化停机时间和业务影响。 -6. 跨团队协作：SRE工程师需要与软件开发团队、产品团队以及其他相关团队进行紧密的合作，共同解决系统和运维方面的问题。 - -为了成为一名优秀的SRE工程师，需要具备以下技能和知识： - -1. 系统和网络基础知识：这是SRE工程师的基本功，必须要熟练掌握。 -2. 编程和脚本语言：例如Python、Go等，这对于实现自动化和工具开发非常重要。 -3. 容器化技术和云计算知识：例如Docker、Kubernetes等，这些在现代的互联网企业中被广泛使用。 -4. 运维工具和技术：如监控系统、配置管理、自动化部署等，这些能够帮助SRE工程师更好地进行系统管理和故障排除。 -5. 故障排除和故障分析能力：当系统出现问题时，能够迅速定位并找出解决方案。 -6. 沟通和团队合作能力：SRE工程师需要与各个团队进行沟通和协作，共同解决问题。 - -总的来说，SRE工程师是一个非常全面的角色，既需要具备软件工程的技能，又要了解系统运维的知识。他们致力于构建和维护高度可靠的在线服务，通过自动化、监控和预防措施，保证系统的稳定性和可用性，为用户提供高质量的服务体验。 - - -