Hadoop Developer Job Description Template

Company Introduction

{{写一段简短而醒目的关于你公司的文字. 一定要提供有关公司文化、津贴和福利的信息. Mention office hours, remote working possibilities, 以及所有你认为能让你的公司有趣的东西. }}

Job Description

我们正在寻找一名Hadoop开发人员来帮助我们构建大规模的数据存储和处理软件以及基础设施. 现有工具的知识是必不可少的，使用Hadoop API编写软件的能力也是必不可少的.

Responsibilities

• 编写与HDFS和MapReduce交互的软件.
• 评估需求和评估现有的解决方案.
• 构建、操作、监控和排除Hadoop基础设施故障.
• Develop tools and libraries, 维护其他工程师访问数据和编写MapReduce程序的流程.
• 开发文档和剧本来操作Hadoop基础设施.
• 评估和使用AWS / Google Cloud / Azure上的托管解决方案. {{If you’d like to use hosted solutions}}
• Write scalable and maintainable ETLs. {{If you need to run ETLs}}
• 了解Hadoop的安全机制，实现Hadoop安全. {{如果您需要组织内的细粒度安全性}}
• Write software to ingest data into Hadoop.

Skills

• 您了解JVM运行时、Java语言，理想情况下还了解另一种基于JVM的编程语言. {{如果对现有代码有影响，请提及Java版本}}
• 你知道计算机科学的基础知识，尤其是算法的复杂性.
• You know trade-offs in distributed systems.
• 您精通产生可维护软件的软件工程原理，并且可以在实践中使用它们.
• You have worked with a Hadoop distribution.
• 您已经使用过一个或多个计算框架，例如Spark.
• 熟悉HBase、Kafka、ZooKeeper或其他Apache软件. {{Add or remove Apache software based on need}}
• 您了解Linux及其操作、网络和安全性.
• 您知道如何有效地移动大型数据.