当前位置: 智迪文档网 > 范文大全 > 公文范文 >

大数据运维工程师具体职责描述(17篇)

| 来源:网友投稿

下面是小编为大家整理的大数据运维工程师具体职责描述(17篇),供大家参考。

大数据运维工程师具体职责描述(17篇)

大数据运维工程师的具体职责描述(精选17篇)

  职责:

  1、负责分布式大数据平台产品的运维和运维开发,保证其高可用和稳定性;

  2、负责大数据系统架构的可运维性设计、容量规划、服务监控,持续优化服务架构、集群性能;

  3、通过技术手段控制和优化成本,通过自动化工具及流程提升大数据平台运维效率;

  4、为项目开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;

  任职资格:

  1、三年以上大数据运维相关工作经验,有大型互联网公司工作经验者优先,全日制本科及以上学历;

  2、熟练掌握至少一门开发语言,有Java或Python语言开发经验优先;

  3、精通Hadoop生态及高性能缓存相关的各种工具并有实战经验,包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

  4、熟悉Mysql等常用关系数据库,熟练编写SQL语句,有分布式nosql数据库应用、性能调优经验优先;

  5、熟悉Linux环境,能够熟悉使用shell脚本;

  6、对大数据技术有强烈兴趣,有志于往大数据方向深层次发展;

  7、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

  8、具备较好的沟通能力、主动性及责任感。

  职责:

  1、负责大数据集群的日常维护、监控、异常处理等工作,保障集群稳定运行;

  2、负责大数据批处理管理以及运维;

  3、负责大数据集群的用户管理、权限管理、资源管理、性能优化等;

  4、深入理解数据平台架构,发现并解决重大故障及性能瓶颈,打造一流的数据平台;

  5、跟进大数据前沿技术,不断优化数据集群;

  6、有华为大数据平台运维经验优先;

  岗位要求:

  1、1年以上大数据运维或开发经验;

  2、有良好的计算机和网络基础,熟悉linux文件系统、内核、性能调优,TCP/IP、HTTP等协议;

  3、熟悉大数据生态,有相关(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的运维及开发经验;

  4、熟练使用shell、python等脚本语言开发相关运维管理工具;

  5、良好的文档撰写习惯;

  职责:

  1、负责数据平台的运维管理工作(部署、监控、优化、故障处理);

  2、负责Hadoop/Spark/Flink/Elasticsearch/Kafka等系统的架构审核、容量规划、成本优化;

  3、负责大数据平台的用户管理、权限分配、资源分配;

  4、参与数据挖掘、机器学习平台的设计、并给出可执行的运维方案;

  5、参与数据平台的相关工具开发(包括自动化部署、监控、ETL等);

  6、深入理解数据平台架构,发现并解决故障隐患及性能瓶颈;

  7、ETL工具、调度工具、关系型数据库的运维。

  任职资格:

  1、本科以上学历,计算机软件相关专业;

  2、1年以上大数据相关组件运维经验(hadoop/yarn/hbase/hive/spark/kafka等),1年以上的CDH或HDP维护经验,3年以上系统运维相关经验;

  3、深入理解Linux系统,能独立部署开源软件,熟练掌握一门以上脚本语言(shell/perl/python等),熟悉python开发语言优先;

  4、逻辑思维能力强,做事有条理,责任心强,工作积极主动,执行力强,有良好的团队协作意识。

  职责:

  1、负责公司内部及项目中大数据集群的构建,任务调度、监控预警,持续完善大数据平台,保证稳定性、安全性;

  2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守,参与大数据基础环境的架构设计与改进;

  3、深入研究大数据业务相关运维技术,探索新的运维技术及发展方向。

  任职要求:

  1、熟悉Linux基础命令操作,能够独立编写Shell脚本开展日常服务器的运维;

  2、熟悉Hadoop生态圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安装与调优;

  3、熟悉软硬件设备,网络原理,有丰富的大数据平台部署,性能优化和运维经验;

  4、工作认真负责,有较强的学习能力,动手能力和分析解决问题的能力;

  5、能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务;

  6、熟悉JVM虚拟机调优;

  8、1年及以上相关岗位经验,要有良好的安全和责任意识。

  职责

  1. 负责大数据ETL系统,运维及保障服务稳定可用;

  2. 负责数据采集交换方案以及联调测试;

  3. 负责采集交换任务的评审和上线;

  4. 负责及时排除ETL流程故障,形成知识库,完善运维文档;

  5. 负责监控和优化ETL的性能,持续性地提出改进自动化运维平台建议

  技能要求

  1. 计算机科学或相关专业本科及以上学历;

  2. 熟悉Linux系统,熟练编写shell/perl/python一种或多种脚本语言;

  3. 熟悉Hive、Hadoop、MapReduce集群原理,有hadoop大数据平台运维经验者优先;

  4. 熟悉数据库的性能优化、SQL调优,有相应经验;

  5. 抗压能力强,有强烈的责任心,良好的沟通能力、学习能力及团队合作能力。

  (1) 负责机房物理环境各项指标控制与安全管理;

  (2) 负责各类服务器的软硬件的配置安装和维护管理;

  (3) 系统的数据保护,容量规划,实施调整和监控及灾难恢复、服务器的性能监控与优化,配置安全策略;

  (4) 为相关接口部门提供技术技持;

  (5) 进行各项新应用的系统、网络测试工作;

  (6) 提供服务监控和常规系统健康检查;

  (7) 负责各应用服务器终端用户帐号注册、冻结、注销管理;

  (8) 部门经理临时安排其它工作任务处理。

  职责:

  1、负责公司网络维护及网络安全,各办公区域IT规划;

  2、负责各类终端、网络、打印机等办公设备的日常维护及管理;

  3、负责桌面运维,病毒的查杀及计算机故障;

  4、负责内部信息系统建设、维护及数据库备份维护;

  5、配合运营中心推动和建设标准化的运维体系和规范化的运维流程;

  6、配合运营中心推动各信息化项目开展。

  任职资格:

  1、能够熟练掌握常见IT设备(包括PC客户端、机房设备、多媒体投影等)故障处理及维护;

  2、熟悉Windows server配置管理,精通DNS、DHCP等Windows服务管理配置;

  3、熟悉各类主流网络相关设备(交换机, 路由器, AP等)的配置和安装;

  4、有一年以上IT管理经验,计算机科学、网络、信息系统或相关专业优先;

  5、有信息化项目实施经验优先;

  6、有责任心,团队适应力强,抗压性强,具备良好的沟通能力,具备较强的学习能力,有强烈的进取心。

  职责:

  1、负责公司大数据平台自动化运维开发、监控和优化工作,保障数据平台服务的稳定性和可用性;

  2、负责公司Hadoop核心技术组件日常运维工作 ;

  3、负责公司大数据平台现场故障处理和排查工作;

  4、研究大数据前沿技术,改进现有系统的服务和运维架构,提升系统可靠性和可运维性;

  任职要求:

  1、本科或以上学历,计算机、软件工程等相关专业,3年以上相关从业经验

  2、精通Linux运维命令,熟悉Linux的维护和管理,熟悉Shell/Python脚本开发,掌握Scala/JAVA优先;

  3、熟悉大数据项目实施:包括不限于Kafka、Hadoop、Hive、Hbase、Spark等大数据生态的平台搭建,监控和调优;

  4、良好团队精神服务意识,沟通协调能力;

  职责:

  1、负责公司产品平台的运行维护,保障系统稳定,处理各种运维事故及事件;

  2、负责Linux服务器和集群的规划、部署、安全、备份、性能调优及监控;

  3、负责在Linux/Java/mysql环境下,建设运维平台,监控系统,日志系统等;

  4、资源部署及架构配置,确保产品的功能及性能按要求实现;

  5、整理各种运维文档。

  任职条件:

  1.具备3年以上Linux操作系统运维经验;

  2.熟悉linux,docker,以及Mysql,Redis,Nginx,Tomcat,MongoDb等安装部署;

  3.熟练掌握常用命令、Shell脚本编程,docker容器的使用;

  4.熟悉Linux系统高可用技术、负载均衡、集群等技术方案;

  5.有扎实的Linux功底,熟练操作RedHat,CentOS等版本Linux系统;

  6.精通MySql集群管理,精通各种备份和恢复技术,熟悉Mysql复制,具备利用系统工具分析和优化数据库的能力

  7.有大规模Linux服务器运维管理经验者优先。

  职责:

  1、负责公司各项目Docker与k8s集群管理、监控及相关业务支撑;

  2、负责容器云平台的监控、应急响应等,及时定位及解决性能瓶颈和疑难问题;

  3、编写各种运维脚本,推动业务自动化运维,确保日常部署工具安全高效进行;

  4、负责线上系统的监控报警系统的优化和开发,确保更佳准确及时的反映线上系统状态;

  5、和团队成员共同承担线上7x24小时服务质量保障工作;

  任职要求:

  1、熟悉服务器、存储、网络等基础设施的管理和运维工作;

  2、熟练使用Linux系统,具有Linux系统安装配置和系统参数优化经验,至少熟悉centos和ubuntu。

  3、熟悉shell/python脚本语言,有脚本的开发经验;

  4、熟悉虚拟化技术,至少熟悉一种虚拟化管理平台,如vmware、xen、kvm等;

  5、熟悉容器化技术,熟悉docker的常用管理命令,熟悉docker的存储、网络管理方式,熟悉镜像仓库的搭建和管理。

  6、熟悉Apache、Nginx、MySQL、Tomcat、Redis、RabbitMQ、ZABBIX等常用服务的安装、配置、维护、和调优;

  7、熟悉Kubernetes、有生产环境kubernetes运维经验者优先;

  8、工作认真严谨,责任心强,抗压能力强;

  9、有阿里云,腾讯云,华为云等至少一家公有云使用经验优先考虑

  职责:

  1、软件产品及项目的部署、安装、升级、维护,确保系统正常稳定运行;

  2、项目数据库维护、确保数据库正常运行;

  3、及时解决客户在系统使用过程的各种问题,维护好客户关系以及客户培训工作;

  4、收集客户在系统过程遇到的问题,进行分析和确认,并反馈至相关负责人;

  5、完成上级安排的其他任务;

  任职要求:

  1、计算机相关专业,专科及以上学历;

  2、掌握计算机基础知识,熟悉常用软件的安装与使用;

  3、对软件开发有一定的了解;

  4、了解病毒防护、系统漏洞、防护墙等网络安全知识;

  5、具有良好的沟通和语言表达能力,逻辑思维能力强,有责任心,工作态度端正、积极,有团队意识及良好的操作规范意识。

  职责:

  1、负责网络体系规划,各系统的运维策略实施及优化;

  3、负责网络设备硬件日常运行监控,维护及日志分析;

  4、负责Linux系统的运维工作,完成系统补丁、调优、日常巡检、故障处理、性能优化等工作;

  4、负责对网络攻击、病毒、漏洞等安全问题进行响应处理;

  5、负责Oracle数据库的维护,完成环境搭建、调优,日常巡检、故障处理解决、性能优化、数据库升级、迁移和备份恢复等工作。

  任职要求:

  1、计算机或相关专业, 全日制专科及以上学历;

  2、熟悉华三、思科、深信服等品牌防火墙、路由器、交换机等网络安全设备,具备CCNP或HCIE证书;

  3、具有3年以上IT系统架构规划、系统运维、系统监控实施相关经验,熟悉Zabbix监控系统的搭建和维护;

  4、精通Linux系统,熟悉Apache、NginX、MySQL、FTP、DNS等常用服务的安装、配置、调优和维护,及相应的集群、容灾、单点故障等解决方案;

  5、熟悉运维自动化,能够掌握使用Shell、Perl、PHP、Python、Ruby、Go等至少一种语言;

  6、掌握虚拟化解决方案,如VMware 、vSphere 、kvm等;

  7、熟练掌握Oracle数据库管理、维护等各种操作,能够对Oracle、SQL SERVER、Mysql等数据库进行日常维护,如:备份、还原、日志压缩、数据同步、性能调优等;

  8、善于交流和沟通,具有良好的书面、语言表达能力和团队协作意识,同时能够根据业务和项目的需要,积极主动学习相关知识,愿意接受挑战,并能在压力下工作。

  职责:

  1、能贯彻和落实公司的各项管理制度、公司业务规范,按时完成相关流程要求的交付物提交;

  2、从事网络安全、通信设备的驻场安装调试和维护工作(包括定期巡检、技术支持)等;

  3、接收和协助解决客户遇到的各种现场技术问题,能够对用户的需求给出相应的解决方案;

  4、快捷准确并按要求提供所有报告、数据,如故障处理报告、周报总结等;

  5、学习领悟力强,善于主动钻研,向客户提供全面优质的服务。

  任职要求:

  1、专科以上学历,通信或计算机相关专业,一年以上相关工作经验;

  2、熟悉掌握CISCO、华为等主流厂商的路由器/交换机设备配置和维护;

  3、熟练掌握相关网络技术、TCP/IP协议、路由与交换技术等,具有CCNP或HCNP认证或同等经验证者优先;

  4、具有良好的文档撰写能力,语言沟表达能力强,能同客户建立良好的沟通关系,适应团队合作,能适应中短期出差;

  5、思维清敏捷,具有较强网络故障排查和解决经验的能力;较强的逻辑分析能力和对问题的诊断能力。

  6、了解X86服务器,熟悉LINUX命令等。

  职责:

  1、负责智慧化菜场项目上的网络安全运行与维护;

  2、根据业务需求进行调试、优化和部署;

  3、负责弱电的设计与设备配置;

  4、现场的技术支持及运维服务。

  岗位要求:

  1、专科及以上学历,计算机相关专业;

  2、1年及以上IT相关工作经验,有项目经验的优先考虑;

  3、熟练掌握网络设备的配置及网络维护知识;

  4、熟练掌握Windows Server或Linux;

  5、优秀的沟通能力,较强的服务意识。

  IT运维工程师工作的职责4

  1. 负责公司网络、基础设施及服务器,交换机的日常维护巡检,保持公司区域

  内各机房运行环境的良好状态,记录环境数据;

  2. 对公司IT基础网络及其他运营设备进行安装、硬件维护、硬件故障处理等工作;

  3. 日常问题及突发事件的及时响应反馈并解决跟进故障处理;

  4. 对公司所有IT设备及备件坏件定期检查、检修、替换和保修;

  5. 协助客户进行现场资产管理,包括线上、线下设备(包含配件或者备件)的统计与登记,确保重要区域的资产安全;

  6. 按照客户的要求,严格执行相应的各项规范;

  7. 按照客户的要求,按时提供日常各类报告,包括运维日报、资产月报等;

  8. 配合公司及客户进行定期的资产盘点;

  9. 能 7x24 小时故障响应;

  10.辅助信息安全管理工作。

  职责

  1、进行业务系统的维护

  2、指导用户正确使用操作软件各业务模块;

  3、分析并解决软件使用过程中的问题,对软件故障进行测试定位;

  4、处理相关数据;

  5、配合项目经理完成相关任务目标;

  任职资格:

  1、计算机相关专业,本科以上学历;

  2、优秀应届毕业生可考虑;有税务行业信息化相关工作经验者可破格录取;具备软件开发能力者优先。

  3、熟悉JAVA编程语言及熟练操作SQL,具备一定数据库知识。

  4、能熟练使用所负责的软件模块;

  5、良好的良好的沟通能力、团队合作精神。

  职责:

  1、负责客户内部视频会议系统及各应用系统日常管理维护;

  2、负责客户的PC、服务器、存储设备的日常维护工作。

  3、负责部署相关应用平台,并提出平台的实施、运行报告;

  4、负责配合客户搭建测试平台,协助开发设计、推行、实施和持续改进;

  5、负责日常系统维护,及监控,提供IT软硬件方面的服务和支持,保证系统的稳定。

  任职要求:

  1.专科或以上学历,计算机相关专业,2年以上相关工作经验,有系统运维工作经验者优先;

  2.熟悉Windows/Linux系统安装、维护、监控及日常维护;

  3.了解各大厂商的服务器、存储等硬件设备的基本安装调试;

  4.有一定网络技术基础,了解TCP/IP网络原理,熟悉交换机、路由器、防火墙配置更佳;

  5.熟悉VMware软件环境的管理及维护,有虚拟化项目实施经验或VMware VCP认证者优先;

  6、具备自我管理能力、沟通能力、团队精神和责任服务意识,能组织并实施技术相关工作,较好的解决问题的优先。

  职责

  1、负责PC_SERVER的日常运维与管理;

  2、系统集成项目的项目实施;

  3、PC服务器系统运维的优化和改进;

  4、善于发现系统问题,并提出优秀的解决方案;

  任职资格

  1、计算机、电子类本科学历以上,有二年以上相关工作经验;

  2、熟悉Linux、VMware ESX、Windows Server等主流操作系统,有一定的运维管理经验。

  3、精通品牌服务器(重点惠普和戴尔)的管理维护,熟悉厂商的支持流程,能熟练判断相关软硬件故障;

  4、具有较好的技术文档编制能力,良好的沟通能力;

  5、较强的表达能力及与客户沟通能力,良好的分析问题和实际动手能力,良好的学习和创新能力;

  6、有PC_SERVER设备应用系统维护、调试经验者优先考虑;

  7、有相关系统认证、硬件厂商认证证书者优先考虑;

  8、较强的组织、协调、沟通能力,良好的分析问题和实际动手能力,良好的学习和创新能力;

  10、具有解决突发事件的能力;有团队精神、刻苦钻研精神,工作认真细致、有责任心,能承受工作压力。

推荐访问:职责 描述 工程师 大数据运维工程师具体职责描述(17篇) 大数据运维工程师的具体职责描述(精选17篇) 大数据运维工程师岗位职责

热门文章

共青团xx市委“喜迎二十大、永远跟党走、奋进新征程”主题教育实践活动启动仪式主持词(全文完整)

文章详情共青团xx市委喜迎二十大、永远跟党走、奋进新征程主题教育实践活动启动仪式主持词尊敬的领导、全体青年朋友们:在中国共产主义青年团成立100周年之际,共青团中央决定,围绕迎接和学习宣传贯彻党的二十

学校二十大安保维稳工作实施方案(完整文档)

为切实做好党的二十大期间我校维稳安保工作,及时高效贯彻执行中央领导指示批示精神和省市委统一部署要求,各单位要始终站在讲政治、讲大局的高度,凝聚共识、主动担当、攻坚克难,狠抓校园维稳各项工作措施的落实,

党委书记在党支部结对共建启动仪式上讲话

今天,党支部和机关党支部顺利举行了结对共建签约仪式,这标志着两个公司机关党支部的结对共建活动正式启动了!在此,我代表党委和全体党员干部表示热烈的祝贺!目前,党委下设六个党支部,共89名党员。公司党委始

金融机关领导干部全面从严治党主体责任落实情况报告(完整)

(一)扎实筑牢理想信念根基坚持用习近平新时代中国特色社会主义思想武装头脑、指导实践。始终坚持思想教育为先,通过理论中心组集体学和个人自学等多种形式,认真学习十九大精神,《党委(党组)落实全面从严治党主

2023年国内差旅费管理规定(十六篇)

每个人都曾试图在平淡的学习、工作和生活中写一篇文章。写作是培养人的观察、联想、想象、思维和记忆的重要手段。那么我们该如何写一篇较为完美的范文呢?下面是小编为大家收集的优秀范文,供大家参考借鉴,希望可以

2023最新烈士陵园闹鬼鬼把孩子追到烈士陵园(五篇)

范文为教学中作为模范的文章,也常常用来指写作的模板。常常用于文秘写作的参考,也可以作为演讲材料编写前的参考。大家想知道怎么样才能写一篇比较优质的范文吗?接下来小编就给大家介绍一下优秀的范文该怎么写,我

2023年新兵授衔仪式上讲话(8篇)

范文为教学中作为模范的文章,也常常用来指写作的模板。常常用于文秘写作的参考,也可以作为演讲材料编写前的参考。范文怎么写才能发挥它最大的作用呢?接下来小编就给大家介绍一下优秀的范文该怎么写,我们一起来看

2023幼儿园招生启事(7篇)(完整)

幼儿园招生启事(精选7篇)幼儿园招生启事篇1一、招生对象:x年9月1日-x年8月31日出生,属xx区户籍,身体健康的适龄幼儿。二、招生方式为了方便家长,确保报名工作的有序进行,本次报名实行预约登记与正

立足更高定位,彰显更大作为,推动城市管理和综合执法事业高质量发展,以优异成绩迎接党二十大胜利召开——在城管工作会议上讲话

文章详情立足更高定位彰显更大作为推动城市管理和综合执法事业高质量发展以优异成绩迎接党的二十大胜利召开在2022年城管工作会议上的讲话同志们:今天,我们召开局系统工作会议,主要任务是:认真贯彻落实党的十

以成长为主题中考满分作文题目(3篇)(全文完整)

每个人都曾试图在平淡的学习、工作和生活中写一篇文章。写作是培养人的观察、联想、想象、思维和记忆的重要手段。范文书写有哪些要求呢?我们怎样才能写好一篇范文呢?以下是小编为大家收集的优秀范文,欢迎大家分享

烟草座谈会表态发言(8篇)

烟草座谈会表态发言(8篇)烟草座谈会表态发言  树立和落实科学发展观  进一步推进烟草行业改革与发展  ——在全国烟草专卖局长、公司总经理座谈会上的讲话(摘要)  一、上半年主要工

2023最新家长安全寄语20字(7篇)【完整版】

在日常学习、工作或生活中,大家总少不了接触作文或者范文吧,通过文章可以把我们那些零零散散的思想,聚集在一块。范文书写有哪些要求呢?我们怎样才能写好一篇范文呢?下面是小编帮大家整理的优质范文,仅供参考,