Обязанности:
О нас: Business Intelligence Platform - Мы команда разработки системы обработки больших данных, круглосуточно и в реальном времени обрабатывающей терабайты данных из различных источников. Вычислительный кластер обработки данных состоит из следующих компонентов: Hadoop собственной сборки, Spark, Hive, Kafka, Cassandra, JupyterHub, Docker, Kubernetes и множество сервисов, написанных на скале и развернутых в этой инфраструктуре. Нашей главной задчей является построение распределенного и отказоустойчивого бэкенда обработки данных. Для чего вы нам нужны: Развертывание сервисов под Linux и Windows; Поддержка и развитие кластера хранения и обработки данных на Hadoop стеке (Apache Spark, HDFS и т.д.); Поддержка и развития кластера Kubernetes; Поддержка и развитие NoSQL хранилищ Cassandra, Scylla; Автоматизация задач администрирования процессов разработки и тестирования; Проектирование и оптимизация инфраструктуры для развертывания сервисов; Создание технической документации по развертыванию и поддержке сервисов; Развитие инструментов развертывания сервисов и конфигурирования серверов в различных окружениях; Мониторинг состояния сервисов и оперативное решение возникающих проблем; Согласование со смежными командами требований в части развертывания приложений. Что для этого нужно: Опыт администрирования Linux, глубокое понимание принципов работы; Опыт развертывания и администрирования решений на базе стека Hadoop (Apache Spark, Apache Hive, HDFS и т.д.); Опыт использования Ansible, либо других систем управления конфигурациями; Опыт работы c системами виртуализации и контейнеризации (Docker, Podman, Kubernetes и т.д.); Умение писать административные скрипты (Bash, Python); Знания сетевых технологий (TCP/IP, HTTP, TLS и т.д.); Понимание принципов, протоколов и технологий обеспечения сетевой безопасности; Опыт настройки и конфигурирования систем CI/CD (TeamCity и т.д.); Навыки диагностирования проблем работоспособности ПО. Будет круто, если у вас есть: Опыт использования и настройки систем мониторинга; Опыт администрирования NoSQL хранилищ данных (Cassandra, Scylla, ClickHouse и т.д.); Опыт работы с Apache Kafka; Опыт работы с Kubernetes; Опыт развертывания облачных приложений (MS Azure, AWS и др.).Похожие вакансии