Data Engineer

Чем предстоит заниматься:

• Сбором данных: Интеграция данных из разнородных источников (реляционные и NoSQL БД, API, лог-файлы, потоковые данные и т.д.);
• Трансформацией (ETL/ELT): Проектирование, разработка, построение и поддержка надежных, масштабируемых и эффективных ETL/ELT-процессов (DAG-пайплайнов в Airflow). Формирование согласованных слоев данных (Data Warehouse, Data Marts);
• Хранилищем и моделью данных: Проектирование и оптимизация схем данных в колоночных хранилищах (у нас это ClickHouse и Vertica). Настройка партиционирования, индексов и распределения для максимальной производительности;
• Качеством и мониторингом: Внедрение автоматических проверок целостности и качества данных, создание системы алертов и мониторинга пайплайнов;
• Доступом и безопасностью: Управление правами доступа к данным, ролевой моделью и обеспечение требований со стороны информ.безопасности;
• Инструментами и автоматизацией: Настройка CI/CD для процессов данных, оркестрация с помощью Airflow;
• Поддержкой self-service: Участие во внедрении и поддержке Data Catalog для обеспечения видимости данных для бизнес-пользователей.

Мы ожидаем от будущего члена команды:

• Опыт коммерческой разработки на позиции Data Engineer от 2-х лет;
• Глубокое знание SQL и опыт работы с колоночными БД (ClickHouse, Vertica);
• Опыт работы с языком программирования Python;
• Понимание принципов построения ETL/ELT процессов и DAG;
• Опыт работы с оркестраторами задач (Airflow, Prefect, Dagster, Luigi);
• Знание систем контроля версий (Git);
• Опыт работы с инструментами CI/CD;
• Умение проектировать и поддерживать хранилища данных (знание подходов Kimball, Data Vault — будет плюсом);
• Понимание основ контейнеризации (Docker, Kubernetes);
• Будет сильным преимуществом :Опыт работы с потоковой обработкой данных (Kafka, Kafka Connect, Kafka Streams, Apache Pulsar);
• Опыт работы с одним из современных фреймворков для обработки данных: Apache Spark, Apache Flink или аналоги;
• Знание NoSQL баз данных;
• Опыт работы с дата-каталогами (Amundsen, DataHub) и инструментами для обеспечения качества данных (Great Expectations, dbt tests).

Будем рады предложить:

• Возможность выбрать удобные начало и окончание рабочего дня.
• Конкурентный уровень заработной платы и премирование по результатам работы.
• Возможность расти горизонтально и вертикально, а также в зависимости от результатов и интересов перемещаться между проектами и командами.
• Обучение: учебный портал с курсами и лекциями от экспертов, дополнительное профессиональное обучение, изучение английского, участие в конференциях.
• Программу поддержки инноваций: премии за регистрацию патентов, создание результатов интеллектуальной деятельности.
• Обмен опытом и развитие: лекции, подкасты, техтолки, портал «Истовый инженер», профессиональные сообщества и митапы.
• Заботу о здоровье: ДМС с первых дней работы, льготные условия страхования близких.
• Поддержку в личных вопросах: консультации юристов, психологов, экспертов по ЗОЖ и управлению финансами.
• Скидки на посещение ресторанов и фитнес-клубов, заказы в сервисах доставки, на подписку в онлайн-кинотеатрах и другие спецпредложения.
• Поддержку творчества и спорта — компания частично компенсирует расходы за посещение тренировок, творческих занятий и участие в соревнованиях.

О нашем офисе:

• красивый и удобный лофт-офис с высокими потолками на территории БЦ «Трехгорная мануфактура», 10-15 минут от метро «Краснопресненская»/«Улица 1905 года», г. Москва.