Вакансия: Data Engineer в Москва

Необходимые навыки

• > Python
• > SQL
• > Airflow

Требования

Написание сложных SQL запросов и их оптимизация. Опыт написания скриптов на Python. Опыт создания ETL/ELT процессов. Опыт работы с...

Обязанности

Извлечение, преобразование и очистка данных. Выстраивание новых и оптимизация существующих ETL-процессов (ELT). Оптимизация процессов обработки данных и запросов к...

Описание

Проект:

Команда разрабатывает микро-сервисный продукт на базе искусственного интеллекта, который будет генерировать стратегические цели для руководства крупного логистического холдинга (информация будет собираться из различных источников – и с информации по предсказаниям по грузоперевозкам, и звонков с обращениями клиентов в Call центры компании, и в целом будет собираться широкая аналитика не только для производственного и коммерческого блоков, но и для маркетинга и HR)

Наш стек: Python, PostgreSQL, Airflow, dbt, SQL Server

Задачи:

• Извлечение, преобразование и очистка данных
• Выстраивание новых и оптимизация существующих ETL-процессов (ELT)
• Оптимизация процессов обработки данных и запросов к источникам данных (API, S3, БД)
• Построение витрин
• Предстоит работать со следующими технологиями: Python, SQL, Docker, SQL-Alchemy, MS SQL Server, PostgreSQL, Airflow, dbt, Kafka, k8s, Hadoop, микросервисная архитектура

Что требуется:

• Написание сложных SQL запросов и их оптимизация
• Опыт написания скриптов на Python
• Опыт создания ETL/ELT процессов
• Опыт работы с Airflow (или с другим аналогичным инструментом), dbt

Мы предлагаем:

• Развитие: работа в сильной команде экспертов, профессиональный рост, участие в конференциях, митапах, профессиональных сообществах, в том числе в качестве спикера, корпоративная библиотека;
• Забота: ДМС, льготное подключение родственников, полис выезжающих зарубеж; «ПРОСЕБЯ» - сервис в области ментального здоровья и благополучия; Wellness FITMOST – доступ к спортивным онлайн-курсам; партнерские программы
• Комфорт: гибкий график и формат работы (офис/гибрид); полностью оснащенные офисы в СПб, Москве, Владимире, Тамбове; свободный дресс-код;
• Надежность: официальное оформление по ТК в аккредитованной ИТ-компании, достойный уровень заработной платы, социальные гарантии.