Вакансия: Data Engineer / Разработчик Big Data / Инженер Данных в Москва

Полное описание вакансии: Data Engineer / Разработчик Big Data / Инженер Данных в Москва

ID Название вакансии Город Компания От До Валюта Тип вакансии Дата и время публикации вакансии Роль
1067930 Data Engineer / Разработчик Big Data / Инженер Данных Москва > Платформа Больших Данных 250000 270000 RUR open 2024-02-15
Необходимые навыки
  • > Python
  • > SQL
  • > Big Data
  • > Hadoop
  • > Spark
  • > Airflow
  • > Hive
Требования

Необходимые навыки: Необходимые навыки: ∙ Отличное знание Python/Scala (Numpy, SciPy, Pandas, scikit-learn) и библиотеки pySpark. Знание основ работы с...

Обязанности

Разработка архитектуры решений по загрузке данных в кластер. Интеграция систем обмена данными с различными источниками. Оптимизация вычислений и работа с...

Описание

Приветствуем тебя, будущий участник нашей прогрессивной команды! Мы аккредитованная IT-компания "Платформа больших данных" – разрабатываем IT-продукты для бизнеса на основе big data. Наша компания объединила данные и компетенции крупнейших игроков рынка, ВТБ, Ростелекома и множества других партнеров. Мы создали 9 уникальных IT-продуктов для бизнеса на основе bid data по различным направлениям: финансовые сервисы, геоаналитика и рекламные направления.

Мы занимаемся объединением данных о телесмотрении, интернет-логах и данных о покупках для каждого уникального пользователя и на основании этого создаем различные продукты. Один из них – аналитические отчеты об успешности рекламных ТВ-кампаний, что помогает заказчику эффективнее планировать рекламный бюджет. У нас очень большой объем данных и большой простор для работы с ними.

Наши преимущества:

- Работа в одной из высокотехнологичных аккредитованных российских IT-компаний

- Участник Сколково

- Работу с отличной командой настоящих профессионалов (в компании более 100 человек)

- Полис ДМС со стоматологией

- Скидки на изучение английского, сессии психолога

- Гибкое начало дня

- Можно работать полностью удаленно в РФ либо гибридно (по вашему усмотрению)

- Официальное оформление с 1-ого рабочего дня

- Баланс жизни и работы, отличная команда

- Мероприятия для поддержания хорошего настроения (корпоративы, презентации новых IT-продуктов, сюрпризы)

- Современное оборудование для работы

Необходимые навыки:

  • Отличное знание Python (Numpy, Pandas) и библиотеки pySpark
  • Опыт работы с Git
  • Плюсом будет опыт c Spark, Hadoop, Hive, Airflow
  • Отличное знание SQL
  • Понимание и интерес к области больших данных
  • Понимание и интерес к data science решениям и ML

Будет плюсом:

∙ Опыт проектирования высоконагруженных систем

∙ Знание http/https, dns и предметной области работы операторов (кликстрим, система сбора логов)

Опыт работы с ClickHouse в продуктовых задачах и понимание его преимуществ

Опыт работы с Docker

Опыт работы с Kafka

Твоими задачами станут:

  • Разработка архитектуры решений по загрузке данных в кластер
  • Интеграция систем обмена данными с различными источниками
  • Оптимизация вычислений и работа с узкими местами платформы
  • Реализация витрин данных на Spark
  • Разработка и оптимизация ETL пайплайнов
  • Перенос моделей машинного обучения в прод
  • Refactoring, code review
  • Сбор информации по источникам данных и их структуре
  • Анализ логов Интернет-трафика, телесмотрения и телефонии

Будем рады видеть тебя в нашей дружной команде профессионалов!

Вверх