ID | Название вакансии | Город | Компания | От | До | Валюта | Тип вакансии | Дата и время публикации вакансии | Роль |
---|---|---|---|---|---|---|---|---|---|
1067930 | Data Engineer / Разработчик Big Data / Инженер Данных | Москва | > Платформа Больших Данных | 250000 | 270000 | RUR | open | 2024-02-15 |
Требования
Необходимые навыки: Необходимые навыки: ∙ Отличное знание Python/Scala (Numpy, SciPy, Pandas, scikit-learn) и библиотеки pySpark. Знание основ работы с...
Обязанности
Разработка архитектуры решений по загрузке данных в кластер. Интеграция систем обмена данными с различными источниками. Оптимизация вычислений и работа с...
Описание
Приветствуем тебя, будущий участник нашей прогрессивной команды! Мы аккредитованная IT-компания "Платформа больших данных" – разрабатываем IT-продукты для бизнеса на основе big data. Наша компания объединила данные и компетенции крупнейших игроков рынка, ВТБ, Ростелекома и множества других партнеров. Мы создали 9 уникальных IT-продуктов для бизнеса на основе bid data по различным направлениям: финансовые сервисы, геоаналитика и рекламные направления.
Мы занимаемся объединением данных о телесмотрении, интернет-логах и данных о покупках для каждого уникального пользователя и на основании этого создаем различные продукты. Один из них – аналитические отчеты об успешности рекламных ТВ-кампаний, что помогает заказчику эффективнее планировать рекламный бюджет. У нас очень большой объем данных и большой простор для работы с ними.
Наши преимущества:
- Работа в одной из высокотехнологичных аккредитованных российских IT-компаний
- Участник Сколково
- Работу с отличной командой настоящих профессионалов (в компании более 100 человек)
- Полис ДМС со стоматологией
- Скидки на изучение английского, сессии психолога
- Гибкое начало дня
- Можно работать полностью удаленно в РФ либо гибридно (по вашему усмотрению)
- Официальное оформление с 1-ого рабочего дня
- Баланс жизни и работы, отличная команда
- Мероприятия для поддержания хорошего настроения (корпоративы, презентации новых IT-продуктов, сюрпризы)
- Современное оборудование для работы
Необходимые навыки:
- Отличное знание Python (Numpy, Pandas) и библиотеки pySpark
- Опыт работы с Git
- Плюсом будет опыт c Spark, Hadoop, Hive, Airflow
- Отличное знание SQL
- Понимание и интерес к области больших данных
- Понимание и интерес к data science решениям и ML
Будет плюсом:
∙ Опыт проектирования высоконагруженных систем
∙ Знание http/https, dns и предметной области работы операторов (кликстрим, система сбора логов)
∙ Опыт работы с ClickHouse в продуктовых задачах и понимание его преимуществ
∙ Опыт работы с Docker
∙ Опыт работы с Kafka
Твоими задачами станут:
- Разработка архитектуры решений по загрузке данных в кластер
- Интеграция систем обмена данными с различными источниками
- Оптимизация вычислений и работа с узкими местами платформы
- Реализация витрин данных на Spark
- Разработка и оптимизация ETL пайплайнов
- Перенос моделей машинного обучения в прод
- Refactoring, code review
- Сбор информации по источникам данных и их структуре
- Анализ логов Интернет-трафика, телесмотрения и телефонии
Будем рады видеть тебя в нашей дружной команде профессионалов!