ID | Название вакансии | Город | Компания | От | До | Валюта | Тип вакансии | Дата и время публикации вакансии | Роль |
---|---|---|---|---|---|---|---|---|---|
2321163 | DWH Developer в Почту | Москва | > VK | open | 2025-01-13 |
Требования
Опыт разработки c аналитикой от года. Опыт разработки живых проектов или доработка существующих решений. Опыт DWH-разработки от года, знание...
Обязанности
Разработка DWH-платформы. Проектирование схем для хранения данных. Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние...
Описание
Предстоит заниматься разработкой аналитической платформы. Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать быстрее и успешнее.
У нас используется стек Hadoop/Kafka/PySpark/ClickHouse. Для аналитики используются данные размером в десятки петабайт. Предстоит работать с настоящей BigData. Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK, объединить несколько Hadoop кластеров и многое другое.
Задачи:
- разработка DWH-платформы;
- проектирование схем для хранения данных;
- автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы и т. д.);
- автоматизация data-pipelines, ETL-процессов;
- автоматизация построения витрин данных;
- организация CI/CD и мониторинга процессов обработки данных;
- ревью кода в команде.
Требования:
- опыт разработки c аналитикой от года;
- опыт разработки живых проектов или доработка существующих решений;
- опыт DWH-разработки от года, знание Python;
- готовность разбираться в чужом коде;
- понимание принципов работы классических СУБД;
- работа с Linux & Bash.
Будет плюсом:
- знакомство и опыт работы с экосистемой Hadoop;
- опыт работы с MPP-базами;
- опыт организации ETL-процессов обработки данных.