Вакансия: DWH Developer в Почту в Москва

Полное описание вакансии: DWH Developer в Почту в Москва

ID Название вакансии Город Компания От До Валюта Тип вакансии Дата и время публикации вакансии Роль
2321163 DWH Developer в Почту Москва > VK open 2025-01-13
Необходимые навыки
  • > Python
  • > SQL
  • > DWH
Требования

Опыт разработки c аналитикой от года. Опыт разработки живых проектов или доработка существующих решений. Опыт DWH-разработки от года, знание...

Обязанности

Разработка DWH-платформы. Проектирование схем для хранения данных. Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние...

Описание

Предстоит заниматься разработкой аналитической платформы. Мы стремимся сделать единую точку входа для всей аналитики в VK и ищем нового сотрудника, с которым мы смогли бы это сделать быстрее и успешнее.
У нас используется стек Hadoop/Kafka/PySpark/ClickHouse. Для аналитики используются данные размером в десятки петабайт. Предстоит работать с настоящей BigData. Мы планируем доработать и улучшить существующие сервисы, внедрить их как экосистему в большинство проектов внутри VK, объединить несколько Hadoop кластеров и многое другое.

Задачи:

  • разработка DWH-платформы;
  • проектирование схем для хранения данных;
  • автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы и т. д.);
  • автоматизация data-pipelines, ETL-процессов;
  • автоматизация построения витрин данных;
  • организация CI/CD и мониторинга процессов обработки данных;
  • ревью кода в команде.

Требования:

  • опыт разработки c аналитикой от года;
  • опыт разработки живых проектов или доработка существующих решений;
  • опыт DWH-разработки от года, знание Python;
  • готовность разбираться в чужом коде;
  • понимание принципов работы классических СУБД;
  • работа с Linux & Bash.

Будет плюсом:

  • знакомство и опыт работы с экосистемой Hadoop;
  • опыт работы с MPP-базами;
  • опыт организации ETL-процессов обработки данных.

Вверх