ad hoc отчетность что это
Когда пора задуматься о внедерении BI-системы?
В этой статье хочу поделиться личными наблюдениями вот за каким процессом. Как компании проходят путь от пункта «Нам достаточно стандартных отчетов в корпоративной учетной системе » до «Подготовка отчетности требует много времени и ресурсов. Пора все автоматизировать!». Надеюсь, что ниже иложенное поможет кому-то избежать некоторых ошибок и правильно выбрать решение Business Intelligence (BI-платформу).
Стадия первая. Прелюдия.
У руководства компании возникает потребность в регулярной отчетности (продажи, план-факт, финансовое состояние и прочее). Отчетность готовят специалисты соответствующих бизнес-подразделений (финансовый блок, коммерческая служба, логистика и т.д.). В этих подразделениях люди вынуждены совмещать свои основные обязанности (ведение учета, сопровождение договоров и т.п.) и подготовку отчетности. Из инструментов у них типовые отчеты в учетной системе и Excel. Причем с использованием Excel у них обычно не все в порядке.
Стадия вторая. Возбуждение.
Затем у руководителей растут аппетиты (растет компания, растет количество управленцев, приходят руководители с новым взглядом на бизнес и т.д.), и они начинают запрашивать все больше разовых (ad-hoc) отчетов, чтобы взглянуть на бизнес под разными углами. С ростом компании таких отчетов все больше, часть из них переходит в разряд регулярных, и у специалистов от бизнеса возникают проблемы с подготовкой всего этого многообразия в срок. В поисках спасения они начинают требовать от ИТ взять часть работы на себя, а именно, просят различные выгрузки из базы учетной системы (УС) и все чаще обращаются с требованиями разработать в УС новые отчеты.
Стадия третья. Зачатие (Эмбрион).
После всех этих процессов в компании начинает образовываться направление, именуемое бизнесом «аналитики». Так, в компании может появиться SQL-разработчик (с этого я начал путь) и специалист/ты, владеющие Excel и прочими программами из пакета Office. Развитие на этой стадии может проходить по-разному. Я лично видел, что со временем количество аналитиков может стать довольно большим (каждое подразделение обзаводится 1-2 специалистами или же в компании образуется отдельное подразделение). Я, кстати, мог оказаться и в этой роли, но мне повезло, что в университете меня не учили Excel’ю и на первом собеседовании тетенька из отдела HR сказала «ай-ай-ай». Мои уверения её в том, что я быстро (за пару недель) освою сей продукт, скорее всего, породили в ней мысль: «Явно передо мной самоуверенный болван, ибо у нас тут другие тетеньки годами работают на компутере и все еще боятся этого зверя, а этот наглый шкет такое заявляет». Лично мне быстро наскучило создавать разные выгрузки, и я начал интересоваться, а что же есть подходящего на рынке. Но в 2006 году я еще даже не знал термина BI, поэтому поиски были недолгими. Остановился я в результате на технологии OLAP.
Стадия четвертая. Избавление ИТ от ad-hoc или рождение OLAP. Начало проекта BI.
Как мне кажется, OLAP — уже довольно распространенная вещь, и с высокой долей вероятности в компании появляются люди, работавшие с OLAP-кубами как пользователи или разработчики. Они-то и сеят мысль о том, что внедрение кубов станет избавлением от многих проблем и облегчит жизнь большого количества сотрудников. Или же этот человек имел опыт с некой BI-системой. Поскольку сейчас речь скорее не о самых крупных компаниях, то людей, предлагающих что-то из SAP Business Objects, IBM Cognos, Oracle BI перестанут слушать, когда увидят ценник. В крупных же компаниях уже давно что-нибудь да есть, как минимум Microsoft BI (SQL Analysis Services и Reporting Services). «Как минимум» здесь не пренебрежение, просто это довольно распространенные решения, так как поставляются в комплекте в сервером БД, что часто приводит к выбору именно этой платформы.
Поскольку мы все хотим, чтобы наш проект вырос хорошим, добрым, сильным и здоровым, важно не совершить ряд типичных ошибок.
Ошибка первая. Спонтанный выбор системы.
Ошибка вторая. DWH или его отсутствие.
Бывает, что перед внедрением собственно системы подготовки автоматизированной отчетности, никто не озаботился тем, что все-таки было бы неплохо иметь хранилище данных (DWH). В результате, это приводит к тому, что OLAP или отчеты обращаются к большому числу источников данных, различным витринам, которые сформировались на 3-ей стадии. Из этого рождается хаос. Развивать и поддерживать систему после этого становится крайне затруднительно, и может оказаться так, что все придется строить заново.
Выбору системы для DWH тоже нужно уделить отдельное время, но зачастую это та же СУБД, на которой работает учетная система (УС). Такой подход вполне оправдан, так как в компании уже есть специалисты по продукту и может получиться экономия на лицензиях. Конечно, это не относится к случаю, когда в УС копится очень много данных (большое количество транзакций и СУБД выбиралась именно для этого) и лучше поискать другую СУБД, более подходящую для задач аналитики (есть механизмы колоночного хранения, размещение таблиц в оперативной памяти и т.п.).
Еще возможен вариант интеграции учетной системы с неким BI инструментом (видел предложения 1С + QlikView, от некоторых интеграторов), но тут я не совсем в курсе как всё устроено. Буду рад, если кто-то напишет об этом в комментариях или в личку.
Ошибка третья. Игнорирование того факта, что проект уже давно надо было начать.
Часто компании застревают надолго во второй стадии и это приводит к тому, что появляется множество различных витрин данных, кучи Excel-файлов с макросами для обработки данных и, конечно же, никто это никак не систематизирует и не описывает. Начиная в итоге проект BI, вы потратите намного больше времени на систематизацию требований, и придется столкнуться с некоторым сопротивлением со стороны пользователей, которые уже давно привыкли к тому, что есть. Например, они не захотят самостоятельно работать с кубами, потому как Вася из ИТ всегда сам делал им нужные выгрузки, тем самым сильно их избаловав. Все должно быть вовремя!
В общем, будьте готовы к тому, что ответственность за выбор и дальнейшую судьбу проекта будете нести именно Вы — читатели этой статьи, которая, надеюсь, вам хоть как-то поможет.
Кто такой бизнес-аналитик и как помогает компаниям быть на шаг впереди
«Когда не только видишь, но и понимаешь свой бизнес, — чувствуешь, что можешь покорить мир», — так говорит о бизнес-анализе Анна Гуськова, преподаватель курса «Бизнес-аналитик» в Нетологии. И это так: бизнес-аналитики исследуют, считают, планируют и структурируют — занимаются почти всем от запуска проекта до оптимизации бизнеса.
Предлагаем познакомиться с этой профессией поближе, узнать о задачах бизнес-аналитика, его роли в компании и доходах. Помог разобраться в теме Константин Большухин, партнёр студии продвинутой аналитики Modelta и преподаватель курса «Бизнес-аналитик».
Роль бизнес-аналитика в компании
Бизнес-аналитик в классическом понимании — экономист, который разбирается в процессах, экономике, финансах, организационном развитии и помогает компании решать стратегические задачи. Например, оптимизировать бизнес-процессы, разработать стратегию развития или запустить новый бизнес в другой стране.
В зависимости от потребностей компании объём и описание задач аналитика может существенно различаться.
Да и аналитики бывают разные:
Соответственно у этих специалистов разный набор навыков и инструментов.
Дата сайентисты и системные аналитики сильнее в программировании, лучше разбираются в инструментах BI, организации системы хранения и обработки данных.
Маркетинговые аналитики работают с BI, оптимизируют маркетинговые кампании, экономику продаж.
Финансовые аналитики разбираются в финансовых инструментах, инвестициях, кредитах и займах, условиях финансирования.
Продуктовые аналитики лучше знают метрики, связанные с конкретными продуктами, и инструменты для анализа работы эффективности продуктов (performance).
Наконец, бизнес-аналитики погружаются в выстраивание процессов, экономику, финансы, исследования. Работают с BI и отчётностью, визуализируют данные.
Посмотрим, в каких командах задействованы бизнес-аналитики и какова их роль в каждой из них.
Консалтинг
Чаще всего бизнес-аналитики работают в консалтинговом подразделении — внутреннем отделе или в консалтинговой компании. Под консалтингом подразумеваем управленческий консалтинг, среди известных представителей которого компании McKinsey, PWC, Deloitte, Ernst&Young.
Консалтинг — это проектные команды, которые решают задачи по изменению компании. Имеется в виду изменение бизнес-процессов — допустим, закупок, найма и онбординга, системы KPI — или создание и внедрение новых проектов.
Пример. Перед запуском системы для оплаты проезда «Тройка» в Московском метро консультанты просчитали экономику, затраты, ресурсы, схему работы.
Стратегический блок
Это подразделение компании, которое занимается долгосрочным планированием и развитием бизнеса. Например, аналитики решают, будет ли компания приобретать новые активы, запускать новые направления бизнеса.
Пример. Помимо «Северстали» и добывающих предприятий «Севергрупп» решила развиваться через создание цифровых активов, в частности, купив онлайн-ритейлера «Утконос».
Цифровая трансформация
Подразделение компании, которое внедряет цифровые технологии для оптимизации бизнес-процессов, повышения ценности для клиентов, разработки инноваций и улучшения организационных результатов.
Использование инструментов обмена данными, Интернета вещей позволяет получать метрики от больших производственных машин, объединять их в единую экосистему и минимизировать потери, к примеру, металла, а также оптимизировать трудозатраты.
Пример. Цифровая трансформация в металлургической или тяжёлой промышленности — это работа по внедрению ИТ-систем, в результате чего часть процессов автоматизируют, а часть оптимизируют.
BI и отчётность
Это команда, которая создаёт инструменты для сбора данных и далее для управления компанией на основе данных. Например, инструмент для сбора данных Share point для сотрудников или автоматический сбор данных.
BI — решение на собственном движке или внутри сервисов Tableau, Power BI, QlikView. Позволяет создавать автоматические отчёты, которые демонстрируют эффективность работы компании.
Операционная команда
Аналитики в операционных командах могут посчитать финансовую модель проекта: сколько денег нужно вложить для реализации проекта, где целесообразно купить существующую компанию для выхода на рынок, а где — создать компанию с нуля.
В таких случаях это смежная с менеджментом специальность.
Пример. В Яндексе операционная команда запускает бизнес в новых городах и странах.
Планирование
Функция, близкая к отчётности и стратегии. Такие команды создают системы KPI, поддерживают OKR (инструменты планирования), премии, расчёт показателей эффективности, бонусы — количественные показатели, которые крупные компании используют для сохранения конкурентоспособности и развития.
Business Intelligence (BI) — бизнес-аналитика, точнее — анализ бизнес-данных для принятия управленческих решений
«Горизонтальная» команда
Часто бизнес-аналитики работают в команде с горизонтальным менеджментом. Как правило, это системные аналитики, консультанты или ассоциаты. Они входят в «горизонтальный» блок кросс-функциональных специалистов (продуктовики, финансисты, IT) для совместной работы над проектом и подчиняются одному руководителю.
Пример. Команда по запуску нового актива. Руководитель команды отчитывается перед управляющим актива, финансовым директором или директором по аналитике — лидером бизнес-юнита или бизнес-функции. Тот в свою очередь подчиняется генеральному директору (CEO).
Комфортная среда «горизонтальных» команд позволяет обмениваться мнениями, опытом.
Бизнес-аналитики достаточно быстро получают «прививку» ответственности: на уровне старшего аналитика можно делать финансовые расчёты для проектов на миллиарды рублей. Это один из самых привлекательных аспектов работы бизнес-аналитика.
Чем занимается бизнес-аналитик
Вакансия ИТ-компании Flocktory —
оптимизируют рекламу и ecom на основе данных
SQL-Ex blog
Новости сайта «Упражнения SQL», статьи и переводы
Что такое ad hoc запрос?
Вот простой пример ad hoc запроса в SQL Server:
SQL Server параметризует этот простой запрос:
Вот пример динамического запроса, который параметризован (подготовлен), поэтому он не является ad hoc:
Однако если параметров нет, запрос останется ad hoc. Вот пример ad hoc запроса, который так же является динамическим:
Чем полезны ad hoc запросы?
Во многих случаях разработчик или DBA может один раз выполнить ad hoc запрос, и больше никогда не использовать его. С другой стороны, один и тот же запрос может выполняться тысячи раз за день из приложения, и при этом, возможно, оставаться ad hoc запросом. В зависимости от запроса может не иметь смысла включать его в хранимую процедуру или параметризовать его.
Ad hoc запросы не являются ни плохими, ни хорошими; как и все остальное, это зависит от того, как они используются. Сошлюсь на интересную статью от Phil Factor, посвященную устранению проблем с некоторыми неэффективными ad hoc операторами.
Что такое ad hoc запрос в базе данных?
Чтобы выяснить, рассматривает ли SQL Server запрос как ad hoc, вы можете проверить тип объекта в кэше плана. Вот запрос из книги «Внутри Microsoft SQL Server 2012» Kalen Delaney и др. Замечу, что вам может потребоваться добавить больше фильтров на [text], если он вернет слишком много строк, чтобы отыскать ваш запрос.
Вы увидите тип объекта Adhoc для ad hoc запроса. Для параметризованных запросов вы также увидите строку с типом объекта Prepared. Вызовы хранимых процедур будут возвращать Proc, и имеется несколько других.
Что такое параметр Optimize for Ad Hoc Workload?
Представим себе систему, на которой каждый из большого числа запросов может выполняться только раз. Чтобы избежать ситуации, когда они занимают место в кэше планов, включите параметр Optimize for Ad Hoc Workload. Тогда при первом выполнении запроса в кэше сохраняется только заглушка плана. Если запрос выполняется снова, SQL Server сохранит весь план.
Заключение
Обратные ссылки
Нет обратных ссылок
Комментарии
Показывать комментарии Как список | Древовидной структурой
Автор не разрешил комментировать эту запись
Ad-hoc отчеты в QlikView
Composer: скачать, установка, как начать использовать. Проекты на GitHub.Com
Ad-hoc отчеты в QlikView
Прежде, чем мы рассмотрим создание Ad-hoc отчета, рассмотрим работу функций SubStringCount и GetSelectedCount.
Функция SubStringCount
Синтаксис:
Функция возвращает число раз, которое подстрока встречается в текстовой строке. Результат — целое число. Если совпадения отсутствуют, возвращается 0.
Пример:
SubStringCount ( ‘abcdefgcdxyz’, ‘cd’ ) — возвращает 2
Функция GetSelectedCount
Синтаксис:
Функция возвращает число выбранных значений в поле с именем fieldname. Если для IncludeExcluded установлено true, число будет включать в себя выбранные значения, исключенные выборками в другом поле (т.е. когда в другом поле выбраны элементы измерений, у которых нет ассоциативных связей с нашим измерением).
Примеры:
GetSelectedCount(Customers)
GetSelectedCount(Customers, true)
Создание гибкого отчета “Ad-hoc report”
Код для загрузки данных:
Модель, которая получается после загрузки данных: 
Таблицы [Перечень измерений] и [Перечень метрик] являются Data Island, т.е. таблицами, у которых отсутствуют взаимосвязи с главной таблицей.
Формируем лист “Add-hoc отчет”
Первоначально, нам необходимо создать обычную таблицу типа “Straight table”. На лист документа QlikView добавляем фильтры, с помощью List Box элементов.
Далее добавляем два List Box, в которых будут отображаться поля [Наименование измерения] и [Наименование метрики].
После этого формируем Straight Table, в которой выбираем 3 измерения и формируем 3 формульных выражения (НДС, Продажи, Среднее значение продаж). 
На вкладке Expressions добавляем три выражения:
Label ‘НДС’:
Как мы автоматизировали выгрузки и другие Ad-hoc задачи аналитика с помощью Zeppelin
На момент написания этой статьи в компании Cardsmobile, которая разрабатывает мобильное приложение «Кошелёк», работает 195 человек: 8 аналитиков и 187 потенциальных заказчиков аналитиков. Мы делаем приложение для конечных пользователей, а также работаем с ритейлом, банками, брендами и другими партнерами. Долгое время работа аналитика в Кошельке состояла не только из исследований поведения пользователя, но и из различных выгрузок, типовых анализов для партнеров и прогнозов для потенциальных клиентов. Конечно, дашборды сильно спасали нам жизнь и позволяли всей компании следить за показателями продукта. Но мы всё ещё тратили время на остальную текучку, и с ростом команды (заказчиков) и бизнеса упёрлись: Ad-hoc задач стало слишком много, а исследования, желание развиваться и светлое будущее простаивали в отсутствие у нас времени.
Так много вокруг классных конференций, интересных статей про различные аналитические исследования, data-science, data-driven, data-счастье. А мы смотрели на всю эту красоту и не знали, где среди всего потока текучки найти время на эксперименты. Многие рассказывают, как сделать классно, но мало кто рассказывает, КАК преодолеть нарастающую текучку и освободить ресурсы для интересных и творческих задач. В этой статье я расскажу про наш опыт выхода в светлое будущее. Дальше будут примеры, как мы автоматизируем Ad-hoc задачи аналитиков в Zeppelin.
Что такое Zeppelin
Zeppelin – это OpenSource Notebook от Apache, который позволяет обращаться к различным БД на разных языках (Python, R, SQL, Spark). Но что делает его особенно кайфовым, так это набор визуальных элементов – dynamic forms.
В одном ноутбуке мы можем извлекать данные по api из Amplitude, быстро считать агрегаты из Clickhouse, дополнять результат данными из MSSQL и обрабатывать все это на Python. А готовые отчеты заворачивать в Excel в удобном заказчику формате и класть в html-ссылку, по которой их можно легко скачать.
Изначально мы начали использовать его просто как notebook, в котором было удобно писать на разных языках. Потом изучили возможности Zeppelin получше, нашли встроенные динамические формы: инбоксы, выпадающие списки и чеклиты – лампочка над головой загорелась! Сразу придумали, сколько всего мы можем автоматизировать. У нас было много типовых задач с готовым кодом, в котором надо было просто менять значения переменных. Мы перенесли весь наш код в Zeppelin, вынесли переменные в динамические формы и дали заказчикам возможность самостоятельно заполнять их и запускать скрипты. Идея понравилась и нам, и всей остальной команде!
Какие динамические формы есть
Input – текстовое поле. Мы используем его, для того чтобы задать временной диапазон для ввода идентификаторов. Другими словами, для всего, вариаций чего бывает много.
Select – выпадающий список. К каждому элементу списка можно прописать сразу готовый кусок кода. Мы предлагаем пользователю выбрать один из нескольких типовых вариантов. Например, одну из метрик для типового отчета.
Checkbox – форма для множественного выбора вариаций. Мы даем его пользователю, чтобы он, к примеру, сам мог выбрать список необходимых полей в выгрузке. Пожалуй, у нас это самый популярный кейс. Или когда мы даем возможность выбрать несколько метрик, сегментов пользователей.
Какие задачи мы автоматизируем в Zeppelin
Выгрузки простые и сложные, с использованием фильтров по дате, партнеру, задавая набор столбцов.
Чаще всего запросы на выгрузки приходят от аккаунт-менеджеров. А еще, с большой вероятностью, они поступают внезапно и срочно. Сами по себе задачи на выгрузку типовые и быстрые в выполнении. Но в действительности они отвлекают от тех самых интересных аналитических исследований, и их число растет по мере роста партнерской сети.
С какими задачами обычно приходят:
Мы создали отчеты для всех частых задач на выгрузки, с которыми к нам обращались. Ускорили процессы наших коллег и высвободили время и внимание для более интересных задач. Теперь только дорабатываем эти отчеты по мере необходимости.
Типовые задачи, в которых надо просто запустить готовый скрипт. Тут тоже применяем фильтры, даём задать значение переменных. Например, пересчет какой-то метрики или отчета, которые используются редко и не хочется ставить их на расписание.
Более изощренный кейс из жизни. Отдел маркетинга совместно с нашими стратегическими партнерами решили провести промо-акцию с определенной механикой. Пользователи нашего приложения должны были совершить цепочку действий, становясь участниками розыгрыша подарков. Раз в неделю мы хотели получать список участников недели, рандомно определять победителей, поздравлять их и отправлять подарки. Аналитик направления создал notebook в Zeppelin, который собирал пользователей, соответствующих условиям участия в розыгрыше за прошедшую календарную неделю. Маркетолог самостоятельно запускал notebook и забирал участников недели.
Подведение итогов А/B-тестов, измерение base-line метрик в тестовой и контрольной группах. Когда мы тестируем новый функционал или триггерную коммуникацию, мы смотрим не только на изменение целевой метрики, но и на то, как в целом меняется поведение пользователя. Мы выделили 4 base-line метрики пользовательского поведения:
Тут Zeppelin дает нам свободу в том, как мы хотим подводить итоги, какие метрики считать, как отрисовывать графики и как объяснять результат тем, кто будет пользоваться этим инструментом.
Собираем базы для коммуникаций и ретаргетинговых кампаний на основе выгружаемой из Amplitude когорты. Когда-то мы отказались от готовых коммуникационных платформ в пользу собственной разработки (возможно, это тема для отдельной статьи, а мы тут не об этом). Наше внутреннее решение было в первую очередь заточено под партнерские рассылки: выбери партнера и отправь сообщение на всю базу. А вот подготовка баз для продуктовых и маркетинговых коммуникаций — то есть собственных коммуникаций Кошелька — легла на плечи аналитиков. Типизировать все запросы от маркетинга и продактов казалось невозможным. Мы все стремились выделить наиболее релевантные сегменты, не ограничивая свои возможности. Например, вымышленный запрос, но запросы аналогичной сложности с нами случались:
Конечно, мы сохраняли код после каждой такой задачи и собирали его в некий монструозный конструктор. Но это все еще было время и внимание аналитика. А ошибка из-за невнимательности могла стоить нам волны негодующих пользователей, которые получили очевидно нерелевантную для них коммуникацию.
И все это так и было, пока один аналитик не обленился достаточно, чтобы не писать код для выборки пользователей в Clickhouse, а собрать когорту в Amplitude и выгрузить ее по api. Что, согласитесь, сильно проще и быстрее. Привычный и уже понятный интерфейс Amplitude, где любой менеджер может самостоятельно собрать когорту со всеми фильтрами из примера выше, проверить ее размер, дополнительно проконтролировать себя и проверить пользователей из когорты, что они попали в нее верно.
Как выглядит механика:
Что происходит в это время:
Я привела пример именно с пуш-рассылками, но у наших коллег быстро возникли идеи, где еще мы можем применять похожий инструмент: любые выгрузки списка пользователей с определенным пользовательским поведением. Сейчас мы используем когорты из Amplitude еще и для запуска ретаргетинговых кампаний. И, думаю, будем использовать и для многих других задач.
Системы мониторинга
Есть еще одна удобная фича, которая правда не относится к динамическим формам и, наверное, не совсем про автоматизацию – запуск по расписанию. Мы используем ее для пересчета дашбордов, запуска разных расчетов. Но самая полезная аналитическая задача, которую мы с ее помощью решаем, это мониторинг. Аномалии в событиях, в поведении метрик, что угодно, за чем должен регулярно следить аналитик, но что тоже хочется автоматизировать. Мы настроили систему алертов в slack и теперь можем вовремя реагировать на изменения, о которых хотим знать:
Success. Победили текучку, освободили время для развития аналитики в компании
Самый приятный абзац этой статьи – наступило светлое будущее! Мы уже автоматизировали большую часть наших Ad-hoc задач. Теперь в спринте их меньше 10%. В освободившееся время мы проводим исследования, выдвигаем и проверяем гипотезы, усложняем наши продукты аналитики и применяем подходы из тех самых статей и выступлений на конференциях. Другими словами, мы наконец занимаемся интересной аналитической работой. А главное, у нас появилось время принимать активное участие в развитии Кошелька.
Совет начинающим автоматизаторам: все частые и типовые куски кода выносите в библиотеки. Это позволит писать быстрее, улучшать качество написания кода всей команды аналитиков и править код в одном месте, а не во всех ноутбуках. И не забывайте, что вы делаете инструмент не для себя, а для своих коллег. А у них разный бэкграунд. Не пугайте их сложными интерфейсами и формулировками, делайте проще и понятнее.
Data-счастье еще впереди, но мы уже сильно воодушевились, ожили и бежим ему навстречу.