Tableau объявила о новом продукте для подготовки данных — Tableau Prep!
Компания Tableau объявила о выходе в свет абсолютно нового продукта для подготовки данных — Tableau Prep, ранее известного как Project Maestro.
Аналитики часто сталкиваются с необходимостью подготовки данных для анализа. Как показано в недавней статье Harvard Business Review этот предварительный этап занимает около 80% рабочего времени аналитиков, и лишь 20% остается для их анализа.
Tableau Prep разработан для всех, кому требуется быстро и легко комбинировать, менять форму и очищать данные для последующего анализа. Непосредственное визуальное обращение с данными помогает глубже понять их, а интеллектуальные возможности программы упрощают подготовку данных и делают её более доступной для широкой аудитории. В добавок к этому Tableau Prep плавно интегрируется в процесс анализа с помощью Tableau Desktop.
Tableau Prep поставляется вместе с Tableau Desktop в рамках нового предложения Tableau Creator. Текущие клиенты Tableau Desktop, имеющие лицензию с техподдержкой, также могу получить Tableau Prep, как одно из преимуществ техподдержки.
Наблюдайте эффект от каждого изменения ваших данных
Tableau Prep отображает три взаимосвязанных окна: сетка с низкоуровневыми данными, панель с профилями распределения значений для каждого столбца данных и панель с процессом (потоком) подготовки данных, необходимая для отслеживания всех этапов обработки данных. Выберете с каким окном взаимодействовать в зависимости от текущей задачи. И поскольку эти окна связаны, делая изменения на панели с профилями, Вы мгновенно видите результат на панелях с потоком и сеткой данных.
Интеллектуальные возможности, которые избавят вас от головной боли при подготовке данных
Интеллектуальные алгоритмы Tableau Prep помогут избавиться от распространенных проблемы при подготовке данных. Предположим у Вас имеется несколько экземпляров одного и того же объекта в данных. В примере ниже представлено несколько разных вариантов написания имени одного и того же клиента, которые нужно сгруппировать. Tableau Prep задействует алгоритм мягкой кластеризации, чтобы превратить повторяющиеся задачи, такие как группировка по произношению или очистка на основе пунктуации, в операции, выполняемые за один клик. Для того, чтобы Вы могли скорее перейти к анализу.
Tableau Prep полностью интегрирован с Tableau
Tableau Prep полностью интегрирован в процесс анализа с помощью Tableau, так что можно быстро перейти от подготовки к анализу. В любой момент Ваш поток подготовки данных, созданный в Tableau Prep, можно открыть в Tableau Desktop и приступить к анализу.
Поддержка и совместимость
Компания Tableau планирует добавлять новые функции в Tableau Prep, независимо от обновлений для Tableau Desktop, Tableau Server или Tableau Online. Пользователям необходимо будет обновлять Tableau Prep до последней версии, чтобы воспользоваться преимуществами новых функций и исправлений.
Поток подготовки данных в Tableau Prep в действии
Работа с Tableau Prep обычно включает следующие шаги: подключение к источникам данных, очистка, объединение с помощью операций «join» или «union». При этом каждый шаг выполняется всего за несколько кликов. Трансформация данных происходит прямо на глазах, не требуя многочасовых ожиданий лишь для того, чтобы понять, что операция «join» не выполнилась из-за неверного предположения. Вы можете тут же вернуться на предыдущий шаг и посмотреть на структуру данных на данном этапе. Затем внести изменения в данные и переключиться к анализу в Tableau Desktop.
Tableau Prep: ETL инструмент для подготовки данных
Tableau Prep это ETL инструмент для подготовки, очистки, слияния и загрузки данных в BI систему.
Поставляется в комплекте с Tableau Desktop.
Что может Tableau Prep
Во многих организациях подготовкой данных занимаются отдельные специалисты. Аналитики и бизнес-пользователи могут начать анализ данных только после их подготовки.
Tableau Prep меняет такой подход, предоставляя всей организации возможность быстрее подготавливать данные. Команда получает инструменты, необходимые для объединения, формирования и очистки своих данных, чтобы быстрее находить и принимать лучшие бизнес-решения.
Tableau Prep состоит из двух частей:
10 функций Tableau Prep
1. Объединение разрозненных источников данных.
В течение довольно длительного времени одним из сильных сторон Tableau была его способность объединять различные источники данных.
Tableau Desktop позволяет объединять источники, «присоединяясь» или «смешивая». Также Tableau Prep позволяет объединить таблицу Oracle, таблицу SQL Server и рабочую таблицу Microsoft Excel в один источник данных всего за пару кликов.
Хотя некоторую подготовку данных можно выполнить во вкладке Источник данных Tableau Desktop, есть ограничения на то, что можно сделать. Основные различия между новым инструментом Tableau Prep Toolau и данными, полученными с помощью Tableau Desktopare, заключаются в их представлении и в количестве доступных опций.
Одним из таких отличий является возможность подключения к 70 различным источникам данных в Tableau Desktop, а в первом выпуске Tableau Prep вы можете подключиться к 28 источникам данных.
В Tableau Prep вы добавляете ссылки на эти источники. Если соединение представляет собой базу данных, такую как SQL Server, вы указываете схему, таблицы и какие столбцы вы хотите ввести. После того, как вы настроили источники, вы нарисуете линию между ними и добавите объединение.
Эта функциональность аналогична тому, как другие инструменты ETL объединяют.
Следует отметить, что часто проще сказать, чем сделать эти соединения. Если вы не работаете с простыми данными, например, с магазином образцов Tableau’s Sample Superstore, подключение может быть непростым делом.
Часто это связано с различиями в уровне детализации, несоответствием данных и т.д. Но если у вас относительно простой сценарий, присоединение к разрозненным источникам можно осуществить в Tableau Prep.
2. Объединение и присоединение источников данных.
С Tableau Desktop вы можете объединять и присоединять данные.
При присоединении или объединении в Tableau Desktop в нижней части вкладки Data Source (Источник данных) отображается результат.
Но часто вы хотите увидеть, какие данные объединились и какие данные не удалось сопоставить (для заданного условия объединения).
В Tableau Prep вы получите краткое описание результатов соединения, которое показывает не совпавшие по ключу значения. Эта функция может быть полезна для оценки/отладки условий соединения и проверки данных.
3. Предварительный просмотр результатов в Tableau Desktop.
После каждого шага трансформации данных Вы можете активировать предварительный просмотр результатов в Tableau Desktop.
Эта функций позволяет быстро проверять свои шаги при создании алгоритма трансформации данных.
4. Агрегация данных.
Tableau Desktop предлагает различные способы агрегации, суммирования или подсчета итогов. Например, вы можете создать выборку данных только для отображаемых категорий (измерений) или использовать множества и группы для объединения или итогов типа «Продажи по региону».
Но если вам требуется просто быстро агрегировать данные и сохранить их в источнике данных или экстракте Tableua (TDE — Tabelau Data Extract) то для этого можно использовать Tableau Prep.
Вы добавляете шаг «агрегация» и просто перетащите мышкой группируемые поля в поле агрегации.
5. Групповое присоединение данных по маске.
Часто возникает ситуация, когда Вам необходимо объединить множество однотипных источников данных.
Например, у Вас есть папка, в который лежит сотня файлов отчетов по продажам от различных менеджеров.
В Tableau Desktop вы бы использовали операцию «union» и в ручную добавляли и соединяли все эти файлы.
В Tableau Prep стало проще.
Вы просто указываете путь к папке и маску, для отбора файлов. Все отобранные файлы пройдут объединение. Затем можно слить множество файлов в один файл.
Файл с результатом слияния будет содержать колонку, где указывается путь к исходному файлу.
6. Поворот (pivot) таблиц в базе данных.
В Tableau Desktop вы можете делать пивот данных в Excel или CSV файлах.
Если Вы захотели бы провести реструктуризацию (поворот) данных, хранящихся в базе данных (например, Microsoft SQL или Oracle) вам пришлось бы создать новую таблицу с применением специального sql запроса.
В Tableau Prep поворот таблицы в базе данных стал просто обычной функцией. Одним из шагов в вашем алгоритме трансформации и подготовки данных.
8. Группировка и замена значений.
Типичная ситуация. Название города представлено значениями: «москва», «мск», «moscow», «77». Вы знаете, что все строчки таблицы, которые содержат такие или аналогичные значения представляют одну сущность — город Москва. И Вам требуется объединить строчки с аналогичными по смыслу значениями.
Конечно, можно сгруппировать данные прямо в Tableau Desktop или попробовать внести корректировки на уровне источника данных.
Но с помощью Tableau Prep вы можете создать функцию, которая будет группировать и заменять значения, автоматически, приводя ваши данные в идеальный вид.
9. Профиль данных.
Во время работы в Tableau Prep экран разделен на три области:
Область «профиль данных» содержит гистограмму распределения значений по колонкам, что помогает легко понять, какие есть данные даже в больших таблицах.
10. Графическое изображение шагов, предпринятых для преобразования данных..
Графическая схема трансформации данных очень наглядная.
Вы ясно видите, какие шаги, в каком порядке и что они делают с данными.
Достаточно кликнуть на любой шаг и вы увидите данные на данном шаге трансформации.
Этот функционал дают более сложные ETL инструменты.
Шаги в вашей схеме трансформации могут быть расшарены и запущены как поток на сервере. Также их можно сохранить в файл, TDE или превращены в источник данных для других пользователей Вашей организации.
Описание Tableau Prep
Tableau Prep имеет несколько действительно хороших, экономящих время функций, которые позволят вам получать чистые данные, подходящие для работы с Tableau.
Это будет хорошей альтернативой ручной очистке данных с помощью шагов, которые часто не документируются или повторяются. Для простой задачи преобразования данных Tableau Prep должен делает все, что требуется.
Несмотря на то, что Tableau Data Prep хорошо подходит для создания экстрактов данных Tableau и текстовых файлов, часто бывает лучше создать хранилище данных, которое может быть эффективно использовано с помощью различных аналитических инструментов.
Для этого существуют другие инструменты ETL (извлечение, трансформация и загрузка), которые могут лучше соответствовать вашим потребностям.
Такие инструменты, как Alteryx и Informatica, имеют больше возможностей для вывода данных (например, таблицы баз данных) и больше возможностей в области прогнозирования, статистического анализа, геопространственных манипуляций, картографии и встроенных демографических данных для расширения набора данных.
Скачать Tableau Prep
Чтобы скачать Tableau Prep с официального сайта нажмите кнопку ниже.
Вам потребуется указать свой адрес электронной почты.
Продукт Tableau Prep входит в пакет программного обеспечения с лицензией Tableau CREATOR и не лицензируется отдельно.
Tableau Prep устанавливается на рабочий компьютер,
может использоваться как частными исследователями, так и в организациях любого масштаба.
Как Выбрать ETL инструмент
критерии выбора инструмента подготовки данных для Tableau
Когда вы имеете дело с идеально подготовленным набором данных, таким как Tableau’s Sample Superstore, подготовка данных не требуется. Несколько щелчков мыши и вы уже в построили дашборд.
Однако, как мы все знаем, в реальном миру подготовка данных может занять более 80% проекта.
Только наличие целостного и актуального источника данных позволит реализовать BI проект и внедрить в организации бизнес аналитику самообслуживания (self service bi).
В 2018 году компания Tableau выпустила etl инструмент Tableau Prep для подготовки и очистки данных. Это достойный инструмент для простых сценариев работы с «грязными» данными.
Для более сложных ситуаций работы с данными может потребоваться альтернативная платформа для работы с данными. Существует много десятков инструментов для выгрузки, трансформации и загрузки данных (ETL платформы).
Сложно сказать, какой инструмент лучше, так как у каждого своя специфика и уровень удобства работы.
Рассмотрим 5 факторов, которые стоит учесть при выборе etl инструмента и обсудим распространенные etl инструменты, такие как Alteryx, Informica, Microsoft SSIS.
5 факторов выбора ETL решения для подготовки данных
Каждый ETL инструмент может подключаться к большому количеству источников данных для выгрузки или загрузки данных.
Чаще всего это табличные файлы Excel, csv, реляционные базы данных типа Microsfto SQL, Mysql или приложения как Google Ads, Google Analytics, Salesforce.
Для каждого проекта необходимо понять, если ли соответствующий коннектор данных в рассматриваемом etl инструменте.
Alteryx, Informatica, Microsoft SSIS являются более сложными продуктами чем Tableau Prep и поэтому требуют большей технической подготовки для аналитика.
Общая схема работы аналогична Tableau Prep, но они предлагают больше функций подготовки и очистки данных.
Informica PowerCenter добавляет функции:
Alteryx реализует сложные алгоритмы:
Tableau Desktop и Tableau Prep поставляются с лицензией Tableau Creator без дополнительной оплаты. Если у вас ограниченный бюджет и вам нужно больше возможностей, есть бесплатные инструменты с открытым исходным кодом ETL.
Но имейте в виду, что обучение людей использованию новых инструментов может отнимать много времени и быть дорогостоящим.
Некоторые базы данных, такие как Microsoft SQL Server, поставляются с инструментами, которые можно использовать для подготовки данных.
Microsoft SSIS является популярным инструментом разработки для баз данных Microsoft (т.е. SQL Server) и часто используется разработчиками для ETL. SSIS, используемая совместно с инструментами Tableau, может оказаться всем необходимым, если вы имеете дело с базами данных Microsoft.
Но если вы имеете дело с другими базами данных, такими как Oracle или Amazon Redshift, вам может понадобиться сторонний инструмент, такой как Alteryx и Informatica, который может работать с различными базами данных. Дополнительная функциональность может оправдать более высокие первоначальные расходы. Это особенно актуально, если у вас уже есть собственный опыт работы с конкретным инструментом.
Еще одной отличительной особенностью Alteryx и Informatica является их популярность. Это означает, что вокруг них сконцентрировано большое количество ресурсов (техническая поддержка, форумы пользователей, обучение, библиотеки с пакетированными потоками и т.д.). Использование этих ресурсов может сэкономить драгоценное время разработки, сократив общую стоимость проекта
Combine, shape, and clean your data for analysis with Tableau Prep
Tableau Prep
Scaling your prepped data just got easier
Write to database in Prep new in Tableau 2020.3
Self-service data preparation
Tableau Prep changes the way traditional data prep is performed in an organization. By providing a visual and direct way to combine, shape and clean data, Tableau Prep makes it easier for analysts and business users to start their analysis, faster.
Tableau Prep is comprised of two products: Tableau Prep Builder for building your data flows, and Tableau Prep Conductor for scheduling, monitoring and managing flows across the organization.
Tableau Prep Builder
Combine, shape, and clean your data for analysis
A complete picture of your data
Three coordinated views let you see row-level data, profiles of each column, and your entire data preparation process. Pick which view to interact with based on the task at hand.
Tableau Prep Builder is part of Tableau Creator. See offerings and pricing.
Immediate results
If you want to edit a value, you select and directly edit. Change your join type, and see the result right away. With each action, you instantly see your data change, even on millions of rows of data. Tableau Prep Builder gives you the freedom to re-order steps and experiment without consequence.
Work smarter, work faster
Use smart features to fix common data prep challenges. Tableau Prep Builder employs fuzzy clustering to turn repetitive tasks, like grouping by pronunciation, into one click operations.
Connect to more data
Connect to data on premises or in the cloud, whether it’s a database or a spreadsheet. Access, combine and clean disparate data without writing code. Tableau Prep Builder intelligently pushes operations down to the database when possible, letting you take advantage of existing database investments for fast flow execution performance.
Connect to the data you care about with Tableau Prep.
Stay in the flow
Stay in the flow of your analysis. It’s easy to open your output with Tableau Desktop or share it with others via Tableau Server or Tableau Online. Easy sharing reduces friction and helps you bridge the gap between data preparation and analytics, for better business results.
Learn how to effectively manage self-service data prep in your organization.
Tableau Prep Conductor
Schedule, monitor and administer your data flows
Share and run flows on your server
With Tableau Prep Conductor, you can easily publish and run flows in your server environment. Share your data sources securely using Tableau Server or Tableau Online. Create an environment where everyone in your organization can work with prepped and up-to-date data.
Tableau Prep Conductor is part of the Data Management Add-on.
Schedule your flows
Monitor flows across your server
Monitor flows with the same tools available on Tableau Server today. Use the Status page, Admin Views and run histories to see the health of flows across the entire server so you can address any issues quickly. Always know if your flows are healthy with proactive alerts.
Get even more from Tableau Prep.
Get up to speed quickly
Already use Tableau? You’ll feel right at home with Tableau Prep. Tableau Prep uses Tableau’s data connectors, calculation language, user permissions and administration views, so you can get going quickly.
Fast performance with Hyper
Enjoy fast interactions and flow execution with Hyper, our patent pending data engine technology. Hyper uses proprietary parallelism techniques to accelerate the data prep process.
Join the community
Learn, connect and enjoy Tableau with more than 150,000 passionate users. Rely on forums, events, and user groups to extend your Tableau Prep knowledge. Join the Tableau Community today.
Always innovating
Tableau’s software moves as fast as you do and we are constantly releasing new features. We invest more in R&D than anyone else in the industry, so there’s always a new release around the corner.
Charles Schwab:
Put data to work.
Before Tableau Prep our team would spend hours and hours making sure that our data sources were clean and organized, just to make sure that our analysis was accurate and effective. We’ve been able to save hours of work with Tableau Prep, completely reinventing the way we look at our data, and dramatically shortening the time between data collection and actionable insights.
Gessica Briggs-Sullivan, Tableau Administrator, Charles Schwab, Inc
Tableau prep что это
Данные могут рассказать важную историю. Они полагаются на то, что вы дадите им громкий и убедительный голос.
// Стивен Фью
В зависимости от источника данных, вы можете выбрать прямое подключение к данным или создание экстракта. При прямом подключении, данные в Tableau будут обновляться при каждом изменении источника. Прямое подключение доступно не ко всем источникам данных в Tableau и не всегда удобно в использовании. Прямое подключение увеличивает нагрузку на вычислительные мощности и может замедлять процесс работы с данными в Tableau. Альтернативой является использование экстрактов.
Экстракт — это одномоментный сжатый снимок имеющихся данных в источнике, который хранится локально на компьютере и подгружается в память программы. При создании экстракта, его можно оптимизировать, применив фильтры и агрегацию. Тем самым снизится объем данных и повысится скорость работы. Обновление экстракта может происходить каждые 15 минут. При этом, можно выполнять как полное обновление экстракта с нуля, так и инкрементальное обновление, которое добавляет только новые строки.
Для работы с экстрактами используется технология Data Engine — это поколоночная in-memory СУБД, использование которой существенно ускоряет работу с аналитическими запросами для больших источников данных. В версии 10.5 текущий Data Engine был заменен на еще более эффективную in-memory технологию Hyper.
Оптимальный выбор способа подключения источника данных между Live и Extract зависит от особенностей базы данных и коннектора, частоты обновления, скорости работы, сложности запросов и объема данных.
Окно подключения источника данных
Сохранение результатов
Tableau позволяет сохранить выполненную работу, выбрав для этого файл определенного типа. Пользователь сам должен определить какие данные ему следует сохранить для последующей работы.
Эту задачу решают ETL-инструменты — от англ. Extract, Transform, Load — но, как правило, они дорогие и требуют хорошего уровня подготовки. Tableau решает сделать ETL-инструменты доступными и понятными; может быть даже ориентированными на начинающих пользователей, которые хотят быстро решать свои ежедневные задачи.
Название нового ETL-продукта от Tableau — Tableau Prep. Интерфейс Tableau Prep внешне похож на Tableau Desktop. Поэтому процесс адаптации к новому продукту у текущих пользователей можно назвать простым.
Итак, ресурсный пул таков:
НАБОРЫ ОТ TABLEAU: очень эффективным является ознакомление на самой ранней стадии работы с продуктом с короткими видео, которые подготовлены по тематикам самой компанией Tableau. Также очень хорошо помогает работа со структурированной Базой Знаний вопросов и ответов, а также с бессмертным набором онлайн документации, которая позволяет быстро находить ответы на вопросы. Описание только функциональности Tableau Desktop занимает более 1000 страниц, и не каждый практик Tableau работает со ВСЕМИ функциями и возможностями продукта. Поэтому, мы будем с вами двигаться по тем темам, без которых сложно выстроить системную работу. Мы освоим их в первую очередь.
РАЗБОР РАБОТ ДРУГИХ СПЕЦОВ: у Tableau существует совершенно потрясающие сервисы для комьюнити специалистов по всему миру, где люди из различных стран, отраслей и функциональных подразделений бизнесов, а также некоммерческих организаций могут делиться своими работами. У большинства работ есть возможность загрузить на свой компьютер Рабочую книгу в которой были сделаны визуализации и разобрать все элементы для понимания механизмов, подходов и используемых данных. Мы подобрали для Вас примеры интересных работ, на основе которых вы сможете улучшить свои навыки проектирования визуализаций
БЛОГИ и ПАРТНЕРСКИЕ РАЗРАБОТКИ: с Tableau работают тысячи партнеров по всему миру, и в их чисто входят как крупнейшие системные интеграторы, так и талантливые эксперты по визуализации данных, фрилансеры и дата журналисты, которые делятся своими наработками и открытиями по использованию Tableau. Лучшие блоги будут доступны для вас из наших подборок. Отслеживание публикуемых там статей и материалов даст вам возможность применять проверенные методы в вашей профессиональной сфере.
КНИГИ: мы считаем что это один из наиболее системных форматов для обучения работе с Tableau, хотя и не столь оперативный как блоги. Каждая книга по Tableau это работа не одного года и иногда целых коллективов людей. Все книги сильно отличаются по аудитории, на которую рассчитаны, по сферам применения, по подаче материала и множеству других параметров. Мы подобрали для Вас библиотеку книг из открытых источников для персонального некоммерческого использования. Будем рады поделиться своими комментариями и рецензиями, а также сделать ссылки на наиболее интересные и практичные работы.
ТРЕНИНГИ: сколько бы вы ни читали статей, общение с живым специалистом позволит вам соединить все точки вместе, системно взглянуть на ваш опыт и разработать следующие шаги для повышения мастерства. Вы можете выбрать как онлайн форму обучения с обратной связью на таких площадках как Coursera, Udemy или Pluralsight, так и очные формы проводимые как самой компанией Tableau (например групповые, индивидуальные, или во время ежегодных конференций) так и партнерами (например Interworks, InformationLab, DataYoga).
Остальное вам даст ПРАКТИКА, ПРАКТИКА, ПРАКТИКА. Берите свои данные, открытые данные или спросите о задачах визуализации данных у своих коллег и пробуйте делать шаги самостоятельно. Хорошим подспорьем являются различные инициативы типа MakeoverMonday