Визуализируй это! Облако слов на Python
Создаём простую и красивую инфографику из странички на «Википедии».
В любой непонятной ситуации дата-сайентист визуализирует данные: это, среди прочего, облегчает поиск инсайтов и формулирование гипотез для проверки.
«Облако слов» — визуализация текстовых данных на стыке исследовательского анализа, инфографики и дата-дизайна. Это самый первый и быстрый взгляд на большие и слабо структурированные тексты: художественные, научные, информационные.
Главные причины использовать облако слов:
Мы будем работать в блокноте Google Colab — то есть прямо в браузере, код напишем на языке Python, а текст возьмём из «Википедии». Если что-то пойдёт не так — всегда можно свериться с нашим блокнотом: все ссылки есть в конце статьи.
С некоторых пор утверждает, что он data scientist. В предыдущих сезонах выдавал себя за математика, звукорежиссера, радиоведущего, переводчика, писателя. Кандидат наук, но не точных. Бесстрашно пишет о Data Science и программировании на Python.
Подготовка к работе
Для начала работы в Colab достаточно войти в свой Gmail и запустить приветственный блокнот в браузере. Не помешает и прочитать пару наших статей: про Colab и про Python-минимум для дата-сайентиста.
После запуска колаба нужно установить библиотеку для работы с «Википедией» и библиотеку stop-words, в которой содержатся списки стоп-слов для анализа текстов на разных языках.
Запустите каждую команду в отдельной кодовой ячейке: так проще отследить результат выполнения.
Что такое облако слов?
Облако слов представляет собой изображение составленное на основе текста. Воспользовавшись сервисом Word’s Cloud вы получите картинку, в формате png, составленную из слов содержащихся в предоставленном вами тексте. Слова в облаке будут разного размера и цвета. Размер и цвет будет зависеть от частоты появления данного слова в тексте.
Зачем мне облако слов?
Возможности в использовании облака слов ограничиватся только вашей фантазией. Привлекательно выглядящие картинки могут использоваться во многих случаях. Давайте немного пофантазируем и придумаем вместе с вами способы их использования. Ко мне приходит сразу мысль об изображении комплиментов для вашей второй половинке в виде сердечка. Подберите самые красивые и трогательные слова для нее, а WordsCloud красиво их оформит.
Если у вас есть свой интернет-блог вы можете использовать наш сервис для оформления ваших статей, используя облака в качестве изображения к статье.
Облако слов можно использовать как принт для сувенирной продукции: кружек, футболок, чехлов для телефонов. Такой необычный рисунок точно подчеркнет вашу индивидуальность.
Почему стоит использовать Word’s Cloud?
Давайте рассмотрим плюсы сервиса. Простой, удобный и интуитивно понятный интерфейс будет прост в использовании. В нем присутствует настройка цвета фона и текста, а также возможность выбора различных трафаретов для придания разнообразных форм облакам из слов. Все это способствует созданию интересного результата за минимальное количество времени.
Word cloud что это
С облаком слов или тегов вы наверняка уже не раз встречались в сети Интернет. Как правило, такое облако «висит» на сайте в боковой колонке, а при наведении курсора на него слова начинают или увеличиваться в размерах, или «вращаться» вокруг невидимой нам оси.
Облако слов или тегов (англ. tag cloud, word cloud, wordle ) — это визуальное представление списка категорий или тегов, также называемых метками, ярлыками, ключевыми словами и т.п. Принцип устройства таких облаков очень простой. Поскольку каждое слово является гиперссылкой, то чем чаще оно встречается на сайте, тем больший размер принимает в облаке. Встречаются облака, в которых важность слова подчеркивается цветом. Таким образом, облако слов всегда подвижно и изменяется в размерах и по цвету по мере публикации новых материалов на сайте.
Благодаря удобству использования и внешней привлекательности облака слов часто используют в блогах и на тематических сайтах.
Первоначально облака слов выступали только как средства организации гиперссылок. Постепенно их функции видоизменялись, и сегодня область их использования гораздо шире.
Во-первых, словами, из которых формируется облако, теперь могут быть не только гиперссылки. Вы можете взять любой текст и с помощью специальных программных средств превратить его в облако слов. Во-вторых, облака слов нашли применение, помимо сайтостроения, во многих других сферах, в том числе в сфере образования.
Каким образом учитель может использовать облака слов в своей работе?
Существуют различные способы:
Приведём несколько конкретных примеров использования облака слов учителями:
Сервисы для создания облака слов
1. Сервис Wordcloud.pro позволяет создавать интерактивные облака из слов. С помощью облака слов можно организовать поисковую страницу вашего сайта или же использовать «облако» в дальнейшей работе как картинку, сохранив в форме графического файла. Любой текст или просто набор слов легко превращается в облако тегов. Несомненным плюсом сервиса является его русскоязычный интерфейс.
Облако тегов формируется двумя способами: 1) из заданных вами слов или текста, 2) из предложенного набора слов на сайте. Сервис позволяет создать облако тегов в форме слова или образа. Возможности ограничиваются лишь вашей фантазией.
Для начала работы регистрация не требуется.
2. Сервис Tagul.com, как и предыдущий сервис, позволяет создать облако слов из текста, введенного пользователем или с web-страницы по указанному адресу.
Облако может иметь различную форму и цветовое решение. Каждое слово облака представляет собой гиперссылку для поиска в Google.
Для начала работы необходимо зарегистрироваться в сервисе или войти, используя аккаунт социальных сетей. Сервис поддерживает кириллицу.
Созданным облаком можно поделиться, используя ссылку, а также можно получить код для встраивания облака на страницы сайтов, блогов.
Сервис позволяет сохранить облако слов не только как растровое изображение (расширение PNG), но и как векторное (SVG). Также вы можете просто распечатать облако на принтере.
3. Сервис Wordclouds.com является бесплатным онлайн-генератором облака слов или тегов из текста, предоставленного вами. В облаке выделяются более крупно слова, которые чаще всего встречаются в исходном тексте. Вы можете настроить облако, используя различные шрифты, макеты, фоны и цветовые схемы.
В сфере образования этот сервис можно использовать для подведения итогов опросов, игр, мероприятий. Можно обработать текст и определить частотность того или иного слова.
Созданные изображения можно сохранить в галерее, сохранить как картинку на жестком диске компьютера, распечатать на принтере. Также можно добавить ссылку на облако на свой сайт, блог или поделиться им с друзьями.
Интересное применение WordCloud
Всем привет! Хочу продемонстрировать вам, как я использовал библиотеку WordCloud для создания подарка для друга/подруги. Я решил составить облако слов по переписке с человеком, чтобы выделить основные темы, которые мы обсуждаем.
Выгружаем переписку
Для начала нам нужно будет выгрузить переписку из ВК. Как это сделать? Очень просто! Я пользовался расширением для браузера «VkOpt». Скачиваем его и устанавливаем. Теперь заходим в диалог с человеком, переписку с которым хотим скачать.
Наводим на три точки и выбираем «сохранить переписку». Далее будет окно с выбором типа файла. Я предпочитаю json.
Обработка переписки
Импортируем json и открываем наш файл с перепиской.
Теперь давайте выведем его и посмотрим как он выглядит.
Ну в общем всё ясно, массив таких вот сообщений. Каждый элемент соответствует одному облако-сообщению.
Давайте теперь вытащим из каждого сообщения его текст и разделим этот текст на слова.
WordCloud
Почти всё готово, теперь давайте воспользуемся библиотекой WordCloud и построим наше облако слов.
Убираем стоп-слова
Так, и что же это? Не очень похоже на оригинальный подарок. Естественно всё не так просто. Дело в том, что в нашей речи и сообщениях встречается куча стоп-слов. Собственно, эти слова вы и видите на картинке. Они встречались в диалоге чаще всего, поэтому алгоритм выделил их крупным шрифтом.
Теперь наша задача: почистить строку от ненужный слов. Для этого скачаем словарик стоп-слов русского языка(https://snipp.ru/seo/stop-ru-words). Он представлен как обычный txt-шник, а значит прочитаем его и разделим по переносу строки.
Далее создадим массив clear_data, куда будем заносить слова из массива data, которые не содержатся в списке стоп-слов(т. е. нормальные слова).
А теперь формируем нашу большую строку, только теперь из нового массива и заново строим WordCloud.
Результат на лицо. Начинает проявляться оттенок переписки с тем или иным человеком. Ну и, естественно, куда же мы русского могучего, он тоже начинает проявляться на изображении, приходится его замазывать 🙂
Переходим на ручное управление
Так, вроде стоп-слова убрали, но картинка всё равно не выглядит привлекательной. В выборке остались различные выражения, которые мы часто используем в переписке. Например, мои слова паразиты: «ок», «ща», «крч». Что делать? Все просто. Открываем наш текстовик с русскими стоп-слова и просто вписываем туда слова, которые не должны присутствовать в новом облаке слов(не забудьте сохранить текстовик, перед повторным чтением).
P.S. На самом деле есть и второй вариант удалить слова паразиты. Создадим массив, который заполним словами паразитами, и подадим его как параметр в WordCloud. Тоже хороший вариант, но мне больше нравится с текстовиком.
Таким образом, мы всё глубже и глубже погружаемся в чертоги нашей переписки. Обычно появляются слова, соответствующие темам, которые вы и ваш друг часто обсуждаете.
Форма облака слов
Теперь давайте воспользуемся одной фишкой WordCloud. Оформим наше облако слов в виде какой-то картинки. Я выберу банальное сердечко)
Подадим в функцию нашу картинку как параметр mask.
Вот такая штука у меня получилась.
По-хорошему, нужно удалить ещё около десятка слов, для более-менее приятной картины, но я уверен ту вы справитесь сами)
Я нарисовал облако слов, которое отражает тональность переписки с тем или иным человеком. Дополнительно, в облаке содержатся слова, которые соответствуют тем темам, которые вы часто обсуждали в диалоге. Как вариант, можно сохранить эту картинку, распечатать, поставить в рамочку и вручить как подарок вашему собеседнику. Ему будет очень приятно, ведь всегда интересно посмотреть на то, как оценивает вашу переписку алгоритм)
Современные технологии в преподавании: Word Clouds
Волкова Елена Михайловна,
Нахтармина Тамара Михайловна,
Хиз Ильсияр Рафиковна
Модернизация современного языкового образования в школе требует поиска эффективных путей активизации процесса обучения иностранному языку. В своей работе мы стараемся применять такие приемы обучения, которые способствуют поддержанию интереса учащихся к иностранному языку, помогают вовлечь в иноязычную речевую деятельность всех школьников, повышают эффективность урока.
Прием работы с word cloud необычен, забавен, весьма полезен для визуалов (тех, кто воспринимает большую часть информации с помощью зрения). С одной стороны, это просто возможность создать красивую картинку для доклада или презентации. С другой — полезный в обучении иностранным языкам инструмент, которому можно найти массу интересных применений.
В своей работе мы используем эти «облака» для достижения различных целей.
I. Warming up/ Prediction
— Организовать «мозговой штурм» в результате, которого ученик может сформулировать содержание по ключевым словам тему урока или проблему, над которой ему предстоит работать.
III. Введение и первичное закрепление лексического материала.
— На этапе введения новой лексики можно составить «облако» из слов одной темы, например, названий еды, показывая картинки, попросить детей найти соответствующие названия из » облака«.
— На этапе тренировки использования новых лексических единиц нашим ученикам очень нравится следующая игра — найти в облаке слова по какой-либо теме. (Например, для восьмиклассников при изучении темы «The World of Shopping» было составлено облако по 3 темам: фрукты/ овощи, контейнеры, магазины и дети находят лексику сначала по одной теме, потом по второй и третьей.)
— Ученики могут выделять наиболее важные слова в текстах для их дальнейшего запоминания или анализа, использовать полученные облака слов в качестве основы (плана) рассказа или презентации.
IV .Для отработки грамматического материала:
— из «облака слов» нужно составить длинное предложение, содержащее грамматическую структуру, которую Вы хотите повторить (изучить) или проверить (I have never been so happy in the whole life) или порядок слов в предложении.
— сделайте «облако слов» из вопросов, объединяющих определенную тему по грамматике для повторения, f.e. conditionals
— учащиеся должны составить вопросительные условные предложения, используя все слова из «облака», сравнивая свои предложения с предложениями партнера или ученика из другой группы.
— Каждый ученик из пары или группы находит другого ученика, задает свои вопросы, в то время как Вы контролируете и делаете пометки для последующего обсуждения.
V. Для работы с текстом для чтения или аудирования
— Показать» облако » слов, взятых из незнакомого текста. Выделяя курсором ключевые слова, можно предсказать идею текста, тему.
-Создать облако на основе текста по теме, которую Вы планируете обсуждать, либо по теме, на которую кто-то из учащихся планирует делать небольшой доклад. Очень интересно сопоставить прогнозы учащихся о тексте, глядя на «облака«c фактическим содержанием текста. Далее спросить, что ученики уже знают об этом событии, почему именно те или иные слова выделены.
Этот вид работы может осуществляться как со всем классом, так и в группах (учитель может распечатать «облака» заранее и раздать их в группах).
VI. Для совершенствования речи
— Написать рассказ о себе в «word cloud». Ученики будут иметь возможность видеть ключевые слова, слушать другого ученика и представлять все то, что важно для их сверстников. Сравните слова, которые используются чаще всего мальчиками или девочками, по возрастным группам. Эти уроки желательно проводить на интерактивной доске.
Использование этого ресурса можно распространить на изучение пословиц, идиом (например, с определённым словом или на определённую тему) и просто для составления рассказов. Вместе с тем их можно использовать даже для подготовки к реализации мини-проектов.
Данные приемы мотивируют на устно-речевое высказывание, так как перед учениками есть цель; учащиеся активны при их выполнении, так как присутствует связь с личностью и мыслительной деятельностью ученика. В данных приемах есть элемент неожиданности и эвристичности.
Результативность
Использование сервиса «Облака слов» позволяет учителю разнообразить учебный процесс. Тем самым увеличивается эффективность обучения и это способствует дополнительной мотивации учащихся на уроке, формирует благоприятные условия для развития пространственного и критического мышления, аналитических способностей учащихся, умения выделять главное, развивается творчество и способность к непрерывному самообразованию. Наглядная подсказка в виде ключевых слов — это замечательный способ стимулировать беглую речь.