Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Те, кто пробовал разные пакеты, давайте обменяемся мнениями по каждому из продуктов. 1. Юзабилити 2. Функциональная насыщенность 3. Графическое обеспечение 4. Глючность и корректность расчетов 5. Корректность работы с внешними источниками данных. 6. Удобство работы с макросами и скриптами.
Также неплохо сравнить различные функции по бесплатным аналогам. Например есть бесплатные специализированные программы для того же кластеринга.
Насколько важно для вас управление из меню и управление через скрипты?
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Пробовал Statistica и SPSS Много работал в обоих. SPSS почти по всем параметрам понравился больше
Всего записей: 163 | Зарегистр. 23-02-2005 | Отправлено:15:26 28-12-2005
dosya
Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору //почти Имеет смысл рассказать про эти «почти». Что оказалось лучше в Statistica?
Всего записей: 738 | Зарегистр. 27-02-2003 | Отправлено:21:38 28-12-2005
cornborer
Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору khavylo Мысль интересная. Пришел к тем же выводам. Почти.
Всего записей: 4995 | Зарегистр. 09-12-2001 | Отправлено:06:11 29-12-2005
1. Юзабилити В SPSS намного удобнее организованы данные. Описание переменных вынесено в отдельный блок. Тоже самое сделано с синтаксисом. Удобнее организован файл с отчетом, импорт и экспорт как данных, так и результатов анализа.
2. Функциональная насыщенность Сложно сравнивать. Мне в принципе хватало и того и того.
3. Графическое обеспечение Думаю есть плюсы и там и там. Но для научных отчетов мне больше нравится графика SPSS
4. Глючность и корректность расчетов SPSS однозначно. В Statistica лично мною было замечено несколько неприятных глюков: слетали значения переменных, обрезались формульные выражения и т.п.
5. Корректность работы с внешними источниками данных. Не пользуюсь, не могу судить.
6. Удобство работы с макросами и скриптами. Только SPSS. Все организовано на порядок логичнее.
Всего записей: 163 | Зарегистр. 23-02-2005 | Отправлено:10:48 29-12-2005
cornborer
Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Я не согласен с khavylo по 1 и 4 пунктам. Юзабилити у Статистики все-таки получше(ИМХО), а по корректности расчетов они, естественно, идентичны. Но есть еще п. 7. В нем как раз и зарыта та собака из-за которой мне пришлось уйти от Статистики. При апгрейде с 5-й на 6-ю, а затем на 7-ю версии Статистики оказалось, что новая версия не открывает файлы, сделанные в предыдущей версии! Иными словами вам не удастся отредактировать рисунок (скажем перевести русский язык на английский) или еще что-либо в сделанном ранее файле!
Всего записей: 4995 | Зарегистр. 09-12-2001 | Отправлено:01:14 30-12-2005
Tour19
Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Tour19 Я может быть не акцентировал, что имел в виду рисунки. 7-я версия не открывает файлы, сделанные в 6-й. И такая же ситуация с файлами, сделанными в 5-й версии, если их открывать в 6-ке. Причем такая картина не только на одной машине, а на всех. Согласитесь, это не есть хорошо.
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Что значит рисунки? Если речь идет о файлах графиков (расширение stg), то только что сохранил в 6-й три различных графика (2D,3D,комбинированный) и все прекрасно открылось в 7-й.
Всего записей: 45 | Зарегистр. 07-04-2005 | Отправлено:13:10 01-01-2006
dosya
Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору 1. Юзабилити Наверное дело привычки. Если пользоваться менюшным интерфесом, а не скриптами, то я привык к Статистика. Мне удобнее использовать общие настройки для группы расчетов. Мне не нравится в SPSS output вообще. У меня никогда не помещаются данные в таблицу, надо входить в режим редактирования, чтобы растянуть ячейки. Это долго и муторно. Экспорт в SPSS также не нравится. Но речь не только об этих двух пакетах. Мне также нравится для базовых вычислений NCSS, особенно хорошая часть PASS. Но в силу непривычности реализации и в силу отсутствия кириллицы (выход есть конечно) я редко пользуюсь этим хорошим пакетом. В SPSS нравится visual bandler, для разбиения вариационного ряда, суперудобно. Ввод данных нравится также в SPSS, больше нигде не видел выпадающих списков. Также нравится в SPSS работа с дубликатами и прочие сервисные штучки.
2. Функциональная насыщенность Text mining, neural есть только в Statistika. В NCSS более подробный отчет по кластерингу и масса тестов, адапртированных совсем недавно (только почитайте документацию). В SPSS больше базовых вычислительных функций (например date.xweek) для синтакса. То, что мне пришлось писать в Statistika несколькими функциями, в SPSS выполняется одним движением.
3. Графическое обеспечение Для отчетов и графиков у меня есть куча других пакетов. Но стандартный SPSS чего-то мне не покатил. Не знаю почему. Есть deltagraph, grapher, sigmaplot. Вот их и юзаю. Реже Statistika.
4. Глючность и корректность расчетов Глючат все. Правда считает быстрее однозначно Statistika.
5. Корректность работы с внешними источниками данных. Пользуюсь. Только в Statistika можно получить корректно данные из русского Excel.
6. Удобство работы с макросами и скриптами. Только SPSS. Но мне не трудно работать с макросами в статистика, т.к. я хорошо знаю синтакс VBA. В тоже время нифига не могу понять в SPSS VBA.
Всего записей: 738 | Зарегистр. 27-02-2003 | Отправлено:17:41 01-01-2006
cornborer
Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Tour19 Сохранил в отдельном файле или как объект в статье, например, сделанной в Ворде или в таблице Экселя? Редактировал stg перед сохранением? Например, менял палитру, надписи, соединял в один файл несколько рисунков?
Сейчас у меня дома нет 7-ки (снес). Посему вот только что еще раз проверил открытие своих файлов stg, сделанных в 5-ке, в 6-й версии Статистики. Сначала появляется предупреждение, что рисунок может открыться криво, а затем-таки и открывается действительно криво. И так в 3 случаях из 4. Червертый рисунок просто не открылся вообще.
Кстати, попытался еще разик открыть несколько файлов sta, сделанных в свое время в 5-ке. Не открылся ни один (из 3 навскидку).
Сравнение программных продуктов для анализа данных: R, MATLAB, SciPy, MS Excel, SAS, SPSS, Stata
Википедия нам подсказывает, что на сегодняшний день для анализа данных, в частности, статистической обработки уже разработаны десятки программных продуктов. Рассмотрим кратко наиболее популярные среди них.
Наш коллега в аналогичном обзоре предложил разделять упомянутые программные продукты на две большие группы:
Уже год работаю в Python. Это очень круто! Изучайте Python!
Я провожу занятия в Учебном центре Совета рынка, в частности, читаю лекцию об инструментах прогнозирования. Кроме указанных выше продуктов я рассматриваю RapidMiner, KNIME, Weka, Python. Первые три инструмента стоит отнести ко второй группе, последний к первой.
Конечно, я не имею широкого опыта работы с каждым из них. Свое мнение и впечатление я составила при помощи просмотров роликов на youtube.com. В сети масса материалов о преимуществах и недостатках той или иной платформы для анализа данных в виде видео роликов. В основном на английском языке, например, Introduction to RapidMiner Studio. Смотрите, вникайте, выбирайте!
R — объектно-ориентированный open source язык программирования для статистического анализа в финансовом секторе.
Достоинствами языка являются его
Согласно википедии, в части анализа временных рядов R имеет встроенную поддержку ARIMA, GARCH, Unit root test, Cointegration test, VAR, Multivariate GARCH.
Начала пользоваться R в январе 2015 года, так как на работе встал вопрос перехода на лицензионное программное обеспечение. Скачала R и R Studio и влюбилась в этот инструмент уже через неделю. Платформа блестящая!
Во-первых, не составило труда найти набор обучающих видео роликов. После двух часов просмотра начала самостоятельно писать код. Далее к обучающим материалам обращалась уже с конкретными вопросами, а также за примерами и пояснениями к функциям. Сложилось впечатление, что пользоваться R очень просто и обучение проходит молниеносно. Обращаю ваше внимание на то, что лучшие обучающие материалы всегда на английском!
Во-вторых, никакой глубокой объектно-ориентированности a la Java в R и в помине нет. Функции на заданную тему сложены в пакет функций, обращение к отдельным идет через точку. И все. Пусть вас не пугают намеки на объектно-ориентированность!
В-третьих, пакетов функций тьма тьмущая, на все лады и ряды. Найти нужный вариант совсем просто, так как материалов в сети просто завались. Лично я влюбилась в пакеты plot3D. Подключение пакета осуществляется одной строкой library(plot3D) и готово! Далее можно использовать все, что в него вложено.
В-четвертых, ориентации на финансовый сектор в R также нет. Это какие-то выдумки публики! Да, он применяется для анализа рыночных данных, но вероятно не потому, что он на эту предметную область заточен, а потому, что он очень удобен!
За пару недель использования R стал мною также любим как MATLAB, в котором работала к тому моменту уже 7 лет. Думала, что будет неудобно, что уже сформировались привычки, которые будут мне мешать эффективно работать с чем-то, отличным от MATLAB. Однако на мое удивление практически все мне показалось очень-очень удобным!
К недостаткам R отнесу отвратительный bedugger. Ждем-с, чтобы для R Studio разработали человеческий bedugger, тогда всеми миру будет счастье! Также могут возникнуть сложности с большими объемами данных, многие функции R работают не слишком быстро. Имейте в виду, что большой объем — это несколько миллионов значений.
Итого. Всем, кто выбирает инструмент анализа для изучения, кто только начинает заниматься данной областью я настоятельно рекомендую R. Это легко, просто, удобно, бесплатно! А ваша рыночная стоимость будет неизменно расти, так как специалисты со знанием R становятся все более и более востребованными.
MATLAB
MATLAB — программный продукт, нацеленный на разработку и отладку алгоритмов расчета. MATLAB применяется, главным образом, в инженерных расчетах.
Бесплатным аналогом MATLAB является система Scilab. Кроме того, довольно давно ведется разработка высокоуровневого языка программирования GNU Octave, совместимого с MATLAB, который позволяет использовать операторы C++ при написании кода.
SciPy
SciPy — это библиотека математических функций для языка программирования Python. Высказывается мнение, что «в терминах подхода и функциональности, SciPy наиболее близкое к MATLAB’у решение, однако менее зрелое».
MS Excel
MS Excel — знаменитая и, вероятно, самая популярная программа для работы с электронными таблицами при помощи графического интерфейса.
Мой комментарий. MS Excel — программа для бухгалтерии и построения графиков. Ни о каких мало-мальски серьезных математических алгоритмах говорить в рамках использования Excel просто нельзя.
SAS — большая и сложная система для статистической обработки данных.
Мой комментарий. Я работала с SAS в НП «АТС» и занималась анализом небаланса РСВ и небаланса БР. Для таких задач, которые требовали подключения к 3-5 базам данных с последующей консолидацией значений на громадных массивах (таблицы до нескольких миллионов строк), это отличный инструментарий. Код, написанный на SAS macro, выглядит ужасно нечитабельно, его невозможно поддерживать, он недостаточно гибок даже для простых математических преобразований. А специалистов по SAS днем с огнем не сыщешь.
Википедия нам подсказывает, что SAS, так же как и R, имеет встроенную поддержку ARIMA, GARCH, Unit root test, Cointegration test, VAR, Multivariate GARCH.
SPSS Statistics — компьютерная программа для статистической обработки данных для проведения прикладных исследований в социальных науках. Название говорит само за себя! Комментарий пользователя: «По моим впечатлениями SPSS используют люди, которые хотят выполнять общепринятый статистический анализ наиболее простым путем».
Мой комментарий. Я знаю, что курсы по SPSS проводятся в ВШЭ для студентов и аспирантов гуманитарных специальностей. Моя подруга, выпускница кафедры политологии, считает, что этот инструментарий ей очень подходит для ее задач.
В википедии сказано, что из всего арсенала по анализу временных рядов SPSS имеет встроенную поддержку только моделей ARIMA.
Stata
Stata — программный пакет для анализа данных в сферах экономики, социологии, политики, биомедицины и др. Относительно дешевый аналог SPSS.
В части анализа временных рядов Stata имеет встроенную поддержку: ARIMA, GARCH, Unit root test, Cointegration test, VAR, Multivariate GARCH.
Резюме
Программный продукт с пользовательстким интерфейсом (Stata, SPSS, MS Excel) или язык программирования (R, SciPy), или смесь графического приложения и языка программирования (MATLAB, SAS) — это инструмент в руках аналитика. Выбирая инструмент для решения задачи, необходимо учитывать:
Меньшая гибкость Stata, SPSS, MS Excel требуют меньших денег и времени на обучение; большая гибкость предоставляется бесплатно, но требует самой высокой квалификации специалистов. Баланс достичь несложно, однако результат будет зависеть от квалификации аналитика, а не от выбранного инструмента. Главным инструментом прогнозирования является голова!
Уже год работаю в Python. Это очень круто! Изучайте Python!
Система SAS
Упоминание о использовании системы SAS занимает одно из ведущих мест в публикациях, посвященных исследованию качества жизни. Алгоритмы шкалирования опросников зачастую распространяются в виде командного скрипта на встроенном языке системы. Система SAS известна с 1976 г. и способна работать под управлением практически любой операционной системы (ОС). Установка SAS на компьютер приводит к инсталляции своей собственной операционной системы, которая, однако, способна обмениваться данными из приложений, работающих под управлением других ОС.
SAS включает свыше 20 различных программных продуктов, объединенных друг с другом «средствами доставки информации» (Information Delivery System или IDS, так что весь пакет иногда обозначается как SAS/IDS). Под понятием IDS подразумевается, что пользователю SAS достаточно поставить на свой компьютер кроме ОС систему SAS и этим ограничиться для 100% информатизации деятельности (все остальные функции типа задач, решаемых на основе Excel, Word, любой из СУБД и др. полностью возьмет на себя SAS/IDS). Традиционно сложилось, что основными отечественными пользователями системы являются предприятия ВПК, крупные бизнесмены (некоторые банки, включая Центробанк, биржи, торговые фирмы), некоторые атомные станции, крупнейшие медицинские и геофизические центры, крупные государственные структуры.
Основным достоинством SAS является непревзойденная мощность по набору статистических алгоритмов среди универсальных пакетов. Кроме того, SAS предоставляет пользователю возможность подключения собственных оригинальных алгоритмов. Использованием SAS возможно решить практически любые задачи как систематизации данных, так и практически любого вида статистического анализа. Однако, высокая стоимость системы и малая распространенность ее в России делает ее малоизвестной среди отечественных специалистов, занимающихся исследованием качества жизни.
Пакет SPSS для Windows
Пакет SPSS предназначен в первую очередь для статистиков-профессионалов. Он включает развитый аппарат статистического анализа, соизмеримый по мощности с SAS. Программу SPSS для Windows считают в настоящее время одним из лидеров среди универсальных статистических пакетов. Алгоритмы шкалирования опросников качества жизни распространяются также в виде скриптов на языке SPSS, причем научиться самостоятельно писать подобные алгоритмы способен даже специалист без начального программистского образования. SPSS имеет удобные графические средства (более 50 типов диаграмм), а также развитые средства подготовки отчетов. Аналитические параметры отображаются на экране в виде простых и понятных меню и диалоговых окон. Новая контекстно-ориентированная справочная система содержит пошаговые инструкции для наиболее важных операций. В литературных источниках, посвященных исследованию качества жизни, упоминания об использовании SPSS встречаются практически наравне с упоминаниями о SAS.
Универсальная статистическая система SYSTAT
Пакет MINITAB
Пакет MINITAB развивается более 20 лет и широко известен в США, где он является одним из основных учебных пакетов. Пакет также работает на компьютерах Macintosh. MINITAB хорошо продуман по разделу описательной (дескриптивной) статистики, хорошо сконструирован и управляется с помощью удобного меню, или, по желанию пользователя, через команды, составлять которые помогают диалоговые окна пакета. Часто используемые команды можно запускать по их первой букве. Общее число команд превышает 200. Можно составлять специальные макросы для выполнения последовательностей команд.
Импорт/экспорт данных из других Windows-приложений делается через стандартный буфер обмена. В пакете имеются разнообразные возможности по управлению данными.
Пользователь Minitab при исследовании качества жизни может легко и быстро решать практически все типовые задачи, в основном из области получения описательных статистик и сравнения групповых средних, анализа временных рядов. Если на этапе создания и валидации опросника исследования качества жизни требуется применение методов многомерной статистики, то Minitab позволяет находить главные компоненты или же проводить стандартный линейный или даже квадратичный дискриминантный анализ, использовать алгоритмы факторного и кластерного анализа. Кроме того, Minitab позволяет получать множество хороших и сложных полноцветных графиков. В плане характеристики мощность Minitab достаточно силен и разнообразен, поэтому говорят, что первые четыре буквы пакета скорее надо поменять на Maxi.
Пакет Statistica 6.0
Ряд авторов считает, что пакет Statistica является хорошо сбалансированным по соотношению «мощность/удобство». Наличие достаточно широкого спектра функциональных алгоритмов делает его достаточно привлекательным для статистиков-профессионалов. В частности, он включает в себя ряд непараметрических методов анализа, методы многомерного анализа: дискриминантного, факторного кластерного, логлинейного и др. В области исследования качества жизни Statistica 6.0 предоставляет возможности анализа шкал и пунктов, а также обладает развитым блоком анализа мощности и необходимого количества наблюдений.
Средства манипулирования исходными данными в пакете Statistica хорошо развиты. Данные относительно легко отредактировать, можно создавать новые переменные («признаки»), выбирать отдельные наблюдения или «вырезать» подмножество данных по строкам и/или по столбцам таблицы «объект-признак». Благодаря обширной панели инструментов, для выполнения большинства манипуляций достаточно несколько щелчков мышки, так как почти для всех функций пакета здесь имеются пиктограммы.
Сильной стороной пакета является графика и средства редактирования графических материалов. В пакете представлены сотни типов графиков 2D или 3D, матрицы и пиктограммы. Предоставляется возможность разработки собственного дизайна графика.
Средства управления графиками позволяют работать одновременно с несколькими графиками, изменять размеры сложных объектов, добавлять художественную перспективу и ряд специальных эффектов, разбивку страниц и быструю перерисовку. Например, 3D-графики можно вращать, накладывать друг на друга, сжимать или увеличивать. Передовая анимационная техника позволяет увидеть на графиках, какие точки изменились под влиянием изменений в одной из переменных.
Российский статистический пакет STADIA
Пакет STADIA является единственным российским статистическим пакетом, представленном на рынке, который можно отнести к классу универсальных пакетов, то есть в нем представлены все самые распространенные методы статистического анализа данных от описательной статистики и проверки различных гипотез до анализа временных рядов и контроля качества, а также многомерных (факторный, кластерный, дискриминантный анализ, шкалирование) и непараметрических методов анализа. Таким образом, пакет подходит для решения практически всех задач, встречающихся в исследовании качества жизни.
Пакет STADIA, в отличие от SAS и SPSS, не поддерживает обработку миллионов наблюдений, но прекрасно справляется с данными выборочных обследований нескольких сотен или тысяч респондентов. Пакет ориентирован на конкретные статистические расчеты и построение сопутствующих графиков во всех областях прикладной статистики, снабжая пользователя попутно всей необходимой информацией о работе статистических процедур.
В настоящее время пакет используется в учебном процессе и научно-практической работе более чем в 150 университетах России, включая 17 университетов медицинского профиля. Среди пользователей пакета не только ведущие медицинские центры страны (НИИ им. Сербского, НИИ педиатрии РАМН, НИИ дефектологии, институт медико-биологических проблем, НИИ медицинского приборостроения и др.), но и поликлиники, больницы, медсанчасти городов: Москвы, Самары, Перми, Тулы, Уфы, Липецка, Архангельска, Кисловодска, Оренбурга, Бердянска и др. Пакет STADIA простой в освоении, недорогой (профессиональная версия стоит 500 у.е.) и очень мощный инструмент статистического анализа данных ограниченных объемов. Он учитывает уровень статистической подготовки российского пользователя, позволяет быстро найти необходимый метод обработки данных, представить результаты анализа в табличной и графической формах и продолжить их оформление в других средствах среды Windows (текстовых и графических редакторах).
STATGRAPHICS 5.1 for Windows
STATGRAPHICS включает более 250 статистических процедур, применяющихся в бизнесе, экономике, маркетинге, медицине, биологии, социологии, психологии, на производстве и в других областях. Каждой группе процедур соответствует собственное меню. Результаты представляются в табличной форме или на удобных для восприятия графиках.
Версия 5.1 обогащена диалоговой системой ввода данных из других приложений и выбора методов анализа. Уникальной особенностью STATGRAPHICS является процедура регрессионного анализа, где представлено сравнение полученной регрессионной зависимости с альтернативными моделями. При исследовании статистических связей между показателями качества жизни и клинико-лабораторными данными этот модуль может оказаться неоценимым.
Модуль Statistical Advisor кратко поясняющий суть любого проведенного анализа оказывает помощь в интерпретации результатов. Таким образом, STATGRAPHICS является достаточно полезным программным продуктов для исследования качества жизни, доступным как для начинающего исследователя, так и для совершенствующегося эксперта.
