data mining машинное обучение
В чем разница между наукой о данных, анализом данных, большими данными, аналитикой, дата майнингом и машинным обучением
В последнее время слово big data звучит отовсюду и в некотором роде это понятие стало мейнстримом. С большими данными тесно связаны такие термины как наука о данных (data science), анализ данных (data analysis), аналитика данных (data analytics), сбор данных (data mining) и машинное обучение (machine learning).
Почему все стали так помешаны на больших данных и что значат все эти слова?
Почему все молятся на биг дату
Чем больше данных, тем сложнее с ними работать и анализировать. Математические модели, применимые к небольшим массивам данных скорее всего не сработают при анализе биг даты. Тем не менее в науке о данных большие данные занимают важное место. Чем больше массив, тем интересней будут результаты, извлеченные из глубоких недр большой кучи данных.
Преимущества больших данных:
Наука о данных
Наука о данных это глубокие познания о выводимых данных. Чтобы заниматься наукой о данных необходимо знать математику на высоком уровне, алгоритмические техники, бизнес-аналитику и даже психологию. Все это нужно чтобы перелопатить огромную кучу инфы и обнаружить полезный инсайт или интересные закономерности.
Наука о данных базируется вокруг строгих аналитических доказательств и работает со структурированными и не структурированными данными. В принципе все, что связано с отбором, подготовкой и анализом, лежит в пределах науки о данных.
Примеры применения науки о данных:
Аналитика
Аналитика — это наука об анализе, применении анализа данных для принятия решений.
Аналитика данных предназначена для внедрения инсайтов в массив данных и предполагает использование информационных запросов и процедур объединения данных. Она представляет различные зависимости между входными параметрами. Например, автоматически выявленные, не очевидные связи между покупками.
В науке о данных для построения прогнозируемой модели используются сырые данные. В аналитике зачастую данные уже подготовлены, а отчеты может интерпретировать практически любой юзер. Аналитику не нужны глубокие знания высшей математики, достаточно хорошо оперировать данными и строить удачные прогнозы.
Анализ данных
Анализ данных — это деятельность специалиста, которая направлена на получение информации о массиве данных. Аналитик может использовать различные инструменты для анализа, а может строить умозаключения и прогнозы полагаясь на накопленный опыт. Например, трейдер Forex может открывать и закрывать трейдерские позиции, основываясь на простых наблюдениях и интуиции.
Машинное обучение
Машинное обучение тесно связано с наукой о данных. Это техника искусственного обучения, которую применяют для сбора больших данных. По-простому это возможность обучить систему или алгоритм получать различные представления из массива.
При машинном обучении для построения модели прогнозирования целевых переменных используется некий первичный набор знаний. Машинное обучение применимо к различным типам сложных систем: от регрессионных моделей и метода опорных векторов до нейронных сетей. Здесь центром является компьютер, который обучается распознавать и прогнозировать.
Примеры алгоритмов:
Отбор данных
Сырые данные изначально беспорядочны и запутаны, собраны из различных источников и непроверенных записей. Не очищенные данные могут скрыть правду, зарытую глубоко в биг дате, и ввести в заблуждение аналитика.
Дата майнинг — это процесс очистки больших данных и подготовки их последующему анализу или использованию в алгоритмах машинного обучения. Дата майнеру нужно обладать исключительными распознавательными качествами, чудесной интуицией и техническими умениями для объединения и трансформирования огромного количества данных.
Data mining машинное обучение
Этой публикацией я открываю новый раздел на своем блоге, который будет посвящен различным алгоритмам. И большую часть этого раздела будут занимать алгоритмы машинного обучения, или, как в англоязычной литературе — Machine Learning. Начать я хочу с понимания того, что же такое алгоритм и «Машинное обучение»?
Когда мы решаем какую-либо задачу на компьютере, нам нужен алгоритм. Алгоритм — это некоторая последовательность инструкций, которые должны быть выполнены для преобразования некоторого входа к выходу.
Вход → Алгоритм → Выход
Например, мы разрабатываем алгоритм сортировки чисел. Входом для нас, в этом случае, будет исходный набор чисел, а выходом уже их упорядоченная последовательность. Для решения этой задачи мы можем применить различные алгоритмы, но, подходя к решению этой задачи разумно, мы постараемся найти наиболее эффективный, который бы использовал как можно меньшее количество программных инструкций или компьютерной памяти, а может быть, и то и другое вместе взятые.
Но при решении некоторых задач, у нас нет готового алгоритма. Например, при отделении почтового спама от обычных сообщений. В этом случае входом для нас, в простейшем случае, является просто набор символов, содержащихся в письме. А на выходе мы должны получить Да/Нет, показывающие является наше сообщение спамом или нет. Мы не знаем каким образом нам преобразовать наши входные данные к тому что должно получиться на выходе. То что является для нас спамом, меняется с течением времени, а также различно для разных людей.
Если для чего-то нам не хватает знаний — мы можем восполнить это данными. Например, мы можем собрать тысячи почтовых сообщений, которые точно знаем, что являются спамом, и мы хотели бы понять, что делает эти сообщения спамом. Другими словами, нам бы хотелось, чтобы компьютер автоматически извлек алгоритм из данных для решения нашей задачи. При сортировке чисел для нас нет необходимости «обучаться» на данных, потому что у нас уже есть алгоритмы для решения этой задачи, но существует целый ряд задач, для решения которых мы не знаем алгоритмов, но есть данные с конкретными примерами решений.
В настоящее время для нас не существует проблем хранить и обрабатывать достаточно большие объемы данных. Мы также можем получать к ним доступ дистанционно, используя различные способы передачи данных. В нашем мире очень многие устройства являются цифровыми и они фиксируют, фактически, уже готовые данные. Представьте себе, например, сеть супермаркетов, которая состоит из сотен магазинов, продает тысячи товаров на территории все нашей необъятной страны миллионам своих покупателей. Ее торговые терминалы регистрируют информацию по каждой покупке: дата, наименование товара, его количество и цена, сумма покупки и прочее. Это, наверное, гигабайты информации ежедневно. И эта сеть супермаркетов, наверняка, хочет предсказать, кто же является покупателем некоторого продукта. Алгоритм для решения этой задачи не очевиден, так как все меняется с течением времени и зависит от местоположения магазина. Сохраненные данные становится полезным только тогда, когда она анализируется и превращаются в информацию, которую мы можем использовать, например, для составления различных прогнозов.
Нам точно не известно, кто из людей хотел бы купить мороженое с определенным вкусом, или новую книгу, который выпустил какой-то писатель, посмотреть новый фильм или даже просто нажать какую-то кнопку. Если бы мы это знали, то нам не нужно было бы анализировать какие-либо данные. Мы бы просто писали программный код, решающий нашу задачу. Но так как у нас нет этих знаний, то все что мы можем — это собирать различные данные и пытаться извлечь из этих данных ответы на наши вопросы.
Мы это делаем, предполагая, что есть некоторый процесс, который объясняет данные, которые мы наблюдаем. Хотя мы и не знаем тонкостей, лежащего в основе этих данных процесса, мы знаем, что эти данные не являются случайными. Люди не ходят в магазин, покупая вещи наугад. Если кто-то купил пиво, то, наверняка, купил к нему сушеную рыбу или чипсы, летом часто покупают мороженное и прохладительные напитки. Мы замечаем, что есть определенные закономерности в данных.
Мы не можем полностью идентифицировать процесс, но мы можем построить хорошее приближение этого процесса. Это приближение не может объяснить все, но может объяснить некоторую часть данных. Мы можем обнаружить определенные закономерности. Это и есть то, чем занимается машинное обучение. Мы строим модели, которые помогают нам понять этот процесс, или же используем эти модели для прогнозирования. Если предположить, что, по крайней мере, ближайшее будущее, не сильно отличается от того момента, когда были собраны образцы данных, то мы можем ожидать, что наши будущие прогнозы будут достаточно реалистичны.
Машинное обучение — это не только задачи обработки баз данных, это также задачи искусственного интеллекта (ИИ, английский вариант — Artificial Intelligence, или AI). Чтобы стать умной, система, которая находится в условиях изменяющейся окружающей среды должна иметь способность к обучению. Если наша система может учиться и адаптироваться к таким изменениям, то нам нет необходимости предвидеть и предлагать решения для всех возможных ситуаций.
Машинное обучение помогает нам решать задачи в обработке визуальной информации, распознавании речи и робототехнике.
Машинное обучение использует статистику для построения математических моделей, потому что основной задачей является получение вывода на основе некоторого образца.
Огромна роль компьютерных наук:
В некоторых случаях, эффективность алгоритмов, с точки зрения сложности самого алгоритма и требуемых для его реализации временных затрат могут быть столь же важны как и их точность прогнозирования.
На этом у меня все. Я рассказал свое понимание терминов Machine Learning и Data Mining и их применимость в робототехнике и создании искусственного интеллекта.
Data mining и machine learning – что это и в чем между ними разница?
Ну что же, коллеги, это произошло. Пришло время признаться самим себе в этом. Искусственный интеллект активно взаимодействует с нами не только в рабочих процессах, но и в домашних делах.
Несмотря на навеянное киноиндустрией и футуристами недоверие к ИИ, пора выдохнуть и довериться ему. Ведь большинство рутинных задач можно легко вычеркнуть из вашего списка дел уже сейчас. В особенности, стоит обратить внимание на две основные технологии – data mining и machine learning.
Data mining и machine learning в основном сосредоточены на том, чтобы помогать компаниям разрабатывать инструменты принятия решений без особого участия человека. Более того, принятые решения могут стать основой для действий в том или ином направлении. Не бойтесь, контроль не потерян, вы сами можете установить лимиты свободы технологий. Да и “свобода” эта условна. Программы изначально изучают ваши привычки и разрабатывают алгоритмы принятия решений, которые могут предугадывать ваши действия, направлять к потенциально интересным для вас сферам развития или полезным лидам.
Сотни проблем решаются за доли секунды благодаря возможности провести глубокий всесторонний анализ данных, которые обычно хранятся хаотично и неструктурированно.
Звучит слишком хорошо, да? Давайте разберемся в принципе работы каждой технологии отдельно.
Чаще всего для удобства компании используют хранилища данных (data warehouses). Таким образом можно в любой момент провести нужный анализ и получить рабочие инсайты для принятия решений.
С помощью инструментов data mining вы можете провести глубокий поиск нужных данных и отыскать незаметные на первый взгляд паттерны и связи. То, с чем человеческий мозг просто физически не может справиться в одиночку.
А именно они важны в анализе закономерностей поведения потребителя и для предсказания возможного фидбека.
С технологией machine learning (с англ. Машинное обучение) дела обстоят чуть сложнее. По сути, это система программ на основе ИИ, созданная для понимания роботами природы хода человеческой мысли. Да-да, мы сами помогаем роботам поработить наше сознание! Но не все так фатально. В итоге, ученые и инженеры надеются получить механизм для принятия решений без участия человека.
На данный момент силами ИИ можно предугадать реакцию потребителя на ваши действия. Все, что вам потребуется это база данных, которую технология использует как кладезь знаний о прошлых привычках ЦА,
Также сейчас активно развивается новая технология – deep learning. Глубокое обучение пытается повторить работу мозга человека. В конце концов, ученые хотят дойти до той точки, когда в базах данных потребности и вовсе не будет. Весь процесс предсказания поведения будет автоматизирован.
Не верится? Вернемся к этому вопросу через лет 5.
Основные различия между технологиями
В итоге мы получаем свою экосистему принятия обоснованных решений. Обе технологии дополняют друг друга, использовать их поодиночке – это ограничивать их потенциал.
Кейсы использования data mining
Кейсы использования machine learning
Все это только верхушка айсберга возможностей технологий data mining и machine learning. Ныряйте глубже, изучайте и не бойтесь доверить свой бизнес в надежные руки искусственного интеллекта.
Методы Машинного обучения (Data Mining)
Доказав себе однажды, что ни один из индикаторов по отдельности или в совокупности с другими работают неудовлетворительно (по тестам от 3-х лет и более) я пришел к простейшим методам Data Mining, которые показали очень хорошие результаты. Пришла пора капнуть глубже, тут как раз и аккуратненькая подборочка, для поверхностного ознакомления, нашлась.
А вы используете в своей торговле подобные штуки?
Метод опорных векторов
Метод опорных векторов был разработан Владимиром Вапником в 1995 году [86] и впервые применен к задаче классификации текстов Йоахимсом (Joachims) в 1998 году в работе. В своем первоначальном виде алгоритм решал задачу различения объектов двух классов. Метод приобрел огромную популярность благодаря своей высокой эффективности. Многие исследователи использовали его в своих работах, посвященных классификации текстов. Подход, предложенный Вапником для определения того, к какому из двух заранее определенных классов должен принадлежать анализируемый образец, основан на принципе структурной минимизации риска. Вероятность ошибки при классификации оценивается, как непрерывная убывающая функция, от расстояния между вектором и разделяющей плоскостью. Она равна 0,5 в нуле и стремится к 0 на бесконечности.
Результаты классификации текстов с помощью метода опорных векторов, являются одними из лучших, по сравнению с остальными методами машинного обучения. Однако, скорость обучения данного алгоритма одна из самых низких. Метод опорных векторов требует большого объема памяти и значительных затрат машинного времени на обучение.
Метод k–ближайших соседей
Метод k-ближайших соседей является одним из самых изученных и высокоэффективных алгоритмов, используемых при создании автоматических классификаторов. Впервые он был предложен еще в 1952 году для решения задач дискриминантного анализа.
В основе метода лежит очень простая идея: находить в отрубрицированной коллекции самые похожие на анализируемый текст документы и на основе знаний об их категориальной принадлежности классифицировать неизвестный документ.
Рассмотрим алгоритм подробнее. При классификации неизвестного документа находится заранее заданное число k текстов из обучающей выборки, которые в пространстве признаков расположены к ближе всего. Иными словами находятся k-ближайших соседей. Принадлежность текстов к распознаваемым классам считается известной. Параметр k обычно выбирают от 1 до 100. Близость классифицируемого документа и документа, принадлежащего категории, определяется как косинус угла между их векторами признаков. Чем значение ближе к 1, тем документы больше друг на друга похожи.
Решение об отнесении документа к тому или иному классу принимается на основе анализа информации о принадлежности k его ближайших соседей. Например, коэффициент соответствия рубрики анализируемому документу, можно выяснить путем сложения для этой рубрики значений.
При монотематической классификации выбирается рубрика с максимальным значении. Если же документ может быть приписан к нескольким рубрикам (случай мультитематической классификации), классы считаются соответствующими, если значение превосходит некоторый, заранее заданный порог.
Главной особенностью, выделяющей метод k-NN среди остальных, является отсутствие у этого алгоритма стадии обучения. Иными словами, принадлежность документа рубрикам определяется без построения классифицирующей функции.
Основным преимуществом такого подхода является возможность обновлять обучающую выборку без переобучения классификатора. Это свойство может быть полезно, например, в случаях, когда обучающая коллекция часто пополняется новыми документами, а переобучение занимает слишком много времени.
Классический алгоритм предлагает сравнивать анализируемый документ со всеми документами из обучающей выборки и поэтому главный недостаток метода k-ближайших соседей заключается в длительности времени работы рубрикатора на этапе классификации.
Деревья решений
В отличии от остальных подходов представленных здесь, подход, получивший название деревья решений относится к символьным (т.е. не числовым) алгоритмам. Преимущество символьных алгоритмов, заключается в относительной простоте интерпретации человеком правил отнесения документов к рубрике. Они хорошо приспособлены для графического отображения, и поэтому сделанные на их основе выводы гораздо легче интерпретировать, чем, если бы они были представлены только в числовой форме.
Цель построения деревьев решений заключается в п
редсказании значений категориальной зависимой переменной, и поэтому используемые методы тесно связаны с более традиционными методами дискриминантного и кластерного анализа, а также нелинейного оценивания и непараметрической статистики. Обширная сфера применения деревьев решений делает их весьма удобным инструментом для анализа данных и позволяет решать как задачи классификации и регрессии, так и задачи описания данных.
Деревья решений — метод, применяемый при многоходовом процессе анализа данных и принятии решений о категориальной принадлежности. Ветви дерева изображают события, которые могут иметь место, а узлы и вершины — момент выбора направления действий. Принятие решений осуществляется на основе логической конструкции «если… то…», путем ответа на вопрос вида «является ли значение переменной меньше значения порога?». При положительном ответе осуществляется переход к правому узлу дерева, при отрицательном к левому узлу. После этого осуществляется принятие решения уже для выбранного узла.
Для более ясного понимания принципов работы деревьев решений представим следующую ситуацию. Перед нами стоит задача сортировки камней на крупные, средние и мелкие. Эти классы камней отличаются линейными размерами, и вследствие этого данный параметр может быть использован для построения иерархического устройства сортировки камней. Предположим, у нас имеется два сита, размер ячеек которых соответствует минимальному размеру крупных камней, и минимальному размеру средних камней, соответственно. Далее все камни высыпаются в первое сито. Те из них, что не прошли просеивание считаются крупными камнями, а те, что прошли – средними и мелкими. Затем камни высыпаются во второе сито. Те камни, что остались во втором сите считаются принадлежащими среднему классу камней, а те, что прошли сквозь него – мелкому.
Рассмотрим применения деревьев решений к автоматической классификации текста. В этом случае внутренние узлы представляют собой термы, ветви, отходящие от них, характеризуют вес терма в анализируемом документе, а листья — категории. Такой классификатор категоризирует испытываемый документ, рекурсивно проверяя веса вектора признаков по отношению к порогам, выставленным для каждого из весов, пока не достигнет листа дерева (категории). К этой категории (листа которой достиг классификатор) и приписывается анализируемый документ.
Метод Байеса
Метод Байеса это простой классификатор, основанный на вероятностной модели, имеющей сильное предположение независимости компонент вектора признаков [95, 96]. Обычно это допущение не соответствует действительности и потому одно из названий метода — Naıve Bayes (Наивный Байес).
Вероятностная модель метода основана на известной формуле Байеса по вычислению апостериорной вероятности гипотез. Применяя эту формулу для задачи классификации текстов, получим вероятность того, что документ принадлежит категории :
Так как знаменатель не зависит от рубрики и является константой, на практики его сокращают. Основываясь на этом, получим формулу для определения принадлежности документа к рубрикам :
Условная вероятность вычисляется как:
Для облегчения задачи вычисления этой вероятности предположим независимость компонент вектора признаков. Тогда:
Как и все вероятностные классификаторы, классификатор, основанный на методе Байеса, правильно классифицирует документы, если соответствующий документу класс более вероятен, чем любой другой. В этом случае формула для определения наиболее вероятной категории примет следующий вид:
Наивный классификатор Байеса имеет несколько свойств, которые делают его чрезвычайно полезным практически, несмотря на то, что сильные предположения независимости часто нарушаются. Этот метод показывает высокую скорость работы и достаточно высокое качество классификации [91, 96]. Его можно рекомендовать для построения классификатора, когда существую жесткие ограничения на время счета и воспользоваться более точными методами, не представляется возможны.
Метод Роше
Одним из наиболее простых классификаторов, основанных на векторной модели, является так называемый классификатор Роше. Основная особенность этого метода заключается в том, что для каждой рубрики вычисляется взвешенный центроид. Он получается вычитанием веса каждого терма векторов признаков не соответствующих рубрике документов, из весов термов векторов признаков соответствующих рубрике документов.
Пусть каждый документ рубрики будет представлен в виде вектора признаков следующим образом. Тогда рубрика будет представлена в виде вектора признаков. Для каждой рубрики вычисляется взвешенный центроид.
Таким образом, получившийся взвешенный центроид представляет рубрику в пространстве признаков. Принадлежность рубрикам неизвестного документа, определяется путем вычисления расстояния между центроидом каждой из рубрик и вектором классифицируемого документа. Если расстояние не превосходит некоторый, заранее заданный порог, документ считается принадлежащим данной рубрике.
Практическое исследования метода Роше показали, что данный метод обладает высокой эффективностью в решении задачи классификации текстов. Одной из главных его особенностей является возможность изменять вектор взвешенного центроида рубрики, без переобучения классификатора. Это свойство может быть полезно, например, в случаях, когда обучающая коллекция часто пополняется новыми документами, а переобучение занимает слишком много времени. Благодаря своей результативности и простоте метод Роше стал одним из самых популярных в рассматриваемой нами области и часто используется как базовый, для сравнения эффективности различных классификаторов.
Метод «случайный лес»
Алгоритм «случайный лес» — техника, с помощью которой можно достичь высокой точности в классификации и регрессии с минимальной настройкой параметров.
В этом методе модель классификатора строится с помощью обучающей выборки, на основе которой строится большое число независимых деревьев решений. Деревья создаются так, чтобы для каждого дерева, вместо того, чтобы рассматривать все возможные узлы, анализ проводился для маленькой группой случайно отобранных узлов. В этом случае для каждого дерева, в целях последующего анализа, выбирается лучший лист. Классификации происходит голосованием либо усреднением результатов для всех деревьев.
Случайность в этом методе присутствует в выборе примеров из обучающей выборки для построения деревьев решений, а также в выборе узлов, для которых будет работать алгоритм каждого конкретного дерева решений.
Точность классификации в методе «случайный лес» зависит от численности построенных деревьев решений, а также от их взаимной корреляции. То есть в идеальном случае для каждой рубрики мы должны построить большое количество независимых деревьев решений. Если эффективность каждого конкретного дерева решений падает или возрастает их зависимость, в этом случае снижается и точность классификации этого метода. В случае алгоритма «случайный лес», независимость деревьев решений достигается через случайность в выборе примеров из обучающей выборки и через случайность в выборе для каждого дерева узлов, по которым проводится анализ.
Метод «случайный лес» обладает множеством положительных особенностей: параллельность работы, высокая точность, быстрая обучаемость, и тенденция к отсутствию переобучаемости.
Также, его положительной особенностью является то, что он показывает высокое качество рубрикации для обучающих выборок, с малым количеством примеров. Это свойство выделяет метод «случайный лес» среди множества других алгоритмов и является чрезвычайно ценным для успешного применения методов машинного обучения.