в чем отличия и связь искусственного интеллекта и машинного обучения
Искусственный интеллект, машинное и глубокое обучение — в чём разница
Сейчас много пишут и говорят об искусственном интеллекте (ИИ). Наряду с другими связанными понятиями — такими, как машинное обучение (machine learning) и глубокое обучение (deep learning). Многие люди склонны неправильно понимать термины, используемые в контексте ИИ, поэтому данная статья призвана помочь вам различать и лучше понимать роли, которые упомянутые возможности могут играть в управлении ИТ-услугами (ITSM).
Что такое ИИ?
Как следует из названия, это созданная человеком система интеллекта, это способность машины работать и рассуждать, как человек.
ИИ работает и ведет себя, как человек. Примеры применения ИИ включают распознавание лиц, сканирование сетчатки глаза, перевод текстов и цифровую биометрию. Теперь это все чаще можно увидеть – а часто даже не увидеть, потому что всё это просто работает на заднем плане – в нашей повседневной жизни.
Что такое машинное обучение?
Машинное обучение — это подраздел искусственного интеллекта. Это способность машины получать знания посредством анализа данных, позволяющего стать ей искусственно разумной через обучение.
Машинное обучение предполагает использование алгоритмов для сбора данных и обучения. В конце этапа обучения машина анализирует данные и создает модель, на основе которой можно принимать решения или делать прогнозы. Например, вам, возможно, доводилось получать от Facebook рекомендации относительно сайтов электронной коммерции — это связано с тем, что данные о просмотренных вами ресурсах анализируются Facebook, чтобы понять, в какой рекламе вы будете заинтересованы.
Что такое глубокое обучение?
Глубокое обучение — это подраздел машинного обучения, то есть также подраздел ИИ. Глубокое обучение имеет сходство с машинным обучением, но отличается тем, что машинное обучение нуждается в некотором наблюдении при выполнении своих задач обучения, в то время как модель глубокого обучения будет эффективно выполнять свою задачу даже без человеческого руководства (глубокое обучение может контролироваться, частично контролироваться или выполняться без участия человека).
Различия между искусственным интеллектом, машинным обучением и глубоким обучением
Учитывая, что эти термины и практики тесно связаны, и их порой сложно дифференцировать, я считаю, что практический пример является лучшим способом описать различия. В качестве примера я буду использовать планирование дорожного движения.
Если вы создали приложение искусственного интеллекта, которое уведомляет инженеров дорожного движения и планировщиков о том, где находятся основные точки заторов в городе, то это может помочь им составить планы по обслуживанию дорог, светофоров и других факторов, которые уменьшат количество заторов.
Вторым шагом будет программирование ИИ для поиска и идентификации определенных закономерностей (паттернов) в данных. Например, что движение в некоторых районах города не затруднено между 14 и 16 часами и перегружено вечером (возможно, из-за наложения часа пик и футбольного матча). Модель, созданная на основе этих данных, даст больше информации и, таким образом, поможет проектировщикам и инженерам составить планы, чтобы избежать пробок в дни футбольных матчей. Это приложение машинного обучения.
Технологии глубокого обучения предполагают выход за рамки простого считывания необработанных данных и распознавания закономерностей. Здесь используется несколько слоев, чтобы постепенно получить больше информации из данных, возможно без участия человека.
Почему важно различать типы ИИ
Способность классифицировать различия между ИИ, машинным обучением и глубоким обучением имеет решающее значение, потому что помогает осознанно применять решения в области ИИ на различных уровнях управления и способствовать развитию бизнеса.
Например, если городу удастся провести всесторонний анализ своих дорог в следующем году, чтобы выяснить, где образуется больше всего пробок и какие дороги нуждаются в обслуживании, на следующий год город будет иметь возможность прогнозировать пробки в часы пик и в других ситуациях. После этого у города появится возможность информировать пассажиров о местах заторов и предлагать им альтернативные маршруты. К третьему году у города будет достаточно понимания ситуации, чтобы строить планы на будущее, учитывая численность население и рост интенсивности дорожного движения, планы обслуживания инфраструктуры, а также учитывать влияние других факторов на дорожное движение, таких как изменение климата.
Различия между искусственным интеллектом, машинным обучением и глубоким обучением
Искусственный интеллект, машинное обучение и глубокое обучение уже сейчас являются неотъемлемой частью многих предприятий. Часто эти термины используются как синонимы.
Искусственный интеллект движется огромными шагами — от достижений в области беспилотных транспортных средств и способности обыгрывать человека в такие игры, как покер и Го, к автоматизированному обслуживанию клиентов. Искусственный интеллект — это передовая технология, которая готова произвести революцию в бизнесе.
Часто термины искусственный интеллект, машинное обучение и глубокое обучение используются бессистемно как взаимозаменяемые, но, на самом деле, между ними есть различия. Чем именно различаются эти термины будет рассказано далее.
Искусственный интеллект (ИИ)
Искусственный интеллект — широкое понятие, касающееся передового машинного интеллекта. В 1956 году на конференции по искусственному интеллекту в Дартмуте эта технология была описана следующим образом: «Каждый аспект обучения или любая другая особенность интеллекта могут быть в принципе так точно описаны, что машина сможет сымитировать их.»
Искусственный интеллект может относиться к чему угодно — от компьютерных программ для игры в шахматы до систем распознавания речи, таких, например, как голосовой помощник Amazon Alexa, способный воспринимать речь и отвечать на вопросы. В целом системы искусственного интеллекта можно разделить на три группы: ограниченный искусственный интеллект (Narrow AI), общий искусственный интеллект (AGI) и сверхразумный искусственный интеллект.
Программа Deep Blue компании IBM, которая в 1996 году обыграла в шахматы Гарри Каспарова, или программа AlphaGo компании Google DeepMind, которая в 2016 году обыграла чемпиона мира по Го Ли Седоля, являются примерами ограниченного искусственного интеллекта, способного решать одну конкретную задачу. Это его главное отличие от общего искусственного интеллекта (AGI), который стоит на одном уровне с человеческим интеллектом и может выполнять много разных задач.
Сверхразумный искусственный интеллект стоит на ступень выше человеческого. Ник Бостром описывает его следующим образом: это «интеллект, который намного умнее, чем лучший человеческий мозг, практически во всех областях, в том числе в научном творчестве, общей мудрости и социальных навыках.» Другими словами, это когда машины станут намного умнее нас.
Машинное обучение
Машинное обучение является одним из направлений искусственного интеллекта. Основной принцип заключается в том, что машины получают данные и «обучаются» на них. В настоящее время это наиболее перспективный инструмент для бизнеса, основанный на искусственном интеллекте. Системы машинного обучения позволяют быстро применять знания, полученные при обучении на больших наборах данных, что позволяет им преуспевать в таких задачах, как распознавание лиц, распознавание речи, распознавание объектов, перевод, и многих других. В отличие от программ с закодированными вручную инструкциями для выполнения конкретных задач, машинное обучение позволяет системе научиться самостоятельно распознавать шаблоны и делать прогнозы.
В то время, как обе программы — и Deep Blue, и DeepMind, являются примерами использования искусственного интеллекта, Deep Blue была построена на заранее запрограммированном наборе правил, так что она никак не связана с машинным обучением. С другой стороны, DeepMind является примером машинного обучения: программа обыграла чемпиона мира по Го, обучая себя на большом наборе данных ходов, сделанных опытными игроками.
Заинтересован ли Ваш бизнес в интеграции машинного обучения в свою стратегию? Amazon, Baidu, Google, IBM, Microsoft и другие уже предлагают платформы машинного обучения, которые могут использовать предприятия.
Глубокое обучение
Глубокое обучение является подмножеством машинного обучения. Оно использует некоторые методы машинного обучения для решения реальных задач, используя нейронные сетей, которые могут имитировать человеческое принятие решений. Глубокое обучение может быть дорогостоящим и требует огромных массивов данных для обучения. Это объясняется тем, что существует огромное количество параметров, которые необходимо настроить для алгоритмов обучения, чтобы избежать ложных срабатываний. Например, алгоритму глубокого обучения может быть дано указание «узнать», как выглядит кошка. Чтобы произвести обучение, потребуется огромное количество изображений для того, чтобы научиться различать мельчайшие детали, которые позволяют отличить кошку от, скажем, гепарда или пантеры, или лисицы.
Как уже упоминалось выше, в марте 2016 года искусственным интеллектом была достигнута крупная победа, когда программа AlphaGo DeepMind обыграла чемпиона мира по Го Ли Седоля в 4 из 5 игр с использованием глубокого обучения. Как объясняют в Google, система глубокого обучения работала путем комбинирования «метода Монте-Карло для поиска в дереве с глубокими нейронными сетями, которые прошли обучение с учителем на играх профессионалов и обучения с подкреплением на играх с собой».
Глубокое обучение также имеет бизнес-приложения. Можно взять огромное количество данных — миллионы изображений, и с их помощью выявить определенные характеристики. Текстовый поиск, обнаружение мошенничества, обнаружения спама, распознавание рукописного ввода, поиск изображений, распознавание речи, перевод — все эти задачи могут быть выполнены с помощью глубокого обучения. Например, в Google сети глубокого обучения заменили много «систем, основанных на правилах и требующих ручной работы».
Стоит отметить, что глубокое обучение может быть весьма «предвзятым». Например, когда была первоначально развернута система распознавания лиц Google, она помечала много черных лиц как гориллы. «Это пример того, что произойдет, если у вас нет афроамериканских лиц в вашем наборе обучения», сказала Anu Tewary, главный специалист по работе с данными Mint at Intuit. «Если у вас нет афроамериканцев, работающих над системой, если у вас нет афроамериканцев, тестирующих систему, то, когда ваша система сталкивается с афроамериканскими лицами, она не будет знать, как вести себя.»
Существует мнение, что тема глубокого обучения сильно раздута. Система Sundown AI, например, предоставляет автоматизированные взаимодействия с клиентами с использованием комбинации машинного обучения и policy graph алгоритмов без использования глубокого обучения.
Искусственный интеллект, машинное обучение и глубокое обучение: в чём различия
Полина Кабирова, коммерческий автор и переводчик, специально для блога Нетологии перевела статью Калума Макклилланда о том, чем отличаются искусственный интеллект, машинное и глубокое обучение и как интернет вещей и искусственный интеллект влияют друг на друга.
Коммерческий автор и переводчик
Мы все знакомы с термином «искусственный интеллект» (ИИ). О нём снято много фильмов — «Терминатор», «Матрица», «Из машины». Но вы, наверное, слышали и о других терминах — машинное обучение (Machine Learning) и глубокое обучение (Deep Learning). Их иногда используют как синонимы искусственного интеллекта, и в результате не видно разницы между искусственным интеллектом, машинным обучением и глубоким обучением.
В статье расскажу, каковы отличия между искусственным интеллектом, машинным и глубоким обучением, а затем объясню, как ИИ и интернет вещей связаны друг с другом.
Различия между терминами
Американский информатик Джон Маккарти, впервые употребив термин «искусственный интеллект» в 1956 году, понимал под этим компьютеры, способные выполнять характерные для человеческого интеллекта задачи: планирование, понимание языка, распознавание объектов и звуков, умение обучаться и решать задачи.
Различают сильный и слабый искусственный интеллект. Сильный обладает всеми свойствами человеческого интеллекта, упомянутыми выше. Слабый интеллект способен качественно выполнять только ограниченное количество действий. Компьютер, который распознаёт изображения, но больше ничего не умеет, — пример слабого ИИ.
Машинное обучение — это процесс реализации искусственного интеллекта.
В 1959 году Артур Сэмюэл придумал термин «машинное обучение» — способность компьютера учиться без участия человека. То есть искусственный интеллект возможен без машинного обучения, но для этого понадобится миллион строк кода со сложными правилами и условиями.
Другими словами, вместо прописывания подробных инструкций для каждой конкретной задачи используется алгоритм, который учится находить решения самостоятельно. Обрабатывая огромное количество данных в процессе машинного обучения, компьютер приспосабливается к условиям задачи и совершенствуется.
С помощью машинного обучения была значительно улучшена способность компьютера распознавать объект на изображении или видео — компьютерное зрение. Для этого вы собираете сотни тысяч картинок, а затем люди отмечают на них, например, кошек. Алгоритм строит для компьютера модель, чтобы тот смог определять и выделять картинки с кошками так, как это делает человек. В результате он «узнаёт», как выглядят кошки, и научится распознавать их без ошибок.
Глубокое обучение — один из множества подходов к машинному обучению.
Примеры других подходов: анализ дерева решений, индуктивное логическое программирование, кластеризация, обучение с подкреплением, Байесовская сеть.
Глубокое обучение вдохновлено строением человеческого мозга и взаимодействием нейронов. Появились алгоритмы, имитирующие организацию головного мозга — искусственные нейронные сети (ИНС).
ИНС состоит из искусственных нейронов, которые взаимодействуют между собой. Они расположены слоями — каждый слой реагирует на определённые признаки, например, изгибы и границы фигур при распознавании изображения. Именно из-за множества слоёв обучение называется глубоким.
Искусственный интеллект и интернет вещей неразрывно связаны
Взаимодействие между искусственным интеллектом и интернетом вещей похоже на отношение между человеческим телом и головным мозгом. Тело собирает информацию через зрение, слух, осязание. Мозг её обрабатывает и придаёт смысл — превращает свет в узнаваемые объекты, а звуки в понятную речь. Затем мозг принимает решения и подаёт телу сигнал, например, взять что-то или начать говорить.
Все подключенные датчики интернета вещей работают как наше тело — собирают исходные данные о том, что происходит в мире вокруг. Искусственный интеллект, как и мозг, интерпретирует эту информацию и решает, какие действия предпринять. Затем устройства, подключенные к интернету вещей, выполняют команду или взаимодействуют между собой.
Как использовать искусственный интеллект для решения бытовых задач
Гайд в мир Data Science для начинающих
Раскрытие потенциала
Искусственный интеллект и интернет вещей стали важными и перспективными технологиями благодаря друг другу.
За последние годы машинное и глубокое обучение привели к прорыву в области искусственного интеллекта. При машинном и глубоком обучении компьютер обрабатывает большое количество данных, которые собирают миллиарды датчиков, составляющих интернет вещей.
Развитие ИИ также будет способствовать внедрению интернета вещей и приведёт к стремительному росту обеих областей.
С помощью интернета вещей искусственный интеллект совершенствуется. Благодаря искусственному интеллекту интернет вещей становится доступным для человека.
ИИ может прогнозировать необходимость ремонта или анализировать процесс производства. Это помогает увеличить эффективность работы и сэкономить миллионы долларов.
Технология адаптируется сама и не требует вмешательства человека. Не надо нажимать на кнопки, набирать текст, искать информацию — только сообщить, что нужно. Например, узнать прогноз погоды или подготовить дом ко сну — выключить кондиционер, закрыть двери, погасить свет.
Объединение технологических достижений
Компьютерные чипы становятся меньше, а техники производства — лучше. Появляются более дешёвые и мощные датчики. Технология изготовления аккумуляторов стремительно развивается, и скоро датчики будут работать много лет без подзарядки.
С появлением смартфонов и беспроводной связи можно дёшево передавать данные в большом объёме, отправляя информацию с датчиков в облако. С облачными технологиями место для хранения данных практически неограниченно, а вычислительные мощности для их обработки — бесконечны.
Конечно, влияние искусственного интеллекта на наше общество и будущее вызывает опасения. Но его развитие и внедрение в связке с интернетом вещей абсолютно точно повлияют на весь мир.
курс
Big Data с нуля
Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.
Искусственный интеллект и машинное обучение: в чем разница?
Согласно статистике Gartner, с 2015 по 2019 годы количество предприятий, использующих ИИ, выросло на 270%. А рынок ИИ к концу 2020 года вырастет на 12,3% — до 156,5 млрд долларов, и это несмотря на кризис. Мы расскажем, что такое искусственный интеллект, какой он бывает, а также почему ИИ и машинное обучение — не одно и то же.
Что такое искусственный интеллект
Искусственный интеллект — особая технология разработки компьютерных систем. Она позволяет создавать программы, способные выполнять задачи, требующие человеческого интеллекта: распознавание речи или изображений, принятие решений, анализ информации, перевод с одного языка на другой.
Чтобы лучше понять, чем AI отличается от обычных программ, рассмотрим пример с чат-ботом.
Обычный чат-бот без ИИ. Программист вписывает конкретные реплики и триггеры, на которые чат-бот отвечает заготовленными фразами. Например, на фразу «Хочу заказать пиццу» отвечает: «Какой размер: 30 или 50 см?».
Фразы вроде «Привези мне пиццу, умираю с голоду» или «Хочу пицу 50 сантиметров» введут такого бота в ступор. Предугадать все возможные запросы пользователей программист не сможет.
Чат бот с ИИ. Такой чат-бот анализирует лексику, сравнивает похожие запросы, улавливает общий контекст фразы. Он поймет, что «пица» — это «пицца», а «привези» — это «хочу заказать». Еще такой бот может учиться, со временем он будет всё лучше понимать пользователей и отвечать на их запросы. Например, предугадывать, какой именно сорт пиццы понравится человеку.
Так выглядит разница в переписке с обычным ботом и с ботом-ИИ. Искусственный интеллект быстрее решает вопрос и лучше понимает собеседника
Есть задачи, с которыми обычные программы вообще не справляются. Например, только искусственный интеллект может распознавать лица и голос, сортировать изображения и решать прочие, более «творческие» задачи.
Искусственный интеллект используют для разных задач. Один из первых широко известных ИИ — Deep Blue, создали в 1992 году, чтобы играть в шахматы — и в 1997 году он обыграл Гарри Каспарова. Позже стали появляться другие такие программы для игры в го, покер или компьютерную игру Dota 2.
Также ИИ разрабатывают для автоматизации производства, прогнозирования спроса на товары или блокировки подозрительных банковских операций. Обычно всё это — конкретные прикладные задачи, которые раньше решали люди.
ИИ часто лучше справляется с рутинными задачами, работает быстрее людей и совершает меньше ошибок. Но он всё еще плохо работает в нестандартных ситуациях и может решать только очень конкретные, прикладные задачи. Полностью заменить людей искусственный интеллект пока не в состоянии.
Какой бывает искусственный интеллект
Сейчас любой существующий искусственный интеллект далек от человеческого. Самые совершенные AL не обладают сознанием и не осознают себя как личность. Они могут обучаться, но это просто алгоритмы, способные только к решению конкретных задач, но не к настоящему творчеству и изобретательству. Такие ИИ называют слабыми.
Есть теория, что когда-нибудь люди разработают сильный ИИ. Он будет близок к человеку: осознает себя как личность, сможет работать в разных условиях, решать нетипичные задачи, творить и создавать что-то совершенно новое. Пока такого не существует.
Слабые ИИ можно поделить еще на две группы:
Ограниченные ИИ. Такие программы способны решать только одну конкретную задачу. Например, чат-бот может общаться с клиентами, но не способен контролировать датчики на производстве или предсказывать спрос.
Универсальные ИИ. Такие ИИ способны решать несколько разных задач. Для этого их не нужно перепрограммировать — достаточно обучить новому делу. Один из таких ИИ — Watson IBM. Он знаменит тем, что выиграл в интеллектуальной викторине Jeopardy, но его используют также для постановки диагнозов, лингвистического анализа, финансовых советов и множества других задач. На видео Watson IBM обыгрывает знатоков в интеллектуальной викторине.
Чем искусственный интеллект отличается от машинного обучения
Часто между понятиями «искусственный интеллект» и «машинное обучение» ставят знак равенства. На самом деле машинное обучение — это способ создания и обучения искусственного интеллекта.
Чтобы понять разницу, представим схему работы:
Сначала программист создает программу, которая способна обучаться. Пока она еще ничего не умеет.
Затем программист обучает программу с помощью методов машинного обучения. Это могут быть, например, нейросети или генетические алгоритмы.
После обучения программа приобретает искусственный интеллект. Можно сказать, что она сама становится искусственным интеллектом.
Сегодня машинное обучение — единственный способ создания искусственного интеллекта. Любая современная технология или алгоритм — это, так или иначе, обучение компьютера.
Но искусственный интеллект — это не только машинное обучение. Для работы ИИ необходимы вычислительные мощности, данные и другие программы и технологии. Поэтому знак равенства между этими терминами не поставить.
Возможно, в будущем появятся другие способы создания искусственного интеллекта. Например, люди научатся копировать мозг человека и имитировать биологические процессы. В таком случае машинное обучение может исчезнуть, но искусственный интеллект никуда не денется и, может быть, даже станет более совершенным.
Наука о данных, искусственный интеллект, машинное обучение: путь самоучки
Не каждый может найти время и деньги на то, чтобы получить очное образование в сферах Data Science (DS, наука о данных), AI (Artificial Intelligence, искусственный интеллект), ML (Machine Learning, машинное обучение). Недостаток времени и нехватка денег — это серьёзные препятствия. Преодолеть эти препятствия можно, занявшись самообучением. Но и тут не всё так просто. Для того чтобы успешно учиться самостоятельно, нужны дисциплина, сосредоточенность и правильный подбор учебных предметов. Самообучение в выбранной области, при правильном подходе, можно свободно совмещать с обычной жизнью или с учёбой в общеобразовательных учреждениях. Но в некоторых областях знаний, в таких, как DS, AI, ML, очень сложно начать учиться самостоятельно. Однако, прошу поверить мне на слово, сложности стоят того, что можно получить в результате. Ключ к успеху в самообучении лежит в том, чтобы учиться в собственном темпе.
В этом материале я хочу рассказать о том, как можно действовать тому, кто хочет самостоятельно обрести знания в областях DS, AI и ML. Применение предложенных здесь методов учёбы способно привести к хорошему прогрессу в изучении нового. Здесь, кроме того, я собираюсь поделиться ссылками на ресурсы, которыми я пользуюсь, и которые я без тени сомнения готов порекомендовать другим.
Изучите некоторые математические дисциплины
Математика, даже если это кому-то и не нравится, очень важна в интересующей нас области. Я думаю, что можно с достаточной уверенностью говорить о том, что те, кто это читают, уже обладают некоторыми знаниями по математике, которые они получили в школе. Это — хорошая база, но этого и близко недостаточно тому, кто хочет развиваться в сферах DS, AI и ML. А именно, тут понадобится углубиться в математику немного сильнее, чем это делается в школе, придётся изучить некоторые вещи из статистики, алгебры и других математических дисциплин. Я собрал бы список полезных ресурсов по математике для DS, но это уже сделали за меня в этой статье. И сделали очень хорошо.
Научитесь программировать
Если вы только начинаете самообучение — не стоит сразу бросаться в изучение того, как писать код для целей машинного обучения. Вместо этого стоит изучить основные концепции программирования, не привязанные к какой-либо предметной области. Узнайте о том, что такое программирование, ознакомьтесь с разными существующими типами кода, разберитесь с тем, как правильно писать программы. Это очень важно, так как в процессе освоения программирования вы изучите множество базовых идей, которые сослужат вам хорошую службу на протяжении всей вашей DS-карьеры.
Не спешите, не стремитесь сразу изучить что-то сложное. То, насколько хорошо вы поймёте основы, скажется на всей вашей будущей профессиональной деятельности. Здесь вы можете найти очень хорошие видеоуроки, которые познакомят вас с программированием и информатикой. А именно, в них разбираются самые важные вещи, в которых вам нужно разбираться. Уделите этому вопросу достаточно времени и постарайтесь дойти до понимания всего, что узнаете.
Выберите один язык программирования и как следует в нём разберитесь
Существует много языков программирования, используемых теми, кто работает в областях DS, AI и ML. Чаще всего здесь используются Python, R, Java, Julia и SQL. В данных сферах могут применяться и другие языки, но те, которые я перечислил, применяются чаще других не без причины:
Научитесь собирать данные
Чаще всего вам никто не будет давать данные, предназначенные специально для вас, а иногда в вашем распоряжении может не быть вообще никаких данных. Но, в любом случае, вам нужно найти способ сбора данных, с которыми вы будете работать. У организации, в которой вы трудитесь, может быть хорошая система сбора данных. Если это так, для вас это — большой плюс. Если такой системы в организации нет, то вам придётся найти способ сбора данных. Но речь идёт не о любых данных, а о качественной информации, с который вы сможете продуктивно работать, достигая поставленных целей. Сбор данных не имеет прямой связи с «добычей данных», с их глубинным анализом. Сбор данных — это шаг работы, который предшествует анализу.
Открытые данные, которыми можно пользоваться бесплатно, можно найти во многих местах интернета. Иногда же нужные данные можно собрать с веб-сайтов, применяя методы веб-скрапинга. Владение веб-скрапингом — это очень важный навык дата-сайентиста, поэтому я очень прошу всех, кто собирается работать в областях DS, AI и ML, освоить этот навык. Вот хорошее руководство по веб-скрапингу.
Данные, кроме того, могут храниться в базах данных, поэтому вам очень пригодятся начальные сведения по администрированию БД и умения по взаимодействию с базами данных. В частности, здесь очень важны знания SQL. Поучиться SQL можно здесь.
Научитесь обрабатывать данные
То, о чём я будут тут говорить, часто называют «первичной обработкой данных» (Data Wrangling). Этот процесс включает в себя очистку имеющихся данных. Здесь применяется разведочный анализ данных и удаление из них всего ненужного. Этот процесс так же включает в себя структурирование данных, приведение их к такой форме, с которой можно будет работать. Эта стадия работы с данными является самой тяжёлой и изматывающей. Те данные, с которыми вы столкнётесь в процессе обучения, будут уже подготовлены к анализу. Но данные, с которыми вы встретитесь в реальном мире, могут быть совершенно «сырыми». Если вы и правда стремитесь стать специалистом в области обработки и анализа данных, вам стоит найти настоящие данные и отыскать способы приведения их в пристойный вид.
Реальные данные можно найти практически повсюду. Например — на Kaggle. На этой замечательной платформе имеются данные от множества компаний со всего мира. Первичная обработка данных — это очень утомительное занятие, но если вы будете заниматься этим регулярно и настойчиво, вы, постепенно, поймёте, что занятие это ещё и очень интересное. Вот хорошие лекции по первичной обработке данных.
Научитесь визуализировать данные
Если вы — специалист по DS, AI или ML, и хорошо разбираетесь в своём деле, вы не должны забывать о том, что то, что кажется вам очевидным, может быть совершенно непонятно окружающим. Не ждите от них того, что они, например, смогут сделать выводы, глядя на колонки цифр. Научиться визуализировать данные нужно для того чтобы результатами вашей работы могли бы воспользоваться специалисты из других областей. «Визуализацией данных» обычно называют процесс представления данных в графическом виде. Такое представление данных позволит извлечь их них пользу даже тем, кто не имеет специальных знаний в сферах DS, AI и ML.
Существует множество способов визуализации данных. Так как мы, всё же, программисты, нашим основным методом визуализации данных должно быть написание соответствующего кода. Это быстро и не требует покупки специализированных инструментов. При написании кода для визуализации данных можно пользоваться множеством бесплатных и опенсорсных библиотек, созданных для используемых нами языков программирования. Например, существуют библиотеки такого рода для Python. Это — Matplotlib, Seaborn и Bokeh. Вот видеоурок по Matplotlib.
Ещё один способ визуализации данных предусматривает использование инструментов с закрытым кодом. Например — Tableau. Существует много таких средств, они позволяют добиваться весьма привлекательных результатов, но они не бесплатны. Tableau — один из самых распространённых подобных инструментов, им я пользуюсь очень часто. Я посоветовал бы всем, кто занимается анализом и визуализацией данных, изучить Tableau. Вот хорошее руководство по этому инструменту.
Искусственный интеллект и машинное обучение
AI и ML можно рассматривать как подразделы DS, так как они основаны на данных. AI и ML — это технологии, которые основаны на обучении машин поведению, сходному с поведением людей. Для этого используются специально подготовленные данные, передаваемые машинам. Компьютерные модели можно научить многому такому, на что способны люди. Для этого их обучают и направляют к нужному результату. В данном случае «машины» можно воспринимать как маленьких детей, не имеющих совершенно никаких знаний. Этих детей постепенно обучают идентифицировать объекты, говорить. Они учатся на своих ошибках и, по мере обучения, начинают всё лучше решать поставленные перед ними задачи. Так происходит и с машинами.
Технологии AI и ML — это то, что «оживляет» машины с использованием множества математических алгоритмов. Человечеству до сих пор не известны границы возможностей этих постоянно совершенствующихся технологий. В наши дни технологии AI и ML широко используются для решения когнитивных задач. Это — обнаружение и распознавание объектов, распознавание лиц и речи, обработка естественного языка, выявление спама и обнаружение мошенничества. Этот список можно ещё очень долго продолжать.
Более подробный рассказ об AI и ML достоин отдельной публикации. Пока же я могу порекомендовать это видео, касающееся общих вопросов применения данных технологий. А вот — многочасовой видеоурок, посвящённый машинному обучению. Проработав эти видео, вы можете приобрести знания в сфере ML, соответствующие начальному или даже среднему уровню. Вы узнаете о множестве существующих алгоритмов машинного обучения, о том, как они устроены, и о том, как ими пользоваться. После этого у вас должно быть достаточно знаний для того чтобы приступить к созданию собственных простых ML-моделей. О том, как это сделать, можно почитать здесь.
Изучите способы публикации ML-моделей в интернете
Существуют инструменты, позволяющие публиковать ML-модели в интернете. Это позволяет дать к ним доступ всем желающим. Для того чтобы публиковать модели в интернете, нужно хорошее понимание процессов веб-разработки. Дело в том, что под «публикацией модели» понимается создание веб-страницы (или группы страниц), обеспечивающей возможность работы с моделью в браузере. Кроме того, нужно учитывать то, что фронтенд проекта, его интерфейс, должен обмениваться данными с бэкендом, с серверной частью проекта, где расположена сама модель. Для того чтобы строить подобные проекты, вы должны уметь создавать серверные API и пользоваться этими API в клиентской части приложений.
В том случае, если вы планируете публиковать модели в облачных средах, если собираетесь использовать технологию Docker, вам пригодится хорошее знание сферы облачных вычислений и DevOps.
На самом деле, существует множество способов развёртывания моделей в интернете. Я посоветовал бы начать с изучения того, как это делается с использованием веб-фреймворка Flask, основанного на Python. Вот хорошее учебное руководство об этом.
Найдите наставника
Самообучение — это прекрасно, но ничто не сравнится с обучением у профессионалов. Дело в том, что при таком подходе усваивается то, что используется в реальности, и в том, что так обучение идёт через практику. Многие вещи можно изучить только на практике. Обучение с наставником имеет множество сильных сторон, но надо учитывать то, что не каждый наставник способен оказать существенное влияние на вашу карьеру или жизнь. Именно поэтому очень важно найти хорошего наставника.
Например, эту задачу можно попытаться решить с помощью платформы Notitia AI. Здесь учащимся назначают персональных наставников, которые делают личный и профессиональный вклад в развитие учеников. Наставники доводят тех, кто хочет учиться, от начального до экспертного уровня в сферах DS, AI и ML. Notia AI, это, кроме того, самая доступная платформа такого рода.
Итоги
Учтите, что изучение курсов, чтение статей и просмотр видео не сделают из вас специалиста по работе с данными. Вам понадобится пройти сертификацию в специализированном учреждении. Кроме того, некоторые вакансии требуют наличия определённых документов об образовании. Вложите время в самообучение, сертифицируйтесь или получите документы об образовании, и вы будете готовы к реальной работе.
Как вы думаете, что нужно знать и уметь тому, кто стремится стать ценным специалистом в сферах искусственного интеллекта или машинного обучения?