amazon mechanical turk что это
СОДЕРЖАНИЕ
История
Первоначально эта услуга была задумана Венки Харинараяном в патенте США, поданном в 2001 году. Amazon ввела термин « искусственный искусственный интеллект» для обозначения процессов, передающих на аутсорсинг некоторые части компьютерной программы людям, для тех задач, которые люди выполняют гораздо быстрее, чем компьютеры. Утверждается, что Джефф Безос был ответственным за концепцию, которая привела к разработке Amazon Mechanical Turk для реализации этого процесса.
MTurk был публично запущен 2 ноября 2005 года. После его запуска база пользователей Mechanical Turk быстро росла. В период с начала до середины ноября 2005 года были десятки тысяч вакансий, и все они были загружены в систему самой Amazon для выполнения некоторых внутренних задач, требующих человеческого интеллекта. Типы HIT расширились, и теперь они включают расшифровку, оценку, маркировку изображений, опросы и написание.
По сообщениям, в марте 2007 года в более чем 100 странах работало более 100 000 рабочих. В январе 2011 года это число увеличилось до более чем 500 000 зарегистрированных работников из более чем 190 стран. В том же году Techlist опубликовал интерактивную карту, на которой указано местонахождение 50 000 сотрудников MTurk по всему миру. К 2018 году исследования показали, что, хотя на платформе в любое время было доступно более 100000 сотрудников, активно работали только около 2000 человек.
Правовой статус
Обзор
Запрашивающие могут попросить, чтобы работники соответствовали квалификациям, прежде чем приступить к выполнению задачи, и они могут настроить тест для проверки квалификации. Они также могут принять или отклонить результат, отправленный работником, что влияет на репутацию работника. По состоянию на апрель 2019 года запрашивающие выплачивали Amazon минимальную комиссию в размере 20% от стоимости успешно выполненных работ с увеличенными суммами за дополнительные услуги. Запрашивающие могут использовать API Amazon Mechanical Turk для программной интеграции результатов этой работы непосредственно в свои бизнес-процессы и системы. При создании работы работодатели должны указать
а также конкретные детали работы, которую они хотят выполнить.
Расположение туркеров
С момента создания платформы рабочие в основном находятся в Соединенных Штатах, а демографические данные в целом аналогичны общему количеству пользователей Интернета в США.
Использует
Человек-субъект исследования
Начиная с 2010 года, многочисленные исследователи выяснили, насколько «Механический турок» может привлекать субъектов для экспериментов в области социальных наук. Ежегодно публикуются тысячи статей, основанных на данных, собранных сотрудниками Mechanical Turk, в том числе сотни в ведущих академических журналах. Исследователи в целом обнаружили, что, хотя выборки респондентов, полученные с помощью Mechanical Turk, не полностью соответствуют всем значимым характеристикам населения США, они также не являются дико искажающими. Исследование, опубликованное в 2021 году, показало, что типы подходов к контролю качества, используемых исследователями (например, проверка ботов, пользователей VPN или сотрудников, желающих отправлять нечестные ответы), могут существенно повлиять на результаты опроса, демонстрируя это посредством воздействия на три общих поведенческих / психических состояния. инструменты медицинского обследования.
Машинное обучение
Поиск пропавших без вести
Художественные работы
Стороннее программирование
Примеры использования
Обработка фото / видео
Amazon Mechanical Turk предоставляет платформу для обработки изображений, что хорошо подходит для человеческого разума. Запрашивающие создали задачи, предлагающие работникам маркировать объекты, найденные на изображении, выбирать наиболее подходящее изображение в группе изображений, отображать несоответствующий контент и классифицировать объекты на спутниковых изображениях. Кроме того, краудворкеры выполнили задачи по оцифровке текста с изображений, таких как отсканированные формы, заполненные вручную.
Очистка / проверка данных
Компании с большими онлайн-каталогами используют Mechanical Turk для выявления дубликатов и проверки деталей записей. Некоторыми примерами исправления дубликатов являются выявление и удаление дубликатов в списках каталогов на желтых страницах и в записях онлайн-каталога продуктов. Примеры проверки деталей включают проверку информации о ресторане (например, номер телефона и часы работы) и поиск контактной информации на веб-страницах (например, имя автора и адрес электронной почты).
Сбор информации
Диверсификация и масштаб персонала Mechanical Turk позволяют собирать такой объем информации, который был бы затруднен за пределами платформы для массового скопления людей. Mechanical Turk позволяет запрашивающим лицам собирать большое количество ответов на различные типы опросов, от простых демографических до академических исследований. Другие варианты использования включают написание комментариев, описаний и записей в блогах на веб-сайтах, а также поиск элементов данных или определенных полей в крупных правительственных и юридических документах.
Обработка данных
Компании используют коллектив Mechanical Turk для понимания различных типов данных и реагирования на них. Общие области применения включают редактирование и транскрипцию подкастов, перевод и сопоставление результатов поисковой системы.
Обоснованность исследования
Достоверность исследования, проведенного с пулом рабочих-механиков, поставлена под сомнение. Это во многом связано с запатентованным методом, который Mechanical Turk использует для отбора своих рабочих. Поскольку метод отбора не используется исследователями, исследователи не могут знать истинную демографию участников. Неясно, использует ли Mechanical Turk фискальные, политические или образовательные ограничения в процессе отбора. Это может сделать недействительными любые опросы или исследования, проведенные с использованием пула рабочих Mechanical Turk.
Вопросы труда
Механический турок широко критиковался за его взаимодействие с рабочей силой и ее использование. Ученый-компьютерщик Джарон Ланье отмечает, что дизайн Mechanical Turk «позволяет вам думать о людях как о программных компонентах», вызывающих «ощущение магии, как если бы вы могли просто извлекать результаты из облака по невероятно низкой цене». Хотя опрос, проведенный исследователями из Техасского университета, показал, что опрошенные рабочие были мотивированы удовольствием и самореализацией, эти результаты могли быть искажены алгоритмами отбора работников MTurk. Исследование Pew Research, проведенное в 2016 году, показало, что четверть онлайн-«гигантов», таких как те, кто работает на Mechanical Turk, делают это из-за ограниченных возможностей трудоустройства там, где они живут.
Денежная компенсация
Поскольку задачи, как правило, простые и повторяющиеся, а пользователям часто платят всего несколько центов за их выполнение, некоторые критикуют Mechanical Turk за то, что они эксплуатируют и не компенсируют работникам истинную ценность выполняемой ими задачи. Минимальный платеж, который Amazon допускает за задачу, составляет один цент. Рынок задач является конкурентным, и для некоторых эти задачи являются единственной доступной формой занятости, особенно для менее образованных. Из-за необходимости обеспечивать себя и отсутствия других возможностей многие работники соглашаются на низкую компенсацию за выполнение заданий. Исследование 3,8 миллиона задач, выполненных 2767 рабочими на Amazon Mechanical Turk, показало, что «рабочие получали среднюю почасовую оплату около 2 долларов в час», при этом 4 процента рабочих зарабатывали более 7,25 долларов в час. Поскольку эти работники считаются независимыми подрядчиками, они не защищены Законом о справедливых трудовых стандартах, который гарантирует минимальную заработную плату. К 2018 году рост числа рабочих, соревнующихся на сайте, сократил общий объем доступной работы. Когда работники ищут задачи, они не получают ни компенсацию, ни дополнительную компенсацию, если задача занимает больше времени, чем предполагал заказчик.
Мошенничество
В 2014 году журнал Nation сообщил, что некоторые запрашивающие воспользовались Workers, заставив их выполнять задания, а затем отклонили их заявки, чтобы не платить им.
Трудовые отношения
Другие критиковали рынок за то, что у рабочих нет возможности вести переговоры с работодателями. В ответ на растущую критику уклонения от оплаты и отсутствия представительства группа разработала стороннюю платформу под названием Turkopticon, которая позволяет работникам оставлять отзывы о своих работодателях, позволяя другим пользователям избегать потенциально недобросовестных рабочих мест и рекомендовать более качественных работодателей. Другая платформа под названием Dynamo была создана для того, чтобы рабочие могли анонимно собирать данные и организовывать кампании для улучшения своей рабочей среды, включая Руководство для соискателей академических запросов и Кампанию Дорогого Джеффа Безоса. Amazon усложнил работникам регистрацию в Dynamo, закрыв учетную запись запроса, в которой работникам был предоставлен код, необходимый для членства в Dynamo. Amazon установила обновления, которые не позволяют плагинам, которые идентифицируют высококачественные задачи человеческого интеллекта, работать на веб-сайте. Кроме того, были жалобы рабочих на то, что платежная система Amazon иногда перестает работать, что является серьезной проблемой для работников, которым требуются ежедневные платежи.
Связанные системы
Заработок на опросах Амазон через Mechanical Turk
Интернет заработок на опросах – удобный и быстрый способ получения пассивного дохода. Большая часть мировых компаний благодаря мнению клиентов повышает свои рейтинги. Американские сайты платят гораздо больше, поэтому отечественные фрилансеры, знающие английский язык, уделяют ежедневно 20-50 минут несложным задачам за 10-20 долларов. С 2010 года начал предлагать заработок на опросах Амазон – интернет-магазин, занимающий лидирующие позиции по продажам в Америке. А помогает зарабатывать в интернете подобным образом площадка Mechanical Turk (Amazon MTurk).
Какие возможности предлагает Mechanical Turk
MTurk (Механический Турк) – платформа, позволяющая предпринимателям давать быстрые задания для людей со всего мира. Какие задания чаще всего встречаются:
Но чаще всего среди заданий встречаются именно опросы. Устройство, предлагаемое Амазон, дает возможность решения любой задачи от большого количества людей: экспертное мнение, обычные бытовые опросники и т.д. Работодателям остается только установить проблему (задачу) и проверить результат. Основным плюсом MTurk является гибкий API, который позволяет создать HIT несколькими способами.
Пользователем заполняются необходимые поля для создания заданий. Платформа дает возможность оформления простого текса, чекбоксов, радиокнопок и т.д. По запросу форма несложная, предполагающая только единовременные опросы или прочие требования. По такому же принципу (немного сложнее) строится форма через API при помощи XML. MTurk это называет QuestionForm.
Еще одним способом заработка является MTurk Project — хорошая возможность, когда среди заданий есть те, которые периодически меняют данные. К примеру, нужна оценка нескольких картинок по определенным критериям. По количеству фото не меняются, как и критерии. Измениться может только постановка вопроса.
Создание проекта из веб-интерфейса осуществляется по конструктору. Далее пользователь переходит к HIT — выставляет идентификатор опроса и информацию по заданию. Совершаются действия в API или веб-интерфейсе. Внесение данных осуществляются в шаблонной форме или прогружаются из CSV.
Устройство интерфейса
Вести работу на Амазон Mechanical Turk могут как фрилансеры, так и работодатели. Опросы Амазон за деньги будут доступны после регистрации. Панель управления простая, и предполагает такие вкладки:
Детальнее по каждой категории:
Работодатели – компании и предприниматели на Амазон, которые желают продвинуть свои услуги путем мнения покупателей. Для них открыта регистрация на Amazon Mechanical Turk для интегрирования результатов опроса в собственной системе или бизнес-процессе.
Как проходит регистрация на Amazon Mechanical Turk
С регистрацией на Amazon Mechanical Turk могут возникнуть проблемы, так как с 2015 года было введено ограничение на новичков. Стать работником (Worker) можно без запонения декларации после получения приглашения от другого работника или работодателя. Процедура предоставления разрешения на работу может проводиться целыми компаниями в независимости от того, в каком городе они находятся.
Если иностранный гражданин не дожидается приглашения к работе на Амазон, нужно заполнить налоговую американскую декларацию, как этого требует законодательство. Это позволит властям США сообщить о законных намерениях. Процент за процедуру взят не будет.
Важный момент. Работа в интернете на опросах Amazon Mechanical Turk требует досконального знания иностранного языка. Многие опросы имеют ограничения по времени, поэтому разбираться в языковых барьерах будет некогда.
Для начала заработков нужно открыть «Механический турк» – worker.mturk.com.
Подтверждение через электронную почту не нужно. Занимает процесс регистрации 10 минут. Доступен сайт для граждан любого государства.
Как работать
После прохождения регистрации в «Механическом турке» от Амазон, можно начать заработок на опросах. Еще при нулевом балансе будут высвечиваться данные касательно одобрения заявок и заработков.
Работа в опроснике Amazon осуществляется следующим образом:
После завершения опроса, результат автоматически отправляется проверяющей компании. Статус работы переходит в ожидание, а далее в исполнение или отклонение.
Сколько можно заработать на опросах Амазон
Главным принципом заработка в интернете на площадке Mturk является выполнение простых правил и получение на этом денег. Подобная работа подойдет для иностранных студентов, находящихся в Америке, хоть ее считать прибыльной нельзя. Выставляются не только опросы потребительские по типу «что находится в вашем холодильнике?», но и выбор подходящего слогана или названия магазина.
Если знаний английского практически нет, подойдут небольшие задачи, выполняемые в течение нескольких секунд. Таких на платформе 60%, оцениваются простые опросы примерно от 0.10 долларов до 0.5. Для выполнения заданий уйдет 30 секунд. Более сложные опросы и задания обходятся более, чем в 5 долларов. На задачу, стоимостью в 15-20 долларов уходит в среднем 3 часа. Такие опросы содержат подписание аргументированное, а не проставление галочки.
Amazon Mechanical Turk не позволяет разбогатеть и получить стабильную работу в интернете. Но в качестве дополнения, в месяц можно иметь 20-50 долларов. Заданий на сайте в день бывает минимум 5 разной сложности.
Как выводятся деньги
Для отечественных фрилансеров американские опросники невыгодны по причине сложностей в выведении денег. Если пользователь из России или другой страны, ему доступны подарочные сертификаты и бонусы в покупке какой-либо вещи. Для американских работников оплата проводится на счет в банке.
Заявителем оплачивается Амазону 10% комиссии от цены за работу, которая была принята компанией-заказчиком. Для выполнения задачи нажимается «View a HIT in this group». Заказчик имеет право отказаться от принятия задания. Это случается в основном, если распознаются мультиаккаунты, машинальные ответы и прочие махинации.
Амазон предполагает такие способы вывода денег: приобрести какую-то вещь в интернет-магазине. Доставляется товар в любую страну. Также можно вывести на карту. Рекомендуется заказать в одном из банков (к примеру, в системе Payoneer) бесплатно карту, на которую будут приходить деньги с минимальным процентом. Это более выгодный вариант получения денег с иностранных опросников.
Интернет заработок на опросах Амазон – дополнительный доход для фрилансеров из России или ближних стран. Система Mechanical Turk позволит стабильно зарабатывать не менее 30 долларов в месяц при условии честных ответов и знания английского. Сложности могут возникнуть с выводом средств и получением разрешения на регистрацию, но это можно сделать через компанию или другого покупателя.
Amazon Mechanical Turk
Access a global, on-demand, 24×7 workforce
Amazon Mechanical Turk (MTurk) is a crowdsourcing marketplace that makes it easier for individuals and businesses to outsource their processes and jobs to a distributed workforce who can perform these tasks virtually. This could include anything from conducting simple data validation and research to more subjective tasks like survey participation, content moderation, and more. MTurk enables companies to harness the collective intelligence, skills, and insights from a global workforce to streamline business processes, augment data collection and analysis, and accelerate machine learning development.
While technology continues to improve, there are still many things that human beings can do much more effectively than computers, such as moderating content, performing data deduplication, or research. Traditionally, tasks like this have been accomplished by hiring a large temporary workforce, which is time consuming, expensive and difficult to scale, or have gone undone. Crowdsourcing is a good way to break down a manual, time-consuming project into smaller, more manageable tasks to be completed by distributed workers over the Internet (also known as вЂmicrotasks’).
Benefits
Optimize efficiency
MTurk is well-suited to take on simple and repetitive tasks in your workflows which need to be handled manually. Using MTurk to outsource microtasks ensures that work gets done quickly, while freeing up time and resources for the company – so internal staff can focus on higher value activities.
Increase flexibility
Scaling up and down a workforce isn’t the easiest undertaking. With access to a global, on-demand, 24×7 workforce, MTurk enables businesses and organizations to get work done easily and quickly when they need it – without the difficulty associated with dynamically scaling your in-house workforce.
Reduce cost
MTurk offers a way to effectively manage labor and overhead costs associated with hiring and managing a temporary workforce. By leveraging the skills of distributed Workers on a pay-per-task model, you can significantly lower costs while achieving results that might not have been possible with just a dedicated team.
Механический турок Амазон (Mechanical Turk): новый взгляд на поведенческие науки
Одним из наиболее сложных и наиболее распространенных когнитивных искажений является так называемая предвзятая или же нерепрезентативная выборка (sampling bias).
В статистике нерепрезентативной выборкой называется выборка, отражающая характеристики лишь определенной части популяции, из которой она была отобрана.
Представьте, что в вазу опускают 20 желтых мячиков для настольного тенниса, а затем — 20 синих мячиков. Если немедленно достать из вазы 10 мячиков, может сложиться ошибочное мнение о том, что все мячики в вазе окрашены в синий цвет. Если перед тем как извлечь мячики, хорошенько встряхнуть вазу, выборка будет включать как желтые, так и синие объекты, что существенно снизит ее нерепрезентативность.
Точно так же, если для проведения исследования в области психологии человека отбирают только американских студентов, которые нуждаются в деньгах или — что еще хуже — были приглашены одними и теми же профессорами для участия в подобных экспериментах, может сложиться ложное представление о том, что большинству людей нравятся студенты американских вузов.
В работе под названием «Самые странные люди в мире» (The Wierdest People in the World) Джозеф Хенрик (Joseph Henrich) и Стивен Хайне (Steven Heine), преподаватели психологии университета Британской Колумбии, провели аудит исследований для участия в которых отбирали исключительно студентов американских вузов. Кроме всего прочего, каждый из них должен был принадлежать к обществу, которому присущи следующие характеристики: западное (Western), образованное (Educated), индустриально развитое (Industrialized), богатое (Rich) и демократическое (Democratic) — WEIRD.
«Анализ лучших журналов по психологии за период с 2003 по 2007 год показал, что 68% участников различных экспериментов были из США, а в общей сумме 96% участников были из западных индустриально развитых стран. Как выяснилось, структура каждой выборки в большинстве случаев указывала на страну пребывания самого исследователя, поскольку авторами 73% экспериментов были американцы, а в целом 99% экспериментов были проведены преподавателями вузов западных стран.
Это означает, что 96% выборок для психологических экспериментов включали представителей стран, население которых составляет всего 12% от населения планеты.
Типичный метод отбора участников эксперимента очень тяжело назвать репрезентативным. Анализ выпусков “Журнала психологии личности и социальной психологии” (The Journal of Personality and Social Psychology) за 2008 год показал, что участниками 67% экспериментов, проведенных американцами, были исключительно студенты факультетов психологии.
Иными словами, случайно выбранный американский студент в 4000 раз вероятнее окажется участником какого-то исследования, чем любой другой человек, не проживающий в западной индустриально развитой стране».
Затем ученые сравнили результаты исследований, участниками которых были студенты, принадлежащие к группе WEIRD, с аналогичными экспериментами для участия в которых отбирались люди из других социальных групп.
«Нами был проанализирован ряд характеристик каждой из групп испытуемых: визуальное восприятие, честность, пространственное мышление, самооценка, наследственность IQ, способность к кооперации, категоризации. Полученные результаты свидетельствуют о том, что членов обществ, соответствующих требованиям WEIRD, можно обнаружить даже среди наименее представленных популяций».
Проблема заключается в том, что привлечь студентов к участию в каких-либо экспериментах очень просто: во-первых, это дешево, во-вторых, они готовы «пожертвовать» собой ради науки — иными словами, студенты находятся сверху условной «вазы».
Выборка, сформированная из доступных для исследования респондентов, является разновидностью предвзятой выборки и называется «удобной» (convenience sampling).
Итак, каким же образом исследователи могут «встряхнуть вазу» и получить репрезентативную выборку? Многие ученые думают, что оптимизировать структуру выборки можно с помощью интернета, и все большее число из них уверены, что для этого используется краудсорсинговая платформа Amazon Mechanical Turk.
Что такое Механический турок?
Изначально Механический турок был предназначен для внутреннего использования в Amazon, а именно для выполнения той работы, которая не представляет сложности для человека, но в то же время неподвластна компьютерам. Если говорить точнее, существуют определенные задания, с которыми человек без труда может справиться самостоятельно, однако все еще не в силах заставить компьютер сделать эту работу вместо себя.
«В ноябре 2005 года, уже имея миллионы товарных целевых страниц, компания Amazon столкнулась с проблемой распознания их дубликатов. С одной стороны это задание требовало написания запутанных громоздких алгоритмов, а с другой — отнимало всего несколько секунд у обычного человека. Если компьютер не может сделать работу, почему бы не нанять для ее выполнения людей, которые бы действовали как часть программы и выполняли небольшие дискретные задачи?
Людей, притворяющихся машинами, которые ведут себя как люди, Безос весьма удачно назвал “искусственным искусственным интеллектом” (artificial artificial intelligence)», — Эллен Кашинг (Ellen Cushing), статья «Рассвет виртуальной потогонной системы» для East Bay Express.
Механический турок интегрирует принятые работниками — «турками» — решения в автоматизированный процесс, позволяющий программе запрашивать их результаты. Таким образом, вместо сканирования двух изображений и сравнения полученных результатов, программе достаточно всего лишь спросить Механического турка, какой процент «турков» решил, что на картинках изображены одни и те же объекты.
Безос назвал свое изобретение в честь знаменитого «иллюзионного устройства», сконструированного Вольфганом фон Кемпеленом в 18 веке. «Механический турок» был представлен широкой публике как первый в мире шахматный автомат. Свое название он получил благодаря тюрбану и турецкой одежде, в которую была облачена восковая фигура гениального, как казалось тогда зрителям, шахматиста, способного обыграть самого Наполеона.
Так было до того времени, пока через 30 лет после смерти Кемпелена, автомат не был разоблачен Эдгаром По. Как оказалось, внутри «Турка» скрывался сильный шахматист, который двигал шахматные фигуры при помощи вмонтированных в них магнитов и металлических шариков, прикрепленных с внутренней стороны доски. После кончины второго владельца автомата, австрийского механика Мельцеля, «Механический турок» был передан в Китайский музей Филадельфии, где в 1854 году был уничтожен пожаром.
Механический турок, изобретенный компанией Amazon, может использоваться для совершенно разнообразных заданий: категоризации, верификации данных, расстановки тегов, написания транскрипций или переводов. Порносайты используют данную платформу для написания названий видеороликов, а многие другие сайты для того, чтобы отмечать нежелательный контент специальными «флажками».
Краудсорсинг как природа человека
Механический турок был запущен в 2005 году, однако первые упоминания о нем в научной литературе появились лишь по прошествии нескольких лет. Затем медленно, но уверенно ученые начали осознавать, что люди, которые за несколько минут выполняют буквально непосильные для компьютера задания, могут быть участниками научных экспериментов.
Ученые отметили, что привлечение работников платформы к участию в разнообразных научных исследованиях даст возможность существенно повысить репрезентативность выборок и сэкономить немало денег, поскольку даже в сравнении со студентами работа «турков» стоит гораздо дешевле.
Самые первые исследования с участием «турков» проводились с целью сравнения «искусственного искусственного интеллекта» с искусственным интеллектом. Иными словами, сравнения способностей работников платформы с компьютерными программами.
Обработка естественного языка (Natural Language Processing, NLP) как одно из общих направлений искусственного интеллекта предполагает сравнение результативности программы с аналогичными способностями человека.
Рассмотрим для примера предложение «Я чувствую себя подавленно». Человек с легкостью охарактеризует это предложение как связанное с негативными эмоциями, в то время как анализ тональности текста программой будет строиться на сравнении соответствия каждого отдельно взятого слова с «пессимистическим» и «оптимистическим» словарями, ранее составленными человеком.
В 2008 году команда ученых Стенфордского университета провела исследование, в котором сравнила качество аннотаций, написанных «турками», с аннотациями, составленными специально приглашенными экспертами. Как оказалось, аннотации «турков» в большинстве случаев соответствовали всем стандартам. Статья, в которой были опубликованы результаты исследования, называлась «Дешево и быстро, но эффективно ли?».
В 2009 году исследователи компании Yahoo изучили реакцию «турков» на материальные стимулы. Ученые пришли к выводу, что привлечение работников Механического турка к участию в эксперименте значительно повысило репрезентативность полученных ими результатов (при возрастании материальных стимулов люди работают больше и быстрее, но при этом качество их работы не улучшается).
С тех пор ученые начали активно привлекать «турков» к участию в различных онлайн-опросах и строить свои гипотезы на основании полученных данных.
Тестирование «турков»
Несмотря на то, что «турки» являются дешевым способом сбора больших массивов данных, все же существуют несколько рисков, на которые стоит обратить внимание. Речь идет о внутреннем и внешнем несоответствии полученной информации.
Внутреннее несоответствие связано прежде всего с анонимностью участников. Поскольку исследователь не может контролировать, как «турки» отвечают на вопросы, нет никакой гарантии, что они хотя бы читают вопрос, прежде чем дать на него ответ. К тому же существует вероятность того, что некоторые из них участвуют в одном и том же эксперименте по несколько раз.
В исследовании «Оценивание виртуального рынка труда: Amazon’s Mechanical Turk» ученые проверили IP-адреса респондентов, участвовавших в одном из подобных опросов, и обнаружили всего 7 дубликатов, что составляет 2,5% от общего количества анкет (14 из 551).
По мнению авторов исследования, этот показатель не обязательно свидетельствует о повторном прохождении опроса. Вполне возможно, что одинаковые IP-адреса были просто присвоены разным пользователям. Также нельзя исключать вероятность того, что разные люди проходили опрос с одного и того же компьютера на работе или в каком-то кафе.
В то время, как личности «турков» в реальном мире остаются анонимными, каждый из них имеет свою онлайн-репутацию. После завершения задания работодатель оценивает работу «турка», и если она выполнена не на должном уровне, он имеет полное право отказать в оплате. Эта оценка влияет на дальнейшие перспективы работы «турка», поскольку многие задания доступны только тем пользователям, чей «рейтинг одобрения» превышает 95%.
Внешнее несоответствие в свою очередь связано с репрезентативностью выборки. Кто конкретно участвует в социологических исследованиях? Кто находится «внутри» Механического турка?
В большинстве своем пользователями Механического турка являются представители двух стран — США и Индии. Это связано прежде всего с тем, что американские и индийские «турки» могут получать денежные средства от компании в виде банковских переводов, в то время как работа представителей других стран оплачивается подарочными сертификатами Amazon.
Географическое распределение пользователей Механического турка
На сегодняшний день 46,8% пользователей Механического турка проживают в США, 34% — в Индии. Отношение американцев и индийцев к работе разительно отличается: американцы и представители других западных стран считают работу на платформе лишь неплохим способом скоротать время и, соответственно, зарабатывают гораздо меньше индийцев.
Синий маркер — «Заработок на MTurk не имеет для меня никакого значения».
Зеленый маркер — «Заработок на MTurk не влияет на мое материальное положение».
Фиолетовый маркер — «Заработок на MTurk является источником оплаты дополнительных расходов».
Оранжевый маркер — «Заработок на MTurk иногда помогает мне сводить концы с концами».
Красный маркер — «Заработок на MTurk всегда помогает мне сводить концы с концами».
Годовой доход пользователей Механического турка в США (верхняя диаграмма) и в Индии (нижняя диаграмма), 2010 год
В исследовании «Amazon’s Mechanical Turk: новый источник доступных и достоверных данных?» ученые отстаивают позицию, согласно которой участие пользователей Механического турка в эксперименте не гарантирует репрезентативность результатов.
Тем не менее, даже если допустить, что это предположение верное, ученые могут разделить «турков» на чистые с демографической точки зрения выборки. Точно так же, как они устанавливают ограничения на возможность выполнения задания пользователем по его рейтингу одобрения, они могут допускать к прохождению социологических опросов жителей определенной страны.
Одним из способов снижения внешнего несоответствия данных является сравнение результатов общенациональных демографических опросов с аналогичными опросами, проведенными при участии пользователей Механического турка.
Авторы исследования «Оценивание виртуального рынка труда: Amazon’s Mechanical Turk» составили выборку из 551 американского пользователя Механического турка и сравнили результаты проведенного ими опроса с результатами опроса, проведенного Американским национальным центром электоральных исследований (ANESP).
Ученые отметили, что средний возраст опрошенных «турков» гораздо меньше в сравнении с респондентами других опросов, что не могло не повлиять на отклонения таких показателей как образование, семейное положение, средний доход.
Впрочем, в сравнении с «удобными выборками» — как в случае со студентами — преимущества Механического турка очевидны. Во-первых, средний возраст пользователей платформы гораздо выше, чем возраст студентов, а во-вторых, состояние и качественный состав случайно отобранных «турков» приближается к аналогичным показателям для отдельно взятой страны.
Вместо заключения
Итак, краудсорсинговая платформа Амазон Механический турок является отличным плацдармом для проведения разнообразных исследований. Основными ее преимуществами являются дешевизна и скорость проведения экспериментов (особенно если сравнивать их с лабораторными).
Механический турок открывает доступ к двум культурно, экономически и политически разным народам, которые являются активными пользователями платформы и прекрасно владеют английским, что значительно упрощает проведение международных исследований, основная цель которых заключается в сравнении проявления разнообразных эффектов. По словам ученых, именно это позволяет существенно снизить нерепрезентативность результатов научных исследований.