Что такое nlp в программировании
Что такое NLP: расшифровываем термин простыми словами для чайников
Однако у NLP есть 2 сущности:
Neuro-Linguistic Processing — принадлежит области психологии.
Natural Language Processing — принадлежит области программирования.
NLP в программировании — что это такое
улучшение бизнес-показателей при помощи искусственного интеллекта;
составление прогнозов и разработка математических моделей в различных сферах;
улучшение распознавания текста, речи и изображений;
улучшение взаимодействия голосовых помощников с владельцами устройств;
NLP — это работа с большими данными, как и Data Science, однако DS работает с различными видами данных из разных сфер, а NLP работает в основном с текстом и семантикой.
NLP на практике
В практическом применении NLP-разработка в основном занимается работой с текстовыми данными для лучшего их понимания искусственным интеллектом. Вот несколько задач, которые выполняет NLP в программировании:
Самая основная задача NLP — это перевод текстов с одних языков на другие силами искусственного интеллекта. На сегодняшний день перевод высокого качества недоступен, поэтому тут для NLP есть поле для деятельности.
Качественная работа голосовых помощников. То есть, задавая какой-либо вопрос голосовому помощнику, мы ожидаем 100%-е понимание, что не всегда происходит. Но как раз этим и занимается NLP — делает так, чтобы роботы-помощники лучше понимали людей.
Почему NLP в разработке выделяют в отдельное направление
Пока NLP не вы деляют в отдельное направление, но все к этому идет. В первую очередь это обуславливается сложностью процесса обучения «машин» взаимодействовать с текстом.
Полисемия — это многозначные слова, которые имеют одинаковый исходный смысл. Например: стол (какое-то учреждение или предмет), крыса (животное или человек), молоток (предмет или человек), остановка (процесс или объект) и т. д.
Омонимия — одинаковые слова, но с разными смыслами. Например: замок, печь, ключ и т. д.
Подобных языковых трудностей в каждом языке пруд пруди — от этого и возникает сложность во взаимодействи и с текстовой информацией.
Заключение
Мы будем очень благодарны
если под понравившемся материалом Вы нажмёте одну из кнопок социальных сетей и поделитесь с друзьями.
NLP для людей. Часть 1
NLP (Natural Language Processing) — направление области искусственного интеллекта, которое занимается обработкой естественного, в том числе неструктурированного языка. NLP состоит в применении методов машинного обучения для анализа текста и речи.
Возможности NLP
Для NLP можно использовать любые наборы текстовых документов. В зависимости от поставленной задачи их источник может быть самым разным: например, массив новостных сообщений СМИ по определенной тематике (а-ля «коронавирус, 2020»), список комментариев популярного ролика YouTube или записанное тематическое интервью эксперта.
Применяя методы NLP, исследователь может решить или поспособствовать решению широкому спектру задач. Задачи можно поделить на несколько типов или уровней.
Уровень сигналов: распознавание текста, распознавание речи, синтез речи, синхронный перевод.
На уровне сигнала NLP работает как с изображениями текста, например, с отсканированными дневниками с рукописными записями, так и со свойствами речевых сигналов: их смысловой нагрузкой, эмоциональной нагрузкой, а также со звуко-акустическими характеристиками. Одной из основных задач этого уровня является проблема распознавания текста (text recognition), распознавание речи (speech recognition) и обратная ей — синтез речи (speech synthesis).
Уровень слов и словосочетаний: морфологический анализ слова, лемматизация, исправление грамматических ошибок, выявление отношений между словами, распознавание именованных сущностей.
Для обработки отдельно взятых слов выделяют задачи морфологического анализа слова, исправление допущенных оператором ошибок, поиск леммы (основной формы) слова. При работе со словосочетаниями используют так называемые n-граммы — словосочетания, состоящие из n слов. При обработке n-грамм ставят задачи синтаксического разбора и выявления отношений между составляющими n-грамм. Отдельной задачей ставится проблема распознавания именованных сущностей (named-entity recognition, или NER). В ходе NER решают вопросы принадлежности слова или словосочетания к имени собственному, например: локации ( Санкт-Петербург), имени персонажа ( Шерлок Холмс) или названию компании ( Uber).
Уровень предложений: синтаксический разбор предложений, генерация предложений, распознавание именованных сущностей, распознавание именных групп, анализ тональности.
Обработка предложений методами NLP состоит в задаче синтаксического разбора предложений или их смысловой генерации, например, для автоматизации автоматических ответов умного чат-бота. Также на уровне предложений выделяют задачи выделения именованных сущностей (вышеупомянутый NER) и именных групп (Noun Phrase Extraction). Кроме того, при анализе предложений можно выделить характер входящих в него слов, указывающих на настроение текста, его позитивный или негативный контекст. Этот метод называют анализом тональности или анализом эмоциональной окраски текста (sentiment analysis).
Уровень документов: выявление ключевых слов, суммаризация текста, выделение заголовка, перевод текста, анализ тематики.
Документ — это набор текста, состоящий из нескольких связанных между собой предложений. Например, монолог персонажа или публикация в СМИ. На уровне текстовых документов решают задачи содержательного описания и используют такие методы, как: выделение ключевых слов (keywords extraction), автоматическое аннотирование текста (text summarization), автоматическое заглавие текста, перевод с одного языка на другой, а также метод тематического моделирования — определение причастности документа к одной из тем (topic modeling).
Уровень корпусов: устранение дубликатов, антиплагиат, информационный поиск.
Текстовый корпус — это набор документов, каждый из которых, как правило, имеет дату публикации, тип и источник. При анализе текстовых корпусов решают задачи выявления и последующего устранения дубликатов, выявление плагиатов, а также используют методы информационного поиска по корпусу.
Стоит отметить, что каждый следующий уровень включает в себя все предыдущие. Например, уровень документов позволяет работать с предложениями по отдельности, затем перейти на словосочетания, слова и т.д.
Где взять данные?
Обобщенным объектом исследования в NLP является текст, поэтому одним из основных вопросов в рамках анализа ставится выбор релевантных источников текстовых материалов. В зависимости от поставленных задач, источниками данных могут быть электронные базы СМИ, данные социальных сетей, открытые языковые корпусы и другие.
Электронные базы СМИ
Для формирования текстовой выборки существуют специальные коммерческие ресурсы, такие как «Интегрум», «Медиалогия» и «Public.ru». Они содержат миллионы новостных публикаций и записей из социальных сетей. Электронная база СМИ представляет из себя платформу для поиска и анализа данных по введенному оператором запросу. Стоимость доступа к таким базам начинается от 20 000 рублей в месяц.
Данные СМИ позволяют анализировать социальные тренды и информационные повестки в обществе. Данные из социальных сетей позволяют проводить маркетинговый анализ компаниям и корпорациям.
API популярных социальных сервисов
Сформировать текстовый корпус возможно используя инструменты API социальных сетей, например Vk API или YouTube API. В этом случае для анализа доступны такие данные, как записи и ответы на стенах, комментарии под фотографиями и видео, описания профилей пользователей, описания сообществ и другие. Как правило, такие API имеют открытый, но ограниченный доступ: например, не более 500 запросов в сутки.
Данные социальных сетей позволяют выявить поведенческие характеристики пользователей и проверить гипотезы их социального взаимодействия.
Открытые языковые корпусы
Существуют проекты открытых размеченных текстовых корпусов на различных языках. Для русского языка наиболее популярные это: Национальный корпус русского языка и Opencorpora.org. Такие проекты активно развиваются за счет участия сообщества.
Открытые языковые корпусы направлены, главным образом, на языковые исследования и проверку лингвистических феноменов и гипотез.
Пример исследовательской задачи
Методы NLP применяются при решении социологических задач. В ходе исследования беспилотных автомобилей команда Центра STS поставила ряд вопросов, направленных на выявление различных устройств технических дизайнов беспилотных автомобилей, а также описание основных трендов этих дизайнов.
В ходе работы был собран корпус текстовых документов, состоящий из 4500 записей, среди которых оказались научные публикации по теме беспилотных автомобилей, а также набор новостных сообщений СМИ. Последний был получен в процессе работы с электронной базой СМИ «Public.ru» по запросу «беспилотный автомобиль». Текстовый корпус, помимо тела публикации, содержит: заголовок, дату публикации, источник, тип записи, а также ряд мета-параметров, служащих для более детального представления библиографической ссылки на материал.
Для анализа собранных данных наиболее эффективно использовать методы уровня предложений, документов и корпусов.
Методы NLP на пальцах
Далее будет приведен обзор базовых подходов NLP без освещения технической составляющей. Для демонстрации примеров возьмем предложение следующее предложение:
Эксперты Saxo Bank твердят, что беспилотное будущее уже практически наступило: вот-вот автомобили пятого уровня выйдут на дороги и мир изменится навсегда.
Лемматизация и стемминг текста
Прежде всего для повышения эффективности автоматической обработки текста исходный документ упрощают. Для этого его слова приводят в нормальную форму. При нормализации выделяют два основных подхода: лемматизация (поиск леммы слова) и стемминг (сечение окончания слова).
Не вдаваясь в технические подробности процесса, рассмотрим результат нормализации каждого из примеров.
эксперт saxo bank твердить что беспилотный будущий уже практически наступил : вот вот автомобиль пятый уровень выйти на дорога и мир измениться навсегда
эксперт sax bank тверд что беспилотн будущ уж практическ наступ : вот вот автомобил пят уровен выйт на дорог и мир измен навсегд
Конечно, при итоговой интерпретации использовать результаты лемматизации более удобно, однако процесс нормализации в этом случае требует больших вычислительных мощностей.
Использование стоп-слов
Следующий уровень нормализации состоит в использовании фильтров, направленных на выявление и очистку встречаемых стоп-слов. Базовый набор таких слов в русском языке включает в себя предлоги, частицы, местоимения и междометия, например: « я», «он», «как», «что», «уже», «вот» и другие. Часто при анализе узкоспециализированных текстов очищают самые встречаемые слова. Например, отчеты компании Яндекс будут содержать много упоминаний на собственный бренд, в связи с этим такие названия могут войти в список стоп-слов наравне с предлогами и другими.
Применяя фильтр для ранее нормализованного предложения, получим:
эксперт saxo bank твердить беспилотный будущий наступил автомобиль пятый уровень выйти дорога мир измениться навсегда
Использование n-грамм
N-грамма в NLP — это комбинация одного (монограмма или monogram) или нескольких, например, двух (биграмма или bigram), трех (триграмма или trigram) слов, которые встречаются в тексте. N-граммы являются ключевыми объектами анализа при обработке естественного языка и составляют основу многим другим методам, в числе которых извлечение именных групп, идентификация языка и другие.
Выделим n-граммы из упрощенного предложения выше:
эксперт saxo; saxo bank; bank твердить; твердить беспилотный; беспилотное будущее
эксперт saxo bank; saxo bank твердить; bank твердить беспилотный; твердить беспилотный будущий
Можно отметить, что монограммы (фактически отдельные слова) не представляют ценности для анализа предложений и контекста. Однако они могут использоваться для подсчета общего количества упоминания тех или иных однословных понятий. Триграммы также являются малоэффективными при контекстном анализе текста: их содержание слишком специфично для поиска закономерностей.
Как видно из примера выше, наиболее содержательным оказались биграммы. Такие словосочетания, как «эксперт saxo», «saxo bank», «беспилотное будущее», говорят о предложении больше, чем другие n‑граммы. Часто биграмы указывают на характер существительного. Например: « беспилотный автомобиль».
Определение языковой принадлежности документа
Анализ текстовых документов унифицирован даже на уровне стилистики текста на одном языке, не говоря о разных. Поэтому при наличии набора текстов на разных языках их необходимо разметить.
В подходах NLP для решения этой проблемы используют методы идентификации языка или language identification. Один из классических способов для автоматического определения языка — распределение языковых коэффициентов n-грамм и подсчет результирующей суммы.
Тематическое моделирование и мешок слов
Тематическое моделирование корпуса документов представляет собой набор тем, характеризующих содержание данных документов. Для описания темы используется тематическая модель, которая содержит связи между словами и документами, представленная в виде векторных распределений. Тематическая модель является средством обобщения и систематизации содержания документов корпусов.
Одним из наиболее распространенных подходов в тематическом моделировании является метод латентного размещения Дирихле или Latent Dirichlet Allocation (LDA). LDA состоит в составлении так называемого мешка слов (bag-of-words) для каждой темы на основе частотных характеристик входящих в него n-грамм.
Метод тематического моделирования применяется в задачах корпусного уровня, например, для информационного поиска или автоматической разметки текстов по темам.
Что такое НЛП простыми словами — ТОП-3 лучших Техники
Здравствуйте, дорогой читатель! Сегодня мы с вами разберем одну из самых интересных тем в психологии — нейролингвистическое программирование (НЛП). Данная сфера психологии является спорной, однако имеет некоторые логические и психологические основы. Давайте посмотрим, что будет в статье:
Нейролингвистическое программирование — это дисциплина, которую разработала в 1970е годы группа энтузиастов. Самыми известными из основателей стали лингвист Джон Гриндер и психолог Ричард Бэндлер. В наше время мы часто контактируем с новыми людьми. Именно поэтому, применяя методы НЛП, вы можете сразу поставить себя на нужный уровень в общении.
Нейролингвистическое программирование — Основная информация
НЛП — техники появились как упрощённый вариант приёмов психологов и психотерапевтов. Они призваны помогать людям обрести цельность. Поэтому, используя методы нлп, вы сможете корректировать чужое поведение и приводить в порядок самого себя. Основная задумка нейролингвистического программирования заключалась в создании благоприятной среды для общения. В этой статье мы продемонстрировали основные нлп — техники, на примере которых можно научиться азам манипулирования самостоятельно.
С базовой частью общедоступных методов нейролингвистического программирования удобно познакомиться в виде списка:
1. Речевые техники НЛП:
2. Техника НЛП — якорение
Далее подробно разберем каждый пункт этого отображения.
Нейролингвистическое программирование — Речевые техники
Эти техники являются как раз тем самым нейролингвистическим программированием, каким его представляет большинство людей. По сути, речевые техники предполагают употребление определённых фраз, изменение интонации, мимики и положения тела. НЛП во многом строится именно на «отзеркаливание», на умении «скопировать» собеседника. Это нужно, чтобы стать для него «своим». И тогда он будет куда более восприимчив ко всему, что вы скажете.
Начнем с рассмотрения речевых техник нлп. Они часто употребляются в рекламе, выступлениях политиков и просто в общении с людьми. Странно, но разные люди используют те или иные методы из этой области неосознанно, без предварительного обучения. Это происходит и в семье, и на работе, и в общественных местах, и в любых других социальных точках. Поэтому польза от логического понимания этих техник заключается в умении распознавать попытки манипуляции и противостоять им. Также уметь направить общение в нужное русло.
НЛП — Трюизмы
Само слово «трюизм» является англицизмом и в своём изначальном варианте обозначает «банальность». Это утверждение, которое является чем-то настолько обыденным, что воспринимается без всякой критики, просто как данность. Классическими примерами служат фразы наподобие «мальчики не плачут», «спорят только дураки» и прочее. Человек, который использует эти и подобные им формулировки фраз, заставляет делать то, что ему нужно. Он минует убеждения, которые опровергают сформулированные утверждения.
Например, если одному индивидууму нужно заставить другого проявить активную позицию в каком-либо вопросе, он скажет: «Под лежачий камень вода не течёт». В результате вы отчётливо подаете посыл, согласно которому только активное поведение может исправить ситуацию. Если понадобится урезонить другого, то можно вспомнить фразы «Дурная голова ногам покоя не даёт» и «поспешишь – людей насмешишь». Пожалуй, многие пословицы являются как выражением жизненного опыта поколений, так и хорошим способом замотивировать другого на нужные действия.
НЛП — Предположения
Предположения представляют собой манипуляцию на основе связывания двух событий воедино с целью заставить после выполнения одного действия приступить ко второму.
В реальной жизни такие посылы демонстрируются фразами наподобие «пойдёшь в школу – извинись перед одноклассником». При этом совершенно не уточняется, хочет ли школьник извиняться перед одноклассником и нужно ли это делать. Перед человеком вообще не ставится выбора, и он бессознательно воспринимает это наставление. Благодаря подобным фразам можно превратить невинный поход в школу в достаточно сложное моральное задание. Этот иррациональный подход всё-таки работает и в сознании человека в обход его воли и вправду связываются две не особо взаимозависимые величины.
НЛП — Противоположности
Этот принцип хорошо прослеживается в рекламе, которая часто транслирует скрытый посыл «купи наш товар и уподобишься кинозвезде». Также связываются две ситуации. Только «накинутая» ситуация уже является не приказом, а неким обещанием.
Стремление к мечте подталкивает сделать то, что хочет манипулятор. Достаточно ярким примером является многим знакомая фраза «будешь хорошо учиться – станешь начальником». При этом не уточняется, как хорошая учеба гарантированно приведёт девятиклассника к креслу генерального директора. Это просто абстрактное обещание, которое на бессознательном уровне связывает две независимые позиции в человеческой психике.
Двойные вопросы
В них содержится два вопроса. Первый выступает как вступительный. А второй, по типу предыдущих, воспринимается бессознательно как истина в последней инстанции.
Как правило, используются конструкции наподобие:
Например:
«А вы осознали, как правильно вы поступили, придя сюда?»
«Не кажется ли вам, что в этом районе нет хороших мест для празднования?»
Как и предыдущие, приём кажется достаточно простым, но он оказывает большое внушительное влияние.
Ложный выбор
В данном случае человеку даётся возможность выбрать. Но на самом деле, это выбор из двух позиций, одинаково выгодных тому, кто задает вопрос:
Как можно понять, эффект во многом аналогичен предыдущим.
Техника якорения
По сути, якорь – это триггер. Это то или иное место, песня, вещь и т.д., которые вызывают у личности сильные чувства из-за связи с воспоминаниями, переживаниями. Человека в детстве увлекала компьютерная игра и он провёл в ней много времени. Воспоминания о прохождении игры вызывают давно потерянное чувство сказочности. Если бы он познакомился с этой игрой во взрослом возрасте, то мог бы оценить её как просто хорошую. Пройти один раз и не возвращаться больше. Но именно из-за того, что она является якорем, который позволяет почувствовать себя ребёнком, он может стабильно тратить по паре дней в каждом отпуске, чтобы пройти её заново.
То же самое касается и якорей со знаком «минус». У этого же человека в детстве была крайне вредная бабушка. Потом возможно негативный опыт подкрепился в школе в ходе общения с пожилыми учительницами. Вероятно, что и в 40 лет он будет испытывать некоторое чувство стресса, когда столкнётся с пожилой женщиной.
На практике якорь используется для контроля тех или иных привычек. Например, наказания за прогулы в школе или не сделанные уроки — негативный якорь. Ключом которых является невыполненные обязательства, после которых наступает наказание. Также подобный опыт применяется при лечении алкоголизма. После употребления спиртного, дают рвотную таблетку. Со временем один вид алкоголя будет вызывать ассоциации с тошнотой.
Нейролингвистическое программирование — Упражнения
Теперь в этой части статьи будут представлены практические последовательности действий. Самостоятельная практика этих действий может изменить восприятие действительности вами и окружающими.
Это не слон – это муха
Суть этого упражнения заключается в том, чтобы убрать всякие надуманные страхи и излишнюю драматизацию. Таким образом снизить действие стресса от ситуации.
Чтобы превратить своих страшных «слонов» в «мух», нужно:
При помощи этого упражнения можно избавиться от привычки гиперболизировать возникшие на жизненном пути трудности.
Большая стирка
Данная техника прекрасно работает, когда картинка медленно, но верно выводит человека из себя и всё время всплывает в памяти. Не дает спокойно жить. Если не помогают ни встречи с друзьями, ни уход в работу — пришло время применить на практике основы нлп:
Это упражнение хорошо подходит при паранойе и навязчивых мыслях.
Мушкетёры 20 лет спустя
Эта техника позволяет увидеть, насколько несущественны те проблемы, которые сейчас кажутся крайне важными. Как ни странно, но её практикует множество людей, даже не догадываясь об этом.
Это упражнение по своей сути направляет уже даже не столько на работу с восприятием, сколько на философское осмысление.
Упражнение наглядно демонстрирует простую истину. Мелкие повседневные неприятности в нашем вечно меняющемся мире достаточно быстро забываются. Не превращайте их в катастрофу грандиозного масштаба!
Лучшие книги по НЛП
Если у вас остались какие-то вопросы, то даем вам по нашему мнению лучшие книги по НЛП. Этот список включает произведения:
Нейролингвистическое программирование — Заключение
Давайте подведем итоги сегодняшней статьи:
Помните! Прежде чем использовать нейролингвистическое программирование для изменения поведения людей, опробуйте эти техники на себе. Лишь улучшив с их помощью своё собственное восприятие реальности, приступайте к экспериментам с восприятием окружающих.
Две сущности нейролингвистического программирования
NLP компьютерное и НЛП психологическое
Нейролингвистическое программирование (НЛП) является областью знаний, возникшей изначально в двух отраслях науки: Computer Science и Психологии. В Computer Science NLP означает Natural Language Processing, в психологии — нейролингвистическое программирование. Это не совсем одно и тоже, но как минимум близко. Близко, как единство противоположностей. Обладая одинаковым названием и задачами по изучению структур языка, работ посвящённых исследованию их связи и возможности перекрёстного использования техник крайне мало. Психологическое НЛП, по моему скромному мнению, продвинулось в изучении структур языка существенно дальше, чем стемминг и лемматизация, которые применяются в большинстве задач компьютерного NLP. В этой статье я освящу основные наработки психологического НЛП для компьютерного NLP, намечу пути, как с помощью психологического НЛП создавать State of the Art нейросети NLP. Для сокращения широты методов NLP ограничим эту область до области, где для целей NLP применяются нейросети.
Психологическое НЛП было представлено Ричардом Бендлером и Джоном Гриндером. Самой известной книгой по НЛП является книга «Структура магии». Я конечно имею в виду психологическое НЛП, не удивляйтесь и не пугайтесь. Показательно, что названием первого тома этой книги является: «Книга о языке и психотерапии». Если мы опустим слово «психотерапия», мы обнаруживаем много сведений о языке, вполне применимых для техники.
Нейронная сеть это упрощённая мыслительная модель, по крайней мере мы надеемся на это. Нечто общее между ними безусловно есть, как минимум слово «нейро». В то же время, психологическое НЛП тоже является не полноценным психоанализом. Серьёзные психологи обзывают НЛП «психология для чайников» — кому не дано читать Зигмунда Фрейда, читают Ричарда Бендлера и Джона Гриндера.
применение «упрощённой психологии» к «упрощённой модели мозга» заслуживает обсуждения
Я буду освещать перенос методов из психологического НЛП в техническое: сейчас это востребовано, мне поставят лайки, кто-нибудь напишет комменты, девушки будут узнавать меня «это популярный технический блоггер!». Однако, перенос технических разработок НЛП в область психологии возможен и, для целей развития общества, ИМХО, более важен. Собственно этим примерно занимаются те, кто исследует Big Data: получая данные о поведении масс, они регулярно формируют психологические и социологические модели. К сожалению, редко кто может осуществить перевод наработок на язык психологов, социологов, популяризовать результаты в их среде.
Базовые пресупозиции НЛП для нейронной сети
Сначала немного абстракций. Методы будут в нижних разделах.
Одной из основ психологического НЛП является понятие базовых пресупозиций: аксиом на базе которых формируется данная область (почти как в геометрии). С точки зрения computer science, термин «пресупозиция» может занять достойное место в Эмбединге, в начале вашей неросети. Если бы у меня было больше времени, я непременно бы провёл исследование, не является ли слово «пресупозиция» камнем преткновения в текстовом корпусе, стоит ли он там во главе угла.
Могут ли базовые пресупозиции НЛП применяться к Нейронной сети?
Ниже я привожу базовые пресупозиции психологического НЛП и расшифровываю их значения для нейросети. Специалисты по computer science прочитав могут понять, с чем приходится иметь дело и как пропустить это через свой keras.layers.Embedding. Трактовка для нейросети субъективна и не претендует на полноту.
Пресупозиция НЛП | Трактовка для нейросети |
Карта — не территория | Феномен переобучения постоянно подтверждает это |
Любое поведение мотивировано позитивным намерением; для любого поведения существует контекст, в котором оно ценно. | Нейросеть ценна в контексте, в котором она создаётся. Внутри этого контекста она показывает лучший результат. |
Позитивная ценность человека абсолютна, а вот ценность и пригодность внутренних и/или внешних поведений может быть подвергнута сомнению. | Ценность нейросети для самой себя также абсолютна. А вот в продакшине её ценность подвергается сомнению постоянно. |
Способность изменять процесс восприятия реальности часто полезнее изменения содержания воспринимаемой реальности. | Привнесение новых фичей даёт результат лучше, чем усложнение сети. Это часто подтверждается на соревнованиях Kaggle, но, однако, не всегда: CNN может давать результат при сокращении признаков. |
Все различения, касающиеся окружающей среды и собственного поведения, на которые способны человеческие существа, можно и полезно представить в терминах визуального, аудиального, кинестетического, обонятельного и вкусового восприятия. | В нейросеть можно подать только текст, фото (видео) или закодированные фичи (аудио кодирует информацию). В общем, умельцы как не пытаются загрузить в сеть что-то «оттуда», у них не получается… |
Все ресурсы, нужные людям для изменения, у них уже есть. | Для повышения качества работы нейросети можно придумать сколь угодно мудрёную комбинацию слоёв (вспомним BERT). Если железо это потянет… |
Обратная связь вместо неудачи — все результаты и поведения являются достижениями, позволяют они достигнуть желаемого результата в данном контексте или нет. | Пресупозиция выражается в обучении с подкреплением: у неё нет эмоций, любую неудачу сеть воспринимает как опыт. |
Смысл коммуникации в ответе, который вы получаете. | Сеть создаётся чтобы получить ответ: от объекта исследований или от мироздания. |
Вот мы проектируем нейронную сеть. Практикуем диалог со вселенной:
— у нас неудача: сеть работает, но плохо. – ответ вселенной:
— «смысл коммуникации в ответе, который вы получаете.». Т.е. задача в таком виде не решается, нужно что-то менять. – ещё вопрос:
— что именно менять? – ответ вселенной:
— «Способность изменять процесс восприятия реальности часто полезнее изменения содержания воспринимаемой реальности». Т.е. меняйте фичи…
Подходы к обработке текста в НЛП
Спустимся же на землю, вернёмся к основной задаче, ради которой уважаемый читатель читателей читает этот материал. Что в психологическом НЛП есть для работы с текстом?
НЛП содержит множество конструкций для работы с текстом, которые пока не алгоритмизированы.
на текущем этапе удалось вспомнить 5 моделей НЛП пригодных для применения в компьютере. По каждой из конструкций НЛП написаны книги. В двух словах объяснить, что такое метамодель, не получится. В этой статье постараюсь дать отсылку к источникам и прикинуть, что это может быть для NLP компьютерного.
1. Модель языка и метамодель
Описание >>
Краткое описание: метамодель представляет собой модель изменений уровней абстракции в языке, а также и произвольную трактовку понятий разными людьми. Например, слово «любовь» можно понимать по разному: слово «секс» для многих является разновидностью любви, для кого-то это разные вещи. Метамодель это не теория а вопросная техника, позволяющая пробиться к скрытым за словами понятиям, стоящим в голове человека.
Нейронка которая бы повышала / понижала / смещала уровни абстракции текста стала бы революцией! В продакшине эта нейронка могла бы дополнить имеющиеся диалоговые модели: современные чат-боты не умеют работать в выбранном контексте, подстраиваться под терменологию человека. Кто-то под словом «счастье» понимает, что это когда много любви, кто-то, когда много еды, а программист понимает, что счастье — это когда вокруг компьютеры и все пентиумы. Как чат-бот может определить истинное значение слова «счастье» для собеседника?
Нейронка кстати не будет супер сложной: надо собрать корпус текста, разметить его по уровням абстракции и смещения области значений, поиграть с сетями похожими на архитектуры сетей-переводчиков. Переведём конкретный корпус в абстрактный, потом обратно.
2. Нейрологические уровни (Чарлз Дилтс)
Описание >>
Краткое описание: все понятия языка разделяются на 7 уровней. Каждый следующий логический уровень — от миссии к окружению — должен соответствовать предыдущему. Список уровней и картинки есть по ссылке.
Логические уровни являются уточнением метамодели, вносящую в уровни абстракции дополнительный порядок: она не сферическая в вакууме, каждый уровень абстракции имеет свою цель и задачу (предназначение), уровни становятся связанными между собой.
Сетей на основе логических уровней можно придумать множество. Первым вариантом на ум приходит сеть, выделяющая уровень более высокого порядка из текста, который содержит описание сущности в понятиях выбранного логического уровня. Например: бизнес-процесс является описанием на языке нейрологического уровня «место / действие». А компетентностная модель это описание на языке уровня «способность / возможность». Сеть, строящая компетентностную модель по описанию бизнес-процесса, будет стоить очень дорого.
Сделать такую сеть реально: нужны корпуса текста, размеченные по логическим уровням, мощности для работы с архитектурой энкодер/декодер.
3. Метапрограммы
Описание >>
Краткое описание: метапрограммы — основные фильтры восприятия человека. Программами их назвали психологи, не программисты. Человек не мыслит «вообще»: он концентрируется на чём-то, выбирает «фильтр» через который он воспринимает это что-то, далее он отрабатывает по алгоритму ту информацию, которую он получил через фильтр и производит некоторый вывод и управляющие воздействие. В НЛП выделяется 7-10 основных фильтров восприятия, метапрограмм. Список метапрограмм различный для разных культур, частей социума, может изменяться во времени.
Нейронка, которая бы делала выводы не в целом, а в разрезе конкретного объекта с применением фильтра восприятия, могла бы стать основой «сильного» интеллекта. Набор сетей, каждая из которых обучена для работы по одной из метапрограмм и комитет, выбирающий какую из них применить к реальности, дали бы возможность ИМХО сети стать более автономной и, возможно, получить какую-то адаптивность в физическом мире.
Метапрограмма | Сеть определяет |
Активный-Рефлексивный | Выбор как лучше поступать: активно или рефлексивно |
ВО-ВНЕ времени | Тут сложно |
Сортировка | Сортировка неструктурированной информации по неясным параметрам |
Мотивы | Что делать? |
Ориентация во времени | Будущее или прошлое? |
Предпочитаемая модальность | Выбор признаков |
Стремление-избегание | Делаем или уходим |
Размер разбивки | Умная кластеризация |
Референция | Навязывать правила или играть по правилам |
Способы мышления | Выбор метапрограммы |
Фокус сравнения | Выбор фичей для сравнения |
Как видим, построить каждую из таких сетей это задача для института. Для каждой метапрограммы будет сетка масштаба ResNet50, обученная на ImageNet. Эту сеть делала корпорация несколько лет. И это не полный список метапрограмм для лишь одной культуры! Но эффект может быть поразителен: глядишь, собрав 20-30 таких сетей в ансамбль, получим что-то действительно умное.
4. Раскрутки
Описание >>
Краткое описание: раскрутки это техника, в основе которой лежит игра с фильтрами восприятия. Меняя фильтры восприятия собеседника мы выходим на эмоциональный план, получив доступ к нелогическим планам сознания и интересным психологическим эффектам.
Раскрутки это по сути применение навыков работы с метапрограммами. И да, если мы лишь вообразим, что мы сделали сети для предыдущего пункта, то их применение может быть эпохальным и воистину эпическим…
5. Двойная и тройная спираль
Описание >>
Краткое описание: не смотря на то что тройная спираль это техника, за неё стоит чёткая речевая конструкция — вложенность логических постановок выделенная тоном даёт доступ к эмоциональным и нелогическим планам человека.
Тройную спираль можно моделировать и / или хотя бы выявлять в речи. Это не станет революцией. Но будет полезно для понимания структуры материалов в прессе. А ещё лучше для систем, которые текст генерируют: разнообразие литературных стилей невозможно без двойной и тройной спирали.
Перспектива разработок сетей по моделям психологического НЛП
Интерес к разработкам масштаба, изложенного в предыдущем разделе, может быть либо у крупных игроков, либо у энтузиастов-любителей. Для Армии, усилить мозги робота Фёдора за счёт нейросетей созданных по моделям НЛП, может быть весьма привлекательным. Также есть перспектива разработки моделей, усиливающих BERT и XLNet – работа с метамоделью и логическими уровнями могли бы помочь создать крутейших чат-ботов, способных болтать на любые темы с кем угодно.
Для коммерческих организаций, которые озабочены вопросом распознавания параметров накладных для автоматизации учёта фиатных валют, это мало интересно. Задача повысить кол-во ноликов на счетах, которые ведутся в компьютере их фактического хозяина, с помощью нейронных сетей не решается.