АПК «RiskControl» - методика автоматизированного опроса и анализа параметров речи.

(c) Вестник психофизиологии №4 2016

УДК 159.91

МЕТОДИКА АВТОМАТИЗИРОВАННОГО ОПРОСА С КОНТРОЛЕМ ИНФОРМАТИВНЫХ ПРИЗНАКОВ ЭМОЦИОНАЛЬНОГО СТРЕССА НА ОСНОВЕ АНАЛИЗА ПАРАМЕТРОВ РЕЧИ

Конобеевский М.А.

Россия, Москва,

Эмоции, которые характеризуют внутреннее состояние человека в рамках процесса общения, являются ключевыми для понимания сущности вербальной информации и дополняют семантическое значение, которое приобретает эта информация.

Проблема корреляции эмоционального напряжения и акустических параметров речи вызывает большой научный интерес при решении различных прикладных задач. Например,  определение психоэмоционального состояния индивида по звучанию его голоса в конкретных сферах деятельности, в частности, в психологии, в медицине, в криминалистике, в охране труда.

Научные исследования взаимосвязи эмоционального содержания речи и ее акустических параметров начались в первой половине ХХ века. Они касались, прежде всего, «базовых» эмоций, часть из которых могут являться источником эмоционального стресса (страх, гнев, раздражение). Такими исследованиями являются работы E.W. Scripture [13], M.R. Bonner [10], M. Isserlin [12], E.R. Skinner [14] и др. В 39 году прошлого века G. Fairbanks и W. Pronovost [11] представили самое полное на тот момент описание связи базовых эмоций с акустическими параметрами речи:

- при «гневе» увеличивается частота фонации в сравнении с безэмоциональной речью;

- при «страхе» частота фонации снижается в сравнении с «гневом», в ее контуре появляются резкие пики;

- при «раздражении» частота фонации снижается в сравнении с безэмоциональной речью.

Методический принцип сравнения параметров эмоциональной и безэмоциональной речи в рамках изучения одного индивида был использован в дальнейших исследованиях C. Williams. и K. Stevens [15]. В основу разработанного алгоритма контроля информативных признаков эмоционального стресса на основе анализа параметров речи был положен этот же принцип.

Отечественные исследователи выделяют следующие информативные признаки проявления сильных эмоций в речи: частота основного тона голоса, особая контрастность по высоте основного тона,  динамичность произнесения, изменение времени высказывания, латентный период речевой реакции, темп артикулирования [2,5,6,7,8].

Теоретической и методологической базой разработанной методики послужили положения о регулирующей роли сознания в поведении человека; принципы целостного и системного подхода в психологии; общепсихологические принципы деятельностного подхода, детерминизма психических явлений и формирование личности в деятельности; положения о взаимосвязи теории и практики, о многофакторности процесса развития; об объективных и субъективных факторах развития личности; об активности формирования и развития психики в процессе деятельности; о регулирующей роли мотивации деятельности (С.Л.Рубинштейн, Л.С.Выготский, Б.Г.Ананьев, А.Н.Леонтьев, А.В.Брушлинский и др.).

Цель:

Целью исследования является разработка методологии и аппаратно-программного комплекса ведения опроса с контролем информативных признаков эмоционального стресса на основе анализа параметров речи.

Задачи:

1. Обосновать теоретические и методологические подходы к проблеме анализа признаков эмоционального стресса в речи в отечественной и зарубежной психологии и психофизиологии.
2. Разработать методологию и обосновать используемый комплекс вопросных методик с позиций объективности, надежности и валидности.
3. Провести научно-экспериментальное исследование структурно-содержательных компонентов психоэмоционального состояния человека и определить наиболее информативные признаки их проявления в речи.
4. Разработать аппаратно-программный комплекс с целью стандартизации экспериментальных условий.
5. Разработать нейросетевое программное обеспечение для контроля информативных признаков эмоционального стресса на основе анализа параметров речи.

В результате теоретического и пилотного экспериментального исследования был определен эффективный набор речевых  характеристик,  изменяющихся  в зависимости от психоэмоционального состояния индивида:

1. Время задержки ответа.
2. Длительность ответа.
3. Амплитуда ответа.
4. Спектральный состав ответа.
5. Соответствие спектра частот ответа его семантическому значению.

Так же были определены основные этапы процедуры тестирования:

1. Подготовка к тестированию. Оператор надевает испытуемому ларингофон, наушники и очки. Запускает компьютерную программу.
2. Предтестовый этап. Голосовой синтезатор программы задает первые калибровочные вопросы и зачитывает инструкцию.
3. Этап создания шаблонов. Голосовой синтезатор задает контрольные вопросы, по ответам на которые происходит обучение алгоритмов компьютерной нейросети.
4. Тестовый этап. Голосовой синтезатор задает экспериментальные вопросы. В режиме реального времени программа измеряет временные и амплитудные параметры голоса, осуществляет анализ спектрального состава ответов и статистически сравнивает спектр частот ответа с ранее сформированными шаблонами.
5. Сохранение данных. Для дальнейшей обработки результатов программа записывает измеренные параметры в лог-файл, а также осуществляет звукозапись всего процесса тестирования.
6. Обработка результатов. Полученные данные обрабатываются с помощью отдельной программы-интерпретатора, в которой результаты представляются в графическом виде и словесных заключениях.

Как видно из представленного алгоритма процедуры экспериментального исследования, в начале и далее по ходу процедуры тестирования респонденту задаются контрольные вопросы, из ответов на которые создается усредненный шаблон спектра частот нейтрального, безэмоционального ответа. Так же, в процессе тестирования задаются экспериментальные вопросы, анализ ответов на которые заключается в том, что программный алгоритм измеряет пять выделенных информативных признаков эмоционального стресса вербального ответа. Программа-интерпретатор анализирует сочетание данных информативных признаков и автоматически дает заключение о проявлении эмоционального стресса в ответах.

Еще одной методологической задачей исследования была стандартизация условий проведения процедуры тестирования. Для решения этой задачи был разработан аппаратно-программный комплекс (АПК) «RiskControl» со следующим  комплектом оборудования:

1. Цифровой ларингофон.
2. Наушники с активным шумоподавлением.
3. Непрозрачные очки.

В соответствии с требованиями научного эксперимента [3, 4] данный состав аппаратно-программного комплекса «RiskControl» позволяет создать стандартные условия при каждой процедуре тестирования. Наушники с активным шумоподавлением и непрозрачные очки исключают влияние внешних факторов на респондента, а цифровой ларингофон фиксирует сигнал только с голосовых связок. В результате, процедуру тестирования возможно проводить практически в любых неподготовленных условиях.

Интерфейс программы позволяет контролировать параметры ответов в режиме реального времени (Рис.1).

Рис. 1. Интерфейс программы АПК «RiskControl»

В результате пилотного экспериментального исследования было обнаружено, что в ряде случаев, при сравнении спектра частот ответа с соответствующем ему по семантике шаблоном статистический коэффициент показывает достоверное отличие. В то же время, этот же ответ имеет достоверное соответствие по спектру частот противоположному по смыслу  шаблону. Таким образом, научной новизной данного исследования является определение нового параметра речи - соответствие спектра частот ответа его семантическому значению.

Эксперименты показали, что если вопрос является для респондента эмоционально значимым, то его ответ содержит сразу несколько информативных признаков эмоционального стресса. Так же было установлено, что, в ряде случаев, если респондент дает ложный ответ, то он имеет достоверное соответствие спектра частот противоположному по семантическому значению шаблону. Например, ответ «Нет» по спектральному составу соответствует шаблону «Да», и наоборот.

Сейчас проводится множество разнообразных психофизиологических исследований, целью которых является найти признаки и методы, объективно характеризующие психоэмоциональное состояние человека [1]. В большинстве случаев, данные исследования носят исключительно клинический характер и не имеют возможности широкого применения.

Теоретические основы и методологические принципы работы АПК «RiskControl» включены в парадигму общей информационной теории эмоций академика П.В.Симонова [9]. При этом технология АПК «RiskControl» абсолютно проста в реализации и максимально адаптирована к массовому биометрическому применению.

Видео: пример использования АПК «RiskControl» в качестве детектора лжи.

Сайт разработчиков АПК «RiskControl»

Список литературы:

1. Анохин П.К. Эмоции / БМЭ. 2-е изд. М., 1964. Т. 35.
2. Витт Н.В. Эмоциональная регуляция речевого поведения // Вопр. психол. 1981. №4. С. 60-69.
3. Дружинин В.Н. Экспериментальная психология: Учебное пособие. М.: Инфра-М, 1997.
4. Корнилова Т.В. Экспериментальная психология. М.: Издательство Юрайт, 2012.
5. Носенко Э.Л. Особенности речи в состоянии эмоциональной напряженности. — Днепропетровск, 1975.
6. Носенко Э.Л. Изменение характеристик речи при эмоциональной напряженности // Вопросы психологии. — 1978. — № 6. — С. 76-85.
7. Носенко Э.Л. Попытка системного подхода к анализу речи в состоянии эмоционального напряжения // Психологический журнал. — 1980. — № 6. — С. 54-61.
8. Носенко Э.Л., Ельчанинов П. Е., Крылова Н. В., Петрухин Е. В. О возможности оценки эмоциональной устойчивости человека по характеристикам его речи // Вопросы психологии. — 1977. — № 3. — С. 46- 56.
9. П.В.Симонов П.В."Мозг: эмоции, потребности, поведение", Избранные труды, том 1. Изд. Наука, 2004.
10. Bonner M.R. Changes in the speech pattern under emotional tension // Amer. J. Psychol. – 1943, N 56. – 262–273.
11. Fairbanks G., Pronovost W. An experimental study of the pitch characteristics of the voice during the expression of emotion // Communication Monographs. 6. – 1939, Issue 1. – P. 87–104.
12. Isserlin M. Psychologisch-phonetische Untersuchungen // Zeitschrift fьr die gesamte Neurologie und Psychiatrie. 94. – 1925, N 1. – P. 437–448.
13. Scripture E.W. A study of emotion by speech transcription // Vox. – 1921, N 31.
14. Skinner E.R. A calibrated recording and analysis of the pitch, force, and quality of vocal tones expressing happiness and sadness // Communication Monographs. 2. – 1935, Issue 1. – P. 81–137.
15. Williams C.E., Stevens N.K. Emotions and Speech: Some Acoustical Correlates // J. Acoust. Am. Vol.52. – 1972, Issue 4B. – P. 1238–1250.

В ходе исследований разработана методология и система стандартизированного вербального опроса при работе которой учитывается не только семантическое значение ответа испытуемого, но и его эмоциональное содержание.

Данная система реализована в составе аппаратно-программного комплекса (АПК) «RiskControl». Методика может быть применена для проведения формализованного интервью, психологического тестирования, детекции лжи. Процедура тестирования заключается в том, что голосовой синтезатор задает вопросы со стандартной скоростью и тембром, ответы респондента распознаются и анализируются программным алгоритмом на предмет наличия в них информативных признаков эмоционального стресса. Особенностями системы являются стандартные условия проведения исследования, автоматический режим работы и статистическая достоверность результатов, которые исключают влияние субъективных факторов.

Ключевые слова: АПК «RiskControl», информативные признаки эмоционального стресса, параметры голоса.

AUTOMATED SCANNING MITHODOLOGY WITH INFORMATIVE MONITORING OF EMOTIONAL STRESS SIGNS BASED ON EXAMINATION OF SPEECH INDICATORS

The study developed methodology and system of standardized verbal survey in which not only semantic meaning is taken into account, but also emotional aspect of response. 

Present system is implemented as a part of hardware and software «RiskControl» complex. Methodology could be applied to formalized interviewing, psychological
testing, lie detecting. Testing procedure consists in the following: voice synthesize raises questions with regular speed and timbre, respondent’s replies are recognized and analyzed by software algorithms so as to ascertain whether there are indications of informative signs of stress. Key features of this system included standard study terms, automatic mode and statistic accuracy of results excluding influence of subjective factors.

Key words: hardware-software complex «RiskControl», informative signs of emotional stress, the voice options.