Четыре лапы и четыре компьютера: новосибирские студенты научили робота-собаку понимать человеческую речь

Если раньше роботы были героями фантастических романов, то сейчас кажется, что будущее, где «вкалывают роботы, а не человек», уже наступило. Особенно активно развиваются беспилотные автомобили, роботы-гуманоиды и промышленные манипуляторы. В Новосибирском государственном университете недавно появился институт интеллектуальной робототехники, где студенты осваивают перспективную профессию и уже во время учебы выполняют проекты для реальных предприятий.

— Институт интеллектуальной робототехники (ИИР) открылся в НГУ на волне бума искусственного интеллекта. Ребята здесь создают цифровые двойники и физических роботов. Они изучают искусственный интеллект, микроэлектронику, низкоуровневое программирование и другие дисциплины — знания актуальные, нужные для работы в реальных компаниях. На робототехнике даются базовые навыки, как работать с программной частью и настраивать роботов, — поясняет преподаватель НГУ Виталий Кудинов.

Студенты не просто делают учебные модели, уже на третьем курсе они могут решать задачи для реальных предприятий – тема очень востребованная, а специалистов в России пока еще мало.

Например, в этом году студенты разработали для крупной строительной компании робота-манипулятора, который будет шлифовать стены в помещениях перед чистовой отделкой. Обычно эту работу выполняют низкоквалифицированные рабочие, которых сложно контролировать, к тому же среди них большая текучка. Автоматизация поможет строителям повысить эффективность.

Следующий этап внедрения — интеграция робота в производственный процесс, возможные модификации его оснастки и «софта» под особенности разных строительных объектов. Возможно, создавшая робота команда займется этим уже не в формате студенческого проекта, а в качестве сотрудников компании.

Кто-то сам придумывает идеи для проектных работ — преподаватели готовы поддержать любую инициативу.

— Это хорошо, когда после изучения возможностей программного обеспечения у ребят появляются собственные мысли, они хотят сделать что-то, что до них никто не реализовывал. Тогда у них и мотивация больше. Конечно, я всегда помогаю увлеченным студентам, иногда до вечера сидим, чтобы довести идею до ума, — рассказывает Виталий Кудинов.

Среди выполненных в рамках курса работ были проекты в области компьютерного зрения, разработка алгоритмов аналитики для предсказания приступов эпилепсии и другие. Но самым популярным стал робот-собака, которого студенты научили понимать речь и приносить предметы хозяину.

За основу был взят китайский робот компании Unitree Robotics, который студенты полностью перепрограммировали. Изначально у робота-собаки есть только стандартное управление с пульта, и он может выполнять типовые команды. Студент НГУ Владимир Таратутин решил научить четвероногого друга понимать человеческую речь — добавил в модель голосовое управление, чтобы можно было попросить ее, например, сходить на кухню или подпрыгнуть.

— На собаке установлено четыре компьютера, контролирующие разные моменты. Один из них может принимать команды, которые запускают моторы и заставляют робота ходить и совершать другие действия. Мы хотели полностью все голосовое управление перенести на собаку, используя решения из умной колонки, но пока это не получилось из-за закрытого интерфейса Яндекс Станции. Часть голосового управления мы оставили на ноутбуке, к которому подключен обычный микрофон-петличка и запущена программа распознавания речи. Эта программа отсылает команду собаке по Wi-Fi, — объясняет Виталий Кудинов.

Затем четверокурсник Даниил Первухин решил добавить роботу управление рукой-манипулятором (или правильнее ее называть лапой?). Пока оно реализовано в рамках симулятора, в виде программы, осталось физически сделать сам манипулятор по существующим чертежам.

— У компьютеров, установленных на собаке, есть возможность запускать так называемые модели машинного обучения. Сейчас наша собака умеет распознавать скелет человека и, соответственно, отличать людей от остальных объектов. Например, можно научить ее следовать за каким-то человеком или избегать людей на улице. Дальше можно учить ее распознавать столы, стулья, двери, стены и так далее, чтобы собака могла ориентироваться в пространстве и понимать, куда она идет, — говорит Виталий Кудинов.

Робособака хоть и не похожа на обычного пушистого питомца, но неизменно вызывает восторг и умиление у всех, кто его видит. А может ли она приносить пользу? Виталий предлагает использовать ее для охраны территории, потому что робот способен быстро проходить большие участки и помещения и мониторить обстановку. Ему можно доверить техническое обслуживание предприятия: проверять состояние датчиков, считывать их положение, регулировать какие-то системы. Робот может работать на улице в любую погоду и заходить в такие места, где людям находиться нежелательно или опасно.

По словам преподавателя, в России пока мало разработок и специалистов по программному обеспечению роботов. Производителей роботов можно буквально пересчитать по пальцам. Например, в Челябинске недавно открылся завод по производству промышленных роботов-манипуляторов, а в Перми есть разработчик роботов-гуманоидов на колесной базе. Поэтому спрос на выпускников ИИР большой.

Университет помогает будущим робототехникам продвигать свои проекты и устраиваться на работу. Ребята могут представить собственные проекты на площадке «Точка кипения» в новосибирском Академпарке его резидентам, участвовать в различных акселераторах стартапов и других мероприятиях. Например, в прошлом году Владимир Таратутин представил робособаку на фестивале карьеры COOKIE FEST, а затем на выставке ВДНХ, где вся страна увидела необычного робота на Днях Новосибирской области. Цифровой пес вызвал большой интерес и шквал вопросов от специалистов и простых посетителей, которые сразу хотели его погладить.

К тому же близость Технопарка играет свою роль: факультет старается выходить на руководителей базирующихся там компаний, рассказывать им о возможностях студентов, узнавать об актуальных вакансиях и знакомить потенциальных работодателей со специалистами, которые могут принести им пользу.