- Многомасштабный управляющий сигнальный преобразователь для бесфазного синтеза движения (arXiv)
Автор: Линтао Ван, Кун Ху, Лей Бай, Юй Дин, Ваньли Оуян, Чжиюн Ван.
Аннотация: Синтез управляемого движения персонажа с использованием глубокого обучения был многообещающим подходом из-за его потенциала для изучения компактной модели без трудоемкой разработки признаков. Для создания динамического движения из слабых управляющих сигналов, таких как желаемые пути, существующим методам часто требуется дополнительная информация, такая как фазы, для устранения неоднозначности движения, что ограничивает их возможности обобщения. Поскольку прошлые позы часто содержат полезные вспомогательные подсказки, в этой статье мы предлагаем независимый от задачи метод глубокого обучения, а именно многомасштабный преобразователь управляющих сигналов (MCS-T) с архитектурой кодера-декодера, основанной на внимании, для обнаружения вспомогательного информация неявно для синтеза управляемого движения без явного требования вспомогательной информации, такой как фаза. В частности, кодировщик разработан для адаптивного формулирования моделей движения прошлых поз персонажа с многомасштабными скелетами, а декодер, управляемый управляющими сигналами, для дальнейшего синтеза и прогнозирования состояния персонажа путем уделения контекстно-специализированного внимания закодированным прошлым моделям движения. . В результате это помогает решить проблемы низкой чувствительности и медленного перехода, которые часто возникают при использовании обычных методов без использования вспомогательной информации. Как качественные, так и количественные экспериментальные результаты на существующем наборе данных о движении двуногих, который включает в себя различные типы переходов движения, демонстрируют эффективность нашего метода. В частности, MCS-T способна успешно генерировать движения, сравнимые с движениями, генерируемыми методами с использованием вспомогательной информации.
2. Преобразователь завершения функции для повторной идентификации человека с закрытыми глазами (arXiv)
Автор: Тао Ван, Хун Лю, Вэньхао Ли, Мяоджу Бань, Туаньюй Го, Йиди Ли.
Реферат: Повторная идентификация человека с окклюзией (Re-ID) представляет собой сложную проблему из-за разрушения окклюдеров. Большинство существующих методов фокусируются на видимых частях человеческого тела с помощью некоторой предварительной информации. Однако, когда возникают дополнительные перекрытия, объекты в перекрытых областях могут мешать сопоставлению, что серьезно влияет на производительность. В этой статье, в отличие от большинства предыдущих работ, которые отбрасывают закрытую область, мы предлагаем преобразователь завершения признаков (FCFormer) для неявного дополнения семантической информации о закрытых частях в пространстве признаков. В частности, предлагается функция увеличения экземпляра окклюзии (OIA) для имитации реальных и разнообразных ситуаций окклюзии на целостном изображении. Эти дополненные изображения не только обогащают количество образцов окклюзии в обучающей выборке, но и образуют пары с целостными изображениями. Впоследствии предлагается двухпоточная архитектура с общим кодировщиком для изучения парных отличительных признаков из пар входных данных. Без дополнительной семантической информации можно автоматически создать пару «закрыто-целостный признак — образец — метка». Затем декодер завершения функций (FCD) предназначен для дополнения функций закрытых областей с помощью обучаемых токенов для агрегирования возможной информации из самостоятельно сгенерированных закрытых функций. Наконец, мы предлагаем потерю Cross Hard Triplet (CHT), чтобы еще больше сократить разрыв между дополнительными функциями и извлечением функций с одним и тем же идентификатором. Кроме того, вводится потеря согласованности завершения функций (FC2), чтобы помочь сгенерированному распределению функций завершения быть ближе к реальному целостному распределению функций. Обширные эксперименты с пятью сложными наборами данных демонстрируют, что предлагаемый FCFormer обеспечивает превосходную производительность и превосходит современные методы со значительным запасом на закрытых наборах данных.
