- От слов к проводам: создание функционирующих электронных устройств на основе описаний на естественном языке (arXiv)
Автор : Питер Янсен
Аннотация: В этой работе мы показываем, что современные языковые модели обладают ранее неизвестным навыком — способностью проектирования электронных схем на основе текстовых описаний высокого уровня, сродни генерации кода. Мы представляем два эталонных теста: Pins100, оценивающий знание модели электрических компонентов, и Micro25, оценивающий способность модели проектировать общие схемы микроконтроллера и код в экосистеме Arduino, которые включают ввод, вывод, датчики, двигатели, протоколы и логику — с моделями, такими как как GPT-4 и Claude-V1, достигающие от 60% до 96% Pass@1 при создании полных устройств. Мы включили шесть тематических исследований использования языковых моделей в качестве помощника по проектированию для устройств средней сложности, таких как генератор случайных чисел с питанием от излучения, клавиатура с эмодзи, видимый спектрометр и несколько вспомогательных устройств, предлагая производительность качественного анализа, обрисовывая в общих чертах оценку проблемы и предложения областей развития для улучшения сложной конструкции схемы и практической полезности. С помощью этой работы мы стремимся стимулировать исследования на стыке обработки естественного языка и электронного дизайна.
2. Высокоточное создание 3D-лиц из описаний на естественном языке (arXiv)
Автор: Мэнхуа Ву, Хао Чжу, Линьцзя Хуан, Юй Чжуан, Юаньсюнь Лу, Сюнь Цао.
Аннотация: Синтез высококачественных 3D-моделей лица из описаний на естественном языке очень ценен для многих приложений, включая создание аватаров, виртуальную реальность и телеприсутствие. Однако мало исследований когда-либо касались этой задачи. Мы утверждаем, что основное препятствие заключается в 1) отсутствии высококачественных 3D-данных о лицах с описательной текстовой аннотацией и 2) сложных отношениях отображения между пространством описательного языка и пространством формы/внешнего вида. Чтобы решить эти проблемы, мы создаем набор данных Describe3D, первый крупномасштабный набор данных с подробными текстовыми описаниями для задачи преобразования текста в 3D-лицо. Затем мы предлагаем двухэтапную структуру: сначала создается трехмерное лицо, соответствующее конкретным описаниям, а затем оптимизируются параметры в трехмерном пространстве формы и текстуры с абстрактным описанием для уточнения трехмерной модели лица. Обширные экспериментальные результаты показывают, что наш метод может создавать достоверное трехмерное лицо, которое соответствует входным описаниям с более высокой точностью и качеством, чем предыдущие методы. Код и набор данных Describe3D опубликованы по адресу https://github.com/zhuhao-nju/describe3d.
