Счётчик скачек MONERO
03084
Счётчик скачек MAGNETAR
0962

BOORU CHARS - миниатюры 512px и метаданые Safebooru Yande-re Gelbooru Konachan E-shuushuu Danbooru и других имиджборд [Art] [2019] [JPG]

Ответить на тему
 
Автор Сообщение

star21 ®

Пол: Женский

Стаж: 11 лет

Сообщений: 262214

Откуда: Екатеринбург

Создавать темы 26-Июн-2022 14:07

[Цитировать]

BOORU CHARS миниатюры 512 точек по длинной стороне и метаданые Safebooru Danbooru и других сайтов Тип раздачи: Art
Год выпуска: 2019
Количество: 1.227.622
Формат: JPG
Разрешение: 512x512Описание: Переосмысление и развитие открытого набора данных https://rutracker.org/forum/viewtopic.php?t=5777178
Содержит 1.227.622 изображений 512x512px из нескольких источников и сопутствующие метаданные.
Рассматривается как часть проекта BOORU CHARS OPEN DATASET - массива данных
о качественных персонаже-центрических арт-изображениях в тематике аниме, игр и мультипликациии.
Также можно рассматривать его как "выжимку" большиства размещенного на booru-бордах anime/CG/game арта
за несколько последних лет и значительной доли общедоступного (за пределами deviant / pixiv) арта в целом.Основные отличия релиза Danbooru 2018:
- намного более тщательный подбор исходных изображений
* width>=900 height>=900 MPixels>=1.2
* комиксы, затекстованные, примитивные изображений в основном вычищены
* нет фото, практически нет сцен без персонажей

- использованы несколько исходный сайтов, но сохранена общая уникальная идентификация %website% + %id%
* большинство исходных изображений содержатся в живых торрент-релизах (см. далее)
* пока доступны сайты-источники, возможна выборочная докачка оригиналов

- выполнена основательная дедубликация с более-менее выдержанными приоритетами источников
safebooru org > yande re > gelbooru com > konachan com > e-shuushuu net > chan sankakucomplex com > zerochan net > anime-pictures net > danbooru donmai us > tbib.org
- имена файлов в основном структурированы %website% - %id% - %copyright% ~ %characters% (%artist%)

Релиз разбит на "блоки" примерно в соответствии с хронологией и использованными рипами

V2019 - 11.2018-08.2019 на основе рипа safebooru + addons
https://rutracker.org/forum/viewtopic.php?t=5818522
V2018 - 10.2016-11.2018 используя линейку рипов safebooru + addons
https://rutracker.org/forum/viewtopic.php?t=5673690
https://rutracker.org/forum/viewtopic.php?t=5561386
https://rutracker.org/forum/viewtopic.php?t=5449970
а также zerochan и e-shuushuu за соответствущий промежуток времени
https://rutracker.org/forum/viewtopic.php?t=5478026
https://rutracker.org/forum/viewtopic.php?t=5582710
https://rutracker.org/forum/viewtopic.php?t=5397445
Отсутствие Sankaku после 10.2016 крайне прискорбно.Более ранние периоды представлены не столь полно:
V2016W - на основе "обойных" релизов (т.е. исходные картинки уже несколько преобразованы)
https://rutracker.org/forum/viewtopic.php?t=5038341
https://rutracker.org/forum/viewtopic.php?t=5219029
https://rutracker.org/forum/viewtopic.php?t=4490693
https://rutracker.org/forum/viewtopic.php?t=5098506
https://rutracker.org/forum/viewtopic.php?t=5198985
https://rutracker.org/forum/viewtopic.php?t=4199478
https://rutracker.org/forum/viewtopic.php?t=4134758
https://rutracker.org/forum/viewtopic.php?t=4214016
использованы только картинки/источники, для которых возможна идентификация %website% + %id%
хронология размыта, встречаются изображения "с начала эпохи имиджборд"
V2016 - основан на выдержках из рипов в части изображений, не вошедших в обойные релизы
https://rutracker.org/forum/viewtopic.php?t=5184361 e-shuushuu 2015-2016
https://rutracker.org/forum/viewtopic.php?t=4952787
https://rutracker.org/forum/viewtopic.php?t=5249833 safebooru 1.5M
https://rutracker.org/forum/viewtopic.php?t=5312593 sankaku 2015-2016
https://rutracker.org/forum/viewtopic.php?t=5255630
https://rutracker.org/forum/viewtopic.php?t=5216374
https://rutracker.org/forum/viewtopic.php?t=5037455
Хорошее перекрытие примерно с середины 2015 года, на еще более ранние рипы у меня не хватило (натхнення) ресурсов.Отдельно необходимо упомянуть блок
V2018D - остаток от https://rutracker.org/forum/viewtopic.php?t=5777178 после прочистки и дедубликации
файлы переименованы в соответствии с тегами, для 2018 года белые рамки заменены на черные
Danbooru выступила в качестве индикатора того, что подавляющее большинство арта после 10.2016 охвачено,
но ранее есть значительные пробелы - которые данный блок и попытался перекрыть.Набор исходных изображений данного релиза занимает 1.3 ТБ (за исключением блока Danbooru V2018D) и потенциально
может быть оформлен как отдельная раздача, но с учетом упомянутых выше релизов это не целесообразно.
Метаданные в релизе:
- DANB_MAL_TAG перечень тегов копирайты/персонажи/авторы для Danbooru, в котором
* выполнено объединение копирайтов во "франшизы" (множества с в основном пересекающимся набором персонажей)
* выполнено соотнесение персонажей с франшизами
* выполнено соотнесение копирайтов и персонажей Danbooru с соответствуюшими сущностями Myanimelist

- SB_TAGS полный перечень тегов копирайты/персонажи/авторы для Safebooru, вошедних в релиз
* теги для Danbooru можно взять из https://rutracker.org/forum/viewtopic.php?t=5777178
* для прочих источников копирайты/персонажи/авторы (по возможности) извлечены из имен файлов

- V201?[?].csv основные статистические свойства исходных и преобразованных картинок, отдельно по блокам
* ключевые свойства из JPG заголовков
* энтропия, количество цветов, средняя насыщенность и ряд прочих статистических свойств изображения
* bounbox т.е. смысловая часть изображения без учета однородных полей
* результаты (координаты) обнаруженных лиц с 3-мя уровнями чувствительности алгоритма

Подробнее стуктуры данных и их смысл описаны в Readme (в раздаче) а также на Git.Релиз содержит чуточку софта (Windows BAT, Python scripts) для иллюстрации методов и параметров наработки метаданных.

Примеры изображений - стандартизованы до 512х512 черными полями


И зачем вот это все ?

Помимо визуального summary персонажного anime/CG/game арта, этот релиз может быть использован для:
- разработки и проверки алгоритмов распознавания ключевых элементов рисованных изображений
при том, что технологии для живого видео/фото очевидно не подходят
- классификации масштаба и композиции рисованной сцены (зацепившись за размер и положение лиц ?)
определить масштаб (макро/портрет, полуростовой, ростовой, группа/комната, открытый ландшафт),
классифицировать позу и взаимодействие персонажей
- создания функции "визуальной привлекательности" рисованных изображений
позволяющей ранжировать их на основе статистических характеристик или группировать по подобию
- отбора/упорядочения картинок по любым вообразимым SQL критериям на основе метаданных
генерируя BAT скрипты для манипуляций (например COPY, MOVE, imagick convert, python cv2) с собственно изображениямиПодробнее идеи и телодвижения по данному проекту отображены на Git https://github.com/aperveyev/booru_processor
Идентичный релиз раздается на буржуйском nyaa.
Если хоть кого то на этой планете он на что то вдохновит - мой напрасный труд не пропадет даром.
Где то в первой половине 2021 года набор данных будет перевыпущен https://rutracker.org/forum/viewtopic.php?t=6053436:
расширен как в новейшую хронологию так и в прошлое, размер иконок будет увеличен (1024px или даже больше),
именование файлов улучшено, метаданные пересчитаны / переформированы.
Stay tuned
[Профиль] [ЛС]
Показать сообщения:    
Ответить на тему

Текущее время: 22-Ноя 00:11

Часовой пояс: UTC + 5



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы