Счётчик скачек MONERO
03084
Счётчик скачек MAGNETAR
0961

Рип yande.re 2020 - семплы и метаданные [Wallpapers][Art][Scans] [2020] [JPG]

Ответить на тему
 
Автор Сообщение

star21 ®

Пол: Женский

Стаж: 11 лет

Сообщений: 262214

Откуда: Екатеринбург

Создавать темы 26-Июн-2022 14:07

[Цитировать]

Рип yande.re (700k = 10.2020) семплы и метаданные Тип раздачи: Wallpapers/Art/Scans
Год выпуска: 2020
Количество: 210178
Формат: JPG
Разрешение: <=1500 px, <=1.8 MPixОписание: Yande.Re - одна из самых знаменитых anime/game/CG имиджборд, специализирующаяся на высококачественных сканах (но не только).
У нее сильное сообщество (что позразумевает адекватный рейтинг и объективную популярность постов) и хорошо организованная
(не такая размытая, как на большинстве booru) система тегирования. Также Yande_Re предоставляет широчайшее разнообразие качества и композиции
изображений: от трешевых сканов, затекстованных страниц и почти пустых обложек до высококачественного "цифрового" арта.
Поэтому Yande_Re является хорошим источником данных для исследования не-фотографических изображений и их метаданных, а также
является (будучи адекватно отфильтрованной) просто отрадой для глаз.Этот релиз содержит:
- образцы ("sample") изображений с сайта в разумном качестве: длинная сторона = 1500 px но не более 1.8 MPix, JPEG качество 92%
- метаданные в формате JSON - 618801 строкa, скачанные из постов Yande_Re до ID=700.000 (29.10.2020) кроме отсутствующих страниц
- преобразованные метаданные в TSV
1) ключевые характеристики постов, извлеченные из JSON + расчетные характеристики картинок-семплов
2) теги (tags) и расчетные статистики над ними, включая внешние ссылки
3) соотношение tag-to-post
4) пулы (серии) картинок и соотношение post-to-pool
- скрипты для БД (Oracle), скрипты на Python и командные файлы (Windows)
* грабберы на Python
* структуры данных, средства обработки и некоторые запросы в БД
* батник для вычислений с использованием ImageMagick
# не "средство под ключ" но "строительные блоки" для самостоятельного использования
- дополнительные описания и комментарии к вышеупомянутому

В релиз включены семплы для следующего подмножества постов &#58;

- ID>165352 (15.12.2010) когда был внедрен актуальный формат семплов
- оригинальный тип ('jpg','png')
- с "достаточно хорошим" оригинальным размером
greatest(image_height,image_width)>=1200
and least(image_height,image_width)>=1000
and image_height*image_width>=1310720 -- эквивалент 1280*1024
and image_width/image_height between 0.4 and 2.1 -- не слишком диспропорциональные
- чуточку дедублицированы (предпочтение отдается новым постам)
* нет заметной глазу разницы, за исключением "технических" отличий (вращение, артефакты)
* выброшено пару десятков совсем уже пустых страниц
* в результате осталось немало (~2000) подобий (для Yande.Re это очень характерно)
- rating in ('s','q') в раздельных папках/архивах
* раскиданы и заархивированы по 10.000-группам ID : NNxxxx (NN=16..69)
!! в данном релизе только 's' !! в полном объеме "q" будут розданы на sukebei в совместимом формате
# нет фильтров по пользовательскому рейтингу и/или тегам
* сначала хотел сделать "the best of" но критерии отсечения оказались очень размытыми
* будет возможность поэкспериментировать с фильтрацией "ерунды" и выделением "лучших" на основе метаданных
Именование файлов сделано по возможности информативным и включает: ID - up_to_3_copyrights ~ up_to_5_characters (up_to_2_artists)
что делает возможным тематический поиск / фильтрацию средствами файловой системы (банальным xcopy).Наличие в метаданных прямых ссылок позволит использовать (например) aria для скачивания заинтересовавших оригиналов и/или семплов.

Примеры изображений - высококачественный арт (в релизе семплы ! не оригиналы&#41;

Примеры изображений - сканы бывают очень очень разные

Примеры изображений - всякая дребедень, не так и мало которой

Фокус в том, как автоматически и достаточно хорошо отделить одно от другого и от третьего.

Раз уж оформление позволяет - продублирую описание структур данных из README релиза

Y_pretty.json - образец структуры JSON с сайте, все достаточно очевидноyndr_posts.tsv - ключевая информация из JSON, вывернутая в текст через табуляции
это все посты, по которым удалось получить отклик сайта
618801 строка, внушительноyndr_dt.tsv - присутствие тегов в постах, 4261026 строк, без базейки не осилитьyndr_copyr_char_tags.tsv - расширенная информация по тегам произведений (тип 3) / персонажи (тип 4) / авторы (тип 1)
выполнено соединение с моим каталогом тегов DANBOORU, где произведения сгруппированы в "франшизы"
(серии с в преимущественно общими персонажами) и персонажи соотнесены с франшизами.
Отброшены редкостные теги, там много мусора, не хочется раздувать задачу.
Все это привязано к сущностям Myanimelist (насколько хватило сил, есть что улучшать).yndr_pools.tsv, yndr_pool_posts.tsv - список пулов (пользовательских подборок) и постов входящих в пулы
структуры очевидны, полезность - не очень, но почему бы и нетyndr_rip.tsv - расширенная информация о постах, по которым были собраны "samples" (в данной версии только safe):
'POST_RANK' - процентный ранг рейтинга поста в пределах 10.000-ной группы, 0 - наивысший, 1 - наинизший и иногда >1 для всякого треша
'BOUNDBOX' - размер и координаты содержательной части картинки, за вычетом однородных полей
'ENTHROPY' - энтропия (информативность), ближе к 1 - насыщена деталями, ближе к 0 - преобладание однородного фона
'SKEWNESS' - баланс белого света / черной тьмы, отрицательные значения победа света, положительные - победила тьма
'IMEAN' - средняя интенсивность
'STDDEV' - среднеквадративное отклонение
'COLORS' - количество цветов
'HCL_MEAN' - средняя интенсивность цвета, близко к 0 - черно белая, чем большее тем "цветнее"
'HCL_MAX' - максимальная интерсивность цвета, достаточно одного пиксела
'RED/GREEN/BLUE_MEAN' - средняя интенсивность по цветовым каналам
'EDGES' - относительная интенсивность краевых эффектов (от объектов или пестрого фона)
'ARIA_MOVE' - строка переименования и з результата работы Aria в информативное локальное имя файла
Из стат характеристик IMHO самыми информативными являются 'ENTHROPY', 'SKEWNESS', 'HCL_MEAN' и в некоторой степени 'COLORS'
Другие тоже, несомненно, как то влияют - но необходимы дополнительные исследования.Основным методом анализа видится сочинение любых мыслимых SQL запросов над YNDR_RIP (INDR_IM) и YNDR_DT, в результате которых
формируется набор команд xcopy (возможно move и даже del) для рассмотрения (в прямом смысле) их результата.
Формируется из базы примерно так:
select 'xcopy "D:\TORR\yande_re_2020'||substr(i.ipath,9)||'\'||y.fname||'" C:\SORT\ ' xcpy from ...
Например, запрос на исходных структурах (он несколько упростится за счет того что в релизе YNDR_RIP уже соединен с YNDR_IM )
"для каких популярных копирайтов рейтинг черно-белых картинок максимальный по сравнению с цветными"
select tag, rating, cnt, score, cnt_bw, score_bw, round(score_bw/score,2) bw_good from (
select t.tag, y.rating, count(*) cnt, round(avg(score),1) score,
                        sum(case when i.meang < 0.02 then 1 else 0 end) cnt_bw, -- критерий черно-белости 'HCL_MEAN'
                        round(sum(case when i.meang < 0.02 then score else 0 end)/ -- при выборочном применении просто avg не пригоден
                              greatest(1,sum(case when i.meang < 0.02 then 1 else 0 end))) score_bw -- избегаем деления на 0
from yndr_rip y
join yndr_dt d on y.id=d.id
join yndr_tg t on d.tag=t.tag and t.tag_cat=3 -- добираемся до копирайтов
join yndr_im i on i.fid=d.id -- в исходной базе стат характеристики и общая инфа о постах разделены
group by t.tag, y.rating
having count(*)>49 -- фильтруем редкие тайтлы, чтобы не засоряли top
) where cnt_bw>19 and score_bw>9 order by 7 desc
[Профиль] [ЛС]
Показать сообщения:    
Ответить на тему

Текущее время: 21-Ноя 21:44

Часовой пояс: UTC + 5



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы