Powershell scripts: Misc scripts for dataset operations.

详情

模型描述

警告: 刚想起来一件事,这些脚本是递归的,所以只需把你的图片文件夹直接放入其中,它就会自动处理。但千万不要随便放到某个位置就运行,比如如果你把它放到 C: 根目录下运行,它会搜索整个系统中的所有图片,虽然不会损坏任何东西,但会产生大量垃圾文件。所以请务必在它自己的文件夹中运行。

我之前发布过一篇LoRA 制作指南,平时我用几个 PowerShell 脚本完成一些常见任务。请注意,部分脚本需要安装 ImageMagick,我已将 Windows 安装包打包在压缩文件中。如果你不信任这个版本,可直接从 github 下载原版。

包含的文件:

  • 90percentsimilar.ps1:简易的图像重复检测工具。首先你需要对图像进行自动标记。该脚本会检查文件夹内 PNG/TXT 文件对之间的标签相似度,若相似度超过 90%,它们会被自动归入子文件夹。

  • avifdec.exe:来自 GitHub 的标准 AVIF 解码器,用于 topng.ps1 脚本。

  • cleanExtraTxt.ps1:检查 IMG/TXT 文件对,将孤立的文本文件移动到子文件夹中,支持的格式包括 png、jpg、jpeg、bmp、webp、gif 和 avif。

  • dwebp.exe:标准 WebP 解码器,用于 topng.ps1 脚本。

  • ffmpeg.exe:标准视频解码器,用于处理 .MP4 和 .gif 文件,topng.ps1 脚本需要此工具。

  • gifSplitter.ps1:仅用于提取 .gif 文件的帧,也可使用 topng.ps1 替代。

  • ImageMagick.Q16-HDRI.msixbundle:ImageMagick 的 Windows 安装包,部分脚本需要此组件。

  • PNGresizer.ps1:使图像变为正方形。现已不再必要,因为分区(bucketing)已普遍使用,效果良好。

  • PNGresizerToBucket.ps1:我另一套脚本,用于验证需要放大图像,按分区排序,并进行基础的缩小或裁剪。

  • RemoveAlpha.ps1:需要 ImageMagick。如其名所示,该脚本可移除并禁用 PNG 文件中的透明通道(alpha 通道)。除非你的训练脚本明确支持透明度,否则保留透明通道可能导致训练失败或出错。因此,若你并未刻意使用透明度训练,建议运行此脚本移除透明通道。

  • removeBorder.ps1:也需要 ImageMagick。该脚本检测 PNG 文件的边缘,移除边缘中位于容差范围内的行和列。我通常使用 20% 的容差。注意:此操作会直接修改你的图片,请在运行前先备份。 该脚本一般非常可靠,但对夜间场景的动漫截图有时会误判,总是“吃掉”边界。该功能非常适合去除白边或黑边,在训练时带来小幅度但宝贵的分辨率提升。

  • renamePadnumeric.ps1:一个简单的脚本,用于给数字命名的 PNG/TXT 文件对补零。例如,1.png 和 1.txt 会被改为 000001.png 和 000001.txt。

  • RenamePairs.Ps1:比上一个稍聪明一点的版本,会按顺序对 PNG/TXT 文件对进行数字命名。

  • tograyscale.ps1:需要 ImageMagick。如其名所示,会生成 PNG 图像的灰度副本。该功能对已经为灰度的图像特别有用。你可能会觉得这很荒谬!但事实并非如此,许多“灰度”图其实是全彩的,只是看起来是灰色的,放大后会变成五颜六色的彩虹。因此,只需对你的灰度图像运行此脚本,若原本就是真正的灰度图则无变化;若原本并非真正灰度,则可防止训练过程中出现彩虹色效应。

  • tomono.ps1:需要 ImageMagick。此脚本需设定一个阈值百分比,将 PNG 图像转为严格黑白。适用于看起来灰蒙蒙、失去对比度的线稿图像。通常在 40% 到 60% 之间效果良好。

  • topng.ps1:检查文件夹中的所有图像,并创建对应的 PNG 文件,命名为 "_fromJPEG"(或其他原始名称),还会拆分 GIF 和 MP4 文件。

如何运行:

此模型生成的图像

未找到图像。