[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
3 r$ {9 W- d& t) g8 Q% `大哥，你这个头像很爱啊，像ai又想vam，有没有出处

. J8 h" W/ H3 m5 w0 O抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
: I0 u# ?# y, ]* Z3 x  m2 M( o( A' bimport os
/ J" f0 m  c7 G# Cimport imagehash
% U, f' W$ h9 H3 b% v2 f. x& sfrom PIL import Image
' ~" g) `2 b5 x' f) v( r
def compute_image_hash(image_path):
* N2 D; D: A) r) F0 q; [8 l" f, L! V    # image = Image.open(image_path)
/ l' k# `. ~1 c4 e7 E% o7 B    # return imagehash.average_hash(image)
    try:
        with Image.open(image_path) as image:
            return imagehash.average_hash(image)
5 w: _7 {& b% W7 T    except (OSError, IOError) as e:
        print(f"处理图像 {image_path} 时出错: {e}")
( n( g5 i4 J0 {        return None

def remove_duplicates(image_folder):
    hash_dict = {}
: r# |1 b: s6 g: k+ L    duplicates = []

* r; G% a9 G# L    for filename in os.listdir(image_folder):
' r1 B. [+ W$ i. J        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
* O' A4 U" o) U! l6 {            image_path = image_folder + "\\" + filename
            image_hash = compute_image_hash(image_path)

            if image_hash in hash_dict:
" b8 G8 z' G8 n' u) _$ ?9 B                duplicates.append(image_path)
            else:
                hash_dict[image_hash] = image_path
0 \* y0 q: P! @" q        else:
            pass
+ B8 Q) Z9 _! C  T0 G6 n
    for duplicate in duplicates:
        os.remove(duplicate)
6 C# D' |2 {( z. A3 A5 M, ]' P3 m        print(f"Removed duplicate image: {duplicate}")
7 j) r3 Z/ _9 U* c! t% C$ S
    print("Duplicate removal complete.")
  t% H3 y, a0 A+ M2 T
5 u, r, h! c) R" u8 aimage_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
) `4 W- N0 _* }2 X. q5 I$ A, ?remove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

- t" e5 e. L2 \. T5 Z( u有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

一眼ai