目錄
- 前言
- 工作原理
- 程式碼
前言
工作中偶爾會遇到档案去重的事情,收到一大堆档案,名稱各不相同,分析档案的時候發現有不少重復的档案,導致工作效率低下,那麼,這裡就寫瞭一個python腳本script實現档案去重功能
工作原理
腳本script會檢查你給出的档案路徑下的所有档案,然後計算每個档案的MD5值,並將其加入到一個列表中。
- 如果某档案的MD5值不在列表中,就認定其是我們需要的档案,腳本script會在桌面新建一個名為“去重結果”的档案夾,並將其復制到裡面去。
- 如果某档案的MD5值在列表中,就認定其不是我們需要的档案,不對其做任何處理。
- 程式碼可以直接運行,無需做任何修改(除瞭安裝可能缺少的庫档案)
程式碼
import os import shutil import hashlib # 對档案去重 # 計算每個档案的md5值,據此進行去重 def only_one(test_path): md5_list = [] count = 0 for current_folder, list_folders, files in os.walk(test_path): for file in files: file_path = current_folder + '\\' + file # 獲取每個档案的路徑 f = open(file_path, 'rb') # 開始計算每個档案的md5值 md5obj = hashlib.md5() md5obj.update(f.read()) get_hash = md5obj.hexdigest() f.close() md5_value = str(get_hash).upper() # 開始去重 if md5_value in md5_list: # 如果這個档案的md5值曾經出現過,就不對它做任何處理 count += 1 print('\033[31m[-] 發現重復档案:\033[0m' + str(file)) else: md5_list.append(md5_value) # 如果這個档案的md5值不存在列表中,就添加進列表中 shutil.copy(file_path, path1) print('\033[31m[-] 共發現重復档案:{}個\033[0m'.format(count)) if __name__ == '__main__': print('\033[4;33m[+] 此腳本script會檢查指定路徑下的所有档案,通過計算档案的MD5值進行去重\033[0m') print('\033[4;33m[+] 去重後的档案會復制到桌面新档案夾中,源档案不會丟失\033[0m') path = input('\033[34m[+] 請輸入档案夾地址:\033[0m') os.chdir(path) # path1 用來存放所有的去重結果 desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop') # 獲取桌面路徑 path1 = os.path.join(desktop_path, '去重結果') os.makedirs(path1) only_one(path) print('\033[32m[-] 現有非重復档案共計:{}個\033[0m'.format(len(os.listdir(path1))))
到此這篇關於python實現MD5進行档案去重的示例程式碼的文章就介紹到這瞭,更多相關python MD5档案去重內容請搜索以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支援!
You may also like
相关贴文:
近期文章
- 如何將 Shopify 與速賣通連接 (2024) 教學課程
- 如何設定 Shopify Payments:簡單的電子商務支付網關整合 #shopify
- 在 Shopify 商店中銷售 NFT | 適用於 Shopify 的 Venly NFT Minter 應用程式 | 如何在 Shopify 上銷售 NFT
- 這些 Shopify 直銷神話會扼殺您的夢想#shorts
- 我的學生光是透過 Shopify 的 2 個獲獎產品就賺了 400 萬 Pkr
- 誠實的 Shopify 評論 – 2024 年 Shopify 仍然值得嗎?
- 從 Shopify 賺錢的 6 種方式 | 讓我們揭開謎底
- 如何使用 Shopify 入門計畫建立服飾店
- 這個由人工智慧驅動的標誌產生器已被超過 2000 萬家新創公司使用
標籤雲
C/C++
Dropshipping
gitee
Google Go
Java
JavaScript
Joomla
joomla教程
Linux
Linux Kernel
OSCHINA博客
OSCHINA編輯部
oscpyaqxylk
python
Rust
Shopify
Shopify 直銷
TypeScript
中文开源技术交流社区
中文開源技術交流社區
代發貨
和
商店
喬姆拉
如何在
如何開始代出貨
實例
年
店舖教學
店鋪化
教學
模板
直銷 2023
直銷教程
科技資訊
程式碼
管理系統
網站
網路業務
網路賺錢
詳解
跨平台
適合初學者的 Shopify 教學課程
適合初學者的直銷
電子商務
發佈留言