Skip to content

JustinLin65/x-scraper

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 

Repository files navigation

X (Twitter) Follower Scraper

本專案是我在經營 10K DOG 社群期間,為了確認代幣空投資格而開發的自動化工具。

這是一個基於 Python 與 Selenium 開發的輕量級爬蟲工具,能自動抓取指定 X (Twitter) 帳號的跟隨者(Followers)或社群成員名單,並將其匯出為純文字檔(.txt)。

核心功能

  • 半自動化登入:採用手動登入機制,有效規避 X 的自動登入偵測與驗證碼難題,確保帳號安全。
  • 自動化捲動:模擬真人捲動頁面,自動加載並偵測頁面底部。
  • 高精準抓取:精確識別 @ID 結構,並過濾重複項目。
  • 防機器人偵測:預置 AutomationControlled 屏蔽設定與隨機捲動等待時間,降低被封禁風險。
  • 桌面自動存檔:程式會自動辨識目前的系統環境,將結果直接儲存於「桌面」,方便快速查看。
  • 中斷保護系統:支援 Ctrl + C 手動停止。即使提早結束,程式仍會自動保存已抓取的名單,不會讓進度付諸流水。
  • 進度即時顯示:終端機(CMD)會同步顯示目前已累計抓取的帳號數量。

使用說明

  1. 環境準備

    請確保你的電腦已安裝 Python 3.7+ 以及 Chrome 瀏覽器

    安裝必要的套件: pip install -r requirements.txt

  2. 啟動程式

    執行主程式: python main.py

  3. 操作流程

    • 程式啟動後會自動開啟 Chrome 瀏覽器。
    • 手動操作:在開啟的視窗中完成 X 的登入動作。
    • 導覽頁面:手動點擊進入你想抓取的「跟隨者名單」或「社群成員」頁面。
    • 開始執行:回到終端機按下 Enter,程式將開始自動下捲並記錄 ID。
    • 即時監控:終端機會即時顯示「目前累計人數」與「新增人數」。
    • 手動結束:若名單過長想提早結束,請直接在終端機按下 Ctrl + C,程式會自動完成存檔並關閉。

設定參數

開啟 main.py,你可以在「設定區」調整以下參數:

  • SCROLL_STEP:每次捲動的像素(預設 700),數值越小越精準但較慢。

  • SCROLL_PAUSE_TIME:每次捲動後的等待時間(秒)。若網路較慢或想更安全,建議設為 2.5 以上。

  • OUTPUT_FILE:匯出的檔案名稱(預設為 x_members_list.txt)。

  • MAX_BOTTOM_RETRIES:偵測到底部後的重試次數,確保資料載入完整。

⚠️ 免責聲明

本專案僅供技術研究與學術交流使用。使用本工具進行大量資料抓取可能違反 X (Twitter) 的服務條款 (ToS)。請使用者自行承擔相關帳號風險,開發者不對任何因使用本工具而導致的帳號處分負責。

貢獻與反饋

如果你在使用過程中遇到問題,或者有優化建議,歡迎隨時提出 Issue 或 Pull Request!

About

本專案是我在經營 10K DOG 社群期間,為了方便確認代幣空投資格而開發的自動化工具

Resources

Stars

Watchers

Forks

Packages

 
 
 

Contributors

Languages