IronWebScraper

C# ウェブスクレイピング ライブラリ

IronWebScraper は、Web サイトからテキスト、画像、ファイルなどの情報を取得し、構造化データとして抽出するための開発者向け C# ライブラリです。Web スクレイピング機能を .NET アプリケーションに組み込み、収集したデータを C# オブジェクトとして直接処理できます。

HTML DOM、XPath、CSS セレクターなどを使用して、Web ページ内の必要な要素を指定できます。抽出した情報は、データベースへの保存、JSON データへの変換、検索インデックスの作成など、さまざまな用途に利用できます。

マルチスレッド処理に対応し、複数のページを並行して効率的に取得できます。また、ドメインごとのアクセス間隔や同時接続数を制御できるため、対象の Web サーバーへ過度な負荷をかけないよう調整できます。robots.txt の設定を考慮したアクセスにも対応しています。

プロキシ、User-Agent、HTTP ヘッダー、Cookie、ログイン情報などを設定できるほか、Web キャッシュ、ログ出力、中断した処理の再開など、大規模なデータ収集を支援する機能も備えています。

主な特長：

• Web ページからテキスト、画像、ファイルなどを抽出
• HTML DOM、XPath、CSS セレクターによる要素の指定
• 抽出したデータを C# オブジェクトとして取得
• 複数ページのマルチスレッド処理
• ドメイン単位の同時接続数とアクセス間隔の制御
• robots.txt を考慮したアクセス設定
• User-Agent、HTTP ヘッダー、Cookie のカスタマイズ
• プロキシおよび複数のアクセス ID の管理
• ログイン認証が必要な Web ページへのアクセス
• Web キャッシュによる重複リクエストの削減
• ログ出力とエラー処理
• 中断したスクレイピング処理の再開

IronWebScraper は、既存の Web サイトからのコンテンツ移行、検索インデックスの作成、商品や市場情報の収集、Web サイトの構造や掲載内容の変更監視などに適したライブラリです。スクレイピングに伴う通信処理やマルチスレッド管理を自動化し、データ抽出処理を効率的に開発できます。

なお、IronWebScraper は HTML を直接解析するライブラリであり、Web ブラウザーのように JavaScript を実行して動的なコンテンツを生成する機能はありません。利用する際は、対象となる Web サイトの利用規約、robots.txt、著作権、個人情報の取り扱いなどを確認する必要があります。

IronWebScraper
Lite：¥174,800 (¥192,280 (税込))
Plus：¥262,300 (¥288,530 (税込))
Plus (OEM 配布あり)：¥612,100 (¥673,310 (税込))
Professional：¥524,800 (¥577,280 (税込))
Professional (OEM 配布あり)：¥874,600 (¥962,060 (税込))
Unlimited：¥1,049,800 (¥1,154,780 (税込))
Unlimited (OEM 配布あり)：¥1,399,600 (¥1,539,560 (税込))