スクレイピング専用機
現在不動産調査サイトのスクレイピングは
さくらレンタルサーバー上のCRONを使ってやっている。
しかし、以前パズドラサイトを作った時に
既に経験済みだが、固定IPからのスクレイピングは
やはり、簡単にブロックされやすい。
別に違法行為ってわけでも無いけど
やられる側はあまり気持ちが良いもんでも無いでしょうね。
だから、早々にローカル環境で同様の仕組みを実現する必要があり
そのためのPCも用意する必要がある。
そして、今検討するなら
もうデスクトップは無いかなと
思ってるんです。
あれはまず、場所を食う。
しょっちゅう動かさないから
後ろや下に巨大な毛玉がゴロゴロするほど
ホコリも貯まる。
そして、そんな言うほどノートPCと較べて
高性能って訳でもない。
そもそも、スクレイピング専用機は
WEBアクセスが出来、PerlとMySQLが動いて
それなりにでかいHDDがあれば
スピードはあまり要らない。
寧ろ、要求仕様としては
遅くてもいいから
停電に強く、場所を取らず
何年も手を掛けず稼働しっぱなしが理想。
停電への強さから
内部バッテリーを持つノートPCはかなり有効。
このためにわざわざUPSとかって無いでしょｗ
OSは最初LINUXを考えた。
Windowsだと自動アップデートがあって
手動に切り替えてても
アップデートが貯まってて
やるつもりが無くても
ある時、間違ってアップデートしてしまい
延々稼働がストップしてしまうリスクがある。
でもね、LINUXは扱うのに難易度が高いｗ
勉強してたら
簡単に週間単位の時間が過ぎるｗ
LINUX用にと
手元にボロ中古ノートPCも会社の廃棄から貰ってきたけど
それはまだ進んでないんですよね。
当面は古いWindowsノートPCでやるというのが
妥当という結論には至っている。
いよいよｗ 新しいノートPCを買うタイミングが来ましたねｗ
正直、このPCに対しては何も不満はない。
３年前レノボで４万くらいの奴
毎日かなりの頻度で使用しているが
何ら不具合も起きず。
キーボードのボタンがテカりだしたくらい？ｗ
改めて、変なソフトを入れず
要らないソフトはマメに削除して使うと
格安ノートPCでも安定的に使えるものだとよく分かった。
個人持ちPCをここまで
使い倒したことも無かったので
このPCには結構愛着もあるんですが
「別に見捨てるんじゃないよ！
スクレイピング業務を全うできる奴は他には居ない！
こんな重要な仕事を任せられるのは、
おまえしか居ないからお願いするんだ！」
まあ、専用機としての使命を新たに与えるので
こいつには引き続きがんばってもらうことにしよう！
ありとうございます！
基板起こしミス０％！回路図NET自動チェックツール
サイト
http://checker.scoutlabo.com/
ScoutChecker Ver 0.1.1.9 10/8リリース
細かい不具合を直しました。一部機能も改善。
ScoutChecker用データベース作成ツール
ScDBEditor Ver 0.0.1.0 10/4リリース
細かい不具合を直しました。
使い方動画をアップしました！
動画
ScoutChecker関連情報メールマガジン
読者登録
thaJ2@mail.os7.biz
こちらに空メールで読者登録がされます。
デバイス登録依頼
問合せフォーム
データベースに入れて欲しいデバイスがあれば、このフォームに書いて下さい。
こちらで入れてバージョンアップでフィードバックします！
質問や疑問、気になることがありましたら
sugaular@gmail.comにメールください。
全力でお答えします！
ランキングに参加２種（押して頂けると助かります）
１．人気ブログランキングへ
２．
にほんブログ村
