この記事は、CivicTech ＆ GovTech ストーリーズ Advent Calendar 2020の10日目の記事です。 PolityLinkとは？PolityLinkは、政治の「原文」へのポータルサイトです。国会や各省庁のサイトなど、色々な場所でバラバラに公開されている情報を、クローラでかき集め分かりやすくまとめ直しています。 どうしてPollityLinkを作ったのか？私はこれまで政治とは無縁の生活を送ってきました。数少ない接点といえば、数年に一度の選挙くらい。ただそれも、信頼できそうな顔のポスターを選ぶだけの味気ないものでした。 そんな私が政治について知りたいと思うきっかけとなったのは、去年の10月、消費税が突如10%に引き上げられた時でした。直前まで何も知らず、驚いたのを覚えています。さらに驚いたのは、増税のタイミングが実は何年も前から法律で決められていたということ。国会で
by Isoroku Yamamoto Update: A newer version of the chrome extension is available here. Wall Street Journal fixed their “paste a headline into Google News” paywall trick. However, Google can still index the content. Digital publications allow discriminatory access for search engines by inspecting HTTP request headers. The two relevant headers are Referer and User-Agent. Referer identifies the addre
今日はスクレイピングの話をします。 今回のターゲットは三菱東京UFJダイレクト。金融機関もウェブサービスを提供するようになり、金にまつわる情報を電子化しやすくなりましたが、かれらが API を提供しているわけではないので、私たちのほうで取得・加工をしてやる必要があります。今やウェブサイトであれば当然のように JavaScript を使っているわけなので、いわゆる mechanize、つまり HTML の解釈をおこない、リンクのクリックやフォームの送信をシンプルに実装するようなやり方でのスクレイピングはすでに無理筋だといえます。 もちろん今日においてはブラウザオートメーションという方法がすでにありますので、これを利用してやれば、なんの憂いもなく実際に人間が使うようなブラウザをプログラマティックに操作することができます。現在は Selenium WebDriver がデファクトで、これが使用す
Common Crawl maintains a free, open repository of web crawl data that can be used by anyone.Common Crawl is a 501(c)(3) non–profit founded in 2007. We make wholesale extraction, transformation and analysis of open web data accessible to researchers.Overview Over 300 billion pages spanning 15 years.Free and open corpus since 2007.Cited in over 10,000 research papers.3–5 billion new pages added ea
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く