アダルト動画ブログ管理人のブログ

アダルト動画ブログ4つ始めました。おまけでアイドルブログも1つ始めました。

スクレイピング

アンテナサイトの画像直リンクをブロックする

画像を直リンクで貼って動画リンクまで設置して自己完結しているアンテナサイトがあったのでブロックした。画像直リンクを許可するサイトを登録するというホワイトリスト方式でnginxのdefault.confに書いた。 ブラックリスト方式だとできなかった。 1時間く…

動画エロタレスト先生がGoogle先生と仲良すぎて検索結果を全部吸っちゃう件

記事が1記事しかタレストさんに収集されなくなった。 2件更新すると最新の1件しか収集されない。 6時間に1回1件しか収集されない。なんか嫌われてるのかなと思ってしまうけど、IN OUTのアクセスを見ると4206送ってもらって49しか送り返せていない日とか2347…

スクレイピングでヘッダーにDMMのランキング配置<静的なページ>

いままでアクセスがあるたびにDBから呼び出しててちょっと重かったので静的なページに変換するってことをやってみた。 性的なページを静的なページに変換 結果、$wpdbの宣言とか必要なかった。cron走らせてスクレイピング&DBにデータ格納 →selectで表示 →表…

wordpressでスクレイピングでけた。

wordpressにはwordpressの難しいルールがあってそれを理解しなきゃできないと思ってた。 実際つまずいてたのはinclude_onceの呼び出しのところで「./」をつけてたのがいけないだけだった。 簡単だった。完成図がコチラ 山中家のお姉ちゃんが表示制限になって…

wordpressにスクレイピングを導入したい

いやたかしょー旋風すごかった。 毎月グラドルがMUTEKIデビューしてくれればいいのに。それはさておきPOP広告に関して、 代理店がタグを発行するといいながら 3週間も音沙汰なしだったので諦めてたら 一昨日くらいにやっと来た。今単価が激下がりしてるらし…

ネタ探し用スクレイピングサイトできた。

自分のネタ探し用のサイトができた。 こんな感じ。 ざっくり説明すると、 ランキングサイトをスクレイピングしてDBに挿入したい↓DOM xpathを使って収集↓ランキングサイトの記事が一つのまとまりになってない↓2つ収集してくっつける $entries[$i]['title'], …

ネタ探しスクレイピングサイト作るぞ!

みなさんごきげんよう。 今日は動画のネタ探しについてお話しようと思います。 みなさんも経験があると思いますが、すごくいいネタが大量に落ちているサイトなのに訪問済みリンクを設定していないサイトってありますよね。 しかもそれがランキング形式のサイ…