スクレイピング
画像を直リンクで貼って動画リンクまで設置して自己完結しているアンテナサイトがあったのでブロックした。画像直リンクを許可するサイトを登録するというホワイトリスト方式でnginxのdefault.confに書いた。 ブラックリスト方式だとできなかった。 1時間く…
記事が1記事しかタレストさんに収集されなくなった。 2件更新すると最新の1件しか収集されない。 6時間に1回1件しか収集されない。なんか嫌われてるのかなと思ってしまうけど、IN OUTのアクセスを見ると4206送ってもらって49しか送り返せていない日とか2347…
いままでアクセスがあるたびにDBから呼び出しててちょっと重かったので静的なページに変換するってことをやってみた。 性的なページを静的なページに変換 結果、$wpdbの宣言とか必要なかった。cron走らせてスクレイピング&DBにデータ格納 →selectで表示 →表…
wordpressにはwordpressの難しいルールがあってそれを理解しなきゃできないと思ってた。 実際つまずいてたのはinclude_onceの呼び出しのところで「./」をつけてたのがいけないだけだった。 簡単だった。完成図がコチラ 山中家のお姉ちゃんが表示制限になって…
いやたかしょー旋風すごかった。 毎月グラドルがMUTEKIデビューしてくれればいいのに。それはさておきPOP広告に関して、 代理店がタグを発行するといいながら 3週間も音沙汰なしだったので諦めてたら 一昨日くらいにやっと来た。今単価が激下がりしてるらし…
自分のネタ探し用のサイトができた。 こんな感じ。 ざっくり説明すると、 ランキングサイトをスクレイピングしてDBに挿入したい↓DOM xpathを使って収集↓ランキングサイトの記事が一つのまとまりになってない↓2つ収集してくっつける $entries[$i]['title'], …
みなさんごきげんよう。 今日は動画のネタ探しについてお話しようと思います。 みなさんも経験があると思いますが、すごくいいネタが大量に落ちているサイトなのに訪問済みリンクを設定していないサイトってありますよね。 しかもそれがランキング形式のサイ…