はてなアンケートを募集したが、信頼できない結果になりがっかりした、という具体例をなるべくたくさん示してください。（アンケートを募集した方だけに回答してほしいです）

自分のアンケートの取り方にも問題がある（対象人数が少ないなど）と思いますが、

・「○○な人だけ回答してください」

・「○○（URL）を見てから回答してください」

という質問の場合、あまり良い回答は得られないような気がします。

URL は私が行ったアンケートの履歴です。

もう〜これです！これ！

このアンケートです！

このアンケートを信じ懐中時計をプレゼントしたら・・・

。・゜゜ ’゜(*/□＼*) ’゜゜゜・。 ウワァーン!!

絶対に信じません。

後日、みんなでバーバリーのカフス＆ネクタイピンセットを送りました。

すっごく喜ばれました。

事実です。何一つ、脚色していません。

「あなたがプレイしたことのあるファイナルファンタジー作品を全て教えてください。」

「回答はFFをプレイしたことがある人に限ります」と書いても、たぶんプレイしたことがないのに１ポイントほしいがためにデタラメな回答をする人がいると思ったので、

あえて「FFをプレイしたことがない」という項目を作りました。

本当はプレイしたことがない人には回答を遠慮してもらいたかったのですが。

信頼できる答えを得る為には「とりあえず１ポイント欲しい」という項目を作った方がいいのかもしれません。

URLは私が以前にアンケート質問したものです。百人アンケートとしての結果自体にはさほど失望していませんが、データ信頼度という点では二つほど気になるところがあります。

ひとつは言うまでもなく最後の項目です。４人は指示に従ってません。

もうひとつは、後ろから３つ目です。質問文に「対象：はてなダイアリー市民」と明記しているのに31人もチェックをいれないのは、「何も考えずに回答した」「問題文を最後まで読まずに開いた」という方がいると考えられます。＃ダイアリーを使っているものの市民という権利の存在を単に知らなかった、という可能性もありますが…

上記の質問は、直接の回答を得たかったというよりは、今後はてなアンケートを使っていくにあたって回答者層がどのようなものであるか・データ信頼度がどのくらいであるかを探るためのものと言えるかもしれません。今回のhkt_oさんの質問で、いろいろと体験談があがると思いますが、それを確認できるようなアンケートを自身でたててみても良いかもしれません。

URLはアンケートはてな質問一覧をポイント順に並べたものです。

普段からほかの方のアンケートを見ていて感じるのは、

・百人未満では大したデータは得られない

・千人以上の回答者を集めるのは難しい

ということですね。

前者はあえて偏った結果をネタにしたいときや、はてなに張り付いてる人を対象にしたいときには活用できるのかなぁ。

後者は、「おいしい牛乳」のアンケートが象徴してます。質問者も千人集める予定で、それなりの期間募集してたし、適当に答えようと思えば答えられる質問でもあります。それでも途中で閉めざるを得なかったのは千人集めるのが難しいということなのでしょう。逆に言えば、ポイントゲッターは千人もいないということですね。

自分の質問履歴から。

絶対に３人もいません、やったことのある人。

６％も出現率あったら、ものすごいことです。

さて。この設問、どれだけの人がまじめに答えているのでしょうか。

あんまりがっかりはしていない、というかそんな設問はてなアンケートではしないので。

そもそも論として早いモノ順で無記名、インセンティブありと信頼できる要素がほとんどないはてなアンケートに、信頼性を期待する方が酷です。どちらかというと、みんなどうおもっているんだろうなあ、みたいにだれが質問を見ても答えられるものをざっくりと知りたい場合にいいのではないでしょうか。

あと、よく質問されているHP批評サイトについて、できれば既に登録済みのurlをチェックできるツールがあると助かります。bookmarkletなんかがいいですねぇ。

最初の１００人だけ切り捨てるというアンケートをしました

７つの選択肢からの割合です、意外と偏ってます

最初の１００人(42,8,16,1,13,8,12)

後の５００人(54,8,13,2,12,6,7)

何故１００人切り捨てたかというと、最初の５０人のアンケートが非常に偏ったからです

５０人目くらいからまともにアンケートが取れるようになりました

前にとったアンケートがこれです

どんな風に人数が増えていくかを見てみましたが、５０人未満のアンケートの信頼性がかなり低いことが分かります(実際１０分以内で５０人集まってしまいますしね）

ちなみに、アンケートにも答えたことが無いという回答に答えてるアンケートがあります１６人ですがでたらめに答えてる人がそれぞれの回答に居ると仮定するならば、１６ｘ１２で約１９％がやや適当に回答をしてるということになります

このときのアンケートのエクセル集計です

ちなみに元の５０人アンケート・・・

信頼性がなさそうだったので、１０００人に増やして同じ質問をしてみたわけですが、見事に偏ってることが分かりますね

映画を見てない人は解答を遠慮してください、と書いたにもかかわらず

「映画を見ていない」の項目に回答している人がいます。

いやな気持ちですが、適当に回答されるよりは正直に言ってもらったほうが信頼できるデータがとれますから…

私の質問歴より。

結局自力で探しました。

探せば良いのでは？なんて無責任な解答にがっかりです。しかもそこには無かったですし。

２回目回答です。上記のは先日私が行ったアンケートなのですが、最終的な結果よりも途中経過がおもしろいです。

一番目の選択肢は、次の質問が投稿されるまでのわずかな時間しか回答の可能性がありません。実際に見ていたところ２５分で次の質問が投稿されました。しかし、２５分経過までにこの選択肢を選んだ人は３人しかいませんでした。数分の差であればウインドウを開いたままであったなども考えられますが、一時間経過以降にこの選択肢を選んだ人も６人います（この選択肢を選んだ数１２ - １時間経過時点で選ばれていた数６）この６人はいったい…？

追記。

このアンケートは、およそ２６時間で終了しましたが、いわしに１、５、１１、１８時間経過時点での途中経過も載せています。経過時間によって、選ばれる選択肢、新たな回答者数がかわっていくのがおもしろいです。グラフ化するとよいのでしょうかちょっと手間が…

また、市民２５０人対象で一日程度かかったということは、市民対象ならこのくらいの数の募集でちょうどいいのかもしれません。

2回目なのでポイントは結構です。

試しに、

「アンケートはてなで信頼のおけるデータを得る方法は？」

というアンケートを取ってみました。

参考まで。

・アンケート作成時に「対象となる回答者」を細かく設定する。（57人）

・アンケート対象人数を多く設定する。（35人）

・ポイントゲッター用の回答枠を設けておく。（31人）

・アンケートを「経過を表示しない」に設定する。（31人）

・アンケート人数を 500 人に設定する（35人）

・アンケート人数を 1000 人に設定する（33人）

・アンケート人数を 100 人に設定する（7人）

・アンケート人数を 200 人に設定する（7人）

・アンケート人数を 300 人に設定する（6人）

・アンケート人数を 50 人に設定する（0人）

・20 %（2割）程度は無効回答だと思う。（28人）

・10 %（1割）程度は無効回答だと思う。（17人）

・30 %（3割）程度は無効回答だと思う。（13人）