KOF2008：関西オープンソース2008というイベントに来ています。はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き)アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデー...
■ この情報のコメント・メモ ■
やっぱりメモリですよねー [ hidesuke ]
専ブラ使って負荷が下がるのは、2chのような「即時レスを必要とする分野」では?とかオモタ。／縁の下の力持ちというか、いろいろ頑張ってるね。安易なネット批判をする人たちにこそ、知ってほしい“場所”。 [ guldeen ]
はてなが実施している大規模データ処理の中身。 [ adsty ]
最初の数行しか見てないけどこれはいいまとめ [ yappo ]
いいまとめ。おつかれさまです。 [ kazz7 ]
こういう話ができる人にならないと。 [ Kmusiclife ]
参考にあげられてる文献は読みたい。 [ ite ]
すごくタメになる。というか、このエントリー随分さがしました。 [ kazuki2life ]
はてなサマーインターン2008のエンジニア向け講義7日目の内容とほぼ同じのようだ。 [ Yuichirou ]
いろいろメモ [ abe_hn ]
元ネタよむのがいいかも、、、ってプレゼン見ても断片なので、聴いてきた人のエントリ詳細希望～～ [ T-miura ]
うれしいメモ。 [ akiyan ]
そうだよなあDB分割すっとJOIN出来ねえよなあ。JOINしないという発想は完全に無かった。はてなみたいなサイトなら十分可能なんだろう。 [ flytales ]
はてなの基盤について。あとでよくみなおす。 [ a-know ]
正にそれが正しい。R/TマッピングとR/Fマッピング。『DBは「高度なソート機能付きストレージ」として使われている』参考:http://www.itarchitect.jp/issue/-/124529.html [ bull2 ]
あまり機会はないかもしれないけど、知識として [ field_combat ]
ISTMthatit'snotdifficulttoscalethesystemwhichhasalittleupdate. [ vierger ]
スライド一枚づつ撮影していた方がいたな。あの方はレポートをあげないんだろうか／KOFの発表者に対し、スライド全部CC-BY-SAを要請してみるって無謀ですかね? [ Britty ]
ニコ割ゲームの結果集計もメモリとの戦いだったな。 [ yo-net ]
当たり前だけど大事なこと。「一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題」 [ otonasi_kaoru ]
＞データ量＜メモリを維持する参考になるなぁ・・ [ teckl ]
へぇー。 [ kiichi55 ]
IIRの輪読会やら業務提携やらのアウトプット。グーグルのデータ処理なんかよりは少し身近に感じられ役立ちそうな内容。 [ makoto0631 ]
「＊game」KOF2008-ついにHatenaからnaoyaが参戦!! [ DameKinoko ]
実は、DBは「高度なソート機能付きストレージ」として使われている; [ miya2000 ]
いつか悩みたい。 [ Aoba ]
感想と写真を追加しました。 [ mogya ]
スライド一枚づつ撮影していた方がいたな。あの方はレポートをあげないんだろうか／KOFの発表者に対し、スライド全部CC-BY-SAを要請してみるって無謀ですかね?/本人公開きたー。 [ Britty ]
サーバの負荷分散やらなんやらかんやら。読んだら面白い。 [ rokujyouhitoma ]
タグのレコード数すげーなさすがに。きっちり正規化して実装してるのね。 [ orangecrush ]
尽きるところ、いかにI/Oとうまく付き合うか、なんだよね。どんなシステムだってディスクの回転数以上の読み書きクエリは発生させることができないんだから。 [ napsucks ]
はてなの負荷分散のお話。 [ nitoyon ]
見事なバッドノウハウの山（もちろんええ意味で）。mysqlでパーティショニングしてJOINなしなんて、いかにもプログラマの発想で面白い（だからええ意味で） [ rhosoi ]
MapReduceとかHadoopとか使ってるのかな。。 [ nomuran7 ]
具体的な技術の話はないけれど、負荷分散の観点としてメモ [ bean-jam ]
メモリ活用が要点、やっぱ大規模データのDBは分割しちゃだめ [ youhey ]
性能 [ hmabu ]
Thriftが便利。<facebook多言語RPC [ toton ]
『多くの問題は古典的な理論に帰着する／一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題』 [ ka-wara ]
はてブの重さを解決するには右記のいずれかの方法しか残されてないのかも1.専用ブラウザ限定アクセス2.専用プラグイン導入ブラウザ限定アクセス3.専用アドオン（もしくはGreasemonkeyスクリプト）導入firefox限定アクセス [ mk16 ]
はてなサーバーの裏側 [ AzukiPochette ]
OS起動後すぐにサーバを投入しない→キャッシュが利いていないので負荷があがってしまって落ちる。 [ oooooooo ]
「JOINを使わない。」これスケーリングを考えた開発では常識だと思ってたら、うちの会社の開発者が「JOINしちゃったせいでDBの分割ができない!」って騒いでた。びっくりだ。 [ shinpei0213 ]
まとめありがとうございます/資料upしました→http://d.hatena.ne.jp/naoya/20081111/1226395400 [ naoya ]
伊藤、負荷軽減、分散、MySQL [ brazil ]
これOSCKansai08で聞いたな。あん時取ったメモとかどうしたっけか。。。 [ tyoro1210 ]
Thrift初めて聞いた。:何より定期的に技術をdiscloseする企業には頭が下がります。なかなかできないです。 [ orangevtr ]
おもしろそう [ mangakoji ]
負荷分散 [ poafag ]
一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題⇒結局、大規模データ処理に限らず、色々な課題でここに行き着くんだよなあ。特に、コンピュータサイエンス分野は。 [ hiromark ]
「はてな流大規模データ処理」を見てきた-もぎゃろぐ [ sankaseki ]
それでもはてブは重い（涙） [ urawareds ]
多くの問題は古典的な理論に帰着する」「一番難しいのは、『やりたいこと』を古典的な問題に置き換えること」/「あえて大量データにアクセスしたい場面ではRDBMSは使わない [ AKIY ]
『あえて大量データにアクセスしたい場面』 [ kamataro ]
大規模ではJOINしないが鉄則。できるだけ単純取得にすべきと。そういう意味でもO/RMappingは対して機能ないほうがいいのかな。でも業務アプリだとそうはいかないと思うけどなぁ。 [ futa23 ]
一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題 [ plugnus ]
2008.11現在「こういう問題があります→なるほど」←これを「こういう問題があります→こうしたらいいですよ!」まで伸びたい。。日々精進です。 [ ginju ]
うまくメモリにキャッシュを乗せられるように。 [ hiro_y ]
アウトラインだけでこれだけ面白いとは。 [ kohedonian ]
「SSDがあっても、精々HDDの数倍程度」現状だと電力消費が最大のメリットかも/古典の勉強は重要なのですね [ gomis ]
自分には関係なさそだけど、いちおうブクマ [ kiichan1115 ]
JOINを使わない。つかわなくても、O/Rマッパーが結構吸収してくれる。/言われてみればそうだ、もう少し意識して使おう [ bongkura ]
JOINつかわないってどういうことだろう? [ nsta ]
humm... [ t-murachi ]
はてな大好き [ yhira0202 ]
実は、DBは「高度なソート機能付きストレージ」として使われている;なんかなるほど..と。 [ kskmeuk ]
はず [ mahler-5 ]
とりあえずmixiくらいに高速で落ちないようになって欲しいなぁ。mixiが成功したのは単に速かったからだけだと思うし。 [ xevra ]
昔の圧縮は、ディスクの節約のための技術だったけど、今使っているのは、いかにディスクI/Oを減らすかのための技術 [ tinsep19 ]
『DBは「高度なソート機能付きストレージ」として使われている』その通り、大規模ではJOINしないて使うのが正しい。R/TマッピングとR/Fマッピング。参考:http://www.itarchitect.jp/issue/-/124529.html [ bull2 ]
なるほど.といったってこれを読んだだけで大規模データ処理ができるようになるわけではないが. [ y_r ]
多くの問題は古典的な理論に帰着する [ bayashi_net ]
いいまとめ。 [ toriaezu ]
はてなサーバの負荷分散話 [ mpresso ]
はてな流大規模データ処理 [ wazgo ]
要するにメモリ増やしゃいいんですね [ ext3 ]
参考にする [ Rewish ]
あとで [ dk19810313 ]
多くの問題は古典的な理論に帰着する／一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題』 [ mitsuki ]
はてなのサーバ構成の工夫。IO負荷の改善が難。メモリを増やすことで対応。mysqlはインデックスを貼ること。99%参照なのでスレーブを用意する。JOINを減らす [ LukeSilvia ]
はてなの負荷分散のお話。→資料公開された!http://d.hatena.ne.jp/naoya/20081111/1226395400 [ nitoyon ]
とにかくメモリに載せろと。 [ Itisango ]
はうー [ furukatsu ]
[
← 前の画面に戻る ]
