KOF2008：関西オープンソース2008というイベントに来ています。はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き)アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデー...
■ この情報のコメント・メモ ■
そうだよなあDB分割すっとJOIN出来ねえよなあ。JOINしないという発想は完全に無かった。はてなみたいなサイトなら十分可能なんだろう。 [ flytales ]
はてな流大規模データ処理 [ wazgo ]
はず [ mahler-5 ]
自分には関係なさそだけど、いちおうブクマ [ kiichan1115 ]
いいまとめ。おつかれさまです。 [ kazz7 ]
はてなの負荷分散のお話。→資料公開された!http://d.hatena.ne.jp/naoya/20081111/1226395400 [ nitoyon ]
IIRの輪読会やら業務提携やらのアウトプット。グーグルのデータ処理なんかよりは少し身近に感じられ役立ちそうな内容。 [ makoto0631 ]
アウトラインだけでこれだけ面白いとは。 [ kohedonian ]
2008.11現在「こういう問題があります→なるほど」←これを「こういう問題があります→こうしたらいいですよ!」まで伸びたい。。日々精進です。 [ ginju ]
多くの問題は古典的な理論に帰着する」「一番難しいのは、『やりたいこと』を古典的な問題に置き換えること」/「あえて大量データにアクセスしたい場面ではRDBMSは使わない [ AKIY ]
＞データ量＜メモリを維持する参考になるなぁ・・ [ teckl ]
実は、DBは「高度なソート機能付きストレージ」として使われている;なんかなるほど..と。 [ kskmeuk ]
メモリ活用が要点、やっぱ大規模データのDBは分割しちゃだめ [ youhey ]
こういう話ができる人にならないと。 [ Kmusiclife ]
はてなの負荷分散のお話。 [ nitoyon ]
多くの問題は古典的な理論に帰着する [ bayashi_net ]
MapReduceとかHadoopとか使ってるのかな。。 [ nomuran7 ]
はてなサマーインターン2008のエンジニア向け講義7日目の内容とほぼ同じのようだ。 [ Yuichirou ]
JOINを使わない。つかわなくても、O/Rマッパーが結構吸収してくれる。/言われてみればそうだ、もう少し意識して使おう [ bongkura ]
へぇー。 [ kiichi55 ]
負荷分散 [ poafag ]
専ブラ使って負荷が下がるのは、2chのような「即時レスを必要とする分野」では?とかオモタ。／縁の下の力持ちというか、いろいろ頑張ってるね。安易なネット批判をする人たちにこそ、知ってほしい“場所”。 [ guldeen ]
はてなサーバの負荷分散話 [ mpresso ]
スライド一枚づつ撮影していた方がいたな。あの方はレポートをあげないんだろうか／KOFの発表者に対し、スライド全部CC-BY-SAを要請してみるって無謀ですかね?/本人公開きたー。 [ Britty ]
OS起動後すぐにサーバを投入しない→キャッシュが利いていないので負荷があがってしまって落ちる。 [ oooooooo ]
うまくメモリにキャッシュを乗せられるように。 [ hiro_y ]
あとで [ dk19810313 ]
一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題⇒結局、大規模データ処理に限らず、色々な課題でここに行き着くんだよなあ。特に、コンピュータサイエンス分野は。 [ hiromark ]
要するにメモリ増やしゃいいんですね [ ext3 ]
「＊game」KOF2008-ついにHatenaからnaoyaが参戦!! [ DameKinoko ]
最初の数行しか見てないけどこれはいいまとめ [ yappo ]
ISTMthatit'snotdifficulttoscalethesystemwhichhasalittleupdate. [ vierger ]
はてなが実施している大規模データ処理の中身。 [ adsty ]
参考にあげられてる文献は読みたい。 [ ite ]
多くの問題は古典的な理論に帰着する／一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題』 [ mitsuki ]
とりあえずmixiくらいに高速で落ちないようになって欲しいなぁ。mixiが成功したのは単に速かったからだけだと思うし。 [ xevra ]
すごくタメになる。というか、このエントリー随分さがしました。 [ kazuki2life ]
いろいろメモ [ abe_hn ]
humm... [ t-murachi ]
JOINつかわないってどういうことだろう? [ nsta ]
スライド一枚づつ撮影していた方がいたな。あの方はレポートをあげないんだろうか／KOFの発表者に対し、スライド全部CC-BY-SAを要請してみるって無謀ですかね? [ Britty ]
「はてな流大規模データ処理」を見てきた-もぎゃろぐ [ sankaseki ]
なるほど.といったってこれを読んだだけで大規模データ処理ができるようになるわけではないが. [ y_r ]
うれしいメモ。 [ akiyan ]
見事なバッドノウハウの山（もちろんええ意味で）。mysqlでパーティショニングしてJOINなしなんて、いかにもプログラマの発想で面白い（だからええ意味で） [ rhosoi ]
タグのレコード数すげーなさすがに。きっちり正規化して実装してるのね。 [ orangecrush ]
実は、DBは「高度なソート機能付きストレージ」として使われている; [ miya2000 ]
「SSDがあっても、精々HDDの数倍程度」現状だと電力消費が最大のメリットかも/古典の勉強は重要なのですね [ gomis ]
はてな大好き [ yhira0202 ]
昔の圧縮は、ディスクの節約のための技術だったけど、今使っているのは、いかにディスクI/Oを減らすかのための技術 [ tinsep19 ]
はてなのサーバ構成の工夫。IO負荷の改善が難。メモリを増やすことで対応。mysqlはインデックスを貼ること。99%参照なのでスレーブを用意する。JOINを減らす [ LukeSilvia ]
Thriftが便利。<facebook多言語RPC [ toton ]
それでもはてブは重い（涙） [ urawareds ]
『多くの問題は古典的な理論に帰着する／一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題』 [ ka-wara ]
伊藤、負荷軽減、分散、MySQL [ brazil ]
はてなサーバーの裏側 [ AzukiPochette ]
「JOINを使わない。」これスケーリングを考えた開発では常識だと思ってたら、うちの会社の開発者が「JOINしちゃったせいでDBの分割ができない!」って騒いでた。びっくりだ。 [ shinpei0213 ]
おもしろそう [ mangakoji ]
感想と写真を追加しました。 [ mogya ]
性能 [ hmabu ]
まとめありがとうございます/資料upしました→http://d.hatena.ne.jp/naoya/20081111/1226395400 [ naoya ]
元ネタよむのがいいかも、、、ってプレゼン見ても断片なので、聴いてきた人のエントリ詳細希望～～ [ T-miura ]
当たり前だけど大事なこと。「一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題」 [ otonasi_kaoru ]
Thrift初めて聞いた。:何より定期的に技術をdiscloseする企業には頭が下がります。なかなかできないです。 [ orangevtr ]
尽きるところ、いかにI/Oとうまく付き合うか、なんだよね。どんなシステムだってディスクの回転数以上の読み書きクエリは発生させることができないんだから。 [ napsucks ]
はてなの基盤について。あとでよくみなおす。 [ a-know ]
はてブの重さを解決するには右記のいずれかの方法しか残されてないのかも1.専用ブラウザ限定アクセス2.専用プラグイン導入ブラウザ限定アクセス3.専用アドオン（もしくはGreasemonkeyスクリプト）導入firefox限定アクセス [ mk16 ]
具体的な技術の話はないけれど、負荷分散の観点としてメモ [ bean-jam ]
『あえて大量データにアクセスしたい場面』 [ kamataro ]
やっぱりメモリですよねー [ hidesuke ]
『DBは「高度なソート機能付きストレージ」として使われている』その通り、大規模ではJOINしないて使うのが正しい。R/TマッピングとR/Fマッピング。参考:http://www.itarchitect.jp/issue/-/124529.html [ bull2 ]
大規模ではJOINしないが鉄則。できるだけ単純取得にすべきと。そういう意味でもO/RMappingは対して機能ないほうがいいのかな。でも業務アプリだとそうはいかないと思うけどなぁ。 [ futa23 ]
参考にする [ Rewish ]
正にそれが正しい。R/TマッピングとR/Fマッピング。『DBは「高度なソート機能付きストレージ」として使われている』参考:http://www.itarchitect.jp/issue/-/124529.html [ bull2 ]
あまり機会はないかもしれないけど、知識として [ field_combat ]
いいまとめ。 [ toriaezu ]
いつか悩みたい。 [ Aoba ]
サーバの負荷分散やらなんやらかんやら。読んだら面白い。 [ rokujyouhitoma ]
はうー [ furukatsu ]
とにかくメモリに載せろと。 [ Itisango ]
一番難しいのは、「やりたいこと」を古典的な問題に置き換えることが最大の問題 [ plugnus ]
これOSCKansai08で聞いたな。あん時取ったメモとかどうしたっけか。。。 [ tyoro1210 ]
ニコ割ゲームの結果集計もメモリとの戦いだったな。 [ yo-net ]
[
← 前の画面に戻る ]
