MapReduceむずい
2017年10月30日
MapReduce実装としてHadoopの論文を2個ぐらい読んでMapReduce少しぐらいは理解できたかなーと思ってたけど、よく考えるとあれってどうなってんだ?とか俺の理解だと矛盾してるっぽい?みたいな箇所がちょこちょこ出てくることが多く、なんだかんだで「Hadoop MapReduceのこと、分かってるつもりだったけどよく分かってなかった」という結論になってきた。
Hadoop MapReduceは一時期爆発的な人気があったらしく、ネットを漁ると大量のチュートリアルや解説記事が見つかる。しかし、よくよく読んでみると、ある記事はバージョン0.20ぐらいを前提として書いていたり、またある記事は1.xだったりと、情報リソースによって書いてあることが色々と違ってたりする *1 すでにHadoopブームが去った2017年に、ネットの情報だけで体系的にHadoop MapReduceのアーキテクチャについて理解し、最新の情報まで知識を繋げていくのは結構難しいということが分かってきた。こういう時に有料の論文掲載サイトで論文読み放題だとよいのだが。。
なので情報リソースは一旦この本に絞ることにした。
- 作者: Sam R. Alapati
- 出版社/メーカー: Addison-Wesley Professional
- 発売日: 2016/11/29
- メディア: Kindle版
- この商品を含むブログを見る
出版が2016年11月と比較的最近であることと、作者は本を書くためにHadoopを勉強した人とかではなく、実務でHadoop clusterを6年間運用してきた人物であることから、比較的正しい理解が得られそうな気がしたというのが選定理由である。
あとはHadoopの公式tutorialがある。かなり長いがこれ以外に今のところ信用できるhadoopの最新のdocumentはなさそう。
*1:のだが、日付が書いてないことが多くて意外と気づかない
空いた時間で何を勉強するか
2017年10月26日
相変わらず普通に会社員として過ごしている。特に変わったことはない。 シラバスを眺めて何の講義を取ろうかと考えたりしてみても入学はまだまだ先。
だが、そろそろ自分の研究以外の空いた時間に何を勉強するべきか整理しなくてはならない。 せっかくなので、自分が勉強したことがない分野や、普段はAWSやGCPやherokuに任せきりで全く気にしていないような所を勉強したいと思っている。
ざっくり書き出してみる。
- tcp/ip
- http2
- dns
- ssl/tls
- rpc
- n/wレイヤーのsecurity
- osの基本構造
- strage
- 最近のcpuのアーキテクチャについて(パタヘネの続きにあたる部分)
- gpu
- そういえばCUDA触ったことない
- openmpi
- cpu自作
2018年01月14日追記
- どこで管理するか悩んだが、結局githubのprivate repositoryにまとめてみた
- githubのproject機能を使ってざっくりジャンル分けしてみたが、zenhubと比べるとかなり使いづらいというか機能が足りてないのでkanbanとして使うには結構ビミョーな感じ…
- とはいえzenhubにお金払って使うのもtoo much感あるので一旦これで頑張ってやってみる。がんばれGithub
合格通知書届いた
2017年9月14日
合格通知書が届いた。
9月12日に合格者宛に合格通知を発送する、と大学のサイトには書いてあったのだが、都内にも関わらず翌13日には届かなかったので、自分の目がバグって合格した幻を見ていたのかなと思っていたが、現実でも合格したようだった。
なんかすぐに書類書いて返送するのかなと思ったら、2月16日に入学手続きのための書類一式が送られてくるので、辞退しないのならそのまま何もせずに待っていればよろしいらしい。簡単だ。でも2月は引っ越しの準備とかでバタバタしそうだな。早めにやろう。
院試だと入学まで時間があるのでだいぶ余裕があってよい。学部の時は3月上旬に合格発表で、すぐ入学手続きの書類を書いて返送して、下宿先も探して、4月には入学、という超タイトなスケジュールだった。そう考えると3月、4月頃の入試課の事務対応は相当大変な仕事だろうなぁと思われる。
院試結果発表日
2017年9月12日
ついに来た院試の結果発表日。Jeff Deanに祈りながら恐る恐るwebで確認した。
見間違えでなければ受かったっぽい。
9月入ってから、落ちる夢(最多)とか、落ちた後にやさぐれる夢とか、筑波大学のオンライン出願システムを実装してる夢とか、よくわからない夢を毎日見て夜中に何度も目が覚めるようになってしまい、完全に寝不足になっていた。
結果発表までのこの2週間ぐらいの期間が人生で一番つらかったかもしれない。
大昔の大学(学部)受験の結果発表の時は、センター試験の点数を志望校別にgroup byしてorderした結果をオンラインで見られるサイトがあって、そこを見たらtop5に入ってたので二次は大丈夫だろう(しかも科目は得意な生物だけだったので)という確信があったので全く怖くなかった思い出がある。
しかし今回は全くの逆で、engineer系degreeもなく、業務での研究経験もなく、30過ぎのおっさんという、受かる要素が全く見当たらないおっさんの受験であったため、このブログにも散々書き散らしたけど本当に怖かった。
でも受かってしまえばもう過去のことなので気にはならない。
あとは入学までに今の職場を円満に辞めることと(この業界はとてつもなく狭いので)、英語力を鍛え続けることと、先行研究についての調査を進めておくことが今後の課題になる。
ともあれ、おっさんの無謀な挑戦も、ようやくスタートラインに立つことができた。とりあえず今は素直に喜んでいる。
院試が終わって一週間ちょいが経った
2017年9月2日
合格発表までまだ10日間ある。長い。 TOEICも口頭試験も、出来がよかったという実感がないので不安でしょうがない。
そのせいか最近は、どこかに行こうとしているのに色々な理由で辿り着けなくて必死に焦る夢をよく見る。
気を紛らわそうとも仕事もそれほど忙しくない。プライベートのイベントも何も入れていない。
これまで半年間やってきたことがいったん終わって気が抜けてしまったのか、試験が終わってからの一週間は、何もする気にもならなかった。
とりあえずTOEICの勉強に再度取り組み始めた。
ある程度リスニングも点が取れるようになったらDMM英会話でもやってスピーキングも強化していきたいと思うが、これはもう少しボキャブラリーを増やしてからの方がいいだろう。DMM英会話は周りでもやっている人がそれなりにいて評判も良いのだが、果たして自分が求める成果が得られるものなのかどうかだけが不安だ。
時間とお金をかける以上、ちゃんとリターンを得たい。ただ英語で会話をして、それで満足して、結局1単語も1フレーズも新しく覚えられないし、聞き取れるようにも喋れるようにならない、というのが一番怖い。もっとも会話というのは、それこそいかにスムーズに単語が出てくるようになるかという部分の訓練なのだろうけど、今の自分に必要なのは英文を高速で読んで英語で要約する能力だ。そう考えると、どうにもオンライン英会話を始める気になれないでいる。
それはともかく院試の結果だ。それがどうにかならない限り何も変えることができない。
どうか自分を、今と違う世界に連れて行って、好きなことを勉強する時間を与えてはくれないだろうか。それとも、やはり若い時に選択を間違えた人間には、もう立ち戻ることができない世界なのだろうか。
落ちたらどうするかということも色々考えてはいるけど、正直今の生活は自分にとってつらいとばかり感じるので、いずれにせよなにがしかの変化が必要な時期なんだろうと思っている。
院試当日
2017年8月25日
この日行われたのは口頭試問だけなので午前中で終わり、帰りに七光台温泉に寄ったのちに帰宅した。
家に着いた時、一週間ぐらい外出していたような感覚に襲われた。 この二日間、ずっと口頭試問の問答を脳内シミュレーションしていたり、めちゃくちゃ重い荷物(スーツ一式+仕事用macbook pro入り)を背負って最高気温34℃の中を歩き回っていたりして単純に疲れたからかもしれない。不思議な感覚ではあった。
半年以上の期間を準備に費やして何かをやったのは本当に久しぶりだったと思う。数年前までマンドリンオーケストラの活動をしていた頃のことを少し思い出したが、あの時は一人ではなかった。しかし今回は、すべてを一人で成し遂げた。
いきなり教授にメールを送ってアポを取ってからの研究室訪問から始まり、院試の説明会にも足を運び、英語の勉強をし、数学の勉強もし、研究に関連する論文を読み、研究計画を書き、受験のための有給と宿泊先を確保して、大学卒業以来8年ぶりにアカデミアの世界に臨んだ。
社会人になってから仕事以外のことを殆どしてこなかった自分にとっては、この受験自体がちょっとした冒険だった。
とにかく終わったのだ。あとは結果を待つことしかできない。
なお、守秘義務があるようなので試験詳細は書けないのだが、どんな感じだったかざっくり書いておく。
- 口頭試験会場は筑波大学内の指定された場所に設置されている掲示板にしか書かれていない(これは受験者心得に書いてあった通り)
- 掲示板には試験開始時刻は10時~17時と書いてあったが、集合時間は書かれていなかった。まぁ常識的に考えて30分前に会場にいれば大丈夫やろと、9時30分に控室に着いたらなんかすでに大量の受験生が居て説明が行われている最中だった。
- 聞けば、9時30分が集合時間で、ちょうどTOEIC/TOEFLのスコアシートを回収している所だった。
- 集合時間に遅れたら普通にアウトだった。かなりヤバかった。社会人の常識を発揮して危機を回避した俺えらい。
- 控室に貼ってあったスケジュール表を確認したところ、午前の部と午後の部に分かれており、午前の部の集合時間が9時30分だったらしい。
- 口頭試験は順番がサクサク回ってきて、自分の番も午前中にうちに回ってきてあっという間に終わった。試験内容は公開されていないので割愛するが、普通の中途採用の面接の時と同じように試験管の質問に回答して終わった。時間だけ見ると本当にあっという間だった。
院試前日
2017年8月24日
受験者心得によると前日から試験会場などの情報が掲示されるとのことなので、夕方ごろに指定の場所まで見に行った。
受験番号のレンジから、コンピュータサイエンス専攻の社会人特別選抜の受験者数が3名であることが分かる。
募集人員は1名と公表されていることから、単純計算で倍率は3倍。
これまでやってきた転職活動では書類選考から考慮すると倍率が10倍とか20倍だったとかザラにあったので、今更確率の問題にビビってる場合ではない。受かる者は受かるし落ちる者は落ちる。やったるで。
筑波大学に来るのもこれで5回目になる。(しっかし本当に広い大学だな…) どうかこの景色が見納めになりませんように。
今日はめっちゃ暑い中を荷物背負って歩き回ったせいか少し疲れたのでさっさと寝ることにする。 研究学園駅前のマークワンにて一泊。*1
*1:追記:一晩寝て分かったが、マークワンは値段は安いし温泉付いてるし、同価格帯のビジホとしては非常に良い方だと思うのだが、建物が古いせいか壁が薄く、隣の部屋の声がただ不快なだけの振動となって伝わってきて何度も目を覚ますハメになった。。次回は耳栓ないとつらいけど耳栓してるとアラームで起きられないので光時計を持参する必要がありそう