2018-07-23

進捗無

2018年7月23日

このブログ更新するのいつ振りだろう。あまり覚えてない。

春学期はABCの3つのtermに分割されているが、そのうち春A,春ABに実施された講義の単位が出そろった。幸いなことに１つも落としていないしA+の単位も何故か取れた。もちろんBの単位もあるのでGPAはそこまでよくない。
A+を取るというのがどれぐらい価値があるのかよく分かってないが、一番いい成績なので秋学期も狙っていきたいところ。まだ開講中の春Cの講義もあるので頑張っていきたい。

一方で研究は殆ど成果が出ていない。専門としている人が周りにいないため誰のサポートも受けられず、完全に手探り状態である。
やはり無理なテーマを選んでしまったのではないかという後悔を徐々に感じているが、仕事と違ってそこまで締め切りに厳しくないのが大学の良い所ではあるので、完全に詰むまでは突き進んでみるしかない。かなりしんどいしストレスも溜まって毎日イライラしているのを自分で感じるが、仕事ではもっとストレス溜まって毎日就業時間中にオフィスを抜け出してビルの屋上で叫びたくなるような時期が普通に何度もあったので、それに比べればまだ遥かにマシだ。自分で大体の状況をコントロールできるという点でもかなりマシな状況である。

とりあえずV100を積んだマシン上でChainerで組んだモデルを自由に実行できるようにはなったが、肝心の畳み込みLSTMで実装したレーダーエコーデータの降水予測モデルの訓練にアホほど時間がかかって終わらない問題が生じている。

nVidia visual profilerで確認するとCPU<->GPU間のデータ転送時間が支配的となっており、 GPU2枚でデータ並列でminibatch size 4で1iteration回すのに50秒とか冗談みたいな時間がかかっている。一方でcudnnの関数はどれも1秒足らずで終わっているのでこちらはボトルネックになっていない。そしてGPUのメモリを28GB allocateしており、これ以上inputの1 instanceのデータサイズを増やすと破綻することが予想される。ちなみにConvLSTMレイヤーの畳み込み層のchannelサイズを小さくすることでGPUメモリ使用量がアホほど減ることからやはりモデルのパラメータサイズが大きいことが直接の原因らしい。

そのため、以下について原因を調べなければならない。

CPU<-> GPUのデータ転送が生じているのは正常な挙動かどうか（自分の実装ミスではないかという可能性）
GPUのメモリ使用量がめちゃくちゃ増える理由

2018-06-26

レポートの締め切りが重複しまくる問題と出されたレポートの種類について

2018年6月26日

最近は殆ど研究に関する作業が進んでいない。大量のレポートで手も頭が回らなくなっている。どれぐらいレポートがあったかをgoogleカレンダーで確認すると、少なくとも最近だと下記がレポートの締め切りとして登録されている。*1

6月13日
6月22日
6月28日
7月2日
7月4日
7月6日
7月8日

6月後半から7月第一週への集中攻撃が半端ない。告知から締め切りまでが短いやつだと「締め切り来週な！」みたいなのもあるのでだいぶつらい。なお4月にも5月にもこれよりは少ないがレポートはあった。
なぜこの時期に集中するかと言えば春学期の最終週が先週だったので、春学期の講義の成績をつける為にどの講義もラストミッションとしてレポートを課すのだ。レポートがない講義は変わりに期末試験一発勝負であり、それはそれで戦々恐々としながらテスト勉強している。それぞれのレポートを作成するのに１つ当たり大体5時間～15時間程度はかかっている。なぜそんなに幅があるかというと、講義内容だけでは全然足りなくてゼロから調べないとどうしようもないものがあったりするため、その調査時間がかかっているからである。実装が入るとさらに増加する。最近はGlusterFSをVagrant上で動かして動作検証をしていたし、7月8日締め切りのレポートも実装が必要なので今ちょうど設計作業をしている所である。

大学院のレポートは、レポートと一口に言ってもいくつかのパターンが存在する。自分が春学期に受けた講義については以下のいずれかの形式であった。

演習問題を解いて提出する
問題が提示されてそれについて論述する*2
講義内容の要約
指定された論文要約*3
仕様が指定された実装を作って仕様と振る舞いについてレポートを添えて提出する

演習問題を解いて提出するというのは自分の学部時代でもよくやったやつで、普通に問題をレポート用紙に手で書いて提出した。アルゴリズム系の講義だったのでDPテーブルや樹形図を手で書いて解答を書いた。これは大変だったが普通に楽しかったし、エンジニア時代は全く歯が立たなかった論理系のジャンルを少しだけ理解できた気がした。

論述するやつは、例えば「XXXがZZZな時YYYが成り立つかどうか論ぜよ」とか「XXXについてYYYという観点で説明せよ」みたいな問題について解答をまとめるタイプ。難易度はモノによってマチマチだったが、答えはすぐ分かるのだがそれをどのように論理的に説明するかについて悩むものがいくつかあった。どちらかと言えば論理的に説明するための文章展開を考えるのに時間がかかった、という感じである。要するに論文を書くトレーニングなのだろうと思われる。

講義内容の要約はある意味一番ラクだった。基本的には講義の板書と、足りない部分を別途本で調べて補足したものをまとめて提出する。ちゃんと講義に出てさえいれば書けるやつであり、単純作業なので面白くはなかった。復習にはなったが、すでに知っている知識がほとんどの講義だったため、まぁなんというか本当にまとめるだけの作業になってしまった。

指定された論文要約は、全く専門外の論文を必死こいて読んでいてかなり厳しかった。翻訳は出来ても用語のニュアンスが分からないという感じで、それこそ関連論文もセットで読まないとうまく要約できなかった。今学期だと一番時間がかかったのがこのタイプで、すでに提出したが少なくとも論文を読んでまとめるのに15時間はかかった。かなり大変だったがお陰で専門外の論文に立ち向かう根性と自信は付いた気がする。

仕様通りにソフトウェアを実装してその振る舞いとパフォーマンスをレポートにまとめて提出する。これこそが自分が求めていたCS専攻らしい課題だと勝手に思っているものであるが、残念ながら春学期は一個しか出なかった。寂しい。OCaml処理系をOCamlで書いて来い、みたいな講義を受けてみたいものである。

*1:実際の締め切り-1日をカレンダーに設定しているので実際には論理締め切りである

*2:設問は「Discuss about~」みたいな形式が多い

*3:当たり前だが英語であり実質的に英文精読タスクも発生する

2018-06-23

大学の先生との付き合い方

2018年6月23日

14年前、岩手大学に入学したばかりのころのオリエンテーションで「大学生活のいいところ」みたいな話をしてくれた先生がいて、いくつか列挙してくれた上で、最後に大学教授という変人を観察できることを挙げていた。詳しくは説明してくれなかったので何のこっちゃいと思ったし、実際岩手大学で自分が講義を受けたり事務処理でお世話になった先生方は、今考えてもみんなまともだったように思う。変わった人はいたが「お、変わってるな」ぐらいの感覚だった。自分が卒論で指導を受けた先生も、その他の同じ研究室内の先生も、今考えても大人としてまともだったように思う。指導教官については新卒で会社員として働いていた期間があるのでそのバックグラウンドも関係しているかもしれない。よって、大学の先生 ∈ {准教授、助教、教授、講師}はそこまで変な人じゃないしまぁふつうの人だよねという印象を持っていた。

一方、大学を出てから10年後に筑波大学で過ごしていて感じるのは、その考えは10年ぶりに微修正しなければならないということである。筑波大学も相当デカい大学であり、大勢の先生がいて、自分が接しているのはそのうちのごくごく一部に過ぎないということを分かっている。分かってはいるが、その狭い狭い観測範囲の中であっても、「それはどうだろう」という対応を、自分よりも10歳も20歳も年齢が上の人に対して感じるケースが、週に数回はある。自分に対してだったり、他の学生に対してだったり。そういう対応にイラ立って学生の間で愚痴っている場面には研究室内でもその辺の教室でもしょっちゅう出くわす。イラ立つだけならまだいいが、放っておくと鬱になって休学してしまう学生もいるらしいので、そういう先生の対応っていうのはもう少し大学側はケアをすべきではないかという気もしなくはない。ただ、大学というのはその辺の大企業以上に巨大で複雑な組織であり、個別の学生のケアにまで手が回らないのが実情だと思う。だからこそサークルに入ったり友達作ったりして上手くストレスを解消するための場所を用意しておく必要があるんだな、と10年振りに思った。自分も学部時代はギターアンサンブルのサークルに所属し、大学生協で学生にPCを教えるバイトなどをしていた。そこでの人間関係は確かにストレスからの退避場所として重要だったのだなと今にして思う。

話が長くなった。大学教授との付き合い方について書こうと思っていたのだ。油断すると昔話をしてしまうのはおっさんの悪い癖だ。
結論から言えば、自分は諦めている。
40歳、50歳にもなってこの状況であれば恐らくそこから性格や考え方を変えるのはもう不可能だと思っている。だから、そういう人間なんだなぁと思って真に受けずに、会話するときは必要なことだけを淡々と話し、必要以上の接触は極力避ける。それしかないのだ。どうせたかだか2年程度の付き合いなのだ。

それ以前に、せっかくの修士課程2年間を人間関係で悩んで潰したらもったいないというのが自分の考えで、自分にとって必要だと思うことに取り組まないとせっかくの時間がもったいないと思っている。俺の場合、自分の金と親からの援助で勝ち取った2年間である。無駄にはできないのだ。

一方で、そういう対応ができるのもある程度のおっさん力がある故になせるワザでもあるので、もし先生との人間関係で悩んでいる学生がいたら、「ああいう人は社会に出たら寧ろ少数派だから、ああなっちゃいけないっていう対象として見とくんやで」とケアできたらなぁと思っている。

2018-06-16

大学院講義のレポートについての所感

2018年6月16日

また間が開いてしまった。しかし特に特筆すべきことはなく、日々講義と研究をしている。大学生活というのは誠に平和であり、会社と比べるとイベントは非常に少ない。非常に淡々としている。毎日イベントがあったら学業どころではないので理にかなっていると言える。

しかし、身近なところではイベントと言うか頭を悩ませることは多い。特にレポートで、正直苦労している。書けないということはないが、時間がかかる。そのために研究に割ける時間も減る。長時間稼働するので疲労が溜まる。ちょっと悪循環に入りつつある。

内容は理解できるが、問題はレポートの体裁で、どのように、どの程度書けば単位がもらえるものか皆目分からないものが多い。同じ講義を取っている同じ研究室の学生にチラ見させてもらったりして何となく体裁は分かっているのだが、果たしてどのぐらい詳しく書けば単位が取れるレポートになるのか分からない。レポートは大体枚数が決まっているので書きすぎるのもよくない、しかし書かなすぎるのも良くない。絶対的な評価基準はなく、先生事に基準は異なる。全ては「先生のみぞ知る」らしい。勉強のためにレポートを書いているのであって先生のためにレポートを書いている訳ではないのだが、大学として成績をつけなければならない以上、何らかの先生なりの基準を持って評価してもらうしかない。学生と先生の間で推理合戦が行われるのである。

「これこれというコードを書け」というレポートなら大体どんなものでも無双する自信があるが、春学期に提出したレポートは 9割ぐらいが「ほげほげについて論ぜよ」という記述式のレポートである。具体的には、そのほとんどが「講義の内容を要約せよ」というものである。コードは提出物としては一行も書いていない。ナップザック問題をDPテーブルを書いて解け、という課題で検算のためにc++でDPを書いたぐらいである。

個人的にはこのレポートの形式ばかりなのは衝撃的だった。 CSの大学院ともなれば毎週のように実装課題が課せられるに違いないと思っていたが、どうもそういうのは筑波大学では学部（学類）でのみ行われるらしい。ちなみみに、他大学のCS系専攻を卒業した知り合いによれば、偏差値が高い大学に行くほど結構そんなもんらしい。東大は最近python入門の講義とか始めたけどこれは珍しいらしい。

rui ueyamaさんのスタンフォード大学院に関するブログ記事を読んで、大学院に入ったからにはあらゆる分野のブツを何でも実装しまくる気でいたのだが、これは大学によって大きく異なるらしい。なおスタンフォード大学院は今世では絶対行けないだろうなと思うぐらいの学費である。グーグルも加入している企業向けの割引プログラムを使えれば１つか２つの講義履修ぐらいはワンチャンあるかも知れないが、グーグルに入ること自体がもう同じぐらい厳しいのではないかという気もする。

2018-05-22

∃とか∀の意味が分からないだけでも思考が止まる

2018年5月22日

しばらく間が空いてしまったが、相変わらず講義に出て研究を進めている。

近況

気が付けば入学から2か月近くが経ち、筑波大学でいうところの「春A」期間が終わった。
通常、講義は春A+春Bというセットで構成されているため殆どの講義はそのまま春B期間（7月2日まで）まで継続される。ので特に節目という感じはしないのだが、まぁ暦上はそうなっているということである。

今週締め切りのレポート3つを提出し終えてかなり気が楽になった。大学生活が久しぶり過ぎてレポートにおいては問われている問題についてどの程度まで詳しく説明すべきか良く分からなかったが、少なくともこう書けば自分は100%理解できる、という所まで説明する感じで書いた。

例えばアルゴリズム関連のレポートでは3-SATをクリーク問題に多項式時間変換する過程の説明をしたりもしたが、通常、数学における証明では具体例はあまり書かない気がするが、具体例がないと自分がアホなので上手く説明できないので「例えばx1が真でx2が偽の時にこの式は充足可能である。ので、、」みたいな感じの説明をつらつら書いたりしていた。多項式時間変換は感覚的には分かってもちゃんと証明することが難しい。

集合論が全く分からないことに気づいた

にしても、やはりCS系の講義というか工学系の講義を一切取ってなかったために色々前提知識が足りていないと感じる部分があった。

その中でも一番やばたにえんなのが集合理論の記号の意味が分からないことで、例えば講義資料や先生の板書の中で

∃∀x, y, x ∈ Z, y ∈ Z

みたいな定理が出てきても最初は全然分からなかった。
∈ は含む というのは分かるが、カタカナのヨみたいなのはなんだろうか。。どういう意味だろうか。。あとZはなんだろうか。。*1

そういうことを考えているとその時点で思考が止まって講義の内容に全くついていけなくなった。ヤバい。
実際、数理系の講義はちょくちょく途中で式の意味が分からずにフリーズしてしまい、講義後に先生に聞きに行ったりしていた。が、やはり「あのカタカナのヨみたいなのはなんですか？ガンダムのシリーズみたいなやつ（∀）は？」とはさすがに聞いちゃいけない気がしていてその辺の質問は避けていた。

この手の記号が集合論関係ない定理の証明とかでもふつうに出てくるので知らないとホントにヤバそうに見てきた。*2

そんなある日、自分が知りたい数学の記号の意味をうまくまとめた資料(pdf)を偶然見つけた。記号の意味だけでなく、大学数学における前提知識が端的にまとまっている素晴らしい資料である。

果たしてこれは何かと思ってURL削ってみたら、立命館大学の数学学修相談会というサイトのサブテキストの１つだった。なんでも立命館大学では学生の有志が数学の学習をサポートする取り組みを行っているらしい。素晴らしい。

筑波大学にもこういうのがあると助かるのだが、さすがに集合論を一切やらずに大学院にやってくるアホなんてのは想定してないだろうし仕方がない。足りない知識は自分で勉強していくしかない。

今の自分に足りてないもの

離散数学の基礎知識

上述の集合論も含めて、代数、グラフ理論、アルゴリズムなどをひっくるめた分野として「離散数学」というのがあるらしい（全く知らんかった）。どれも勉強したことがない内容なので、どうも自分はこれを学部生時代にやってないせいで多くの前提知識が抜け落ちているらしい。 CSを勉強している学部生にとっては基礎みたいなもんらしく、学部生向けのテキストが充実してるのでこれを使って独学できそうである。

とりあえず離散数学の入門書としてamazonで評価が高かった以下2冊を読んでいる。

やさしく学べる離散数学

作者: 石村園子
出版社/メーカー: 共立出版
発売日: 2007/09/30
メディア: 単行本
購入: 6人クリック: 97回
この商品を含むブログ (8件) を見る

応用事例とイラストでわかる離散数学

作者: 延原肇
出版社/メーカー: 共立出版
発売日: 2015/02/10
メディア: 単行本
この商品を含むブログ (1件) を見る

また、前述のアルゴリズム関連の講義も取っていたがやはりいまいちよく分からなかったというかちゃんと勉強したいので数理最適化に関する本も一冊買った（これは普通にレポート書くための参考書として使った）

IT Text 数理最適化

作者: 久野誉人,繁野麻衣子,後藤順哉
出版社/メーカー: オーム社
発売日: 2012/08/24
メディア: 単行本（ソフトカバー）
クリック: 2回
この商品を含むブログ (1件) を見る

制御工学

春Bから始まった新たな講義で「制御工学」が出てきたのだが、これもやってないので全く分からんということで大変危機感を募らせている。。しかも状態方程式は微分方程式として表現されるので微分方程式も解けないとマズそうである。。こっちも12年前に勉強して以来全く使ってないので知識が綺麗に揮発しているため勉強しないといけない。。

これも講義で紹介された本を読まねば絶対ついていけない気配が濃厚である。

アドバンスト制御のためのシステム制御理論 (システム制御情報ライブラリー)

作者: 杉江俊治,前田肇
出版社/メーカー: 朝倉書店
発売日: 1990/12/01
メディア: 単行本
この商品を含むブログを見る

フィードバック制御の理論―ロバスト制御の基礎理論

作者: John C. Doyle,Allen R. Tannenbaum,Bruce A. Francis
出版社/メーカー: コロナ社
発売日: 1995/12/01
メディア: 単行本
購入: 1人クリック: 2回
この商品を含むブログ (1件) を見る

ただ自分には入門書の方が必要な気がするので先にそっちを探した方がよさそうなので明日図書館を漁ってみることにする。独学のための教材費が結構高くなってきた*3

*1:今思えば∃は感覚的に分かるもんではなく、さらに∃の意味が分からないと式全体が何を主張しているのか分からなくなるので知らないとヤバい記号ナンバーワンな気がする

*2:haskellをちょっといじってたおかげでリスト内包表記は理解できた。

*3:図書館にないやつはできるだけamazonマーケットプレイスで買っているがそれでも定価の半額以下にならないつらみ

2018-04-28

大学院での勉強と仕事におけるモチベーションの違い

2018年4月28日

大学院で何かを研究というか勉強している時、仕事と一番違うのは動機だと思う。

仕事だと基本的には会社のためになることを最優先でやらなければならないので、例えば過去に自分が業務として何かを勉強していた時は、その内容が仕事に必要になる可能性があるためであった。つまり、自分の意思とは関係なく外部からの要求に応じて勉強をしているということになる。

一方で大学の場合は、というか自分に関しては、仕事中の勉強とは異なり、「自分が興味があるから」という、内発的なモチベーションによって勉強しているという感じである。実際、研究テーマとして分散処理を対象とすることを選んだのも、その上で動くアプリケーション題材として深層学習を扱うことを選んだのも、結局は自分の意志である。

自分の意志でやることを決められる、というだけでも大学はすごい。というか、逆に意志がなければ本来は来るべき場所ではないのだろう。

ただ、こういう感覚は久しぶりな気がする。仕事をしていればやっぱり24時間ずっと仕事のことを考えてしまう訳で、プライベートでOSSにPR送ったり何か良く分からないオレオレ実装を作ったりもしてたけど、あくまでプライベートの開発は暇つぶしと言う位置づけで、結局は、仕事の中でどう自分の価値を高めるか、今仕事において何が必要か、ということばかりを最優先で考えていたと思う。その結果、ウェブアプリケーションしか作れない自分と向き合って危機感を感じていたのだから、何かおかしいような気もするが、結局は何をやるにしても仕事を最優先すべしという考えにとらわれすぎていたのだと思う。

今自分が深層学習 on 分散処理を勉強していて、この2年間の間に何か論文が書けたとしても、それが役に立つかどうかは全く分からない。というかすぐには役に立たない可能性の方が高い。

しかし、自分がやりたいことができる、というだけで、それは十分な価値なのだと感じる。多分、大学院にいる間はその価値を最大化するように動くのがベストだと思っていて、もちろん論文のノルマはあるので結果は出さなければならないが、できるだけ自分の興味の向くことを優先して何をするかを決めていきたいと思う。

2018-04-25

筑波大学博士前期課程に社会人特別枠で入学するまでの道のり

2018年4月25日

今日は講義がないので1日中論文を読んでいたら流石にちょっと疲れたので、帰宅前に1時間ぐらいAtCoderのABC過去問を解いてリフレッシュしてから帰宅した。AtCoderは癒し。

先日seri::diaryの方に近況報告のエントリを書いたのだが、この1年やってきたことにも触れておいた方が良いと思ったので、入学までにやってきたことを過去のエントリと共にまとめてみる。

2018年7月23日

2018年6月26日

2018年6月23日

2018年6月16日

2018年5月22日

近況

集合論が全く分からないことに気づいた

今の自分に足りてないもの

離散数学の基礎知識

制御工学

2018年4月28日

2018年4月25日

1. 研究室の先生に会いに行って配属許可をもらう

2. 出願のための準備をする

3. 入試説明会に行ってみる

4. 受験勉強する

5. 募集要項をwebで確認する

6. 研究計画を書く

7. 出願する

8. 受験者心得を読む

9. 入試を受ける

10. webで合否を確認する

11. 引っ越しの準備をする

12. 入学手続書類を出す

13. 余裕があれば研究室訪問する

14. 入学する