みなさま、こんにちは。おくむら(@nori_broccoli)です。
ChatGPTをはじめとして、様々な「AI」で賑わっていた2023年でしたが、2024年はどういう流れになるのか改めて楽しみだなと思っている今日この頃。AIシステム的なモノはとりあえずニューラルなディープな何かを書いておこうみたいな風潮があり、実験をするにしてもとりあえずモデルを持ってきてファインチューニングしてみるとか、簡単な3層モデルぐらいから書いてみるとか、まぁ、そんな世の中になっているような気がします。
アプリケーションとして製品開発で何かそういうアプローチをすること自体には何の問題もないと思いますし、AI使ってます的な売り込みができるのでそれで良いと思いますが、研究をしているとそういうわけにもいかないことが多々あります。全くの新規開拓の分野でもなければ、基本的には古くからある手法と比較して、新しい手法（≒ニューラルの何らかのモデル）の方がこういう面で優れていますよ、とするのが常套手段になります。
私は古い人間なので、ニューラルは第二次ブームの後に終わったとされていて、AI関連の授業項目からも消える勢いだった頃に学生をやっていたため、あまりニューラルには明るい人間ではありません。その分、古典的な手法はある程度網羅しているつもりではいますが、昨今の研究論文のようにある種ニューラルありきみたいな世界はなかなか追いつくのが大変です。
とはいえ、最早避けて通れるモノではないので、同じタスクでも何らかのニューラルのモデルを使って実験をするのですが、比較対象にに用意したSVMのモデルがつよつよ過ぎて、下手なニューラルのモデルよりよっぽど良い性能が出てしまう、ということがよくあります。
それはそれで、やってみたらこういう結果でした、で普通はかまわないと思います。ただ、学生さんの卒論など、何らかの（研究としての評価以外の）評価が必要となるような取り組みについては、結果は結果です・・・だとちょっとしんどくなります。何となく世間の風潮的にニューラルの方が良いんでしょ？みたいに思われがちなところに、古典的手法が良い仕事をしてしまった、というのは受け入れがたいところもあるのかもしれません。学生さんの立場ならなおさら。
とりあえずニューラルでドン！みたいな発想から研究をスタートするより、実装が簡単な古典的手法で同じタスクを解いておいて、比較対象を意識するようにした方が精神的に健全に取り組めるかなと思います。ニューラルで70％ぐらいの性能が出せたら良いなと取り組み始めて、あとで古典的手法があっさり80％を超えてきた、とかそういう結果になると大変病んでしまいます。
何が言いたいのかというと、少し視野を広くして、世の中にはいろんなアプローチがあることをまず知って、自分が取り組んでみたい方法と別のアプローチで実装したものの性能を常に頭に置いておくことが大事かなということです。ひたすらニューラルのモデルを突き詰めていって、論文を纏める段になってベースライン（比較対象）として簡単なモデルを実装したら自分の結果が負けてしまった・・・というのはツラすぎますからね。
まずは、自分のタスクに適用できそうなニューラル以外のモデルを探すところから、というアプローチをオススメしたい古典的教員です。