其实你要问的问题,你已经全部说了,你要是能够找到一个一鸣惊人点子,你直接就是专家了。
可以多看看深度学习框架的源代码,找出他们的不同点,他们的算法是如何优化的?这样基本上就可以写论文了。因为数学功底就是找规律的速度,以及对规律的感知,那是数学家干的事。