新鲜事
原文
求助。
C++手写LSTM，偶遇Loss==NaN强如怪物，拼尽全力，无法战胜。
我只是抱着试一试的心态，凭兴趣学的机器学习，正好放假了有时间打代码，不是专业选手。
话说有没有这方面专业大佬，启发我一下这是什么原因？如何解决？
我也上网查了一些资料，Loss==NaN的原因有这几点（可能有重叠）：
1. 梯度消失或爆炸；
2. 计算Softmax时指数过大或过小；
3. 超参数不恰当；
4. 原数据有问题；
解决方法有下面几点：
1. 梯度裁剪；
2. 降低学习率、正则化参数；
3. 使用更高级的权重初始化方法；
4. 检查原数据；
我进行了梯度裁剪，控制梯度、边权和节点值都在[-1e10, 1e10]之间。没有每进行一次乘法就裁剪，请问需要这样吗？
计算Softmax时将指数限定在了[-23, 23]。
我的梯度下降限定迭代次数为20000次，不进行正则化、学习率为0.4时，在迭代期间已经没有收敛，超参数是否有待优化？
我的权重初始化方法很原始，是 (1e-4 * 0~2000随机整数 / 1000) - 1e-4，请问这样有影响吗？
数据是我自己编的小数据，总共两个点，每个点长度不超过10，x和y都是0或1。
我用的数据类型是double，这里面很多问题都和double的浮点下溢有关，请问在没有其他专门库的情况下，推荐使用double吗？
恳求各位大佬不吝赐教！
图为限定迭代次数为20000次，学习率为1.6和0.8时的输出层情况，纵向排列的是训练过程中的输出，横向排列的是边权“收敛”后的输出。
新鲜事
原文
Karmatic Time Trio [Plan B]
背景lv19被就是猪薄纱后reset把就是猪融合前就砍亖了(砍灵魂)ktt和老g开启了planB
P0.5lv19真tm刀被uid!gaster复制了一个
P1 ctt!ukb uid+真tm刀 uhm
P1.5 uhm撤离找援军 ainavol来了
P2 ctt!ukb2 uid2+真tm刀 ain
P2.5 uhm找来agem和urh .urh给贵州鱼王挡刀进P3
P3 ctt!ukb3 urh3+真tm刀 uid3 鱼王
P3.5ukb没吃人没融化 urh没耐砍 鱼王没炸 uhm带着cotv oneleft回来了 hm中刀
P4 融合加强‘就是猪’右上手灵魂 左上手代码 右下手真tm刀 左下手KR
Cotv3 就是猪 uhm2
P4.5就是猪二次融合
P5 二次融合de就是猪打了一会洪文了把lv调的很高然后自爆(还记得那个鱼王吗),自爆后恢复状态薄纱lv19
后序 就是猪完胜
贡献榜 1.kb 2.hm&鱼王3.uid&urh 4.cotv
我的ktt改设 p4>mtt4 p5≈mmtt3
#undertale #ktt #KarmaticTimeTrio #ut #疣体
