你好，我用您原程序加到4层后，Mnist数据分类几乎错误。

[shaomeiyang]

你好，我用您原程序加到4层后，Mnist数据分类几乎错误，把所有类别都分为2了。如果低于4层就没这个问题。请问您试过把隐含层数加到4层吗？是否存在这个问题啊，什么原因呢

[zhuofupan]

这么奇怪吗？设的网络结构是什么。

[shaomeiyang]

这么奇怪吗？设的网络结构是什么。

我设置了这个struct=[x_dim,300,200,100,50,y_dim],

[shaomeiyang]

这么奇怪吗？设的网络结构是什么。
其余参数是这样的
classifier = DBN(
hidden_act_func='sigmoid',
output_act_func='softmax',
loss_func='mse', # gauss 激活函数会自动转换为 mse 损失函数
struct=[x_dim,300,200,100,50,y_dim],
lr=1e-3,
momentum=0,
use_for='classification',
bp_algorithm='adam',
epochs=10,
batch_size=187,
dropout=0,
units_type=['gauss','bin'],
rbm_lr=0.3,
rbm_epochs=2,
cd_k=1)

[zhuofupan]

设这么大，跑着会卡吧，这个数据集挺大 -。- 我等下试试。

[shaomeiyang]

设这么大，跑着会卡吧，这个数据集挺大 -。- 我等下试试。

好的哈哈 谢谢您！
我用自己的数据集没这个大，原来用matlab程序跑的这种结构，用您的程序做的时候也设成了这个结构，发现微调的时候损失不会下降，准确率也不提升。然后换了mnist数据发现还是这样。

[zhuofupan]

我还在挂机跑别的程序~~~

[zhuofupan]

没有发现啥问题：
struct=[x_dim, 400, 200, 100, 50, y_dim]

Start Pre-training...
Train RBM-1:
epoch = 3/3 | 「Train」: loss = 0.1116
Train RBM-2:
epoch = 3/3 | 「Train」: loss = 0.2839
Train RBM-3:
epoch = 3/3 | 「Train」: loss = 0.4127
Train RBM-4:
epoch = 3/3 | 「Train」: loss = 0.4805
Pre-training expend time = 76.27
Start Fine-tuning...
epoch = 10/10 | 「Train」: loss = 0.07526 , accuracy = 97.83% , expend time = 42.46 | 「Test」: accuracy = 97.93%
Show Testing result...
Class 1:
[Accuracy]: 99.08%
Class 2:
[Accuracy]: 98.77%
Class 3:
[Accuracy]: 98.16%
Class 4:
[Accuracy]: 98.12%
Class 5:
[Accuracy]: 97.66%
Class 6:
[Accuracy]: 97.65%
Class 7:
[Accuracy]: 97.7%
Class 8:
[Accuracy]: 97.96%
Class 9:
[Accuracy]: 96.61%
Class 10:
[Accuracy]: 97.42%
[Average accuracy]: 97.93%

[shaomeiyang]

谢谢您及时回复，感动。我刚刚又试了一下，设为四层以后把参数换成您原来的，结果确实是正确的，问题可能出在我的参数rbm_lr=0.8这里了，我改为rbm_lr=1e-3又好了。可是在低于四层时，rbm_lr=0.8是没有问题的。奇怪，不太懂。。这个您知道为什么吗？

[zhuofupan]

0.8也太大了吧。

…

------------------ 原始邮件 ------------------ 发件人: shaomeiyang <[email protected]> 发送时间: 2019年4月23日 21:42 收件人: fuzimaoxinan/Tensorflow-Deep-Neural-Networks <[email protected]> 抄送: Fuzz Pan <[email protected]>, Comment <[email protected]> 主题: 回复：[fuzimaoxinan/Tensorflow-Deep-Neural-Networks] 你好，我用您原程序加到4层后，Mnist数据分类几乎错误。 (#14) 谢谢您及时回复，感动。我刚刚又试了一下，设为四层以后把参数换成您原来的，结果确实是正确的，问题可能出在我的参数rbm_lr=0.8这里了，我改为rbm_lr=1e-3又好了。可是在低于四层时，rbm_lr=0.8是没有问题的。奇怪，不太懂。。这个您知道为什么吗？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub<#14 (comment)>, or mute the thread<https://github.com/notifications/unsubscribe-auth/ADJLCT5YBTDRTVHVHBD5RUTPR4G4ZANCNFSM4HHXTU5A>.

[zhuofupan]

0.8也太大了吧。

[shaomeiyang]

好滴吧，我之前居然一直用这么大的。。那您用这个程序的时候rbm学习率一般在哪个范围呢，我们老师让我研究一下学习率的影响。

[zhuofupan]

10-3～10-4

[shaomeiyang]

好的 谢谢您啦！

[aszhanghuali]

@shaomeiyang
您好，我想问您一下，您的DBN参数是怎样调试的呢？能不能给个思路？
谢谢！

[shaomeiyang]

@shaomeiyang
您好，我想问您一下，您的DBN参数是怎样调试的呢？能不能给个思路？
谢谢！

我就只是在一个范围内，从小到大调试，看哪个效果最好用哪个，最后就按照作者说的1e-3附近这个范围做的。