在tensorflow中，经常会遇到参数初始化问题，比如在训练自己的词向量时，需要对原始的embeddigs矩阵进行初始化，更一般的，在全连接神经网络中，每层的权值w也需要进行初始化。
tensorlfow中应该有一下几种初始化方法
1. tf.constant_initializer() 常数初始化 2. tf.ones_initializer() 全1初始化 3. tf.zeros_initializer() 全0初始化 4. tf.random_uniform_initializer() 均匀分布初始化 5. tf.random_normal_initializer() 正态分布初始化 6. tf.truncated_normal_initializer() 截断正态分布初始化 7. tf.uniform_unit_scaling_initializer() 这种方法输入方差是常数 8. tf.variance_scaling_initializer() 自适应初始化 9. tf.orthogonal_initializer() 生成正交矩阵
具体的
1、tf.constant_initializer()，它的简写是tf.Constant()
#coding:utf-8
import numpy as np
import tensorflow as tf
train_inputs = [[1,2],[1,4],[3,2]]
with tf.variable_scope("embedding-layer"):
val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]])
const_init = tf.constant_initializer(val)
embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init)
embed = tf.nn.embedding_lookup(embeddings, train_inputs) #在embedding中查找train_input所对应的表示
print("embed",embed)
sum_embed = tf.reduce_mean(embed,1)
initall = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(initall)
print(sess.run(embed))
print(sess.run(tf.shape(embed)))
print(sess.run(sum_embed))
4、random_uniform_initializer = RandomUniform()
可简写为tf.RandomUniform()
生成均匀分布的随机数，参数有四个（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分别用于指定最小值，最大值，随机数种子和类型。
6、tf.truncated_normal_initializer()
可简写tf.TruncatedNormal()
生成截断正态分布的随机数，这个初始化方法在tf中用得比较多。
它有四个参数（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分别用于指定均值、标准差、随机数种子和随机数的数据类型，一般只需要设置stddev这一个参数就可以了。
8、tf.variance_scaling_initializer()
可简写为tf.VarianceScaling()
参数为（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)
scale: 缩放尺度（正浮点数）
mode: "fan_in", "fan_out", "fan_avg"中的一个，用于计算标准差stddev的值。
distribution：分布类型，"normal"或“uniform"中的一个。
当 distribution="normal" 的时候，生成truncated normal distribution（截断正态分布） 的随机数，其中stddev = sqrt(scale / n) ，n的计算与mode参数有关。
如果mode = "fan_in"， n为输入单元的结点数；
如果mode = "fan_out"，n为输出单元的结点数；
如果mode = "fan_avg",n为输入和输出单元结点数的平均值。
当distribution="uniform”的时候 ，生成均匀分布的随机数，假设分布区间为[-limit, limit]，则 limit = sqrt(3 * scale / n)
以上这篇关于tensorflow的几种参数初始化方法小结就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
这一波大模型产业落地浪潮里，不少企业其实处在 “干瞪眼“的状态。
一种情况是，很多大模型产品看得见却摸不着，在台上一个个遥遥领先——今天Sora技精四座，明天英伟达的机器人又赢得满堂彩，可是到了台下一问：啥时候能用上啊？答曰：遥遥无期。
另一种情况是，企业想用上大模型，却又难免瞻前顾后——既要考虑场景融合，又得兼顾安全性，还要考虑打通现有系统，再加上各种部署成本和繁琐的采购流程……最后只能拂袖：罢了，再等等吧。
稳了！魔兽国服回归的3条重磅消息！官宣时间再确认！
昨天有一位朋友在大神群里分享，自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址，com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后，确实是网易的网址，也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情，因为以前都没有出现这样的情况，现在突然提示跳转到国服战网的网址，是不是说明了简体中文客户端已经开始进行更新了呢？