tensorflow 切割数据集为两部分

数据集切割splitting成为trainset 和 testset
如果在traintest上表现很好，但是当模型使用testset数据集进行验证的时候表现很糟糕，则就是过度拟合。
（x,y),(x_val,y_val)=tf.keras.layers.datasets.mnist.load_data()
db = tf.data.Dataset.from_tensor_slices((x,y))
db = db.map(preprocess).shuffle(6000).batch(batchsz)
注意：preprocess是事先写好的一个转化数据类型的函数。
db_val = tf.data.Dataset.from_tensor_slices((x_val,y_val))
db_val  = db_val.map(preproces).abtch(batchsz)
以上使用了map和shuffle函数对数据做预处理成为需要的 批量 数据。

在实际运用中如果准备好的数据集合默认分了两种 训练集合和 测试集合，需要自定义 验证集合
则可以将训练集合切割为训练集合和验证集合。方法如下：
x,y),(x_test,y_test)=tf.keras.layers.datasets.mnist.load_data()
x_trian,x_val = tf.split(x,num_or_size_splits=[50000,10000])
y_train,y_val = tf.split(y,num_or_size_splits=[50000,10000])
然后重复上面的数据预处理流程即可。