人工智能创新挑战赛:海洋气象预测Baseline[4]完整版(TensorFlow、torch版本)含数据转化、模型构建、MLP、TCNN+RNN、LSTM模型训练以及预测

1.赛题简介

项目链接以及码源见文末

2021 “AI Earth” 人工智能创新挑战赛,以 “AI 助力精准气象和海洋预测” 为主题,旨在探索人工智能技术在气象和海洋领域的应用。

本赛题的背景是厄尔尼诺 - 南方涛动(ENSO)现象。ENSO现象是厄尔尼诺(EN)现象和南方涛动(SO)现象的合称,其中厄尔尼诺现象是指赤道中东太平洋附近的海表面温度持续异常增暖的现象,南方涛动现象是指热带东太平洋与热带西太平洋气压场存在的气压变化相反的跷跷板现象。厄尔尼诺现象和南方涛动现象实际是反常气候分别在海洋和大气中的表现,二者密切相关,因此合称为厄尔尼诺 - 南方涛动现象。

ENSO现象会在世界大部分地区引起极端天气,对全球的天气、气候以及粮食产量具有重要的影响,准确预测ENSO,是提高东亚和全球气候预测水平和防灾减灾的关键。Nino3.4指数是ENSO现象监测的一个重要指标,它是指Nino3.4区(170°W - 120°W,5°S - 5°N)的平均海温距平指数,用于反应海表温度异常,若Nino3.4指数连续5个月超过0.5℃就判定为一次ENSO事件。本赛题的目标,就是基于历史气候观测和模式模拟数据,利用T时刻过去12个月(包含T时刻)的时空序列,预测未来1 - 24个月的Nino3.4指数。

基于以上信息可以看出,我们本期的组队学习要完成的是一个时空序列的预测任务。

竞赛题目

数据简介

本赛题使用的训练数据包括CMIP5中17个模式提供的140年的历史模拟数据、CMIP6中15个模式提供的151年的历史模拟数据和美国SODA模式重建的100年的历史观测同化数据,采用nc格式保存,其中CMIP5和CMIP6分别是世界气候研究计划(WCRP)的第5次和第6次耦合模式比较计划,这二者都提供了多种不同的气候模式对于多种气候变量的模拟数据。这些数据包含四种气候变量:海表温度异常(SST)、热含量异常(T300)、纬向风异常(Ua)、经向风异常(Va),数据维度为(year, month, lat, lon),对于训练数据提供对应月份的Nino3.4指数标签数据。简而言之,提供的训练数据中的每个样本为某年、某月、某个维度、某个经度的SST、T300、Ua、Va数值,标签为对应年、对应月的Nino3.4指数。

需要注意的是,样本的第二维度month的长度不是12个月,而是36个月,对应从当前year开始连续三年的数据,例如SODA训练数据中year为0时包含的是从第1 - 第3年逐月的历史观测数据,year为1时包含的是从第2年 - 第4年逐月的历史观测数据,也就是说,样本在时间上是有交叉的。

另外一点需要注意的是,Nino3.4指数是Nino3.4区域从当前月开始连续三个月的SST平均值,也就是说,我们也可以不直接预测Nino3.4指数,而是以SST为预测目标,间接求得Nino3.4指数。

测试数据为国际多个海洋资料同化结果提供的随机抽取的$N$段长度为12个月的时间序列,数据采用npy格式保存,维度为(12, lat, lon, 4),第一维度为连续的12个月份,第四维度为4个气候变量,按SST、T300、Ua、Va的顺序存放。测试集文件序列的命名如test_00001_01_12.npy中00001表示编号,01表示起始月份,12表示终止月份。

训练数据说明

每个数据样本第一维度(year)表征数据所对应起始年份,对于CMIP数据共4645年,其中1-2265为CMIP6中15个模式提供的151年的历史模拟数据(总共:151年 *15 个模式=2265);2266-4645为CMIP5中17个模式提供的140年的历史模拟数据(总共:140年 *17 个模式=2380)。对于历史观测同化数据为美国提供的SODA数据。

其中每个样本第二维度(mouth)表征数据对应的月份,对于训练数据均为36,对应的从当前年份开始连续三年数据(从1月开始,共36月),比如:

SODA_train.nc中[0,0:36,:,:]为第1-第3年逐月的历史观测数据;

SODA_train.nc中[1,0:36,:,:]为第2-第4年逐月的历史观测数据;

…,

SODA_train.nc中[99,0:36,:,:]为第100-102年逐月的历史观测数据。



CMIP_train.nc中[0,0:36,:,:]为CMIP6第一个模式提供的第1-第3年逐月的历史模拟数据;

…,

CMIP_train.nc中[150,0:36,:,:]为CMIP6第一个模式提供的第151-第153年逐月的历史模拟数据;

CMIP_train.nc中[151,0:36,:,:]为CMIP6第二个模式提供的第1-第3年逐月的历史模拟数据;

…,

CMIP_train.nc中[2265,0:36,:,:]为CMIP5第一个模式提供的第1-第3年逐月的历史模拟数据;

…,

CMIP_train.nc中[2405,0:36,:,:]为CMIP5第二个模式提供的第1-第3年逐月的历史模拟数据;

…,

CMIP_train.nc中[4644,0:36,:,:]为CMIP5第17个模式提供的第140-第142年逐月的历史模拟数据。

其中每个样本第三、第四维度分别代表经纬度(南纬55度北纬60度,东经0360度),所有数据的经纬度范围相同。

训练数据标签说明

标签数据为Nino3.4 SST异常指数,数据维度为(year,month)。

CMIP(SODA)_train.nc对应的标签数据当前时刻Nino3.4 SST异常指数的三个月滑动平均值,因此数据维度与维度介绍同训练数据一致

注:三个月滑动平均值为当前月与未来两个月的平均值。

测试数据说明

测试用的初始场(输入)数据为国际多个海洋资料同化结果提供的随机抽取的n段12个时间序列,数据格式采用NPY格式保存,维度为(12,lat,lon, 4),12为t时刻及过去11个时刻,4为预测因子,并按照SST,T300,Ua,Va的顺序存放。

测试集文件序列的命名规则:test_编号_起始月份_终止月份.npy,如test_00001_01_12_.npy。

评估指标

本赛题的评估指标如下:

$$

Score = \frac{2}{3} \times accskill - RMSE

$$

其中$accskill$为相关性技巧评分,计算方式如下:

$$

accskill = \sum_{i=1}^{24} a \times ln(i) \times cor_i \

(i \leq 4, a = 1.5; 5 \leq i \leq 11, a = 2; 12 \leq i \leq 18, a = 3; 19 \leq i, a = 4)

$$

可以看出,月份$i$增加时系数$a$也增大,也就是说,模型能准确预测的时间越长,评分就越高。

$cor_i$是对于$N$个测试集样本在时刻$i$的预测值与实际值的相关系数,计算公式如下:

$$

cor_i = \frac{\sum_{j=1}N(y_{truej}-\bar{y}_{true})(y_{predj}-\bar{y}_{pred})}{\sqrt{\sum(y_{truej}-\bar{y}_{true})2\sum(y_{predj}-\bar{y}{pred})^2}}

$$

其中$y
$为时刻$i$样本$j$的实际Nino3.4指数,$\bar{y}{true}$为该时刻$N$个测试集样本的Nino3.4指数的均值,$y$为时刻$i$样本$j$的预测Nino3.4指数,$\bar{y}_{pred}$为该时刻$N$个测试集样本的预测Nino3.4指数的均值。

$RMSE$为24个月份的累计均方根误差,计算公式为:

$$

RMSE = \sum_{i=1}^{24}rmse_i \

rmse = \sqrt{\frac{1}{N}\sum_{j=1}N(y_{truej}-y_{predj})2}

$$

赛题分析

分析上述赛题信息可以发现,我们需要解决的是以下问题:

  • 对于一个时空序列预测问题,要如何挖掘时间信息?如何挖掘空间信息?
  • 数据中给出的特征是四个气象领域公认的、通用的气候变量,我们很难再由此构造新的特征。如果不构造新的特征,要如何从给出的特征中挖掘出更多的信息?
  • 训练集的数据量不大,总共只有$140\times17+151\times15+100=4745$个训练样本,对于数据量小的预测问题,我们通常需要从以下两方面考虑:
    • 如何增加数据量?
    • 如何构造小(参数量小,减小过拟合风险)而深(能提取出足够丰富的信息)的模型?

2.线下数据转换

  • 将数据转化为我们所熟悉的形式,每个人的风格不一样,此处可以作为如何将nc文件转化为csv等文件

数据转化

  1. ## 工具包导入&数据读取
  2. ### 工具包导入
  3. '''
  4. 安装工具
  5. # !pip install netCDF4
  6. '''
  7. import pandas as pd
  8. import numpy as np
  9. import tensorflow as tf
  10. from tensorflow.keras.optimizers import Adam
  11. import matplotlib.pyplot as plt
  12. import scipy
  13. from netCDF4 import Dataset
  14. import netCDF4 as nc
  15. import gc
  16. %matplotlib inline

数据读取

SODA_label处理

  1. 标签含义
  1. 标签数据为Nino3.4 SST异常指数,数据维度为(year,month)。
  2. CMIP(SODA)_train.nc对应的标签数据当前时刻Nino3.4 SST异常指数的三个月滑动平均值,因此数据维度与维度介绍同训练数据一致
  3. 注:三个月滑动平均值为当前月与未来两个月的平均值。
  1. 将标签转化为我们熟悉的pandas形式
  1. label_path = './data/SODA_label.nc'
  2. label_trans_path = './data/'
  3. nc_label = Dataset(label_path,'r')
  4. years = np.array(nc_label['year'][:])
  5. months = np.array(nc_label['month'][:])
  6. year_month_index = []
  7. vs = []
  8. for i,year in enumerate(years):
  9. for j,month in enumerate(months):
  10. year_month_index.append('year_{}_month_{}'.format(year,month))
  11. vs.append(np.array(nc_label['nino'][i,j]))
  12. df_SODA_label = pd.DataFrame({'year_month':year_month_index})
  13. df_SODA_label['year_month'] = year_month_index
  14. df_SODA_label['label'] = vs
  15. df_SODA_label.to_csv(label_trans_path + 'df_SODA_label.csv',index = None)
  1. df_SODA_label.head()
.dataframe tbody tr th:only-of-type { vertical-align: middle }
\3c pre>\3c code>.dataframe tbody tr th { vertical-align: top }
.dataframe thead th { text-align: right }

year_month label
0 year_1_month_1 -0.40720701217651367
1 year_1_month_2 -0.20244435966014862
2 year_1_month_3 -0.10386104136705399
3 year_1_month_4 -0.02910841442644596
4 year_1_month_5 -0.13252995908260345

转化

SODA_train处理

  1. SODA_train.nc中[0,0:36,:,:]为第1-第3年逐月的历史观测数据;
  2. SODA_train.nc中[1,0:36,:,:]为第2-第4年逐月的历史观测数据;
  3. …,
  4. SODA_train.nc中[99,0:36,:,:]为第100-102年逐月的历史观测数据。
  1. SODA_path = './data/SODA_train.nc'
  2. nc_SODA = Dataset(SODA_path,'r')
  • 自定义抽取对应数据&转化为df的形式;

index为年月; columns为lat和lon的组合

  1. def trans_df(df, vals, lats, lons, years, months):
  2. '''
  3. (100, 36, 24, 72) -- year, month,lat,lon
  4. '''
  5. for j,lat_ in enumerate(lats):
  6. for i,lon_ in enumerate(lons):
  7. c = 'lat_lon_{}_{}'.format(int(lat_),int(lon_))
  8. v = []
  9. for y in range(len(years)):
  10. for m in range(len(months)):
  11. v.append(vals[y,m,j,i])
  12. df[c] = v
  13. return df
  1. year_month_index = []
  2. years = np.array(nc_SODA['year'][:])
  3. months = np.array(nc_SODA['month'][:])
  4. lats = np.array(nc_SODA['lat'][:])
  5. lons = np.array(nc_SODA['lon'][:])
  6. for year in years:
  7. for month in months:
  8. year_month_index.append('year_{}_month_{}'.format(year,month))
  9. df_sst = pd.DataFrame({'year_month':year_month_index})
  10. df_t300 = pd.DataFrame({'year_month':year_month_index})
  11. df_ua = pd.DataFrame({'year_month':year_month_index})
  12. df_va = pd.DataFrame({'year_month':year_month_index})
  1. %%time
  2. df_sst = trans_df(df = df_sst, vals = np.array(nc_SODA['sst'][:]), lats = lats, lons = lons, years = years, months = months)
  3. df_t300 = trans_df(df = df_t300, vals = np.array(nc_SODA['t300'][:]), lats = lats, lons = lons, years = years, months = months)
  4. df_ua = trans_df(df = df_ua, vals = np.array(nc_SODA['ua'][:]), lats = lats, lons = lons, years = years, months = months)
  5. df_va = trans_df(df = df_va, vals = np.array(nc_SODA['va'][:]), lats = lats, lons = lons, years = years, months = months)
  1. label_trans_path = './data/'
  2. df_sst.to_csv(label_trans_path + 'df_sst_SODA.csv',index = None)
  3. df_t300.to_csv(label_trans_path + 'df_t300_SODA.csv',index = None)
  4. df_ua.to_csv(label_trans_path + 'df_ua_SODA.csv',index = None)
  5. df_va.to_csv(label_trans_path + 'df_va_SODA.csv',index = None)

CMIP_label处理

  1. label_path = './data/CMIP_label.nc'
  2. label_trans_path = './data/'
  3. nc_label = Dataset(label_path,'r')
  4. years = np.array(nc_label['year'][:])
  5. months = np.array(nc_label['month'][:])
  6. year_month_index = []
  7. vs = []
  8. for i,year in enumerate(years):
  9. for j,month in enumerate(months):
  10. year_month_index.append('year_{}_month_{}'.format(year,month))
  11. vs.append(np.array(nc_label['nino'][i,j]))
  12. df_CMIP_label = pd.DataFrame({'year_month':year_month_index})
  13. df_CMIP_label['year_month'] = year_month_index
  14. df_CMIP_label['label'] = vs
  15. df_CMIP_label.to_csv(label_trans_path + 'df_CMIP_label.csv',index = None)
  1. df_CMIP_label.head()
.dataframe tbody tr th:only-of-type { vertical-align: middle }
\3c pre>\3c code>.dataframe tbody tr th { vertical-align: top }
.dataframe thead th { text-align: right }

year_month label
0 year_1_month_1 -0.26102548837661743
1 year_1_month_2 -0.1332537680864334
2 year_1_month_3 -0.014831557869911194
3 year_1_month_4 0.10506672412157059
4 year_1_month_5 0.24070978164672852

CMIP_train处理


  1. CMIP_train.nc中[0,0:36,:,:]为CMIP6第一个模式提供的第1-第3年逐月的历史模拟数据;
  2. …,
  3. CMIP_train.nc中[150,0:36,:,:]为CMIP6第一个模式提供的第151-第153年逐月的历史模拟数据;
  4. CMIP_train.nc中[151,0:36,:,:]为CMIP6第二个模式提供的第1-第3年逐月的历史模拟数据;
  5. …,
  6. CMIP_train.nc中[2265,0:36,:,:]为CMIP5第一个模式提供的第1-第3年逐月的历史模拟数据;
  7. …,
  8. CMIP_train.nc中[2405,0:36,:,:]为CMIP5第二个模式提供的第1-第3年逐月的历史模拟数据;
  9. …,
  10. CMIP_train.nc中[4644,0:36,:,:]为CMIP517个模式提供的第140-第142年逐月的历史模拟数据。
  11. 其中每个样本第三、第四维度分别代表经纬度(南纬55度北纬60度,东经0360度),所有数据的经纬度范围相同。
  1. CMIP_path = './data/CMIP_train.nc'
  2. CMIP_trans_path = './data'
  3. nc_CMIP = Dataset(CMIP_path,'r')
  1. nc_CMIP.variables.keys()
  1. dict_keys(['sst', 't300', 'ua', 'va', 'year', 'month', 'lat', 'lon'])
  1. nc_CMIP['t300'][:].shape
  1. (4645, 36, 24, 72)
  1. year_month_index = []
  2. years = np.array(nc_CMIP['year'][:])
  3. months = np.array(nc_CMIP['month'][:])
  4. lats = np.array(nc_CMIP['lat'][:])
  5. lons = np.array(nc_CMIP['lon'][:])
  6. last_thre_years = 1000
  7. for year in years:
  8. '''
  9. 数据的原因,我们
  10. '''
  11. if year >= 4645 - last_thre_years:
  12. for month in months:
  13. year_month_index.append('year_{}_month_{}'.format(year,month))
  14. df_CMIP_sst = pd.DataFrame({'year_month':year_month_index})
  15. df_CMIP_t300 = pd.DataFrame({'year_month':year_month_index})
  16. df_CMIP_ua = pd.DataFrame({'year_month':year_month_index})
  17. df_CMIP_va = pd.DataFrame({'year_month':year_month_index})
  • 因为内存限制,我们暂时取最后1000个year的数据
  1. def trans_thre_df(df, vals, lats, lons, years, months, last_thre_years = 1000):
  2. '''
  3. (4645, 36, 24, 72) -- year, month,lat,lon
  4. '''
  5. for j,lat_ in (enumerate(lats)):
  6. # print(j)
  7. for i,lon_ in enumerate(lons):
  8. c = 'lat_lon_{}_{}'.format(int(lat_),int(lon_))
  9. v = []
  10. for y_,y in enumerate(years):
  11. '''
  12. 数据的原因,我们
  13. '''
  14. if y >= 4645 - last_thre_years:
  15. for m_,m in enumerate(months):
  16. v.append(vals[y_,m_,j,i])
  17. df[c] = v
  18. return df
  1. %%time
  2. df_CMIP_sst = trans_thre_df(df = df_CMIP_sst, vals = np.array(nc_CMIP['sst'][:]), lats = lats, lons = lons, years = years, months = months)
  3. df_CMIP_sst.to_csv(CMIP_trans_path + 'df_CMIP_sst.csv',index = None)
  4. del df_CMIP_sst
  5. gc.collect()
  6. df_CMIP_t300 = trans_thre_df(df = df_CMIP_t300, vals = np.array(nc_CMIP['t300'][:]), lats = lats, lons = lons, years = years, months = months)
  7. df_CMIP_t300.to_csv(CMIP_trans_path + 'df_CMIP_t300.csv',index = None)
  8. del df_CMIP_t300
  9. gc.collect()
  10. df_CMIP_ua = trans_thre_df(df = df_CMIP_ua, vals = np.array(nc_CMIP['ua'][:]), lats = lats, lons = lons, years = years, months = months)
  11. df_CMIP_ua.to_csv(CMIP_trans_path + 'df_CMIP_ua.csv',index = None)
  12. del df_CMIP_ua
  13. gc.collect()
  14. df_CMIP_va = trans_thre_df(df = df_CMIP_va, vals = np.array(nc_CMIP['va'][:]), lats = lats, lons = lons, years = years, months = months)
  15. df_CMIP_va.to_csv(CMIP_trans_path + 'df_CMIP_va.csv',index = None)
  16. del df_CMIP_va
  17. gc.collect()
  1. (36036, 1729)

3.数据建模

工具包导入&数据读取

工具包导入

  1. import pandas as pd
  2. import numpy as np
  3. import tensorflow as tf
  4. from tensorflow.keras.optimizers import Adam
  5. import joblib
  6. from netCDF4 import Dataset
  7. import netCDF4 as nc
  8. import gc
  9. from sklearn.metrics import mean_squared_error
  10. import numpy as np
  11. from tensorflow.keras.callbacks import LearningRateScheduler, Callback
  12. import tensorflow.keras.backend as K
  13. from tensorflow.keras.layers import *
  14. from tensorflow.keras.models import *
  15. from tensorflow.keras.optimizers import *
  16. from tensorflow.keras.callbacks import *
  17. from tensorflow.keras.layers import Input
  18. %matplotlib inline

数据读取

SODA_label处理

  1. 标签含义
  1. 标签数据为Nino3.4 SST异常指数,数据维度为(year,month)。
  2. CMIP(SODA)_train.nc对应的标签数据当前时刻Nino3.4 SST异常指数的三个月滑动平均值,因此数据维度与维度介绍同训练数据一致
  3. 注:三个月滑动平均值为当前月与未来两个月的平均值。
  1. 将标签转化为我们熟悉的pandas形式
  1. df_SODA_label = pd.read_csv('./data/df_SODA_label.csv')
  2. df_CMIP_label = pd.read_csv('./data/df_CMIP_label.csv')

训练集验证集构建

  1. df_SODA_label['year'] = df_SODA_label['year_month'].apply(lambda x: x[:x.find('m') - 1])
  2. df_SODA_label['month'] = df_SODA_label['year_month'].apply(lambda x: x[x.find('m') :])
  3. df_train = pd.pivot_table(data = df_SODA_label, values = 'label',index = 'year', columns = 'month')
  4. year_new_index = ['year_{}'.format(i+1) for i in range(df_train.shape[0])]
  5. month_new_columns = ['month_{}'.format(i+1) for i in range(df_train.shape[1])]
  6. df_train = df_train[month_new_columns].loc[year_new_index]

模型构建

MLP框架

  1. def RMSE(y_true, y_pred):
  2. return tf.sqrt(tf.reduce_mean(tf.square(y_true - y_pred)))
  3. def RMSE_fn(y_true, y_pred):
  4. return np.sqrt(np.mean(np.power(np.array(y_true, float).reshape(-1, 1) - np.array(y_pred, float).reshape(-1, 1), 2)))
  5. def build_model(train_feat, test_feat): #allfeatures,
  6. inp = Input(shape=(len(train_feat)))
  7. x = Dense(1024, activation='relu')(inp)
  8. x = Dropout(0.25)(x)
  9. x = Dense(512, activation='relu')(x)
  10. x = Dropout(0.25)(x)
  11. output = Dense(len(test_feat), activation='linear')(x)
  12. model = Model(inputs=inp, outputs=output)
  13. adam = tf.optimizers.Adam(lr=1e-3,beta_1=0.99,beta_2 = 0.99)
  14. model.compile(optimizer=adam, loss=RMSE)
  15. return model

模型训练

  1. feature_cols = ['month_{}'.format(i+1) for i in range(12)]
  2. label_cols = ['month_{}'.format(i+1) for i in range(12, df_train.shape[1])]
  1. model_mlp = build_model(feature_cols, label_cols)
  2. model_mlp.summary()
  1. Model: "model"
  2. _________________________________________________________________
  3. Layer (type) Output Shape Param #
  4. =================================================================
  5. input_1 (InputLayer) [(None, 12)] 0
  6. _________________________________________________________________
  7. dense (Dense) (None, 1024) 13312
  8. _________________________________________________________________
  9. dropout (Dropout) (None, 1024) 0
  10. _________________________________________________________________
  11. dense_1 (Dense) (None, 512) 524800
  12. _________________________________________________________________
  13. dropout_1 (Dropout) (None, 512) 0
  14. _________________________________________________________________
  15. dense_2 (Dense) (None, 24) 12312
  16. =================================================================
  17. Total params: 550,424
  18. Trainable params: 550,424
  19. Non-trainable params: 0
  20. _________________________________________________________________
  1. tr_len = int(df_train.shape[0] * 0.8)
  2. tr_fea = df_train[feature_cols].iloc[:tr_len,:].copy()
  3. tr_label = df_train[label_cols].iloc[:tr_len,:].copy()
  4. val_fea = df_train[feature_cols].iloc[tr_len:,:].copy()
  5. val_label = df_train[label_cols].iloc[tr_len:,:].copy()
  6. model_weights = './user_data/model_data/model_mlp_baseline.h5'
  7. checkpoint = ModelCheckpoint(model_weights, monitor='val_loss', verbose=0, save_best_only=True, mode='min',
  8. save_weights_only=True)
  9. plateau = ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=5, verbose=1, min_delta=1e-4, mode='min')
  10. early_stopping = EarlyStopping(monitor="val_loss", patience=20)
  11. history = model_mlp.fit(tr_fea.values, tr_label.values,
  12. validation_data=(val_fea.values, val_label.values),
  13. batch_size=4096, epochs=200,
  14. callbacks=[plateau, checkpoint, early_stopping],
  15. verbose=2)
  1. Epoch 00053: ReduceLROnPlateau reducing learning rate to 6.25000029685907e-05.
  2. 1/1 - 0s - loss: 0.6567 - val_loss: 0.6030
  3. Epoch 54/200
  4. 1/1 - 0s - loss: 0.6571 - val_loss: 0.6030
  5. Epoch 55/200
  6. 1/1 - 0s - loss: 0.6541 - val_loss: 0.6030
  7. Epoch 56/200
  8. 1/1 - 0s - loss: 0.6539 - val_loss: 0.6030
  9. Epoch 57/200
  10. 1/1 - 0s - loss: 0.6477 - val_loss: 0.6030
  11. Epoch 58/200
  12. Epoch 00058: ReduceLROnPlateau reducing learning rate to 3.125000148429535e-05.
  13. 1/1 - 0s - loss: 0.6498 - val_loss: 0.6029
  14. Epoch 59/200
  15. 1/1 - 0s - loss: 0.6451 - val_loss: 0.6029
  16. Epoch 60/200
  17. 1/1 - 0s - loss: 0.6458 - val_loss: 0.6029

Metrics

  1. def rmse(y_true, y_preds):
  2. return np.sqrt(mean_squared_error(y_pred = y_preds, y_true = y_true))
  3. def score(y_true, y_preds):
  4. accskill_score = 0
  5. rmse_score = 0
  6. a = [1.5] * 4 + [2] * 7 + [3] * 7 + [4] * 6
  7. y_true_mean = np.mean(y_true,axis=0)
  8. y_pred_mean = np.mean(y_true,axis=0)
  9. for i in range(24):
  10. fenzi = np.sum((y_true[:,i] - y_true_mean[i]) *(y_preds[:,i] - y_pred_mean[i]) )
  11. fenmu = np.sqrt(np.sum((y_true[:,i] - y_true_mean[i])**2) * np.sum((y_preds[:,i] - y_pred_mean[i])**2) )
  12. cor_i= fenzi / fenmu
  13. accskill_score += a[i] * np.log(i+1) * cor_i
  14. rmse_score += rmse(y_true[:,i], y_preds[:,i])
  15. return 2 / 3.0 * accskill_score - rmse_score
  1. y_val_preds = model_mlp.predict(val_fea.values, batch_size=1024)
  2. print('score', score(y_true = val_label.values, y_preds = y_val_preds))

4.模型预测

模型构建

在上面的部分,我们已经训练好了模型,接下来就是提交模型并在线上进行预测,这块可以分为三步:

  • 导入模型;
  • 读取测试数据并且进行预测;
  • 生成提交所需的版本;
  1. import tensorflow as tf
  2. import tensorflow.keras.backend as K
  3. from tensorflow.keras.layers import *
  4. from tensorflow.keras.models import *
  5. from tensorflow.keras.optimizers import *
  6. from tensorflow.keras.callbacks import *
  7. from tensorflow.keras.layers import Input
  8. import numpy as np
  9. import os
  10. import zipfile
  11. def RMSE(y_true, y_pred):
  12. return tf.sqrt(tf.reduce_mean(tf.square(y_true - y_pred)))
  13. def build_model(train_feat, test_feat): #allfeatures,
  14. inp = Input(shape=(len(train_feat)))
  15. x = Dense(1024, activation='relu')(inp)
  16. x = Dropout(0.25)(x)
  17. x = Dense(512, activation='relu')(x)
  18. x = Dropout(0.25)(x)
  19. output = Dense(len(test_feat), activation='linear')(x)
  20. model = Model(inputs=inp, outputs=output)
  21. adam = tf.optimizers.Adam(lr=1e-3,beta_1=0.99,beta_2 = 0.99)
  22. model.compile(optimizer=adam, loss=RMSE)
  23. return model
  24. feature_cols = ['month_{}'.format(i+1) for i in range(12)]
  25. label_cols = ['month_{}'.format(i+1) for i in range(12, 36)]
  26. model = build_model(train_feat=feature_cols, test_feat=label_cols)
  27. model.load_weights('./user_data/model_data/model_mlp_baseline.h5')

模型预测


  1. test_path = './tcdata/enso_round1_test_20210201/'
  2. ### 0. 模拟线上的测试集合
  3. # for i in range(10):
  4. # x = np.random.random(12)
  5. # np.save(test_path + "{}.npy".format(i+1),x)
  6. ### 1. 测试数据读取
  7. files = os.listdir(test_path)
  8. test_feas_dict = {}
  9. for file in files:
  10. test_feas_dict[file] = np.load(test_path + file)
  11. ### 2. 结果预测
  12. test_predicts_dict = {}
  13. for file_name,val in test_feas_dict.items():
  14. test_predicts_dict[file_name] = model.predict(val.reshape([-1,12]))
  15. # test_predicts_dict[file_name] = model.predict(val.reshape([-1,12])[0,:])
  16. ### 3.存储预测结果
  17. for file_name,val in test_predicts_dict.items():
  18. np.save('./result/' + file_name,val)

打包到run.sh目录下方

  1. #打包目录为zip文件
  2. def make_zip(source_dir='./result/', output_filename = 'result.zip'):
  3. zipf = zipfile.ZipFile(output_filename, 'w')
  4. pre_len = len(os.path.dirname(source_dir))
  5. source_dirs = os.walk(source_dir)
  6. print(source_dirs)
  7. for parent, dirnames, filenames in source_dirs:
  8. print(parent, dirnames)
  9. for filename in filenames:
  10. if '.npy' not in filename:
  11. continue
  12. pathfile = os.path.join(parent, filename)
  13. arcname = pathfile[pre_len:].strip(os.path.sep) #相对路径
  14. zipf.write(pathfile, arcname)
  15. zipf.close()
  16. make_zip()

项目链接以及码源

云端链接:

人工智能创新挑战赛海洋气象预测Baseline[4]完整版

更多文章请关注公重号:汀丶人工智能

5.提升方向

模型性能提升可以参考:在下述基础上改动

“AI Earth”人工智能创新挑战赛:助力精准气象和海洋预测Baseline[2]:数据探索性分析(温度风场可视化)、CNN+LSTM模型建模

“AI Earth”人工智能创新挑战赛:助力精准气象和海洋预测Baseline[3]:TCNN+RNN模型、SA-ConvLSTM模型

  • 模型角度:我们只使用了简单的MLP模型进行建模,可以考虑使用其它的更加fancy的模型进行尝试;
  • 数据层面:构建一些特征或者对数据进行一些数据变换等;
  • 针对损失函数设计各种trick的提升技巧;

人工智能创新挑战赛:海洋气象预测Baseline[4]完整版(TensorFlow、torch版本)含数据转化、模型构建、MLP、TCNN+RNN、LSTM模型训练以及预测的更多相关文章

  1. 时间序列深度学习:状态 LSTM 模型预测太阳黑子

    目录 时间序列深度学习:状态 LSTM 模型预测太阳黑子 教程概览 商业应用 长短期记忆(LSTM)模型 太阳黑子数据集 构建 LSTM 模型预测太阳黑子 1 若干相关包 2 数据 3 探索性数据分析 ...

  2. 人工智能范畴及深度学习主流框架,谷歌 TensorFlow,IBM Watson认知计算领域IntelligentBehavior介绍

    人工智能范畴及深度学习主流框架,谷歌 TensorFlow,IBM Watson认知计算领域IntelligentBehavior介绍 ================================ ...

  3. 循环神经网络LSTM RNN回归:sin曲线预测

    摘要:本篇文章将分享循环神经网络LSTM RNN如何实现回归预测. 本文分享自华为云社区<[Python人工智能] 十四.循环神经网络LSTM RNN回归案例之sin曲线预测 丨[百变AI秀]& ...

  4. flexbox-CSS3弹性盒模型flexbox完整版教程

    原文链接:http://caibaojian.com/flexbox-guide.html flexbox-CSS3弹性盒模型flexbox完整版教程 A-A+ 前端博客•2014-05-08•前端开 ...

  5. TensorFlow-Bitcoin-Robot:一个基于 TensorFlow LSTM 模型的 Bitcoin 价格预测机器人

    简介 TensorFlow-Bitcoin-Robot:一个基于 TensorFlow LSTM 模型的 Bitcoin 价格预测机器人. 文章包括一下几个部分: 1.为什么要尝试做这个项目? 2.为 ...

  6. 谷歌大脑科学家 Caffe缔造者 贾扬清 微信讲座完整版

    谷歌大脑科学家 Caffe缔造者 贾扬清 微信讲座完整版 一.讲座正文: 大家好!我是贾扬清237,目前在Google Brain83,今天有幸受雷鸣师兄邀请来和大家聊聊Caffe60.没有太多准备, ...

  7. AI工程师职业规划和学习路线完整版

    AI工程师职业规划和学习路线完整版   如何成为一名机器学习算法工程师 成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能 力,这些能力中的每一项掌握起来都需要足够的努力 ...

  8. 《死磕 Elasticsearch 方法论》:普通程序员高效精进的 10 大狠招!(完整版)

    原文:<死磕 Elasticsearch 方法论>:普通程序员高效精进的 10 大狠招!(完整版) 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链 ...

  9. TensorFlow-Bitcoin-Robot:一个基于 TensorFlow LSTM 模型的 Bitcoin 价格预测机器人。

    简介 TensorFlow-Bitcoin-Robot:一个基于 TensorFlow LSTM 模型的 Bitcoin 价格预测机器人. 文章包括一下几个部分: 1.为什么要尝试做这个项目? 2.为 ...

  10. Python学习手册(第4版) - 专业程序员的养成完整版PDF免费下载_百度云盘

    Python学习手册(第4版) - 专业程序员的养成完整版PDF免费下载_百度云盘 提取码:g7v1 作者简介 作为全球Python培训界的领军人物,<Python学习手册:第4版>作者M ...

随机推荐

  1. 24校招,Moka测试开发工程师一面

    前言 大家好,今天回顾一下楼主当时参加moka测试开发工程师的面试 对其中一些重要问题,我也给出了相应的答案 过程 自我介绍 挑一个项目,详细介绍你在其中担任的职责 如何安排工作的,有什么成果? 回归 ...

  2. Django 使用swagger自定义自动生成类

    完整代码:https://gitee.com/mom925/django-system之前写的Django配置swagger(https://www.cnblogs.com/moon3496694/p ...

  3. 解决Github中使用Octotree时,出现 Error: API limit exceeded 报错 或者 Error: Connection error报错的问题(详细操作)

    对于科研工作者来说,Github 是不可多得的利器,那么Octotree 插件的使用将会让用户在使用 Github 时拥有更好的体验,提高学习工作的效率.但是笔者在使用的过程中遇到以下这样的问题,下面 ...

  4. # 0x54 动态规划-树形DP

    A.没有上司的舞会 基础树形DP emmm,蒟蒻发现自己的DP太辣鸡了...所以来练练DP,这题的话实际上应该算是树DP的入门题吧,转移还是挺好想的. 每次在每个节点都会有个选择,就是选还是不选,如果 ...

  5. vue项目部署的最佳实践

    前言 使用vue.react.angular等技术开发过程中,我们都会遇到以下问题: 首屏加载慢 每一次更新都需要清除浏览器缓存才能看到效果(经常被测试吐槽) 这两个问题可以从很多方面进行优化,今天我 ...

  6. Tomcat 与 JVM 中classpath的理解和设置总结

    本文为博主原创,转载请注明出处: 1.介绍 classpath是java运行时环境搜索类和其他资源文件(比如jar\zip等资源)的路径.类路径告诉JDK工具和应用程序在哪里可以找到第三方和用户定义的 ...

  7. linux 查看服务器cpu 与内存配置

    转载请注明出处: 1. 通过 lscpu 命令查看 服务器的cpu 配置 显示格式: Architecture: #架构 CPU(s): #逻辑cpu颗数 Thread(s) per core: #每 ...

  8. 为R Markdown配置TinyTex编译环境

    技术背景 在前面一篇博客中,我们介绍了一些关于在Windows系统上安装R Studio来编写R Markdown,最后编译成Beamer的演示文档的过程.而在Windows系统的使用过程中发现,编译 ...

  9. Android生成SHA1(证书指纹)

    去到jdk所在目录 C:\Program Files (x86)\Java\jdk1.8.0_73\bin 输入命令: keytool -list -v -keystore mykey.keystor ...

  10. 【面试题精讲】什么是websocket?如何与前端通信?

    > 有的时候博客内容会有变动,首发博客是最新的,其他博客地址可能会未同步,认准`https://blog.zysicyj.top` [首发博客地址](https://blog.zysicyj.t ...