// ニューロネットワーク　誤差伝播法（Back Propagation)による学習
#include "stdafx.h"
#include "math.h"
#include "stdlib.h"
#define NLEARN 10000  // 学習繰り返し回数
#define NSAMPLE 6     // 訓練データサンプル数
#define NINPUT  3     // 入力ノード数
#define NHIDDEN 5     // 中間層（隠れ層）の素子数
#define NOUTPUT 1     // 出力素子数
#define EPS 0.3      // 学習時重み修正の程度
#define ENDERR 0.001  //プログラム停止のための学習誤差
// 訓練データ 　　　入力 : tx,  出力 : ty　(tx, tyをファイルから入力してもよい)
// (訓練データを変更するには、NINPUT, NOUTPUT, NSAMPLEを変更し、下記の表を変更)
int tx[NSAMPLE][NINPUT] ={{0,0,0},{1,0,1},{1,1,1},{1,1,0},{1,0,0},{0,0,1}};
int ty[NSAMPLE][NOUTPUT]={    {0},    {0},    {1},    {0},    {1},    {1}};
// 素子データ       入力 : x,  隠れ素子 : h,  出力 : y（閏値用に１つ多く確保）
float x[NINPUT+1], h[NHIDDEN+1], y[NOUTPUT];
float w1[NINPUT+1][NHIDDEN], w2[NHIDDEN+1][NOUTPUT];//重み
float h_back[NHIDDEN+1], y_back[NOUTPUT];//隠れ素子, 出力素子の逆伝播量
float sigmoidTB[100]; // 計算高速化のためもシグモイド関数表
void initialize(){    // 初期化
	for(int i=0; i<100;i++)                  // シグモイド関数表の初期化
		sigmoidTB[i]=(float)(1.0/(1.0+exp((double)(i-50)*(-0.2))));
	for(int i=0; i<NINPUT+1; i++)            // 重みの初期設定
		for(int j=0; j<NHIDDEN; j++)w1[i][j]=0;  
	for(int i=0; i<NHIDDEN+1; i++)
		for(int j=0; j<NOUTPUT; j++)w2[i][j]=0;
	w1[0][0] = 1; w2[0][0] =-1;             // すべてを0にしない。
}
void dspData(){					//　訓練データ表示
	for(int i=0; i<NSAMPLE;i++){
		printf("\n 訓練データ No. %d ", i+1);
		printf("入力 : ");
		for(int j=0;j<NINPUT;j++) printf(" %d ", tx[i][j]);
		printf("出力 : ");
		for(int j=0;j<NOUTPUT;j++) printf(" %d ", ty[i][j]);
	}
}
float sigmoid(float inDT){			      //　シグモイド関数表索引
	int id=(int)(inDT*5)+50; if(id>99) id=99; else if(id<0) id=0;
	return sigmoidTB[id];
}
void proceed(int isample){      // 
	float net;					// 入力値を第１段目に移す
	for(int i=0; i<NINPUT; i++) x[i]=(float)tx[isample][i];
	x[NINPUT]=1.0F;
	for(int j=0;j<NHIDDEN; j++){// 隠れ素子値の計算
		net=0.0F;
		for(int i=0;i<NINPUT+1; i++) net += w1[i][j]*x[i];
		h[j]=sigmoid(net);
	}
	for(int j=0;j<NOUTPUT; j++){// 出力素子値の計算
		net=0.0F;
		for(int i=0;i<NHIDDEN+1; i++) net += w2[i][j]*h[i];
		y[j]=sigmoid(net);
	}
}
float evalError(int isample){  // 誤差の評価
	float error=0, df;
	for(int j=0; j<NOUTPUT;j++){
		df = ty[isample][j]-y[j]; error += df*df;
	}
	return error/(float)NOUTPUT;
}
void backProp(int isample){ // 逆伝播処理
	int i,j;float net;		// 出力差を、逆伝播初期値とする
	for(j=0; j<NOUTPUT; j++) y_back[j]=(y[j]-ty[isample][j])*(1.0F-y[j])*y[j];
	for(i=0; i<NHIDDEN; i++) { // 隠れ層への逆伝播
		net=0.0;
		for(j=0; j<NOUTPUT; j++) net += w2[i][j]*y_back[j];
		h_back[i]=net*(1.0F-h[i])*h[i];
	}
	for(i=0; i<NINPUT+1;i++)   // 入力層の重み変更
		for(j=0; j<NHIDDEN+1; j++) w1[i][j] -= EPS*x[i]*h_back[j];
	for(i=0; i<NHIDDEN+1; i++) // 隠れ層の重み変更
		for(j=0; j<NOUTPUT+1; j++) w2[i][j] -= EPS*h[i]*y_back[j];
}
int _tmain(int argc, _TCHAR* argv[])
{
	initialize(); dspData();int i;	float merror,error;				
	for(i=0; i<NLEARN; i++){
		merror=0;
		for(int j=0; j<NSAMPLE; j++) {
			proceed(j);						// 前進処理
			error=evalError(j); if(error>merror) merror=error;	// 誤差評価
			printf("\n 学習回数= %d, 訓練データ No.=%d, 誤差=%f ", i, j+1, error);
			backProp(j);						// 逆伝播
		}
		if(merror<ENDERR) break; // 誤差最大値が終了誤差値より小さければ終了
	}
	printf("\n\n■最終結果　学習回数= %d \n", i);
	for(int j=0; j<NSAMPLE; j++) {
		proceed(j);	error=evalError(j);
		printf("\n 訓練データ No.=%d, 誤差=%f ", j+1, error);
	}
	getchar();
	return 0;
}