数据挖掘_Boston house-price data(波士顿房价数据)

深度学习3：波⼠顿房价预测（1）转载：波⼠顿房价问题房价的预测和前两期的问题是不同的，最⼤的区别就是这个问题不是离散的分类，他是⼀个连续值，那么在搭建⽹络时候的技巧就有所区别。

代码实例分析from keras.datasets import boston_housing(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()12导⼊数据train_data.shapetest_data.shape看⼀下数据的尺⼨，发现训练集的尺⼨是404，13；测试集的尺⼨是102，13；说明这些数据不多，这⼗三个数据特征是各种数值，包括犯罪率，住宅平均房间数，道路的通畅程度等。

很明显，这些数据都看起来没什么关系，相互之间⽆法联系，还有⼀个最要命的就是我们⽆法确定那个数据更加的重要。

另外，这些数据的范围也不同，想要使⽤，必须要做⼀些处理。

train_targets看⼀下targets，就可以看到当时房⼦的房价了，这就是训练集中对应的结果集，类似于上两个例⼦中的标签集。

mean = train_data.mean(axis=0)train_data -= meanstd = train_data.std(axis=0)train_data /= stdtest_data -= meantest_data /= std这⾥就是应对数据范围不同的办法，⽅法叫标准化，含义就是加⼯每个特征，使他们的数据满⾜平均值为0，标准差为1.具体的⽅法就是每列取平均值，减去平均值，再除以减掉之后的标准差。

这⾥要注意标准化所⽤的数据必须是在训练集上得到，实际操作中不能让任何数据从验证集上得到，不然会导致模型过拟合的问题。

from keras import modelsfrom keras import layersdef build_model():model = models.Sequential()model.add(layers.Dense(64, activation='relu',input_shape=(train_data.shape[1],)))model.add(layers.Dense(64, activation='relu'))model.add(layers.Dense(1))pile(optimizer='rmsprop', loss='mse', metrics=['mae'])return model这⾥就是搭建学习模型的步骤，因为这个模型要重复使⽤，所以我们把它写成函数的形式。

利用三种回归模型预测波士顿房价的问题描述
波士顿房价预测是基于波士顿地区的一些特征来预测房屋价格的问题。

我们收集了一些关于波士顿地区的数据，包括犯罪率、住宅平均房间数、低于贫困线的比例等等。

我们的目标是建立一个回归模型，根据这些特征来预测房屋的价格。

为了达到这个目标，我们可以选择三种回归模型进行预测。

第一种是线性回归模型，它假设房价与特征之间存在线性关系。

我们可以通过拟合一个线性方程来预测房价。

第二种是决策树回归模型，它通过构建一棵决策树来预测房价。

决策树模型可以捕捉到特征之间的非线性关系，并且可以处理离散和连续型特征。

第三种是支持向量回归模型，它通过找到一个最优的超平面来拟合数据。

支持向量回归模型可以处理高维特征，并且可以处理离群点的影响。

我们可以使用这些回归模型对波士顿房价进行预测，并通过评估模型的性能来选择最优的模型。

预测结果可以帮助房地产开发商、投资者和买家做出更明智的决策。

尽管我们要避免敏感内容的讨论，但在实际应用中，还会考虑到其他因素如地理位置、交通便利性等对房价的影响。

波士顿修正房价数据集(boston_corrected dataset)数据介绍：This consists of the Boston house price data of Harrison and Rubinfeld (1978) JEEM with corrections and augmentation of the data with the latitude and longitude of each observation. Submitted by Kelley Pace (kpace@).关键词：波士顿,房价,校正,增强,纬度,经度, Boston,houseprice,correction,augmentation,latitude,longitude,数据格式：TEXT数据详细介绍：boston_corrected datasetThis file contains the Harrison and Rubinfeld (1978) data corrected for a few minor errors and augmented with the latitude and longitude of the observations. This file appears under boston in the statlib index. One can obtain matlab and spreadsheet versions of the information below from www.finance.lsu/re under spatial statistics links.Harrison, David, and Daniel L. Rubinfeld, Hedonic Housing Prices and the Demand for Clean Air,?Journal of Environmental Economics and Management, Volume 5, (1978), 81-102. Original data.Gilley, O.W., and R. Kelley Pace, On the Harrison and RubinfeldData,?Journal of Environmental Economics and Management, 31 (1996),403-405. Provided corrections and examined censoring.Pace, R. Kelley, and O.W. Gilley, Using the Spatial Configuration of the Data to Improve Estimation,? Journal of the Real Estate Finance and Economics 14 (1997), 333-340. Added georeferencing and spatial estimation.数据预览：点此下载完整数据集。

波士顿房价数据统计分析报告作者：米纯来源：《经营管理者·中旬刊》2016年第07期摘要：该报告以波士顿房价数据样本为研究对象，目的是通过统计学方法分析各变量与波士顿郊区房价之间的关系，选出对房价影响较大的几个变量，并确定各变量之间的数学关系。

分析采用的软件是SPSS，分析方法为因子分析、相关分析、回归分析方法。

首先，鉴于样本变量较多，因此通过因子分析检验是否可以对变量进行降维处理。

然后，对数据进行相关性分析，先找出5个与房价相关性较强的变量，并针对变量建立多元回归模型，在对该模型评价之后，确认了其中三个变量的强相关关系；在剔除相关性较弱的两个变量之后，又建立了新的回归模型，经评价，该模型对变量的解释较贴切，检验效果显著。

通过以上分析，得出影响房价的主要因素为：房间数量、居民社会地位、教育程度，并构建了多元线性方程。

关键词：因子分析相关多元回归一、统计前估计及变量的选择处理1.预先估计。

初步判断14个变量，根据个人先验知识做出房价影响因素的估计：预计空气质量和距离就业中心的距离将在很大程度上影响房价，即，NOX和DIS两个变量将显示出与价变量MEDV之间的强相关关系。

2.变量选择。

波士顿房价数据样本共14个变量，包括13个定量变量和1个定性变量，共计506个数据。

定性变量为，是否临近河边——CHAS。

除此之外其余都为定量变量。

鉴于数据量较大，且为了统计方便，在接下来的分析中，将剔除该定性变量。

对剩下的13个变量进行统计分析。

二、因子分析该样本数据14个属性，共计506个数据。

数据样本较大，维数较高。

考虑到更加便捷地提高分析效率，要分析各因素对波士顿房价的影响，首先对变量进行降维处理，考虑14个变量中是否可由一两个综合变量来进行概括。

因此，首先对样本数据进行主成分和因子分析。

设置因子数量为3.1.主成分选取。

数据结果显示，前三个成分特征值累计占了总方差的72.341%，后面的特征值贡献低于10%，且越来越小。

《⽤Python玩转数据》项⽬—线性回归分析⼊门之波⼠顿房价预测（⼀）sklearn的波⼠顿房价数据是经典的回归数据集。

在MOOC的课程《⽤Python玩转数据》最终的实践课程中就⽤它来进⾏简单的数据分析，以及模型拟合。

⽂章将主要分为2部分：1、使⽤sklearn的linear_model进⾏多元线性回归拟合；同时使⽤⾮线性回归模型来拟合（暂时还没想好⽤哪个？xgboost，还是SVM？）。

2、使⽤tensorflow建⽴回归模型拟合。

⼀、使⽤sklearn linear_regression 模型拟合boston房价datasetsfrom sklearn import datasetsfrom sklearn import linear_modelfrom sklearn.cross_validation import train_test_splitfrom sklearn import metricsimport osimport matplotlib.pyplot as pltimport pandas as pdimport numpy as np'''----------load 数据集-----------'''dataset = datasets.load_boston()# x 训练特征：['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS','RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT']x = dataset.datatarget = dataset.target#把label变为(?, 1)维度，为了使⽤下⾯的数据集合分割y = np.reshape(target,(len(target), 1))#讲数据集1:3⽐例分割为测试集：训练集x_train, x_verify, y_train, y_verify = train_test_split(x, y, random_state=1)'''x_train的shape：(379, 13)y_train的shape：(379, 1)x_verify的shape：(127, 13)y_verify 的shape：(127, 1)''''''----------定义线性回归模型，进⾏训练、预测-----------'''lr = linear_model.LinearRegression()lr.fit(x_train,y_train)y_pred = lr.predict(x_verify)'''----------图形化预测结果-----------'''#只显⽰前50个预测结果，太多的话看起来不直观plt.xlim([0,50])plt.plot( range(len(y_verify)), y_verify, 'r', label='y_verify')plt.plot( range(len(y_pred)), y_pred, 'g--', label='y_predict' )plt.title('sklearn: Linear Regression')plt.legend()plt.savefig('lr/lr-13.png')plt.show()'''----------输出模型参数、评价模型-----------'''print(lr.coef_)print(lr.intercept_)print("MSE:",metrics.mean_squared_error(y_verify,y_pred))print("RMSE:",np.sqrt(metrics.mean_squared_error(y_verify,y_pred)))#输出模型对应R-Squareprint(lr.score(x_train,y_train))print(lr.score(x_verify,y_verify))　结果如下：[[-1.13256952e-01 5.70869807e-02 3.87621062e-02 2.43279795e+00-2.12706290e+01 2.86930027e+00 7.02105327e-03 -1.47118312e+003.05187368e-01 -1.06649888e-02 -9.97404179e-01 6.39833822e-03-5.58425480e-01]]-----------权重参数W[45.23641585]----------偏置biasMSE: 21.88936943247483RMSE: 4.678607638226872----------MSE和RMSE都是表⽰衡量同之间的偏差0.7167286808673383----------训练集的R-Square0.7790257749137334-----------测试集的R-Square从图看，部分数据结果偏差不⼤，部分预测结果还有⼀定差距，从r-square来看拟合效果凑合。

美国波士顿的房价趋势
美国波士顿的房价趋势近年来呈现稳步增长的趋势。

自2010年以来，波士顿地区的房价一直在上涨。

这主要是由于波士顿地区的经济增长和就业机会的增加，以及房屋供应不足等因素所推动的。

根据市场数据，波士顿地区的房价在过去的几年里每年都有一个较高的增长率。

值得注意的是，这个增长率可能因地区而异。

例如，市中心地区的房价上涨相对较快，而郊区则相对较慢。

这是因为市中心地区有更多的商业和就业机会，吸引了更多的人们定居，而郊区则相对较为宜居和宁静。

然而，最近几年，波士顿地区的房价增长速度有所放缓。

这主要是由于房屋供应增加，以及市场需求的一些变化所导致的。

房屋供应的增加主要来自于新建住房项目的增加，同时投资者也在购买和出租房产，增加了市场上的租赁房屋供应。

尽管房价的增长速度有所放缓，波士顿地区的房价仍然远高于全国平均水平。

这是因为波士顿地区的人口持续增长，经济活动不断增加，以及高等教育和科研机构的集中等原因所致。

因此，预计波士顿地区的房价在未来仍将保持稳定增长的趋势。

波士顿房价数据统计分析报告波士顿是美国马萨诸塞州的首府，也是全美国东北地区的重要城市之一。

作为一座国际化的城市，波士顿的房地产市场一直备受关注。

本报告将对波士顿房价数据进行统计分析，帮助读者了解该市的房价水平及其趋势。

1. 数据收集及处理为了进行准确的分析，我们收集了波士顿近五年的房价数据。

这些数据包括：房屋销售价格、房屋面积、地理位置、建筑年份等信息。

在数据收集后，我们进行了数据清洗和处理，剔除了异常值和缺失数据，以确保分析的准确性和可靠性。

2. 波士顿房价统计根据我们所收集到的数据，我们对波士顿的房价进行了统计。

通过计算房价的平均值、中位数、最大值和最小值，我们可以得到以下结论：波士顿的房价整体呈上升趋势，市场供需平衡，房价相对稳定。

同时，由于地区的不同，房价存在一定的差异性，一些地段的房价较高，而一些地段的房价较低。

3. 波士顿房价因素分析为了了解波士顿房价的主要影响因素，我们进行了进一步的分析。

通过对房价与房屋面积、地理位置、建筑年份等变量进行相关性分析，我们可以得到以下结论：3.1 房屋面积：房屋面积与房价呈正相关关系，即房屋面积越大，房价越高。

3.2 地理位置：地理位置也是影响房价的重要因素。

波士顿市中心的房价较高，而远离市中心的地区房价相对较低。

3.3 建筑年份：建筑年份对房价也有一定影响。

一般来说，较新的房屋价格相对较高，而老旧的房屋价格相对较低。

4. 波士顿房价趋势预测根据历史数据和市场发展情况，我们可以初步预测波士顿房价的趋势。

由于波士顿的经济繁荣和对房地产的需求，房价预计将继续保持上升趋势。

然而，由于市场的变化和政策的干预，房价上涨的速度可能会有所放缓。

5. 投资建议对于有意投资波士顿房地产的人士，我们给出以下建议：5.1 选择地理位置优越的房产，特别是市中心附近的房屋，因为这些房产的增值潜力更高。

5.2 留意新建项目，特别是位于新兴发展地区的房屋。

这些项目通常具有较高的升值潜力。

想要移民美国？先来看看这15个城市的房价吧统计从National Association of Realtors中拿到每个城市的中位数房价水平，结合最平常的30年房贷及税务进行计算，得出了以下结论。

看看你所在的城市标准，大家有目标了吗？1.旧金山San Francisco人口: 777,660房产中位数价格: $744,400每月贷款支付额: $3,391买房所需年薪（家庭年收入）: $145,5002.圣地亚哥San Diego人口: 1,284,347房产中位数价格: $517,800每月贷款支付额: $2,372买房所需年薪（家庭年收入）: $101,5003.洛杉矶Los Angeles人口: 3,794,640房产中位数价格： $481,900每月贷款支付额: $2,251买房所需年薪（家庭年收入）: $96,5004.纽约New York City人口: 8,213,839房产中位数价格: $410,800每月贷款支付额 $2,153买房所需年薪（家庭年收入）: $92,500 5.波士顿Boston人口: 645,966房产中位数价格: $399,900每月贷款支付额: $1,971买房所需年薪（家庭年收入）: $84,500 6.华盛顿Washington, D.C.人口: 582,049房产中位数价格: $389,100每月贷款支付额： $1,907买房所需年薪（家庭年收入）: $82,000 7.西雅图Seattle人口: 652,405房产中位数价格： $359,900每月贷款支付额: $1,752买房所需年薪（家庭年收入）: $75,000 8.芝加哥Chicago人口: 2,824,584房产中位数价格: $221,800每月贷款支付额: $1,383买房所需年薪（家庭年收入）: $59,500 9.巴尔的摩Baltimore人口: 640,064房产中位数价格: $255,800每月贷款支付额: $1,334买房所需年薪(家庭年收入): $57,000 10.费城Philadelphia人口: 1,517,628房产中位数价格: $231,300每月贷款支付额 $1,274买房所需年薪（家庭年收入）: $54,500 11.休斯顿Houston人口: 2,076,189房产中位数价格: $202,500每月贷款支付额: $1,194买房所需年薪（家庭年收入）: $51,000 12.达拉斯Dallas人口: 1,246,185房产中位数价格: $193,500每月贷款支付额: $1,173买房所需年薪（家庭年收入）: $50,50013.圣安东尼奥San Antonio人口: 1,258,733房产中位数价格: $186,400每月贷款支付额: $1,078买房所需年薪（家庭年收入）: $46,000 14.凤凰城Phoenix人口: 1,476,331房产中位数价格: $200,500每月贷款支付额: $965买房所需年薪（家庭年收入）: $41,500 15.底特律Detroit人口: 921,147房产中位数价格: $151,500每月贷款支付额 $901买房所需年薪（家庭年收入）: $38,500。

实验01波⼠顿房价预测实验01 波⼠顿房价预测实现代码:from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, LogisticRegressionfrom sklearn.datasets import load_bostonfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.metrics import mean_squared_errorfrom sklearn.externals import joblibfrom sklearn.metrics import r2_scorefrom sklearn.neural_network import MLPRegressorimport pandas as pdimport numpy as nplb = load_boston()# train_test_split(train_data,train_target,test_size=0.3,random_state=5)#train_data：待划分样本数据#train_target：待划分样本数据的结果（标签）#test_size：测试数据占样本数据的⽐例，若整数则样本数量#random_state：设置随机数种⼦，保证每次都是同⼀个随机数。

若为0或不填，则每次得到数据都不⼀样#train_test_split()函数是⽤来随机划分样本数据为训练集和测试集的，当然也可以⼈为的切⽚划分x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.2)# 为数据增加⼀个维度,相当于把[1, 5, 10] 变成 [[1, 5, 10],]y_train = y_train.reshape(-1, 1)y_test = y_test.reshape(-1, 1)# 进⾏标准化std_x = StandardScaler()x_train = std_x.fit_transform(x_train)x_test = std_x.transform(x_test)std_y = StandardScaler()y_train = std_y.fit_transform(y_train)y_test = std_y.transform(y_test)# 正规⽅程预测#最⼩⼆乘法线性回归lr = LinearRegression()#fit_transform⽅法是fit和transform的结合，fit_transform(X_train) 意思是找出X_train的均值和标准差，并应⽤在X_train上lr.fit(x_train, y_train)print("r2 score of Linear regression is",r2_score(y_test,lr.predict(x_test)))#岭回归from sklearn.linear_model import RidgeCV#岭回归模型cv = RidgeCV(alphas=np.logspace(-3, 2, 100))cv.fit (x_train , y_train)print("r2 score of Linear regression is",r2_score(y_test,cv.predict(x_test)))#梯度下降⽤于判断使⽤凸loss函数（convex loss function）的分类器sgd = SGDRegressor()#⼀个数组X（其size为[n_samples, n_features]）：保存着训练样本；⼀个数组Y：保存着训练样本的target值（class label）：sgd.fit(x_train, y_train)print("r2 score of Linear regression is",r2_score(y_test,sgd.predict(x_test)))from tensorflow.keras.models import Sequentialfrom yers import Dense#基准NN#使⽤标准化后的数据seq = Sequential()#构建神经⽹络模型#input_dim来隐含的指定输⼊数据shapeseq.add(Dense(64, activation='relu',input_dim=lb.data.shape[1]))seq.add(Dense(64, activation='relu'))seq.add(Dense(1, activation='relu'))pile(optimizer='rmsprop', loss='mse', metrics=['mae'])seq.fit(x_train, y_train, epochs=300, batch_size = 16, shuffle = False)score = seq.evaluate(x_test, y_test,batch_size=16) #loss value & metrics valuesprint("score:",score)print('r2 score:',r2_score(y_test, seq.predict(x_test)))运⾏结果:正规⽅程预测:岭回归结果:梯队下降:最终结果:遇到的问题及解决⽅法:原因:tensorflow 版本过⾼，该函数已经整合到tensorflow当中。