Select模型
Select模型是Windows sockets中最常见的IO模型。它利用select函数实现IO 管理。通过对select函数的调用，应用程序可以判断套接字是否存在数据、能否向该套接字写入数据。
如：在调用recv函数之前，先调用select函数，如果系统没有可读数据那么select函数就会阻塞在这里。当系统存在可读或可写数据时，select函数返回，就可以调用recv函数接收数据了。可以看出使用select模型，需要两次调用函数。第一次调用select函数第二次socket API。使用该模式的好处是：可以等待多个套接字。
select函数中需要三个fd_set结构:
一：准备接收数据的套接字集合，即可读性集合。
二：准备发送数据的套接字集合，即可写性集合。
在select函数返回时，会在fd_set结构中，填入相应的套接字。
readfds数组将包括满足以下条件的套接字：
1：有数据可读。此时在此套接字上调用recv，立即收到对方的数据。
2：连接已经关闭、重设或终止。
3：正在请求建立连接的套接字。此时调用accept函数会成功。
writefds数组包含满足下列条件的套接字：
1：有数据可以发出。此时在此套接字上调用send,可以向对方发送数据。
2：调用connect函数，并连接成功的套接字。
exceptfds数组将包括满足下列条件的套接字：
1：调用connection函数，但连接失败的套接字。
2：有带外（out of band）数据可读。
select函数的使用:
在调用select函数对套接字进行监视之前，必须将要监视的套接字分配给上述三个数组中的一个。然后调用select函数，再次判断需要监视的套接字是否还在原来的集合中。就可以知道该集合是否正在发生IO操作。
例如：应用程序想要判断某个套接字是否存在可读的数据，需要进行如下步骤：1：将该套接字加入到readfds集合。
2：以readfds作为第二个参数调用select函数。
3：当select函数返回时，应用程序判断该套接字是否仍然存在于readfds集合。
4：如果该套接字存在与readfds集合，则表明该套接字可读。此时就可以调用recv 函数接收数据。否则，该套接字不可读。
在调用select函数时，readfds、writefds和exceptfds三个参数至少有一个为非空。并且在该非空的参数中，必须至少包含一个套接字。否则select函数将没有任何套接字可以等待。
timeval结构体用于定义select的等待时间。
structure timeval
{
long tv_sec;//秒。
long tv_usec;//毫秒。
};
当timeval为空指针时，select会一直等待，直到有符合条件的套接字时才返回。
当tv_sec和tv_usec之和为0时，无论是否有符合条件的套接字，select都会立即返回。
当tv_sec和tv_usec之和为非0时，如果在等待的时间内有套接字满足条件，则该函数将返回符合条件的套接字。如果在等待的时间内没有套接字满足设置的条件，则select会在时间用完时返回，并且返回值为0。
为了方便使用，windows sockets提供了下列宏，用来对fd_set进行一系列操作。使用以下宏可以使编程工作简化。
FD_CLR(s,*set);从set集合中删除s套接字。
FD_ISSET(s,*set);检查s是否为set集合的成员。
FD_SET(s,*set);将套接字加入到set集合中。
FD_ZERO(*set);将set集合初始化为空集合。
在开发Windows sockets应用程序时，通过下面的步骤，可以完成对套接字的可读写判断:
1：使用FD_ZERO初始化套接字集合。如FD_ZERO(&readfds);
2:使用FD_SET将某套接字放到readfds内。如：
FD_SET(s,&readfds);
3:以readfds为第二个参数调用select函数。select在返回时会返回所有fd_set集合中套接字的总个数，并对每个集合进行相应的更新。将满足条件的套接字放在相应的集合中。
4:使用FD_ISSET判断s是否还在某个集合中。如：
FD_ISSET(s,&readfds);
5:调用相应的Windows socket api 对某套接字进行操作。
select返回后会修改每个fd_set结构。删除不存在的或没有完成IO操作的套接字。这也正是在第四步中可以使用FD_ISSET来判断一个套接字是否仍在集合中的原因。
看例子，该例演示了一个服务器程序使用select模型管理套接字。
[cpp]
SOCKET listenSocket;
[cpp]
SOCKET acceptSocket;
FD_SET socketSet;
FD_SET writeSet;
FD_SET readSet;
FD_ZERO(&socketSet);
FD_SET(listenSocket,&socketSet);
while(true)
{
FD_ZERO(&readSet);
FD_ZERO(&writeSet);
readSet=socketSet;
writeSet=socketSet;
//同时检查套接字的可读可写性。
int ret=select(0,&readSet,&writeSet,NULL,NULL);
if(ret==SOCKET_ERROR)
{
return false;
}
sockaddr_in addr;
int len=sizeof(addr);
//是否存在客户端的连接请求。
if(FD_ISSET(listenSocket,&readSet))//在readset中会返回已经调用过listen的套接字。
{
acceptSocket=accept(listenSocket,(sockaddr*)&addr,&len);
if(acceptSocket==INVALID_SOCKET)
{
return false;
}
else
{
FD_SET(acceptSocket,&socketSet);
}
}
for(int i=0;i { if(FD_ISSET(socketSet.fd_array[i],&readSet)) { //调用recv，接收数据。 } if(FD_ISSET(socketSet.fd_array[i]),&writeSet) { //调用send，发送数据。 } } } C语言socket()函数：建立一个socket通信 相关函数：accept, bind, connect, listen 头文件：#include 参数type 有下列几种数值: 1、SOCK_STREAM 提供双向连续且可信赖的数据流, 即TCP. 支持OOB 机制, 在所有数据传送前必须使用connect()来建立连线状态. 2、SOCK_DGRAM 使用不连续不可信赖的数据包连接 3、SOCK_SEQPACKET 提供连续可信赖的数据包连接 4、SOCK_RAW 提供原始网络协议存取 5、SOCK_RDM 提供可信赖的数据包连接 6、SOCK_PACKET 提供和网络驱动程序直接通信. protocol 用来指定socket 所使用的传输协议编号, 通常此参考不用管它, 设为0 即可. 返回值：成功则返回socket 处理代码, 失败返回-1. 错误代码： 1、EPROTONOSUPPORT 参数domain 指定的类型不支持参数type 或protocol 指定的协议 2、ENFILE 核心内存不足, 无法建立新的socket 结构 3、EMFILE 进程文件表溢出, 无法再建立新的socket 4、EACCESS 权限不足, 无法建立type 或protocol 指定的协议 5、ENOBUFS/ENOMEM 内存不足 6、EINVAL 参数domain/type/protocol 不合法 范例：参考connect(). 什么是Socket Socket接口是TCP/IP网络的API，Socket接口定义了许多函数或例程，程序员可以用它们来开发TCP/IP网络上的应用程序。要学Internet上的TCP/IP网络编程，必须理解Socket 接口。 Socket接口设计者最先是将接口放在Unix操作系统里面的。如果了解Unix系统的输入和输出的话，就很容易了解Socket了。网络的 Socket数据传输是一种特殊的I/O，Socket也是一种文件描述符。Socket也具有一个类似于打开文件的函数调用Socket()，该函数返回一个整型的Socket描述符，随后的连接建立、数据传输等操作都是通过该Socket实现的。常用的Socket类型有两种：流式Socket （SOCK_STREAM）和数据报式Socket（SOCK_DGRAM）。流式是一种面向连接的Socket，针对于面向连接的TCP服务应用；数据报式Socket是一种无连接的Socket，对应于无连接的UDP服务应用。 Socket建立 为了建立Socket，程序可以调用Socket函数，该函数返回一个类似于文件描述符的句柄。socket函数原型为： int socket(int domain, int type, int protocol); domain指明所使用的协议族，通常为PF_INET，表示互联网协议族（TCP/IP协议族）；type参数指定socket的类型： SOCK_STREAM 或SOCK_DGRAM，Socket接口还定义了原始Socket （SOCK_RAW），允许程序使用低层协议；protocol通常赋值"0"。 Socket()调用返回一个整型socket描述符，你可以在后面的调用使用它。 Socket描述符是一个指向内部数据结构的指针，它指向描述符表入口。调用Socket函数时，socket执行体将建立一个Socket，实际上"建立一个Socket"意味着为一个Socket数据结构分配存储空间。Socket执行体为你管理描述符表。 两个网络程序之间的一个网络连接包括五种信息：通信协议、本地协议地址、本地主机端口、远端主机地址和远端协议端口。Socket数据结构中包含这五种信息。 Socket配置 通过socket调用返回一个socket描述符后，在使用socket进行网络传输以前，必须配置该socket。面向连接的socket客户端通过调用Connect函数在socket数据结构中保存本地和远端信息。无连接socket的客户端和服务端以及面向连接socket的服务端通过调用 bind函数来配置本地信息。 Bind函数将socket与本机上的一个端口相关联，随后你就可以在该端口监听服务请求。Bind 函数原型为： int bind(int sockfd,struct sockaddr *my_addr, int addrlen); Sockfd是调用socket函数返回的socket描述符,my_addr是一个指向包含有本机IP地址及端口号等信息的sockaddr类型的指针；addrlen常被设置为sizeof(struct sockaddr)。 struct sockaddr结构类型是用来保存socket信息的： struct sockaddr { unsigned short sa_family; /* 地址族， AF_xxx */ char sa_data[14]; /* 14 字节的协议地址 */ }; sa_family一般为AF_INET，代表Internet（TCP/IP）地址族；sa_data则包含该socket 的IP地址和端口号。 另外还有一种结构类型： struct sockaddr_in { PHPsocket函数讲解 PHPsocket函数讲解 代码如下: extension=php_sockets.dll 如果你无法去掉注释，那么请使用下面的代码来加载扩展库： 代码如下: if(!extension_loaded('sockets')){ if(strtoupper(substr(PHP_OS,3))=="WIN"){ dl('php_sockets.dll'); }else{ dl('sockets.so'); } } 如果你不知道你的socket是否打开，那么你可以使用phpinfo()函数来确定socket是否打开。你通过查看phpinfo信息了解 socket是否打开。 phpsocket相关函数如下： 代码如下: socket_accept()接受一个Socket连接 socket_bind()把socket绑定在一个IP地址和端口上 socket_clear_error()清除socket的错误或者最后的错误代码socket_close()关闭一个socket资源 socket_connect()开始一个socket连接 socket_create_listen()在指定端口打开一个socket监听 socket_create_pair()产生一对没有区别的socket到一个数组里 socket_create()产生一个socket，相当于产生一个socket的数据结构 socket_get_option()获取socket选项 socket_getpeername()获取远程类似主机的'ip地址 socket_getsockname()获取本地socket的ip地址 socket_iovec_add()添加一个新的向量到一个分散/聚合的数组 socket_iovec_alloc()这个函数创建一个能够发送接收读写的iovec数据结构 socket_iovec_()删除一个已经分配的iovec socket_iovec_fetch()返回指定的iovec资源的数据 socket_iovec_free()释放一个iovec资源 socket_iovec_set()设置iovec的数据新值 socket_last_error()获取当前socket的最后错误代码 socket_listen()监听由指定socket的所有连接 socket_read()读取指定长度的数据 socket_readv()读取从分散/聚合数组过来的数据 socket_recv()从socket里结束数据到缓存 socket_recvfrom()接受数据从指定的socket，如果没有指定则默认当前socket socket_recvmsg()从iovec里接受消息 实验算法BP神经网络实验 【实验名称】 BP神经网络实验 【实验要求】 掌握BP神经网络模型应用过程，根据模型要求进行数据预处理，建模，评价与应用； 【背景描述】 神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。其基本组成单元是感知器神经元。 【知识准备】 了解BP神经网络模型的使用场景，数据标准。掌握Python/TensorFlow数据处理一般方法。了解keras神经网络模型搭建，训练以及应用方法 【实验设备】 Windows或Linux操作系统的计算机。部署TensorFlow，Python。本实验提供centos6.8环境。 【实验说明】 采用UCI机器学习库中的wine数据集作为算法数据，把数据集随机划分为训练集和测试集，分别对模型进行训练和测试。 【实验环境】 Pyrhon3.X，实验在命令行python中进行，或者把代码写在py脚本，由于本次为实验，以学习模型为主，所以在命令行中逐步执行代码，以便更加清晰地了解整个建模流程。 【实验步骤】 第一步：启动python： 1 命令行中键入python。 第二步：导入用到的包，并读取数据： (1).导入所需第三方包 import pandas as pd import numpy as np from keras.models import Sequential from https://www.doczj.com/doc/4b3060513.html,yers import Dense import keras (2).导入数据源,数据源地址:/opt/algorithm/BPNet/wine.txt df_wine = pd.read_csv("/opt/algorithm/BPNet/wine.txt", header=None).sample(frac=1) (3).查看数据 df_wine.head() 1 socket原理详解 1、什么是socket 我们知道进程通信的方法有管道、命名管道、信号、消息队列、共享内存、信号量，这些方法都要求通信的两个进程位于同一个主机。但是如果通信双方不在同一个主机又该如何进行通信呢？在计算机网络中我们就学过了tcp/ip协议族，其实使用tcp/ip协议族就能达到我们想要的效果，如下图（图片来源于《tcp/ip协议详解卷一》第一章1.3） 、 图一各协议所处层次 当然，这样做固然是可以的，但是，当我们使用不同的协议进行通信时就得使用不同的接口，还得处理不同协议的各种细节，这就增加了开发的难度，软件也不易于扩展。于是UNIX BSD就发明了socket这种东西，socket屏蔽了各个协议的通信细节，使得程序员无需关注协议本身，直接使用socket提供的接口来进行互联的不同主机间的进程的通信。这就好比操作系统给我们提供了使用底层硬件功能的系统调用，通过系统调用我们可以方便的使用磁盘（文件操作），使用内存，而无需自己去进行磁盘读写，内存管理。socket其实也是一样的东西，就是提供了tcp/ip 协议的抽象，对外提供了一套接口，同过这个接口就可以统一、方便的使用tcp/ip协议的功能了。百说不如一图，看下面这个图就能明白了。 图二 socket所处层次 那么，在BSD UNIX又是如何实现这层抽象的呢？我们知道unix中万物皆文件，没错，bsd在实现上把socket设计成一种文件，然后通过虚拟文件系统的操作接口就可以访问socket，而访问socket时会调用相应的驱动程序，从而也就是使用底层协议进行通信。（vsf也就是unix提供给我们的面向对象编程，如果底层设备是磁盘，就对磁盘读写，如果底层设备是socket就使用底层协议在网中进行通信，而对外的接口都是一致的）。下面再看一下socket的结构是怎样的（图片来源于《tcp/ip协议详解卷二》章节一，1.8描述符），注意：这里的socket是一个实例化之后的socket，也就是说是一个具体的通信过程中的socket，不是指抽象的socket结构，下文还会进行解释。 socket函数说明 1、accept（接受socket连线） 相关函数 socket，bind，listen，connect 定义函数 int accept(int s,struct sockaddr * addr,int * addrlen); 函数说明 accept()用来接受参数s的socket连线。参数s的socket必需先经bind()、listen()函数处理过，当有连线进来时accept()会返回一个新的socket处理代码，往后的数据传送与读取就是经由新的socket处理，而原来参数s的socket能继续使用accept()来接受新的连线要求。连线成功时，参数addr所指的结构会被系统填入远程主机的地址数据，参数addrlen为scokaddr的结构长度。关于结构sockaddr的定义请参考bind()。 返回值成功则返回新的socket处理代码，失败返回-1，错误原因存于errno中。 错误代码 EBADF 参数s 非合法socket处理代码。 EFAULT 参数addr指针指向无法存取的内存空间。 ENOTSOCK 参数s为一文件描述词，非socket。 EOPNOTSUPP 指定的socket并非SOCK_STREAM。 EPERM 防火墙拒绝此连线。 ENOBUFS 系统的缓冲内存不足。 ENOMEM 核心内存不足。 范例参考listen()。 2、bind（对socket定位） 相关函数 socket，accept，connect，listen 定义函数 int bind(int sockfd,struct sockaddr * my_addr,int addrlen); 函数说明 bind()用来设置给参数sockfd的socket一个名称。此名称由参数my_addr指向一sockaddr结构，对于不同的socket domain定义了一个通用的数据结构 struct sockaddr { unsigned short int sa_family; char sa_data[14]; }; sa_family 为调用socket（）时的domain参数，即AF_xxxx值。 sa_data 最多使用14个字符长度。 此sockaddr结构会因使用不同的socket domain而有不同结构定义，例如使用AF_INET domain，其socketaddr 结构定义便为 struct socketaddr_in { unsigned short int sin_family; uint16_t sin_port; struct in_addr sin_addr; unsigned char sin_zero[8]; }; struct in_addr { uint32_t s_addr; 资源Github，kaggle Python工具库：Numpy，Pandas，Matplotlib，Scikit-Learn，tensorflow Numpy支持大量维度数组与矩阵运算，也针对数组提供大量的数学函数库 Numpy : 1.aaa = Numpy.genfromtxt(“文件路径”,delimiter = “,”,dtype = str)delimiter以指定字符分割，dtype 指定类型该函数能读取文件所以内容 aaa.dtype 返回aaa的类型 2.aaa = numpy.array([5,6,7,8]) 创建一个一维数组里面的东西都是同一个类型的 bbb = numpy.array([[1,2,3,4,5],[6,7,8,9,0],[11,22,33,44,55]]) 创建一个二维数组aaa.shape 返回数组的维度print(bbb[:,2]) 输出第二列 3.bbb = aaa.astype(int) 类型转换 4.aaa.min() 返回最小值 5.常见函数 aaa = numpy.arange(20) bbb = aaa.reshape(4,5) numpy.arange(20) 生成0到19 aaa.reshape(4,5) 把数组转换成矩阵aaa.reshape(4,-1)自动计算列用-1 aaa.ravel()把矩阵转化成数组 bbb.ndim 返回bbb的维度 bbb.size 返回里面有多少元素 aaa = numpy.zeros((5,5)) 初始化一个全为0 的矩阵需要传进一个元组的格式默认是float aaa = numpy.ones((3,3,3),dtype = numpy.int) 需要指定dtype 为numpy.int aaa = np 随机函数aaa = numpy.random.random((3,3)) 生成三行三列 linspace 等差数列创建函数linspace(起始值，终止值，数量) 矩阵乘法： aaa = numpy.array([[1,2],[3,4]]) bbb = numpy.array([[5,6],[7,8]]) print(aaa*bbb) *是对应位置相乘 print(aaa.dot(bbb)) .dot是矩阵乘法行乘以列 print(numpy.dot(aaa,bbb)) 同上 6.矩阵常见操作 Socket 函数说明 1.1 库函数综述 1.1.1 套接字函数 表 1.1 Windows Sockets 1.1 版本Berkeley Sockets函数 函数名说明 accept()确认外来连接，并将它与一个立即建立的数据套接字联系起来。原始套 接字返回到监听状态 bind() 给未命名套接字赋一个本地名 closesocket()从进程对象参考表中删去一个套接字，只有当SO_LINGER设置时才阻塞connect()在指定套接字上初始化连接 getpeername() 获取与指定套接字连接的对等方的名字 getsockname() 获取指定套接字的当前名字 getsockopt() 获取与指定套接字相关的选项 htonl() 将一个32位数从主机字节顺序转换为网络字节顺序 htons() 将一个16 位数从主机字节顺序转换为网络字节顺序 inet_addr() 将一个用网际标准点分表示法表示的字符串地址转换成网际地址值 inet_ntoa() 将一个网际地址值转换成一个用点分十进制表示法表示的字符串地址ioctlsocket() 为套接字提供控制 listen() 在指定套接字上监听外来连接 ntohl() 将一个32位数从网络字节顺序转换为主机字节顺序 ntohs() 将一个16 位数从网络字节顺序转换为主机字节顺序 recv()从一个连接的套接字上接收数据 recvfrom()从一个连接或未连接的套接字上接收数据 select()执行多路同步I/O send()给一个连接套接字发送数据 sendto()给一个连接或未连接套接字发送数据 setsockopt() 设置与指定套接字相关的选项 shutdown() 关闭全双工连接的一部分 socket() 建立一个通讯用的末端点，返回一个套接字 注：标红函数作用在阻塞套接字上可以阻塞。 这些函数根据功能的不同可以分为如下几类： (1) 套接字函数。此类函数包括socket()，bind()，getpeername()，getsockname()和closesocket()，它们主要完成创建，关闭套接字功能，以及对套接字命名与名字获取。 (2) 网络连接函数。此类函数包括listen() ，accept()，connect()和shutdown()，它们完成网络连接（如虚电路）的建立与关闭。此类函数中有部分可阻塞。 (3) 数据传输函数。此类函数包括send()，recv() ，sendto()和recvfrom() ，它们完成网络数据的发送与接收，全部是可以阻塞的函数。 (4) 字节定序函数。此类函数包括htonl()，htons()，ntohl()和ntohs()，它们完成主机/网络之间数据字节顺序的转换。 (5) 地址转换函数。此类函数包括inet_addr()，inet_ntoa()，它们完成网络字符串地址和Internet 地址之间的转换。 (6) 套接字控制函数。此类函数包括getsockopt()，setsockopt()，ioctlsocket()和select()，它们设置/获取套接字的选项，控制/检测套接字的工作状态。其中select()函数在必要时可能阻塞。 只使用了上述函数Berkeley Sockets 源程序基本上可以不加修改地移植到Windows Sockets 环境中来。但是，移植过来的程序有一个最大的问题是“阻塞”。在Berkeley Sockets 中，套接字默认的工作模式是操作处于阻塞方式，一个阻塞操作可能阻塞整个Windows 环境。在非抢先Windows环境，强烈推荐程序员使用非阻塞（异步）操作，也就是说，推荐使用Windows Sockets 提供的异步选择函数代替可能阻塞的select()函数，并且用网络事件消息来驱动可能阻塞的网络连接函数（accept()和connect()）和数据传输函数，这样设计的程序能更好地工作。 1.1.2 数据库函数 Windows Sockets定义了如表1.2 所示的“数据库”函数： socket编程 Linux下Socket编程基础（实例） 1、引言 Linux的兴起可以说是Internet创造的一个奇迹。Linux作为一个完全开放其原代码的免费的自由软件，兼容了各种UNIX标准（如POSIX、UNIX System V和BSD UNIX等）的多用户、多任务的具有复杂内核的操作系统。在中国，随着Internet的普及，一批主要以高等院校的学生和ISP的技术人员组成的Linux爱好者队伍已经蓬勃成长起来。越来越多的编程爱好者也逐渐酷爱上这个优秀的自由软件。本文介绍了Linux下Socket的基本概念和函数调用。 2、什么是Socket Socket（套接字）是通过标准的UNIX文件描述符和其它程序通讯的一个方法。每一个套接字都用一个半相关描述：{协议，本地地址、本地端口}来表示；一个完整的套接字则用一个相关描述：{协议，本地地址、本地端口、远程地址、远程端口}，每一个套接字都有一个本地的由操作系统分配的唯一的套接字号。 3、Socket的三种类型 （1）流式Socket（SOCK_STREAM） 流式套接字提供可靠的、面向连接的通信流；它使用TCP协议，从而保证了数据传输的正确性和顺序的。 （2）数据报Socket（SOCK_DGRAM） 数据报套接字定义了一种无连接的服务，数据通过相互独立的报文进行传输，是无序的，并且不保证可靠、无差错。它使用数据报协议UDP （3）原始Socket 原始套接字允许对底层协议如IP或ICMP直接访问，它功能强大但使用较为不便，主要用于一些协议的开发。 4、利用套接字发送数据 1、对于流式套接字用系统调用send（）来发送数据。 2、对于数据报套接字，则需要自己先加一个信息头，然后调用sendto（）函数把数据发送出去。 5、Linux中Socket的数据结构 （1）struct sockaddr{//用于存储套接字地址 unsigned short sa_family；//地址类型 char sa_data[14]；//14字节的协议地址 }； （2）struct sockaddr_in{//in代表internet short int sin_family；//internet协议族 unsigned short int sin_port；//端口号，必须是网络字节顺序 struct in_addr sin_addr；//internet地址，必须是网络字节顺序 unsigned char sin_zero；//添0（和struct sockaddr一样大小 }； 1.简述激活函数的作用 使用激活函数的目的是为了向网络中加入非线性因素；加强网络的表示能力，解决线性模型无法解决的问题 2.那为什么要使用非线性激活函数？ 为什么加入非线性因素能够加强网络的表示能力？——神经网络的万能近似定理 ?神经网络的万能近似定理认为主要神经网络具有至少一个非线性隐藏层，那么只要给予网络足够数量的隐藏单元，它就可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的函数。 ?如果不使用非线性激活函数，那么每一层输出都是上层输入的线性组合；此时无论网络有多少层，其整体也将是线性的，这会导致失去万能近似的性质 ?但仅部分层是纯线性是可以接受的，这有助于减少网络中的参数。3.如何解决训练样本少的问题？ 1.利用预训练模型进行迁移微调（fine-tuning），预训练模型通常在特征上拥有很好的语义表达。此时，只需将模型在小数据集上进行微调就能取得不错的效果。CV 有 ImageNet，NLP 有 BERT 等。 2.数据集进行下采样操作，使得符合数据同分布。 3.数据集增强、正则或者半监督学习等方式来解决小样本数据集的训练问题。 4.如何提升模型的稳定性？ 1.正则化（L2, L1, dropout）：模型方差大，很可能来自于过拟合。正则化能有效的降低模型的复杂度，增加对更多分布的适应性。 2.前停止训练：提前停止是指模型在验证集上取得不错的性能时停止训练。这种方式本质和正则化是一个道理，能减少方差的同时增加的偏差。目的为了平衡训练集和未知数据之间在模型的表现差异。 3.扩充训练集：正则化通过控制模型复杂度，来增加更多样本的适应性。 4.特征选择：过高的特征维度会使模型过拟合，减少特征维度和正则一样可能会处理好方差问题，但是同时会增大偏差。 5.你有哪些改善模型的思路？ 1.数据角度 增强数据集。无论是有监督还是无监督学习，数据永远是最重要的驱动力。更多的类型数据对良好的模型能带来更好的稳定性和对未知数据的可预见性。对模型来说，“看到过的总比没看到的更具有判别的信心”。 2.模型角度 Tensorflow笔记：第七讲 卷积神经网络 本节目标：学会使用CNN实现对手写数字的识别。 7.1 √全连接NN：每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测的结果。 参数个数：∑（前层×后层+后层） 一张分辨率仅仅是28x28的黑白图像，就有近40万个待优化的参数。现实生活中高分辨率的彩色图像，像素点更多，且为红绿蓝三通道信息。 待优化的参数过多，容易导致模型过拟合。为避免这种现象，实际应用中一般不会将原始图片直接喂入全连接网络。 √在实际应用中，会先对原始图像进行特征提取，把提取到的特征喂给全连接网络，再让全连接网络计算出分类评估值。 例：先将此图进行多次特征提取，再把提取后的计算机可读特征喂给全连接网络。 √卷积Convolutional 卷积是一种有效提取图片特征的方法。一般用一个正方形卷积核，遍历图片上的每一个像素点。图片与卷积核重合区域内相对应的每一个像素值乘卷积核内相对应点的权重，然后求和，再加上偏置后，最后得到输出图片中的一个像素值。 例：上面是5x5x1的灰度图片，1表示单通道，5x5表示分辨率，共有5行5列个灰度值。若用一个3x3x1的卷积核对此5x5x1的灰度图片进行卷积，偏置项 b=1，则求卷积的计算是：(-1)x1+0x0+1x2+(-1)x5+0x4+1x2+(-1)x3+0x4+1x5+1=1（注意不要忘记加偏置1）。 输出图片边长=（输入图片边长–卷积核长+1）/步长，此图为：（5 – 3 + 1）/ 1 = 3，输出图片是3x3的分辨率，用了1个卷积核，输出深度是1，最后输出的是3x3x1的图片。 √全零填充Padding 有时会在输入图片周围进行全零填充，这样可以保证输出图片的尺寸和输入图片一致。 例：在前面5x5x1的图片周围进行全零填充，可使输出图片仍保持5x5x1的维度。这个全零填充的过程叫做padding。 输出数据体的尺寸=(W?F+2P)/S+1 W：输入数据体尺寸，F：卷积层中神经元感知域，S：步长，P：零填充的数量。 例：输入是7×7，滤波器是3×3，步长为1，填充为0，那么就能得到一个5×5的输出。如果步长为2，输出就是3×3。 如果输入量是32x32x3，核是5x5x3，不用全零填充，输出是（32-5+1）/1=28，如果要让输出量保持在32x32x3，可以对该层加一个大小为2的零填充。可以根据需求计算出需要填充几层零。32=（32-5+2P）/1 +1，计算出P=2，即需填充2 Tensorflow笔记：第四讲 神经网络优化 4.1 √神经元模型：用数学公式表示为：f(∑i x i w i+b)，f为激活函数。神经网络是以神经元为基本单元构成的。 √激活函数：引入非线性激活因素，提高模型的表达力。 常用的激活函数有relu、sigmoid、tanh等。 ①激活函数relu: 在Tensorflow中，用tf.nn.relu()表示 r elu()数学表达式 relu()数学图形 ②激活函数sigmoid：在Tensorflow中，用tf.nn.sigmoid()表示 sigmoid ()数学表达式 sigmoid()数学图形 ③激活函数tanh：在Tensorflow中，用tf.nn.tanh()表示 tanh()数学表达式 tanh()数学图形 √神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示 √神经网路的层数：一般不计入输入层，层数 = n个隐藏层 + 1个输出层 √神经网路待优化的参数：神经网络中所有参数w 的个数 + 所有参数b 的个数 例如： 输入层 隐藏层 输出层 在该神经网络中，包含1个输入层、1个隐藏层和1个输出层，该神经网络的层数为2层。 在该神经网络中，参数的个数是所有参数w 的个数加上所有参数b 的总数，第一层参数用三行四列的二阶张量表示（即12个线上的权重w ）再加上4个偏置b ；第二层参数是四行两列的二阶张量（）即8个线上的权重w ）再加上2个偏置b 。总参数 = 3*4+4 + 4*2+2 = 26。 √损失函数（loss ）：用来表示预测值（y ）与已知答案（y_）的差距。在训练神经网络时，通过不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。 √常用的损失函数有均方误差、自定义和交叉熵等。 √均方误差mse ：n 个样本的预测值y 与已知答案y_之差的平方和，再求平均值。 MSE(y_, y) = ?i=1n (y?y_) 2n 在Tensorflow 中用loss_mse = tf.reduce_mean(tf.square(y_ - y)) 例如： 预测酸奶日销量y ，x1和x2是影响日销量的两个因素。 应提前采集的数据有：一段时间内，每日的x1因素、x2因素和销量y_。采集的数据尽量多。 在本例中用销量预测产量，最优的产量应该等于销量。由于目前没有数据集，所以拟造了一套数据集。利用Tensorflow 中函数随机生成 x1、 x2，制造标准答案y_ = x1 + x2，为了更真实，求和后还加了正负0.05的随机噪声。 我们把这套自制的数据集喂入神经网络，构建一个一层的神经网络，拟合预测酸奶日销量的函数。 介绍 Socket 编程让你沮丧吗？从man pages中很难得到有用的信息吗？你想跟上时代去编Internet相关的程序，但是为你在调用connect() 前的bind() 的结构而不知所措？等等… 好在我已经将这些事完成了，我将和所有人共享我的知识了。如果你了解 C 语言并想穿过网络编程的沼泽，那么你来对地方了。-------------------------------------------------------------------------------- 读者对象 这个文档是一个指南，而不是参考书。如果你刚开始socket 编程并想找一本入门书，那么你是我的读者。但这不是一本完全的socket 编程书。 -------------------------------------------------------------------------------- 平台和编译器 这篇文档中的大多数代码都在Linux 平台PC 上用GNU 的gcc 成功编译过。而且它们在HPUX平台上用gcc 也成功编译过。但是注意，并不是每个代码片段都独立测试过。 -------------------------------------------------------------------------------- 目录： 1) 什么是套接字？ 2) Internet 套接字的两种类型 3) 网络理论 4) 结构体 5) 本机转换 6) IP 地址和如何处理它们 7) socket()函数 8) bind()函数 9) connect()函数 10) listen()函数 11) accept()函数 12) send()和recv()函数 13) sendto()和recvfrom()函数 14) close()和shutdown()函数 15) getpeername()函数 16) gethostname()函数 17) 域名服务（DNS） 18) 客户-服务器背景知识 19) 简单的服务器 20) 简单的客户端 21) 数据报套接字Socket 一、软件下载 为了更好的达到预期的效果，本次tensorflow开源框架实验在Linux环境下进行，所需的软件及相关下载信息如下： 1.CentOS 软件介绍： CentOS 是一个基于Red Hat Linux 提供的可自由使用源代码的企业级Linux 发行版本。每个版本的CentOS都会获得十年的支持（通过安全更新方式）。新版本的CentOS 大约每两年发行一次，而每个版本的CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一个安全、低维护、稳定、高预测性、高重复性的Linux 环境。CentOS是Community Enterprise Operating System的缩写。CentOS 是RHEL（Red Hat Enterprise Linux）源代码再编译的产物，而且在RHEL的基础上修正了不少已知的Bug ，相对于其他Linux 发行版，其稳定性值得信赖。 软件下载： 本次实验所用的CentOS版本为CentOS7,可在CentOS官网上直接下载DVD ISO镜像文件。 下载链接： https://www.doczj.com/doc/4b3060513.html,/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.i so. 2.Tensorflow 软件介绍： TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。TensorFlow可被用于语音识别或图像识别等多项机器深度学习领域，对2011年开发的深度学习基础架构DistBelief进行了各方面的改进，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。TensorFlow将完全开源，任何人都可以用。 int send( SOCKET s, const char FAR *buf, int len, int flags ); 不论是客户还是服务器应用程序都用send函数来向TCP连接的另一端发送数据。 客户程序一般用send函数向服务器发送请求，而服务器则通常用send函数来向客户程序发送应答。 该函数的第一个参数指定发送端套接字描述符； 第二个参数指明一个存放应用程序要发送数据的缓冲区； 第三个参数指明实际要发送的数据的字节数； 第四个参数一般置0。 这里只描述同步Socket的send函数的执行流程。当调用该函数时，send先比较待发送数据的长度len和套接字s的发送缓冲的长度，如果len大于s的发送缓冲区的长度，该函数返回SOCKET_ERROR；如果len小于或者等于s的发送缓冲区的长度，那么send先检查协议是否正在发送s的发送缓冲中的数据，如果是就等待协议把数据发送完，如果协议还没有开始发送s的发送缓冲中的数据或者s的发送缓冲中没有数据，那么 send就比较s的发送缓冲区的剩余空间和len，如果len大于剩余空间大小send就一直等待协议把s的发送缓冲中的数据发送完，如果len小于剩余空间大小send就仅仅把buf中的数据copy到剩余空间里（注意并不是send把s的发送缓冲中的数据传到连接的另一端的，而是协议传的，send 仅仅是把buf中的数据copy到s的发送缓冲区的剩余空间里）。如果send函数copy数据成功，就返回实际copy的字节数，如果send在copy数据时出现错误，那么send就返回SOCKET_ERROR；如果send在等待协议传送数据时网络断开的话，那么send函数也返回SOCKET_ERROR。 要注意send函数把buf中的数据成功copy到s的发送缓冲的剩余空间里后它就返回了，但是此时这些数据并不一定马上被传到连接的另一端。如果协议在后续的传送过程中出现网络错误的话，那么下一个Socket函数就会返回SOCKET_ERROR。（每一个除send外的Socket 函数在执行的最开始总要先等待套接字的发送缓冲中的数据被协议传送完毕才能继续，如果在等待时出现网络错误，那么该Socket函数就返回 SOCKET_ERROR） 注意：在Unix系统下，如果send在等待协议传送数据时网络断开的话，调用send的进程会接收到一个SIGPIPE信号，进程对该信号的默认处理是进程终止。 通过测试发现，异步socket的send函数在网络刚刚断开时还能发送返回相应的字节数，同时使用select检测也是可写的，但是过几秒钟之后，再send就会出错了，返回-1。select 也不能检测出可写了。 recv函数 int recv( SOCKET s, char FAR *buf, int len, int flags ); 嵌入 本文档介绍了嵌入这一概念，并且举了一个简单的例子来说明如何在TensorFlow 中训练嵌入，此外还说明了如何使用TensorBoard Embedding Projector 查看嵌入（真实示例）。前两部分适合机器学习或TensorFlow 新手，而Embedding Projector 指南适合各个层次的用户。 有关这些概念的另一个教程，请参阅《机器学习速成课程》的“嵌入”部分。 嵌入是从离散对象（例如字词）到实数向量的映射。例如，英语字词的300 维嵌入可能包括： blue: (0.01359, 0.00075997, 0.24608, ..., -0.2524, 1.0048, 0.06259) blues: (0.01396, 0.11887, -0.48963, ..., 0.033483, -0.10007, 0.1158) orange: (-0.24776, -0.12359, 0.20986, ..., 0.079717, 0.23865, -0.014213) oranges: (-0.35609, 0.21854, 0.080944, ..., -0.35413, 0.38511, -0.070976) 这些向量中的各个维度通常没有固有含义，机器学习所利用的是向量的位置和相互之间的距离这些整体模式。 嵌入对于机器学习的输入非常重要。分类器（更笼统地说是神经网络）适用于实数向量。它们训练密集向量时效果最佳，其中所有值都有助于定义对象。不过，机器学习的很多重要输入（例如文本的字词）没有自然的向量表示。嵌入函数是将此类离散输入对象转换为有用连续向量的标准和有效方法。 嵌入作为机器学习的输出也很有价值。由于嵌入将对象映射到向量，因此应用可以将向量空间中的相似性（例如欧几里德距离或向量之间的角度）用作一项强大而灵活的标准来衡量对象相似性。一个常见用途是找到最近的邻点。例如，下面是采用与上述相同的字词嵌入后，每个字词的三个最近邻点和相应角度： blue: (red, 47.6°), (yellow, 51.9°), (purple, 52.4°) blues: (jazz, 53.3°), (folk, 59.1°), (bluegrass, 60.6°) orange: (yellow, 53.5°), (colored, 58.0°), (bright, 59.9°) oranges: (apples, 45.3°), (lemons, 48.3°), (mangoes, 50.4°) 这样应用就会知道，在某种程度上，苹果和橙子（相距45.3°）的相似度高于柠檬和橙子（相距48.3°）。 Select模型 Select模型是Windows sockets中最常见的IO模型。它利用select函数实现IO 管理。通过对select函数的调用，应用程序可以判断套接字是否存在数据、能否向该套接字写入数据。 如：在调用recv函数之前，先调用select函数，如果系统没有可读数据那么select函数就会阻塞在这里。当系统存在可读或可写数据时，select函数返回，就可以调用recv函数接收数据了。可以看出使用select模型，需要两次调用函数。第一次调用select函数第二次socket API。使用该模式的好处是：可以等待多个套接字。 select函数中需要三个fd_set结构: 一：准备接收数据的套接字集合，即可读性集合。 二：准备发送数据的套接字集合，即可写性集合。 在select函数返回时，会在fd_set结构中，填入相应的套接字。 readfds数组将包括满足以下条件的套接字： 1：有数据可读。此时在此套接字上调用recv，立即收到对方的数据。 2：连接已经关闭、重设或终止。 3：正在请求建立连接的套接字。此时调用accept函数会成功。 writefds数组包含满足下列条件的套接字： 1：有数据可以发出。此时在此套接字上调用send,可以向对方发送数据。 2：调用connect函数，并连接成功的套接字。 exceptfds数组将包括满足下列条件的套接字： 1：调用connection函数，但连接失败的套接字。 2：有带外（out of band）数据可读。 select函数的使用: 在调用select函数对套接字进行监视之前，必须将要监视的套接字分配给上述三个数组中的一个。然后调用select函数，再次判断需要监视的套接字是否还在原来的集合中。就可以知道该集合是否正在发生IO操作。 例如：应用程序想要判断某个套接字是否存在可读的数据，需要进行如下步骤：1：将该套接字加入到readfds集合。 2：以readfds作为第二个参数调用select函数。 3：当select函数返回时，应用程序判断该套接字是否仍然存在于readfds集合。 4：如果该套接字存在与readfds集合，则表明该套接字可读。此时就可以调用recv 函数接收数据。否则，该套接字不可读。C语言socket()函数
什么是Socket
PHPsocket函数讲解
BP神经网络实验——【机器学习与算法分析 精品资源池】
socket原理详解
socket函数解读
数据挖掘常用资源及工具
SOCKET函数详解(My整理)
linux socket编程基础(必读)
题库深度学习面试题型介绍及解析--第7期
人工智能实践：Tensorflow笔记 北京大学 7 第七讲卷积网络基础 (7.3.1) 助教的Tenso
人工智能实践：Tensorflow笔记 北京大学 4 第四讲神经网络优化 (4.6.1) 助教的Tenso
c语言的SOCKET(非常好的参考)
人工智能tensorflow实验报告
Socket send函数和recv函数详解
TensorFlow编程指南 嵌入
windows—socket函数整理
相关主题
文本预览