Java读写以latin1编码存储以UTF-8输出的MySQL数据库（中文乱码）
(2011-09-14 20:09:26)
转载▼
分类：MySql
标签：
jdbc
mysql
latin1编码
utf-8编码
中文乱码
杂谈
原文：https://www.doczj.com/doc/757113941.html,/huyiyang2010/article/details/6202656
使用Java读写存储在latin1编码的MySQL中的UTF-8编码的中文绝大多数情况下，一个项目中，都是使用同一套编码。如，全部使用UTF-8或者GBK。
但是当涉及到多个项目合并、新手加入等情况时，不可避免出现使用多套编码的情况。所有字符串都是英文的情况还好，若是出现了中文，就导致了乱码的出现。
下面以我碰到的问题的解决方案说明。
前置说明：
==============
Java MySQL
UTF-8 utf8
ISO-8859-1 latin1
==============
MySQL数据库使用latin1的编码，导入导出的数据是UTF-8编码的（即其与java端的交互是utf-8编码格式的），即将MySQL当做一个透明的存储。
============================
character_set_client latin1
character_set_connection latin1
character_set_database latin1
character_set_filesystem binary
character_set_results latin1
character_set_server latin1
character_set_system utf8
=============================
Java编写的导入数据程序（包括查看数据校验，即涉及到数据的导入导出）
C++编写的导出数据程序（仅涉及到数据的导出）
Java程序如何读写中文
第一种解决办法：
0 .Java文件设置为UTF-8编码（Eclipse的设置方法为：点击
Window->Preferences->General->Workspace->Text file encoding->Other 填入UTF-8）
1 .设置URL参数characterEncoding为utf8。示例：
jdbc:mysql://127.0.0.1:3306?characterEncoding=utf8
2 .所有的数据库连接在执行任何SQL语句之前，先执行SQL语句set names 'latin1'
3 .取数据时，需要从ISO-8859-1转码。本项目示例为：new
String(rs.getString("SampleColumnName").getBytes("ISO-8859-1"), "UTF-8")
为什么这样解决？
0 .对于写在*.java文件中的中文，它的编码方式就是文件的编码方式，设置为UTF-8，即写在*.java 文件中的中文编码方式为UTF-8；
1 .对于从JDBC驱动程序发往服务器的所有字符串，缺省情况下均将自动地从原生的Java Unicode形式转换为客户端字符编码。如果要转成特定编码，则需要设置characterEncoding，如要设置为UTF-8，则需要设置为characterEncoding=utf8
2 .set names 'latin1'主要是将以下三个字符集的编码方式改为latin1，即character_set_client、character_set_connection和character_set_results这三个的编码。当插入数据时，MySQL服务器把客户端传来的statement，从character_set_client字符集转换成character_set_connection字符集（除非字符串中有类似_latin1或者_utf8的字符集声明）。当查询数据时，character_set_results系统变量表明了服务器返回查询结果时使用的字符集。服务器返回的数据，有比如字段的值和元数据（例如字段名）。
由此，可以得出：
本项目中，SQL语句的编码是UTF-8；
URL参数characterEncoding设置的编码为SQL语句的编码；
在set names 'latin1'后，character_set_client为latin1，因此，JDBC会将SQL语句从UTF-8转化为latin1；
由于character_set_client和character_set_connection一致，所以MySQL服务器不做转换。
将SQL要求存储的数据存储在latin1的数据库中。
3 .取数据时，由于存储的数据和character_set_results的编码方式都为latin1，不做转码，取回后，由于显示中文要求UTF-8，所以需要转码为UTF-8。
但是，MySQL手册不建议我们这样使用。
第二种解决方法：
0 .Java文件设置为UTF-8编码
1 .设置URL参数characterEncoding为utf8。示例：
jdbc:mysql://127.0.0.1:3306?characterEncoding=utf8
2 .所有SQL语句、尤其是含有中文的SQL语句都必须进行转码为ISO-8859-1。对于写在.java 文件中的中文，由于文件是UTF-8编码的，转码示例如下：
String DesSql = new String(SrcSql.getBytes("UTF-8"), "ISO-8859-1");
3 .取数据时，需要从ISO-8859-1转码。本项目示例为：new
String(rs.getString("SampleColumnName").getBytes("ISO-8859-1"), "UTF-8")
为什么这样解决？尤其是2，为什么可以代替set names 'latin1'？
2 .在没有设置set names 'latin1'的情况下，
============================
character_set_client utf8
character_set_connection utf8
character_set_database latin1
character_set_filesystem binary
character_set_results utf8
character_set_server latin1
character_set_system utf8
=============================
测试不使用set names和String转码时：
本项目中，SQL语句的编码是UTF-8；
URL参数characterEncoding设置的编码为SQL语句的编码；
由于没有set names 'latin1'，character_set_client为utf-8，因此，JDBC会不会将SQL语句转码；
在传输SQL到MySQL后，由于传输的是utf-8的数据，存储到latin1是会报错的，测试结果如下：
=========================================================
java.sql.SQLException: Incorrect string value: '/xE4/xB8/xAD' for column 'SampleColumnName' at row 1
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3491)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3423)
at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1936)
at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2060)
at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2536)
at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2465)
at com.mysql.jdbc.StatementImpl.execute(StatementImpl.java:734)
at https://www.doczj.com/doc/757113941.html,mons.dbcp.DelegatingStatement.execute(DelegatingStatement.java:264)
at https://www.doczj.com/doc/757113941.html,mons.dbcp.DelegatingStatement.execute(DelegatingStatement.java:264)
=========================================================
编码问题，这样就走不下去了
只有将SQL中文更改编码。
String DesSql = new String(SrcSql.getBytes("UTF-8"), "ISO-8859-1");
这样，将已经转码为latin1的SQL（也不会被JDBC转码）传输给MySQL服务器，服务器正常接收和存储。
Over
另：（下面的方法，我还没研究出该如何用）
convert(unhex(hex(convert(name using latin1))) using utf8) as name
参考https://www.doczj.com/doc/757113941.html,/1243233955/5en1gmTmOwC
数据架构规划 一．当前架构 结合研发二部数据量最大的校讯通产品来描述，其他的产品在性能上出现瓶颈，可以向校讯通靠拢。 数据库整体架构：目前校讯通产品根据用户量的多少以及数据库服务资源的繁忙程度，横向采用了历史库+当前库的分库架构或者单一的当前库架构，其中历史库只作为web平台读数据库，纵向结合了applications的 memcache+Sybase ASE12.5传统永久磁盘化数据库架构。 数据模型架构：原则上采用了一事一地的数据模型（3NF范式），为了性能考虑，一些大数据量表适当的引用了数据冗余，根据业务再结合采用了当前表+历史表的数据模型。 以下就用图表来进行当前数据架构的说明： 横向分库数据库架构图：
纵向app layer+memcache layler+disk db layer图：
其中web层指的是客户端浏览器层，逻辑上：app层指的是应用服务层，mc 层指的是memcache的客户端层，ms层指的是memcache的服务层，db层指的是目前永久磁盘化的数据库层，当然在物理机器上可能app层跟mc层，ms层是重叠的部署在相同服务器上。 数据模型架构图：
其中以上数据模型中除了少数几张表外其他的都有历史表存在，当然有很多表是没在这个模型图中的，这部分是核心数据模型。这部分模型对象中也包括了一些冗余性的设计，比如用户中有真实姓名，特别是不在这个模型内，由模型核心表产生的一些统计报表，为了查询的性能冗余了合理一些学校名称，地区名称等方面的设计。 二．劣势现象 1.流水表性能瓶颈
当前架构的性能瓶颈集中在流水表的访问上，最大流水表的记录量达到了超5亿级别，这是由于目前外网在用的sybase数据库系统版本，没有采取很好的关于分区的技术。曾经有过把流水表进行物理水平分割，把不同月份的数据分割放在不同的物理表上的模型改造设想，碍于产生的应用程序修改工作量大，老旧数据迁移的麻烦，再加上进行了从单库架构改造到分库架构后，数据库性能瓶颈就不是特别突出。所以模型改造这部分工作没展开。 无论是单库或是分库的模式，出现平台访问数据库的性能瓶颈依然集中在大流水表上，在访问高峰高并发量情况下，短信的流水表进程堵塞，数据库服务 I/O ,CPU的资源耗费达到顶点，在服务器硬件环境不是特别理想情况下，出现了一定概率造成用户访问缓慢甚至觉得页面无法响应现象，造成了用户体念不良影响。 2. 运营维护难点 1)历史数据清理运维工作 为了存储充分利用，为了性能的提升，需要定期进行不再使用的历史数据清理， 由于清理的数据量庞大，传统的数据清理方法根本不可能保证一个晚上有效清理完毕，确保平台第二天正常的运行。虽然目前已经实行了比较高效且可行的数据清理方法，但是每次实行都需要晚上到通宵进行处理，使得数据清理的运维
Java连接MySQL 数据库的正确操作流程 时间:2010-05-25 15:41 来源:博客园字体:[大中小] 以下的文章主要介绍的是Java连接MySQL 数据库(以MySQL数据库为例)，我们主要是以MySQL数据库为例讲下Java正确连接MySQL数据库的实际操作流程，以下就是对其详细内容的描述。 当然，首先要安装有JDK(一般是。然后安装MySQL，这些都比较简单，具体过程就不说了。配置好这两个环境后，下载JDBC驱动（这个是最新版的）。然后将其解压缩到任一目录。我是解压到D盘，然后将其目录下的加到classpath里，具体如下： “我的电脑”-> “属性” -> “高级” -> “环境变量”，在系统变量那里编辑classpath，将D:\加到最后，在加这个字符串前要加“;”，以与前一个classpath区分开。然后确定。 环境配置好了，很简单。现在，先配置MySQL，设其用户名为“root”，密码为“root”。在命令行或用一个SQL的前端软件创建Database。 我是用SQLyog的前端软件来创建Database的。 先创接MySQL 数据库： 1.CREATE DATABASE SCUTCS; 接着，创建表： 1.CREATE TABLE STUDENT 2.( 3.SNO CHAR(7) NOT NULL, 4.SNAME VARCHAR(8) NOT NULL, 5.SEX CHAR(2) NOT NULL, 6.BDATE DATE NOT NULL, 7.HEIGHT DEC(5,2) DEFAULT , 8.PRIMARY KEY(SNO) 9.); 然后插入数据，可以用SQL语句insert into <表名> values (value1, value2, ...); 也可以用SQLyog来操作 好了，创建好了。
随着一个网站的业务不断扩展，数据不断增加，数据库的压力也会越来越大，对数据库或者SQL的基本优化可能达不到最终的效果，我们可以采用读写分离的策略来改变现状。读写分离现在被大量应用于很多大型网站，这个技术也不足为奇了。ebay就做得非常好。ebay用的是oracle，听说是用Quest Share Plex 来实现主从复制数据。 读写分离简单的说是把对数据库读和写的操作分开对应不同的数据库服务器，这样能有效地减轻数据库压力，也能减轻io压力。主数据库提供写操作，从数据库提供读操作，其实在很多系统中，主要是读的操作。当主数据库进行写操作时，数据要同步到从的数据库，这样才能有效保证数据库完整性。Quest SharePlex就是比较牛的同步数据工具，听说比oracle本身的流复制还好，mysql也有自己的同步数据技术。mysql只要是通过二进制日志来复制数据。通过日志在从数据库重复主数据库的操作达到复制数据目的。这个复制比较好的就是通过异步方法，把数据同步到从数据库。 主数据库同步到从数据库后，从数据库一般由多台数据库组成这样才能达到减轻压力的目的。读的操作怎么样分配到从数据库上？应该根据服务器的压力把读的操作分配到服务器，而不是简单的随机分配。mysql提供了MySQL-Proxy实现读写分离操作。不过MySQL-Proxy 好像很久不更新了。oracle可以通过F5有效分配读从数据库的压力。
ebay的读写分离（网上找到就拿来用了） mysql的读写分离上面说的数据库同步复制，都是在从同一种数据库中，如果我要把oracle的数据同步到mysql中，其实要实现这种方案的理由很简单，mysql免费，oracle太贵。好像Quest SharePlex也实现不了改功能吧。好像现在市面还没有这个工具吧。那样应该怎么实现数据同步？其实我们可以考虑自己开发一套同步数据组件，通过消息，实现异步复制数据。其实这个实现起来要考虑很多
MySQL DB规范
目录 简介 (3) 目的 (3) 适用范围 (3) 数据库设计 (3) 引擎及版本选择 (3) 基础规范 (3) 命名规范 (5) 库表设计规范 (5) 字段设计 (6) 常用数据类型： (6) 数据类型使用建议： (6) 索引规范 (8) 索引准则 (8) 索引禁忌 (8) 不使用外键 (9) SQL设计 (10)
简介 介绍在使用mysql中各种注意事项和优化细节 目的 供开发人员参考，合理利用MySQL特性，开发出更高效的代码减少后端数据库压力，让整个系统高效稳定运行适用范围 业务数据库使用的是MySQL的数据库。 数据库设计 实现目标：业务功能实现、数据的扩展性、普遍性适用性 业务中80%+的性能优化是来自架构设计的优化 引擎及版本选择 根据业务特性选择合适的存储引擎，默认选择InnoDB存储引擎，原因如下（MyISAM与InnoDB比较）： 基础规范 所有库表默认使用INNODB存储引擎,MyISAM适用场景非常少
●库表字符集使用UTF8，原因如下： 使用utf8字符集，如果是汉字，占3个字节，但ASCII码字符还是1个字节；统一不会有转换产生乱码风险；其他地区的用户（美国、印度、台湾）无需安装简体中文支持，就能正常看您的文字，并且不会出现乱码。 UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。 UTF-8的编码规则很简单，只有二条： 1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。 2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。 ●所有表和字段都需要添加注释，以方便其它开发及dba了解 ●单表数据量纯int型建议控制在1000w以内，含char型的建议500w以内，行平均长度控制在16KB以内， 单表20GB以内 ●不在数据库中存储图片、文件等大数据.原因如下： 1、对数据库的读写速度永远赶不上文件系统的处理速度 2、数据库备份会变的很臃肿，备份很耗时间 3、对文件的访问需要通过你的应用和数据库 ●临时短命数据尽量不要存到数据库中，建议存放于前端的memcache、redis等nosql中,减少后端数据库压 力 ●禁止在线上做压力测试 ●禁止从测试、开发环境直接连接线上数据库 ●用数据库来持久化存储以及保证事务一致性，不是运算器，在应用层实现计算 ●读写分离，主库只写和少量实时读取请求，使用从库来查询。 ●采用队列方式合并多次写请求，持续写入避免瞬间压力 ●超长text/blob进行垂直拆分，并先行压缩 ●冷热数据进行水平拆分（如6个月前后数据），LRU原则 ●快速更新频繁和大数据表禁止直接运行count(*)统计 ●压力分散，在线表和归档表（日志表）分开存储；不重要的非实时查询日志不要存数据库，以文件方式 在应用端统计分析。 ●禁止明文存储机密数据，需至少两次加密（部分数据可逆运算）
天之火–Qutr的专栏 君子终日乾乾,夕惕若,厉,无咎。 Home Java连接MySql数据库，并且实现插入、删除、更新、选择操作！ 这是我最近写的一个连接MySql数据库的一个例子，主要实现了插入，删除，更新，选择操作，用的环境是j2sdk1.4.2_08，Eclipse3.1。以前我的同事用Python 写了同样的类，非常的好用，支持了我们公司的大部分业务，现在我们慢慢改用Java了，所以我用Java重写了一遍。一方面在今后的业务中能够用到，另一方面熟悉一下Java。 下面我把在Eclipse3.1下怎样配置数据库连接信息简单说一下。 1.启动Eclipse3.1。 2.建立一个Java project就叫DbConnect 吧，再在该Project下建立一个新类也叫 DbConnect 吧。 3.右击DbConnect.java文件点import，选择Archive file然后选择你的 mysql-connector-java-3.1.8-bin.jar文件，点Finish。你会看到有好些文件被加载进来，OK这就是连接MySql所需的驱动信息。如果到了这里你都成功的话那么恭喜你，你已经成功一半了！：） 4.接下来把我下面的代码copy到你的Java文件中，修改相关的数据库连接信息 运行一下。OK？ 我说一下那个mysql-connector-java-3.1.8-bin.jar文件，其实这就是一个MySql的驱动，各数据库厂商提供了不同的适用于JDBC的驱动使得在Java中连接数据库非常简单。这里我就不多说了，以后我会写篇专门介绍数据库驱动的文章。关于MySql的驱动还有更新版本的，你需要到MySql的网站上去下载，这个网上到处都是，我就不多说了。下面看程序，有些地方我写了详细的注释应该能看懂。 这个类是非常有特色的，在每个方法的传人参数和返回值不变的情况下，希望高手能提出改进意见。多指教，谢谢！ /** * 数据库连接、选择、更新、删除演示 */ //import java.sql.*; import java.sql.Connection; import java.sql.Statement; import java.sql.ResultSet; import java.sql.DriverManager; import java.util.*; public class DbConnect {
数据库读写分离解决方案 ----oracle 11G ADG实施方案
1.项目背景介绍 1.1目的 通过DG实现主库与备库同步,主库作为业务应用库,备库作为查询库,应用根据不同需求配置对应数据库; 1.2测试环境 在2台RedHat5.4上使用ORACLE 的DataGuard组件实现容灾。设备配置(VMWare虚拟机环境)清单如下：
2.Oracle DataGuard 介绍 备用数据库（standby database）是ORACLE 推出的一种高可用性(HIGH AVAILABLE)数据库方案，在主节点与备用节点间通过日志同步来保证数据的同步，备用节点作为主节点的备份，可以实现快速切换与灾难性恢复。 ●STANDBY DATABASE的类型： 有两种类型的STANDBY：物理STANDBY和逻辑STANDBY 两种类型的工作原理可通过如下图来说明： physical standby提供与主数据库完全一样的拷贝（块到块），数据库SCHEMA，包括索引都是一样的。它是可以直接应用REDO实现同步的。 l ogical standby则不是这样，在logical standby中，逻辑信息是相同的，但物理组织和数据结构可以不同，它和主库保持同步的方法是将接收的REDO转换成SQL语句，然后在STANDBY上执行SQL语句。逻辑STANDBY除灾难恢复外还有其它用途，比如用于用户进行查询和报表，但其数据库用户相关对象均需要有主键。 ?本次实施将选择物理STANDBY(physical standby)方式
●对主库的保护模式可以有以下三种模式： –Maximum protection (最高保护） –Maximum availability （最高可用性） –Maximum performance (最高性能） ?基于项目应用的特征及需求，本项目比较适合采用Maximum availability （最 高可用性）模式实施。
JDBC Java中JDBC定义了java与各种sql数据库之间的编程接口，JDBC API是一个统一的标准应用程序编程接口，这样可以屏蔽异种数据库之间的差异。 JDBC的工作原理 JDBC与ODBC（OpenData Base Connectivity，开放式数据库连接）的作用非常类似，它在应用程序和数据库之间起到了桥梁的作用。ODBC使用的特别广泛，在java中还提供了JDBC-ODBC桥，能够在JDBC与ODBC之间进行转换，这样可以通过ODBC屏蔽不同种数据库之间的差异。在JDK的包java.sql.*中定义了一系列的类、接口、异常以及这些类和接口中定义的属性和方法，java的开发人员通过一定的规则调用java.sql.*中的API就可以实现对数据库管理系统的访问。 JDBC的四种驱动 1.JDBC-ODBC Bridge JDBC-ODBC Bridge可以访问一个ODBC数据源，但在执行Java程序的机器上必须安装ODBC驱动，并作出配置，它的调用方式如下图： 因为中间有个JDBC-ODBC，所以影响了执行效率。 配置ODBC数据源的方法如下（以Mysql为例）： 第一步，打开控制面板—>管理工具--->数据源（ODBC） 选择系统DSN，这一项默认应该是空的，我这里是已经配置好了一个数据源。
第二步，点击添加 第三步，选择Mysql的ODBC驱动，点击完成。 注：MySQL的ODBC驱动在系统中一般是找不到的，因为它不是系统默认自带的驱动，所以，我们要自己安装我们所需要的MySQL的ODBC驱动。安装步骤如下： ①．下载安装包，https://www.doczj.com/doc/757113941.html,/downloads/connector/odbc/ ②．我们下载与自己系统相应的ODBC驱动 这里我们选择
网站MySQL数据库优化方案 网络运维信息管理中心 （2020年8月）
数据库为网站提供数据的结构化存储，是网站系统的重要组成部分，但随着业务逻辑的复杂度的增加，数据库需要不断的优化,单一的数据库已无法满足现在要求。 1.1优化目标 针对网站的MySQL数据库部署架构进行优化，其优化的目的是为了防止数据库出现单点故障问题，提高数据库的处理能力，提高数据库的可靠性，为保证网站业务正常办理。 1.2优化工作思路 1、对现有数据库现状分析包括现有数据库配置合理性分析、现有数据库部署情况两部分工作内容； 2、梳理现有网站的功能模块，目的是通过梳理网站的各功能模块对数据读取时效性，分析其是否可以实现读写； 3、以数据库主从架构及数据库读写分离方式，对网站的MySQL 数据库提出数据库部署架构优化的方案，数据库主从架构的多数据库模式，解决数据库单点存在的问题，当主数据库出现宕机时，可以将从数据库代替主数据库恢复业务系统正常运行，而且避免数据的丢失，提高数据库高可靠性和高可用性；通过部分查询统计功能，实现数据库读写分离，以便对数据库负载进行分流，缓解主数据库的读取压力。
2.1当前数据库部署架构图 当前网站的数据库采用单台MySQL数据库提供数据库服务，当前部署架构图如下： 2.2现有数据库主要配置梳理
2.3数据库部署情况梳理 2.3.1数据库安装部署情况梳理 2.3.2现有应用连接数据库情况梳理 连接数据库的应用系统有会员管理、权限管理、订单模块、商品管理、促销管理、广告管理、报表统计、文章管理、评论管理、系统设置、数据库管理、短信管理、推荐管理、邮件群发管理等。2.3.3数据库服务启动、停止方式梳理 1、启动命令 （1）普通启动：/data/soa/mysql/bin/mysqld （2）centos6以前版本：service start mysqld （3）centos7+：systemctl mysqld start
Java连接mysql数据库源代码 /** *@author mervyn *@Development_time 2011.3.12 *welcome to https://www.doczj.com/doc/757113941.html,/mervyn_hb */ package src; import java.io.IOException; import java.io.UnsupportedEncodingException; import java.sql.*; import java.util.*; public class MysqlConnectSystem { /** * @param args * @throws IOException */ public static void main(String[] args) throws SQLException, IOException { String Usename,KeyID,UrlString; //String DriverConnect; char MenuExitValue; String driver="com.mysql.jdbc.Driver"; Scanner EntryValue=new Scanner(System.in); System.out.println("欢迎使用MysqlConnectSystem信息管理系统！"); MysqlConnectSystem mysqlconnect=new MysqlConnectSystem(); MysqlConnectSystem mysqlinsert=new MysqlConnectSystem(); MysqlConnectSystem mysqlupdate=new MysqlConnectSystem(); MysqlConnectSystem mysqldelete=new MysqlConnectSystem(); System.out.println("请输入要登录的用户名："); Usename=EntryValue.next(); System.out.println("请输入要登录的数据库的密码："); KeyID=EntryValue.next(); System.out.println("请输入需要登录的数据库："); UrlString="jdbc:mysql://127.0.0.1:3306/"+EntryValue.next(); do{ try { Class.forName(driver); Connection conn=DriverManager.getConnection(UrlString, Usename,
Mycat+MySQL Galera读写分离验证作者菜菜-李梦嘉56335443 部署MySQL Galera 安装环境 安装前准备 安装gcc、gcc-c++ # yum install gcc gcc-c++ 安装boost-devel # yum install boost-devel 安装scons check-devel openssl-devel # yum install scons check-devel openssl-devel 安装libaio # yum install libaio 安装perl、perl-devel # yum install perl perl-devel 安装rsync、lsof # yum install rsync lsof MySQL Galera安装 安装含wsrep Patch的MySQL # tar zxvf mysql-wsrep-5.6.27-25.12-linux-x86_64.tar.gz # mv mysql-wsrep-5.6.27-25.12-linux-x86_64 /usr/local/mysql
# groupadd mysql # useradd -r -g mysql mysql # chown -R mysql:mysql . # ./scripts/mysql_install_db --no-defaults --datadir=/usr/local/mysql/data --user=mysql # chown -R root . # chown -R mysql data # ln -s /usr/local/mysql/bin/* /usr/sbin 安装Galera复制插件 # tar zxvf galera-3-25.3.13.tar.gz # cd galera-3-25.3.13 # scons # cp garb/garbd /usr/local/mysql/bin/ # cp libgalera_smm.so /usr/local/mysql/lib/plugin/ 配置MySQL Galera # cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld # mkdir -p /var/lib/mysql # chown mysql:mysql /var/lib/mysql # vi /etc/https://www.doczj.com/doc/757113941.html,f [client] port = 3306 socket = /var/lib/mysql/mysql.sock [mysqld_safe] log-error = /var/lib/mysql/mysql.log pid-file = /var/lib/mysql/mysql.pid [mysqld] wsrep_node_name = node1 wsrep_provider = /usr/local/mysql/lib/plugin/libgalera_smm.so #wsrep_provider_options ='gcache.size=1G;socket.ssl_key=my_key;socket.ssl_cert=my_cert' #wsrep_slave_threads=16 wsrep_sst_method = rsync
这是连接后进行一些简单操作后的结果： Succeeded connecting to the Database! 学号姓名 2011001 张三 2011002 李四 2011003 王五 先去下载MySql并安装好。安装MySql的方法在 https://www.doczj.com/doc/757113941.html,/view/9cc0fcc76137ee06eff918d5.html 然后下载jdbc驱动。 https://www.doczj.com/doc/757113941.html,/downloads/connector/j/ 下载好了解压即可。把那个zip文件也放到解压后的目录中，方便管理使用。 我使用的是eclipse，我要导入包，先进行一些设置。
安装jre。 添加外部jar文件 打开刚才解压得到的jar文件。
打开的效果。 使用mysql创建数据库，进行测试。 mysql> use test; Database changed mysql> create table student ( -> sno char(7) not null, -> sname varchar(8) not null, -> sex char(2) not null -> ); Query OK, 0 rows affected
mysql> insert into student values -> (2011001, '张三', '男'); Query OK, 1 row affected mysql> insert into student values -> (2011002, '李四', '男'); Query OK, 1 row affected mysql> insert into student values -> (2011003 , '王五', '男'); Query OK, 1 row affected mysql> select * from student; +---------+-------+-----+ | sno | sname | sex | +---------+-------+-----+ | 2011001 | 张三| 男| | 2011002 | 李四| 男| | 2011003 | 王五| 男| +---------+-------+-----+ 3 rows in set mysql> 编码测试。 输入下面源代码： import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; public class JDBCTest { public static void main(String[] args){ try { // 加载驱动程序 Class.forName("com.mysql.jdbc.Driver"); // URL指向要访问的数据库名test String url = "jdbc:mysql://127.0.0.1:3306/test"; // MySQL配置时的用户名 String user = "root";
数据库使用情况分析 一、警报日志： 1）计算一个月插入数据 目前操作为15S会执行一次数据库操作；假设有2000台；那么；一个月的数据为： 单枪柜： 4*60*24*30＝240 0000 如果为2000台： 240*2000＝40000W 这是极限值； 2）计算数据库插入频率 按时间权限处理算下数据库插入操作频率： 15S/2000 =7ms执行一次插入操作 3）数据查询 数据库的数据要与其他的表用ID做关联，那么这个操作会更糟糕；因为警报日志表中在7ms就会执行一个插入动作，所以关联的查询如果在7ms中检索不出来，检索的数据就会有脏数据；（检索和插入动作产生冲突，数据库在处理检索和插入的同时还会处理他们的冲突事情） 由上可以看出数据库的性能要远远高于7ms才可以 以上为单张表警报日志处理极限值分析； 以上解决方法： 1）插入执行时间加长到1个小时，相当于执行极限频率提高到7ms*60*4=5s 2）分库，把此单张表移到一个单独数据库中； 3）换中型数据库MSSQL 或大型数据库ORACLE； 二、取枪还枪日志极限值分析 1）枪弹柜取枪与还枪动插入操作 枪弹柜取枪与还枪动作限定每天执行一支枪一个动作；每个枪弹柜只有十支枪，子弹不用取还计算； 一个枪弹柜一天执行的动作数： 1*10＝10次；
按2000枪弹柜计算： 一个月执行的次数为： 10*2000*30＝30 0000数据； 取还枪表一个月的数据要有30W数据存在；一年大约为400W数据分为两张表，单张表一年数据也近200W； 2）取还枪执行频率 最坏计算： 所有取枪人员在上班同一时间（一小时）取枪计算执行频率为 1*60*60/20000＝0.06S 按上述频率计算，数据库的性能至少是执行每个动作不超过0.06s 就不会产生冲突；（数据不会丢或不会出错），但一般数据库中表关联查询（多表查询）都差不止要这个时间；所以产生冲突的可能必会很大；数据库一定要可以处理这种冲突； 三、整个数据库计算 如果计算最坏情况下数据库的使用频率 应该是： 一个60ms执行一次一个7ms执行一次；最坏计算是420ms产生一次冲突（取还枪与警报日志）；也就是一秒内会有至少产生两次冲突的可能； 而单独警报日志自身不同动作（插入、删除）是0.007S产生一次冲突，数据库会可能会产生一次冲突； 四、解决方案 1）优化数据库和程序代码； 缺点：对程序员和数据库优化人员的技术要求高； 优点：数据库可以继续使用目前数据库 2）数据分库、数据库读写分离； 缺点：程序需要修改 优点：动作很容易实现 3）换大型数据库（MSSQL 或ORACLE）； 缺点：可能需要收费（如果我们项目可以使用破解版本，就可以不用担心）， 优点：直接把结构COPY即可；对程序员和数据库优化人员要求低； 4）如果换库建议使用破解版本ORACLE或MSSQL；
这下面的是一个企业发的面试题 1你常上的相关技术站有哪些？ 2简述你所理解运维工程师的主要职责？ 3你管理过的服务器数量级？ 1台 2台 2-5台 5-10台 10台以上 4描述一次你印象深刻的服务器运维经历。 5有一台服务器出现安全问题，你会采取什么样的方法处理？说出你的诊断处理思路。 6有多台服务器需部署相同应用文件，文件会持续更新，你用什么方式实现不同服务器间的文件同步。 7某一台服务器部署多个Web站点，其中有一个w3wp的CPU占用达到100%，如何找出有问题的Web站点？ 8你眼中的沪江是怎样的？谈谈你对沪江的理解。 9是否有以下相关经验？如有请简要说明掌握情况。 a、Squid相关经验 b、Nginx、Lighttpd等 c、Memcached d、负载均衡 e、分布式文件处理 f、Email Server 上午-10点雷傲普文化传播有限公司 1.DNS使用的端口号和协议，简单描述一下DNS正向解析和反向解析的工作原理和作用还 有应用场景？ 2．编写IPTABLES使用内网某台机器的80端口可以在公网访问，假设公网IP为10.10.1.1 ，实现192.168.1.0/32段的NAT. 3.举出三个以上的主流WEB服务器，并简述他们的特性和优缺点不限操作系统？ Apache 源代码开放可以欲行在unix，windowns，linux平台上，可移植性，而且模块很是丰富缺点：性能，速度上不及其他轻量级的web服务器，但是也是重量级产品，所消耗的内存，cpu也比其他的要高 Nginx 源代码开放发高性能的http和反向代理服务器，在高并发的情况下，nginx 是apache不错的替代品，他能够支持高达50000个并发连接响应，内存，cpu等系统资源消耗也是很低的。缺点，支持模块比较少吧，相对没有apache稳定，支持动态页面
Java使用JDBC连接MYSQL数据库增删改查示例JDBC连接MYSQL数据库： import java.sql.Connection; import java.sql.DriverManager; public class Mysql { public static void main(String arg[]) { try { Connection con = null; //定义一个MYSQL链接对象 Class.forName("com.mysql.jdbc.Driver").newInstance(); //MYSQL 驱动 con = DriverManager.getConnection("jdbc:mysql://127.0.0.1:3306/test", "root", "root"); //链接本地MYSQL System.out.print("yes"); } catch (Exception e) { System.out.print("MYSQL ERROR:" + e.getMessage()); } }
} Class.forName("com.mysql.jdbc.Driver").newInstance(); 我们链接的是MYSQL 数据库，所以需要一个MYSQL的数据库驱动，如果你的环境中没有安装，可以下载：mysql-connector-java-5.1.17-bin.jar JAR包，然后放进jdk1.6.0_37\jre\lib\ext 重启eclispe 就可以在JRE系统库中看到。 con = DriverManager.getConnection;("jdbc:mysql://127.0.0.1:3306/test", "root", "root"); 是链接数据库的语句，返回Connection con;对象。参数格式：("jdbc:mysql://ip:端口/数据库名称", 用户名,密码) 写入一条数据 import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class Mysql { /**
Linux下Mysql源码安装笔记 安装步骤: 1.解压mysql-5.1.55.tar.gz 命令: tar -zxvf mysql-5.1.55.tar.gz 2.配置Mysql 命令:./configure --prefix=/usr/local/mysql 说明:安装到/usr/local/mysql下,当然用别的也行,还有其它参数可以查看相关文档. 3.编译,安装 命令: make make install 这两个命令发的时间较长. 4.创建用户和组. groupadd mysql useradd -g mysql mysql 5.进入mysql目录.创建var目录.并把./share/Mysql/https://www.doczj.com/doc/757113941.html,f 拷到Mysql目录下并改名为https://www.doczj.com/doc/757113941.html,f. >mkdir var >mv share/mysql/https://www.doczj.com/doc/757113941.html,f https://www.doczj.com/doc/757113941.html,f 6.配置https://www.doczj.com/doc/757113941.html,f 配置主要把安装的目录的那几项打开就行. 7.安装数据库 命令:./bin/Mysql_install_db 说明:必须用参数--defaults-file指定https://www.doczj.com/doc/757113941.html,f,否则系统用默认的/etc/https://www.doczj.com/doc/757113941.html,f.
8.安装完后,可以看到mysql/var目录下有数据文件,然后用下面命令设置权限: shell> chown -R root . shell> chown -R mysql var shell> chgrp -R mysql . 9.启动数据库. ./bin/Mysqld_safe 10.进入数据库. ./bin/mysql -u root – 默认时没有密码,当然如果你删除/etc/https://www.doczj.com/doc/757113941.html,f,可以不要后面的--defaults-file=/test/Mysql/https://www.doczj.com/doc/757113941.html,f ./bin/Mysql -u root --socket=/tmp/Mysql3306 也就行了,原因大家应该知道吧!^_^! 11.设为服务并自启动. 对于设置为服务只要把mysql/share/mysql/mysql.server放到/etc/init.d/下改名为mysql 命令: mv share/mysql/mysql.server /etc/init.d/mysql chmod 775 /etc/init.d/mysql chkconfig --add mysql 总结,这只是安装了一个3306端口的mysql,如果要在装一个msyql,步骤一样,只要改动https://www.doczj.com/doc/757113941.html,f文件的内容. 设置用户权限： grant all privileges on *.* to 'root'@'%' identified by 'ZJLT&https://www.doczj.com/doc/757113941.html,' with grant opt ion; 备： server-id = 2 master-host=192.168.1.14 replicate-do-db=appmarket master-user=root master-password=ZJLT&https://www.doczj.com/doc/757113941.html,
Java与Myql数据库的连接问题 在我痛苦的try了N多次之后我终于明白，一个.java文件如何与mysql数据库连同并且可以在小黑屏里显示数据库里面的内容，数据库的驱动文件的安装实在是件头疼的事，实际上是不需要安转的，按如下步骤即可轻松解决。 1.在网上下载一个数据库驱动程序，例如我下载的是(0002mysqlconnectorjava517(1).rar)大小是7.71MB，解压之，到 0002mysqlconnectorjava517(1)或者到当前文件，在mysql-connector-java-5.1.7文件里有个mysql-connector-java-5.1.7-bin.jar文件，可以将此文件解压也可以不解压， 下面有a、b两种方法（结果是一样），首先我的文件是这样放的： a.我的那个没解压的.jar文件在D:\mysql-connector-java-5.1.7这个文件夹里面(就是那个694kb的压缩包) b.我把这个.jar文件解压后放在的D:\mysql-connector-java-5.1.7这个文件夹里面(就是那个mysql-connector-…)文件夹 2.配置环境变量(这是最要命的)我的电脑-->属性-->高级-->环境变量(N)-->系统变量-->新建classpath
如果是上面的a情况那么是这样配的 变量值是:D:\mysql-connector-java-5.1.7\mysql-connector-java-5.1.7-bin.jar; 请切记变量值后面一定要有一个分号----【;】切记要有这个不然就出现如下异常错误并且在每次设置环境变量之后DOS框是要重新启动的不然没有生效的是。 D:\Java>javac database.java D:\Java>java database Exception in thread "main" https://www.doczj.com/doc/757113941.html,ng.NoClassDefFoundError: database Caused by: https://www.doczj.com/doc/757113941.html,ng.ClassNotFoundException: database at https://www.doczj.com/doc/757113941.html,.URLClassLoader$1.run(URLClassLoader.java:200) at java.security.AccessController.doPrivileged(Native Method) at https://www.doczj.com/doc/757113941.html,.URLClassLoader.findClass(URLClassLoader.java:188) at https://www.doczj.com/doc/757113941.html,ng.ClassLoader.loadClass(ClassLoader.java:307) at https://www.doczj.com/doc/757113941.html,uncher$AppClassLoader.loadClass(Launcher.java:301) at https://www.doczj.com/doc/757113941.html,ng.ClassLoader.loadClass(ClassLoader.java:252) at https://www.doczj.com/doc/757113941.html,ng.ClassLoader.loadClassInternal(ClassLoader.java:320) Could not find the main class: database. Program will exit. D:\Java>
数据库相关规范 1.使用utf8mb4字符集 2.所有表、字段必须写清中文注释 3.金额字段禁止使用小数存储（单位：分） 4.禁止使用字段属性隐式转换（如：“WHERE ms_no = 1234”ms_no为字符串类型） 5.尽量不使用负向查询（NOT、!=、<>、!<、!>、NOT IN、NOT LIKE等） 6.禁止使用外键，如有完整性约束，需要应用程序控制 7.禁止使用程序配置文件内的账号访问线上数据库 8.禁止非DBA对线上数据库进行写操作 9.开发、测试、线上环境分离 10.所以提交的SQL语句必须经过测试 11.禁止存储大文件或大照片 12.库名、表名、字段名：小写，下划线分割，不超过32个字符，必须见名知意，禁止拼 音英文混用 13.表必须有主键 14.必须把字段定义为NOT NULL并设置默认值 15.必须使用varchar（20）来存储手机号 16.单表索引控制在5个以内，单索引字段数不许超过5个 a)索引的使用。? b)(1) 尽量避免对索引列进行计算。如计算较多，请提请管理员建立函数索引。? c)(2) 尽量注意比较值与索引列数据类型的一致性。? d)(3) 对于复合索引，SQL语句必须使用主索引列? e)(4) 索引中，尽量避免使用NULL。? f)(5) 对于索引的比较，尽量避免使用NOT=（!=）? g)(6) 查询列和排序列与索引列次序保持一致 (7) 禁止在更新频繁、区分度不高（如：性别）的字段上建立索引 (8) 建立组合索引，必须把区分度高的字段放在前面 17.禁止使用SELECT * ，只获取必要的字段 18.禁止使用INSERT INTO t_xxx VALUES(xxx)，必须指定插入的列名 19.禁止在WHERE条件的属性上使用函数或表达式 20.禁止%开头的模糊查询 21.禁止使用OR条件 22.应用程序必须捕获SQL异常，并作出相应处理 23.逻辑删除代替物理删除 24.选择最有效的表名、查询条件顺序（从右到左） 25.减少访问数据库的次数 26.SQL中的关键字均使用大写字母，数据表最好起别名 27.查询条件中“>=”代替“>” 28.等号两边使用空格，逗号后使用空格 29.多表操作必须使用别名 30.整条语句必须写明注释，关键逻辑单独书写注释，说明算法、功能 a)注释风格：注释单独成行、放在语句前面。? b)(1) 应对不易理解的分支条件表达式加注释；? c)(2) 对重要的计算应说明其功能；?