Centos 6.8 下 Amoba 3.0 实现mysql 读写分离
|
什么是 Amoba ？ Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的 时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发。座落与 Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。 通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能，目前Amoeba已在很多 企业的生产线上面使用。 Amoeba在分布式数据库领域将致力解决数据切分，应付客户端“集中式”处理分布式数据。这里集中式是一个相对概念，客户端不需要知道某种数据的物理存储地。避免这种逻辑出现在业务端， 大大简化了客户端操作分布式数据的复杂程度。 分布式数据库系统的优点： 1、降低费用。分布式数据库在地理上可以式分布的。其系统的结构符合这种分布的要求。允许用户在自己的本地录用、查询、维护等操作，实行局部控制，降低通信代价，避免集中式需要更高要求 的硬件设备。而且分布式数据库在单台机器上面数据量较少，其响应速度明显提升。 2、提高系统整体可用性。避免了因为单台数据库的故障而造成全部瘫痪的后果。 3、易于扩展处理能力和系统规模。分布式数据库系统的结构可以很容易地扩展系统，在分布式数据库中增加一个新的节点，不影响现有系统的正常运行。这种方式比扩大集中式系统要灵活经济。在集中式系统中扩大系统和系统升级，由于有硬件不兼容和软件改变困难等缺点，升级的代价常常是昂贵和不可行的。 Amoeba for mysql Amoeba for mysql 对客户端程序来说是什么呢？ 我们就当它是mysql吧，它是一个虚拟的mysql，对外提供mysql协议。客户端连接amoeba就象连接mysql一样。在amoeba内部需要配置相关的认证属性。
Amoeba for MySQL 与MySQL Proxy 比较 在MySQL proxy 6.0版本 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下，用mysql proxy 需要相当大的工作量，目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件， lua脚本就是它的全部，当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一 个复杂的配置。而Amoeba for Mysql只需要进行相关的配置就可以满足需求。 Amoeba 不能做什么？ 1、目前还不支持事务 2、暂时不支持存储过程（近期会支持） 3、不适合从amoeba导数据的场景或者对大数据量查询的query并不合适（比如一次请求返回10w以上甚至更多数据的场合） 4、暂时不支持分库分表，amoeba目前只做到分数据库实例，每个被切分的节点需要保持库表结构一致 Amoeba 3.0版本区别 1、采用更稳定的NIO框架 2、取消了很多不必要的同步锁，能够更好的利用高并发特性 3、代码结构更加合理，重构以后很多可重用的东西将提取出来作为公用类库，未来升级方便 4、配置有所改动（不兼容），由于重构，class所在的包名字将有所有变化，但是基本维持原来的配置结构不变，如果熟悉2.X，那么3.0上手非常容易 5、启动脚本有变化，3.x将 bin/launcher 作为启动脚本（启动以后直接可作为后台进程，不需要增加nohup等命令）， bin/shutdown作为关闭脚本 6、解决了last_insert_id问题 Amoeba 安装 1、Amoeba 配置环境 Master192.168.200.140centos6.8mysql-5.5.53 Slave192.168.200.180centos6.8mysql-5.5.53 Amoeba192.168.200.210centos6.8 #Amoeba192.168.200.210(可以使用master代替) 服务器安装软件版本 Mysq5.5.53 Amoeba3.05RC JDK1.7.79 2、Mysql 主从复制安装这里就不描述了；详见mysql 主从复制简易配置指南 3、配置jdk 环境 由于Amoeba框架是基于Java SE1.5开发的，所以它需要在JDK 的环境下运行， 检查amoeba 服务器的 java 环境 [root@bogon~]#rpm-qajava#查看是否安装java [root@bogon~]#java-version#如果已经安装java，查看java版本，必须在1.5以上 [root@bogon~]#echo$JAVA_HOME查看是否安装配置了JDK 如果你的机器上没有安装JDK环境，需要安装java wgethttp://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz 解压JDK tar-zvxfjdk-7u79-linux-x64.tar.gz mvjdk1.7.0_79//usr/local/jdk1.7/ 编辑环境变量文件 vim/etc/profile # 文件最后部分加入 exportJAVA_HOME=/usr/local/jdk1.7#jdk安装目录 exportPATH=$JAVA_HOME/bin:$PATH#java家目录的路径 exportPATH=$PATH:$HOME/bin:/usr/local/amoeba/bin#amoeba的安装目录 exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#java相应的工具目录 source/etc/profile jdk 的官方下载站点。 4、Amoeba 安装 在Amoeba在SourceForge的主页下载Amoeba，。 [root@bogon~]#wgethttps://sourceforge.net/settings/mirror_choices?projectname=amoeba&filename=Amoeba%20for%20mysql/3.x/amoeba-mysql-3.0.5-RC-distribution.zip 解压 amoeba [root@bogon~]#unzipamoeba-mysql-3.0.5-RC-distribution.zip-d/application/amoeba 启动Amoeba [root@bogon~]#/application/amoeba/launcher 关闭Amoeba [root@bogon~]#/application/amoeba/shutdown 启动时会出现如下错误： Thestacksizespecifiedistoosmall,Specifyatleast228k Error:CouldnotcreatetheJavaVirtualMachine. Error:Afatalexceptionhasoccurred.Programwillexit. 从错误文字上看，应该是由于stacksize太小，导致JVM启动失败，要 如何修改呢？ vi /$AMOEBA_HOME/jvm.properties 更改成 =============================================================== Amoeba3.0 版本以下解决办法： DEFAULT_OPTS=”-server-Xms1024m-Xmx1024m-Xss128k” 修改为： DEFAULT_OPTS=”-server -Xms1024m -Xmx1024m -Xss256k” 5、配置Amoeba Amoeba有主要的配置文件 $AMOEBA_HOME/conf/dbServers.xml中配置主机信息，如主机ip，端口，amoeba 连接的用户名与密码等 $AMOEBA_HOME/conf/rule.xml中配置与切分规则相关的信息 $AMOEBA_HOME/conf/functionMap.xml描述了SQL函数名和函数处理的关系 $AMOEBA_HOME/conf/rule.xml配置自己定义的函数 $AMOEBA_HOME/conf/ruleFunctionMap.xml中定义自定义函数名与函数处理的关系。 $AMOEBA_HOME/conf/access_list.conf中配置访问控制 $AMOEBA_HOME/conf/log4j.xml配置输出日志级别和方式 通过更改amoeba.xml和dbServer.xml 配置文件实现mysql主从读写分离,配置如下: amoeba.xml 配置如下： <?xmlversion="1.0"encoding="gbk"?>
<!DOCTYPEamoeba:configurationSYSTEM"amoeba.dtd">
<amoeba:configurationxmlns:amoeba="http://amoeba.meidusa.com/">
<proxy>
<!--serviceclassmustimplementscom.meidusa.amoeba.service.Service-->
<servicename="AmoebaforMysql"class="com.meidusa.amoeba.mysql.server.MySQLService">
<!--proxyserverport-->
<propertyname="port">8066</property>#proxyserver绑定的端口号
<!--bindipAddress-->
<propertyname="ipAddress">192.168.200.210</property>#proxyserver绑定的ip地址
<propertyname="connectionFactory">
<beanclass="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
<propertyname="sendBufferSize">128</property>
<propertyname="receiveBufferSize">64</property>
</bean>
</property>
<propertyname="authenticateProvider">
<beanclass="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
<propertyname="user">root</property>#通过proxyserver访问MySQL的用户名
<propertyname="password">123</property>#通过proxyserver访问MySQL的密码
<propertyname="filter">
<beanclass="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
<propertyname="ipFile">${amoeba.home}/conf/access_list.conf</property>
</bean>
</property>
</bean>
</property>
</service>
<runtimeclass="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
<!--proxyserverclientprocessthreadsize-->
<propertyname="executeThreadSize">128</property>
<!--perconnectioncachepreparedstatementsize-->
<propertyname="statementCacheSize">500</property>
<!--defaultcharset-->
<propertyname="serverCharset">utf8</property>
<!--querytimeout(default:60second,TimeUnit:second)-->
<propertyname="queryTimeout">60</property>
</runtime>
</proxy>
<!--
EachConnectionManagerwillstartasthread
managerresponsiblefortheConnectionIOread,DeathDetection
-->
<connectionManagerList>
<connectionManagername="defaultManager"class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
<propertyname="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
</connectionManager>
</connectionManagerList>
<!--defaultusingfileloader-->
<dbServerLoaderclass="com.meidusa.amoeba.context.DBServerConfigFileLoader">
<propertyname="configFile">${amoeba.home}/conf/dbServers.xml</property>
</dbServerLoader>
<queryRouterclass="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
<propertyname="ruleLoader">
<beanclass="com.meidusa.amoeba.route.TableRuleFileLoader">
<propertyname="ruleFile">${amoeba.home}/conf/rule.xml</property>
<propertyname="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
</bean>
</property>
<propertyname="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
<propertyname="LRUMapSize">1500</property>
<propertyname="defaultPool">multiPool</property>
<!--<propertyname="writePool">server1</property>
<propertyname="readPool">multiPool</property>
-->
<propertyname="needParse">true</property>
</queryRouter>
</amoeba:configuration>
dbServer.xml 配置如下： <?xmlversion="1.0"encoding="gbk"?>
<!DOCTYPEamoeba:dbServersSYSTEM"dbserver.dtd">
<amoeba:dbServersxmlns:amoeba="http://amoeba.meidusa.com/">
<!--
EachdbServerneedstobeconfiguredintoaPool,IfyouneedtoconfiguremultipledbServerwithloadbalancingthatcanbesimplifiedbythefollowingconfiguration:
addattributewithnamevirtual="true"indbServer,buttheconfigurationdoesnotallowtheelementwithnamefactoryConfig
suchas'multiPool'dbServer
-->
<dbServername="abstractServer"abstractive="true">
<factoryConfigclass="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<propertyname="connectionManager">${defaultManager}</property>
<propertyname="sendBufferSize">64</property>
<propertyname="receiveBufferSize">128</property>
<!--mysqlport-->
<propertyname="port">3306</property>
<!--mysqlschema-->
<propertyname="schema">test</property>
<!--mysqluser-->
<propertyname="user">amoeba</property>
<propertyname="password">think</property>
</factoryConfig>
<poolConfigclass="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<propertyname="maxActive">500</property>
<propertyname="maxIdle">500</property>
<propertyname="minIdle">1</property>
<propertyname="minEvictableIdleTimeMillis">600000</property>
<propertyname="timeBetweenEvictionRunsMillis">600000</property>
<propertyname="testOnBorrow">true</property>
<propertyname="testOnReturn">true</property>
<propertyname="testWhileIdle">true</property>
</poolConfig>
</dbServer>
<dbServername="server1"parent="abstractServer">
<factoryConfig>
<!--mysqlip-->
<propertyname="ipAddress">192.168.200.140</property>
</factoryConfig>
</dbServer>
<dbServername="server2"parent="abstractServer">
<factoryConfig>
<!--mysqlip-->
<propertyname="ipAddress">192.168.200.180</property>
</factoryConfig>
</dbServer>
<dbServername="multiPool"virtual="true">
<poolConfigclass="com.meidusa.amoeba.server.MultipleServerPool">
<!--Loadbalancingstrategy:1=ROUNDROBIN,2=WEIGHTBASED,3=HA-->
<propertyname="loadbalance">1</property>
<!--Separatedbycommas,suchas:server1,server2,server1-->
<propertyname="poolNames">server1,server2</property>
</poolConfig>
</dbServer>
</amoeba:dbServers>
[root@bogon~]#/application/amoeba/bin/launcher&//启动amoeba服务 （编辑：安卓应用网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
