网页开发

常用的论坛设计方法,总结如下:

一 分割思想:

1 数据库切分:用户库、主题库、回复库

2 数据表水平切分:用户库1-n、主题库1-n、回复库1-n (比如按时间分)

3 分布式数据库:每台计算机中都有DBMS的一份完整拷贝副本,并具有自己局部的数据库,位于不同地点的许多计算机通过网络互相连接,共同组成一个完整的、全局的大型数据库。

4 论坛功能可以进行分隔,不同的服务器负责不同的功能

5 用主从数据库,master是写, slave是读

6 把内容与其它信息分开,好处就是可以让每个表的文件最小化,对数据库操作压力会减小,这样保证每张表数据量很小,操作速度会快,也可以在这里使用缓存

二 索引:
针对是否建立索引有着一定的分歧: 我觉得建立索引还是很有必要的。理由如下:

1)建立索引可以加快检索速度,对于论坛读和写的比例相差很大,用户体验当然是读多写少,所以综合考虑还是要用索引,而且是加在常用的读关键字上。

2)索引之所以会降低更新的速度,是因为更新还包括对索引的更新,从更新帖子10万左右,这句话是说,我们可能对发帖标题,发帖内容,回复标题,回复内容这4个字段做更新。需要注意的是,这四个字段并不是用来建立表连接的字段,为了优化查询速度我们不会在这四个字段上建立索引,所以从这道题目出发,我们建立的索引不会影响更新帖子的性能。只要被索引的列(例如回复表的标题ID)不被频繁更新,即使索引所在地行的其它列被频繁update,索引也不会被更新从而产生性能消耗,一张表一天30万次的索引更新,因它引起的性能消耗小到即使数据库安装在奔腾3单核CPU下都能轻松承担下来。

3)对于更新的速度慢的问题,我们有解决的方法,你提交更新了后,前台可以让程序返回一个正确结果,后台开个线程异步慢慢跟新数据库就是了,反正更新成功的前提就是假设数据库连接永远正确并处于可靠状态。在数据库和用户之间建立一个缓冲区。(如,将更新的数据放到内存中,达到一定数量的时候再统一更新数据库。假如以100条为例,一旦内存中达到100条数据量将这100条数据统一入库。减少insert操作)

三 缓冲:
读的时候的缓冲:缓存路由表 主题缓存表(这个取每个区的前面100条记录),一般来说负载最大的就是主题的第一页,所以缓存表是个小表。 另外使用hibernate,在数据库上面加了一层缓存。 生成静态页,缓存最热,最新的帖子。 对于经常更新的数据都设计成单独表 ,这样可以最大程度的利用hibernate缓存 缓存常用的数据和表,利用缓存来将经常被访问的帖子留在内存中,为每条缓存的记录添加一个访问时间,如果长时间没被访问就从缓存中删除掉, 避免内存过大,每次用户看帖的时候,首先检索缓存中时候有需要的帖子,没有的话再访问数据库,然后将数据库返回的帖子信息存储到缓存中。 写的时候的缓冲:数据库和用户之间建立缓存,将更新的数据放在内存中,异步操作的。所有的写贴操作 放到一个队列然后批量执行插入数据库操作。 预估计的缓冲:假如用户第一次打开某标题,那将此标题的相关的前100条数据缓存到客户断。这样避开对数据库的直接查询,减少数据库压力。

四 代码优化
1尽量避免表的连接约束通过代码来实现约束 例如用户id的验证在用户登录时验证这样就可以把帖子表的用户id外键去掉这样就成了单表操作、查询 而连接可以通过触发来实现这样最多是查询了3个表而不是连接中的笛卡尔笛卡尔积 回复表的查询限定每次查询的记录数例如限定10条其它的通过点击触发来操作"注代码优化容易出现bug 原因有些开发工具本身有优化"

五 数据库性能调优
尽量用硬件来代替软件优化 原则就是能用硬件的尽量用硬件 比如磁盘阵列 RAID0 有条件用RAID10 加大内存 .避免小表上建索引 对论坛来说数据帖子和回复不是很重要 可以定期删除一些垃圾帖子 楼主说的几百万条记录的论坛对现在的数据库管理系统和计算机来说永不着刻意的优化,定期维护打包备份数据库就可以了 提高速度的关键:
1.建立合理的索引并在查询时充分利用;
2.避免使用关联,这样避免整表扫描;使用关联不如多次使用主键查询来的快;
3.一些处理的功能尽可能放到内存中来做,比如组织主题和回复;
4.海量缓存(使用静态页面也是个不错的做法)
5 定期对表进行转储

Discuz论坛的会员保存在ucenter里面,跟DZ论坛是分开的。很多人搬家时忘了备份UCENTER数据。只备份了DZ论坛。结果搬家后发现会员登陆不上,会员数据丢失,如果旧的数据库没删除还好。如果空间被删。那基本找不回了。

然后还有一种情况,就是弃用无用的会员数据。只保留活跃会员 也可操作。

 

【特别针对:针对备份论坛但是没有备份ucenter导致会员丢失】

放弃所有会员的密码。直接只导入DZ论坛的 用户名 跟邮箱 到 UCENTER里面。然后发站内通知 公告:提醒会员根本注册时的邮箱找回密码。  甚至有条件可以群发邮件给会员。

 

密码(password)这一项是没有办法添加的,第一我不知道用户的密码是什么,第二UC会将密码MD5加密。所以密码索性就设置为空,即不导入密码。

所以需要导入的只需UID、用户名(username)、邮箱(email)三项就可以了(其他信息可以让会员将来重置)

但是考虑手动添加的话工作量太大

所以一直寻求可以批量添加的方法

结果查了一些资料,结合自身数据库情况,写了如下语句:

 

INSERT INTO`mysqlsjk1`.`uc_members` (

`uid` ,

`username` ,

`email`

)

SELECT `uid`,`username`,`email` FROM `wenliren`.`pre_common_member` WHERE uid>1 AND uid<60000

 

其中:

`mysqlsjk1`为数据库名;

`uc_members`为ucenter用户数据表;`uid` ,`username` ,`email` 为对应的三项表头;

`pre_common_member`为论坛会员数据表;

最后WHERE 1 到 60000 的范围可以自己选定,如果发生问题的时候已经控制不再有新注册用户的话,可以不设定上限。

 

进入网站的PHPmyadmin后台,进入Mysql管理,使用“SQL查询”,贴上以上代码(记得要替换自己的信息),执行。

这样,就完成了论坛数据表到ucenter数据的导入了。

PS:如果有人尝试的话,请做好数据表备份!

后续工作:选取这些会员,发送站点通知。通知选用Email发送,内容当然是提醒会员重置密码。

 

 

 

 

 

 

完了后自行注册个新会员试试,提示XXX ID已存在。就去数据库里检查Discuz和UC的用户表member,保持uid的递增值,改成一样大

第2页 共3页

关于CNERIS

CNERISYIF LINE公司的旗舰项目. 他是由IT行业不同区域的顶尖专家组成的. 我们的团队包括程序员,系统管理员,平面设计师, ERP集成服务。