{eval=Array;=+count(Array);}

问答专栏Q & A COLUMN

如何将数据库中查询出来的数据再进行分页操作?

JeffrreyJeffrrey 回答0 收藏1
问题描述:需求:如何将数据库中查询出来的数据,再进行分页操作。
收藏问题

4条回答

EasonTyler

EasonTyler

回答于2022-06-28 13:44

“我是哟哟吼说科技,专注于数据网络的回答,欢迎大家与我交流数据网络的问题”

如题,如何将数据库查询出来的数据进行分页操作?

哟哟简单说一下分析及操作步骤:

1、创建一个page对象

a、创建所需要的属性,如当前的页码CurrentPage;

b、通过数据库查出得到数据的总和TotalConunt;

c、分析一共需要多少页TotalPage(所有数据的总和/CurrentCount,采用math.ceil()方法);

d、生成setter和getter方法;

2、servlet层调用service层的方法

a、创建一个service层的对象;

b、在service层创建findPageCategory方法,目的是为了获取跟分页有关的所有属性,如TotalPage,TotalCount等;

3、Dao层实现

a、查询数据库中所有数据的总和;

b、分页查询数据,即使用SQL聚合语句limit查询数据后第一个数据的起始位置,第二个参数表示每个分页查询的数据条数;

欢迎大家多多关注我,在下方评论区说出自己的见解。

评论0 赞同0
  •  加载中...
you_De

you_De

回答于2022-06-28 13:44

我之前写过《如何在SQLServer查询中实现高效分页》专门讲述分页的,现摘录部分,希望可以解决问题。


从MSSQL2005开始,SQL Server提供了一个内置函数ROW_NUMBER,这是一个非常神奇的函数。从MSSQL2012开始,SQL Server提供了offset方法进行分页。

今天我们就谈谈ROW_NUMBER和offset的语法和在分页中的应用。

ROW_NUMBER的含义及语法定义

ROW_NUMBER实现对结果集的输出进行编号。 具体来说,返回结果集分区内行的序列号,每个分区的第一行从 1 开始。

ROW_NUMBER ( ) OVER ( order_by_clause )
  • order_by_clause: 子句可确定在特定分区中为行分配唯一 ROW_NUMBER 的顺序。 order by 子句是必选项。
  • 返回值:bigint。结果集分区内行的序列号。

offset的含义及语法定义

offset是order by的子句,主要用来限定返回的行数,用来做分页也是很合适的。只是从MSSQL2012才开始支持。语法结构如下:

FETCH { NEXT } { integer_constant | fetch_row_count_expression } { ROWS } ONLY

fetch_row_count_expression 可以是变量、参数或常量标量子查询。 在使用子查询时,它无法引用在外部查询范围中定义的任何列。也就是说,它无法与外部查询相关联。

结合到分页,语法语法:

offset startPage rows fetch next pageSize rows only

其中起始页面:startPage=(@page-1)*@rows,页面大小:pageSize=@rows

演示数据准备

演示数据准备的代码我就不粘贴了,直接看下图:

使用ROW_NUMBER分页

比如我们希望按照业务员+销售区域排序后,每4条记录一页显示,语法如下:

declare @pagesize int =4;--每页记录数
declare @pagenum int =1;--第几页
with saledata as
(
select row_number() over(order by FName,FDistrict) as FRowIndex,* from @sale
)
select * from saledata
where FRowIndex between @pagesize*(@pagenum-1)+1
and @pagenum*@pagesize;

使用OFFSET实现分页

重复的代码部分不再赘述,在查询时要注意,offset是Order By的子句,不能独立存在。语法结构如下:

select * from @sale
order by FName,FDistrict
offset (@pagenum-1)*@pagesize rows fetch next @pagesize rows only

返回的结果与使用row_number是一致的。完整的测试脚本参看下图:

希望能解决题主所提的问题!

评论0 赞同0
  •  加载中...
wua_wua2012

wua_wua2012

回答于2022-06-28 13:44

很多应用往往只展示最新或最热门的几条记录,但为了旧记录仍然可访问,所以就需要个分页的导航栏。然而,如何通过MySQL更好的实现分页,始终是比较令人头疼的问题。虽然没有拿来就能用的解决办法,但了解数据库的底层或多或少有助于优化分页查询。


我们先从一个常用但性能很差的查询来看一看。



SELECT *

FROM city

ORDER BY id DESC

LIMIT 0, 15



这个查询耗时0.00sec。So,这个查询有什么问题呢?实际上,这个查询语句和参数都没有问题,因为它用到了下面表的主键,而且只读取15条记录。



CREATE TABLE city (

id int(10) unsigned NOT NULL AUTO_INCREMENT,

city varchar(128) NOT NULL,

PRIMARY KEY (id)

) ENGINE=InnoDB;



真正的问题在于offset(分页偏移量)很大的时候,像下面这样:



SELECT *

FROM city

ORDER BY id DESC

LIMIT 100000, 15;



上面的查询在有2M行记录时需要0.22sec,通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行,但最后只需要15行。大的分页偏移量会增加使用的数据,MySQL会将大量最终不会使用的数据加载到内存中。就算我们假设大部分网站的用户只访问前几页数据,但少量的大的分页偏移量的请求也会对整个系统造成危害。Facebook意识到了这一点,但Facebook并没有为了每秒可以处理更多的请求而去优化数据库,而是将重心放在将请求响应时间的方差变小。



对于分页请求,还有一个信息也很重要,就是总共的记录数。我们可以通过下面的查询很容易的获取总的记录数。



SELECT COUNT(*)

FROM city;



然而,上面的SQL在采用InnoDB为存储引擎时需要耗费9.28sec。一个不正确的优化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能够在分页查询时事先准备好符合条件的记录数,随后只要执行一句 select FOUND_ROWS(); 就能获得总记录数。但是在大多数情况下,查询语句简短并不意味着性能的提高。不幸的是,这种分页查询方式在许多主流框架中都有用到,下面看看这个语句的查询性能。



SELECT SQL_CALC_FOUND_ROWS *

FROM city

ORDER BY id DESC

LIMIT 100000, 15;



这个语句耗时20.02sec,是上一个的两倍。事实证明使用 SQL_CALC_FOUND_ROWS 做分页是很糟糕的想法。

下面来看看到底如何优化。文章分为两部分,第一部分是如何获取记录的总数目,第二部分是获取真正的记录。



高效的计算行数



如果采用的引擎是MyISAM,可以直接执行COUNT(*)去获取行数即可。相似的,在堆表中也会将行数存储到表的元信息中。但如果引擎是InnoDB情况就会复杂一些,因为InnoDB不保存表的具体行数。



我们可以将行数缓存起来,然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时,执行下面的语句:



SELECT COUNT(*)

FROM city

USE INDEX(PRIMARY);



获取记录



下面进入这篇文章最重要的部分,获取分页要展示的记录。上面已经说过了,大的偏移量会影响性能,所以我们要重写查询语句。为了演示,我们创建一个新的表“news”,按照时事性排序(最新发布的在最前面),实现一个高性能的分页。为了简单,我们就假设最新发布的新闻的Id也是最大的。



CREATE TABLE news(

id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,

title VARCHAR(128) NOT NULL

) ENGINE=InnoDB;



一个比较高效的方式是基于用户展示的最后一个新闻Id。查询下一页的语句如下,需要传入当前页面展示的最后一个Id。



SELECT *

FROM news WHERE id < $last_id

ORDER BY id DESC

LIMIT $perpage



查询上一页的语句类似,只不过需要传入当前页的第一个Id,并且要逆序。



SELECT *

FROM news WHERE id > $last_id

ORDER BY id ASC

LIMIT $perpage



上面的查询方式适合实现简易的分页,即不显示具体的页数导航,只显示“上一页”和“下一页”,例如博客中页脚显示“上一页”,“下一页”的按钮。但如果要实现真正的页面导航还是很难的,下面看看另一种方式。



SELECT id

FROM (

SELECT id, ((@cnt:= @cnt + 1) + $perpage - 1) % $perpage cnt

FROM news

JOIN (SELECT @cnt:= 0)T

WHERE id < $last_id

ORDER BY id DESC

LIMIT $perpage * $buttons

)C

WHERE cnt = 0;



通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id。这种方法还有一个好处。假设,网站上正在发布一片新的文章,那么所有文章的位置都会往后移一位,所以如果用户在发布文章时换页,那么他会看见一篇文章两次。如果固定了每个按钮的offset Id,这个问题就迎刃而解了。Mark Callaghan发表过一篇类似的博客,利用了组合索引和两个位置变量,但是基本思想是一致的。



如果表中的记录很少被删除、修改,还可以将记录对应的页码存储到表中,并在该列上创建合适的索引。采用这种方式,当新增一个记录的时候,需要执行下面的查询重新生成对应的页号。



SET p:= 0;

UPDATE news SET page=CEIL((p:= p + 1) / $perpage) ORDER BY id DESC;



当然,也可以新增一个专用于分页的表,可以用个后台程序来维护。



UPDATE pagination T

JOIN (

SELECT id, CEIL((p:= p + 1) / $perpage) page

FROM news

ORDER BY id

)C

ON C.id = T.id

SET T.page = C.page;



现在想获取任意一页的元素就很简单了:



SELECT *

FROM news A

JOIN pagination B ON A.id=B.ID

WHERE page=$offset;



还有另外一种与上种方法比较相似的方法来做分页,这种方式比较试用于数据集相对小,并且没有可用的索引的情况下—比如处理搜索结果时。在一个普通的服务器上执行下面的查询,当有2M条记录时,要耗费2sec左右。这种方式比较简单,创建一个用来存储所有Id的临时表即可(这也是最耗费性能的地方)。



CREATE TEMPORARY TABLE _tmp (KEY SORT(random))

SELECT id, FLOOR(RAND() * 0x8000000) random

FROM city;

ALTER TABLE _tmp ADD OFFSET INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, DROP INDEX SORT,ORDER BY random;



接下来就可以向下面一样执行分页查询了。



SELECT *

FROM _tmp

WHERE OFFSET >= $offset

ORDER BY OFFSET

LIMIT $perpage;



简单来说,对于分页的优化就是。。。避免数据量大时扫描过多的记录。

评论0 赞同0
  •  加载中...
RebeccaZhong

RebeccaZhong

回答于2022-06-28 13:44

limit (page-1)*pagesize,pagesie##mysql --oracle rownum三重查询排序分页

评论0 赞同0
  •  加载中...

最新活动

您已邀请0人回答 查看邀请

我的邀请列表

  • 擅长该话题
  • 回答过该话题
  • 我关注的人
向帮助了您的网友说句感谢的话吧!
付费偷看金额在0.1-10元之间
<