从零开始学算法:十种排序算法介绍
- 格式:doc
- 大小:61.00 KB
- 文档页数:10
⼗⼤经典排序算法总结最近⼏天在研究算法,将⼏种排序算法整理了⼀下,便于对这些排序算法进⾏⽐较,若有错误的地⽅,还请⼤家指正0、排序算法说明0.1 排序术语稳定:如果a=b,且a原本排在b前⾯,排序之后a仍排在b的前⾯不稳定:如果a=b,且a原本排在b前⾯,排序之后排在b的后⾯时间复杂度:⼀个算法执⾏所耗费的时间空间复杂度:⼀个算法执⾏完所需内存的⼤⼩内排序:所有排序操作都在内存中完成外排序:由于数据太⼤,因此把数据放在磁盘中,⽽排序通过磁盘和内存的数据传输才能进⾏0.2算法时间复杂度、空间复杂度⽐较0.3名词解释n:数据规模k:桶的个数In-place:占⽤常数内存,不占⽤额外内存Out-place:占⽤额外内存0.4算法分类1.冒泡排序冒泡排序是⼀种简单的排序算法。
它重复地⾛访过要排序的数列,⼀次⽐较两个元素,如果它们的顺序错误就把它们交换过来。
⾛访数列的⼯作是重复地进⾏直到没有再需要交换,也就是说该数列已经排序完成。
这个算法的名字由来是因为越⼩的元素会经由交换慢慢“浮”到数列的顶端1.1算法描述⽐较相邻的元素,如果前⼀个⽐后⼀个打,就交换对每⼀对相邻元素做同样的⼯作,从开始第⼀对到结尾最后⼀对,这样在最后的元素应该会是最⼤的数针对所有的元素重复以上的步骤,除了最后⼀个重复步骤1-3,知道排序完成1.2动图演⽰1.3代码实现public static int[] bubbleSort(int[] array) {if (array.length == 0)return array;for (int i = 0; i < array.length; i++)for (int j = 0; j < array.length - 1 - i; j++)if (array[j + 1] < array[j]) {int temp = array[j + 1];array[j + 1] = array[j];array[j] = temp;}return array;}1.4算法分析最佳情况:T(n) = O(n) 最差情况:T(n) = O(n2) 平均情况:T(n) = O(n2)2.选择排序表现简单直观的最稳定的排序算法之⼀,因为⽆论什么数据都是O(n2)的时间复杂度,⾸先在未排序序列中找到最⼩(⼤)元素,与数组中第⼀个元素交换位置,作为排序序列的起始位置,然后再从剩余未排序元素中继续寻找最⼩(⼤)的元素,与数组中的下⼀个元素交换位置,也就是放在已排序序列的末尾2.1算法描述1.初始状态:⽆序区为R[1..n],有序区为空2.第i躺排序开始时,当前有序区和⽆序区R[1..i-1]、R[i..n]3.n-1趟结束,数组有序化2.2动图演⽰2.3代码实现public static int[] selectionSort(int[] array) {if (array.length == 0)return array;for (int i = 0; i < array.length; i++) {int minIndex = i;for (int j = i; j < array.length; j++) {if (array[j] < array[minIndex]) //找到最⼩的数minIndex = j; //将最⼩数的索引保存}int temp = array[minIndex];array[minIndex] = array[i];array[i] = temp;}return array;}2.4算法分析最佳情况:T(n) = O(n2) 最差情况:T(n) = O(n2) 平均情况:T(n) = O(n2)3、插⼊排序是⼀种简单直观的排序算法,通过构建有序序列,对于未排序序列,在已排序序列中从后向前扫描,找到相应位置并插⼊,需要反复把已排序元素逐步向后挪位,为最新元素腾出插⼊空间3.1算法描述1.从第⼀个元素开始,该元素可以认为已经被排序2.取出下⼀个元素(h),在已排序的元素序列中从后往前扫描3.如果当前元素⼤于h,将当前元素移到下⼀位置4.重复步骤3,直到找到已排序的元素⼩于等于h的位置5.将h插⼊到该位置6.重复步骤2-53.2动图演⽰3.3代码实现public static int[] insertionSort(int[] array) {if (array.length == 0)return array;int current;for (int i = 0; i < array.length - 1; i++) {current = array[i + 1];int preIndex = i;while (preIndex >= 0 && current < array[preIndex]) {array[preIndex + 1] = array[preIndex];preIndex--;}array[preIndex + 1] = current;}return array;}3.4算法分析最佳情况:T(n) = O(n) 最坏情况:T(n) = O(n2) 平均情况:T(n) = O(n2)4、希尔排序是简单插⼊排序经过改进之后的⼀个更⾼效的版本,也称为缩⼩增量排序,同时该算法是冲破O(n2)的第⼀批算法之⼀。
10种常用典型算法1. 冒泡排序(Bubble Sort)冒泡排序是一种简单的排序算法。
它通过依次比较相邻的两个元素,如果顺序不对则交换位置。
这样,每一趟排序都会将最大的元素移动到末尾。
通过多次重复这个过程,直到所有元素按照升序排列为止。
2. 选择排序(Selection Sort)选择排序也是一种简单的排序算法。
它通过每次从未排序的部分中选出最小的元素,放到已排序部分的末尾。
通过多次重复这个过程,直到所有元素按照升序排列为止。
3. 插入排序(Insertion Sort)插入排序是一种简单且稳定的排序算法。
它通过将未排序的元素逐个插入到已排序部分的正确位置。
每次插入一个元素,已排序部分都是有序的。
通过多次重复这个过程,直到所有元素按照升序排列为止。
4. 快速排序(Quick Sort)快速排序是一种高效的排序算法。
它通过选择一个基准元素,将数组分成两部分,一部分元素小于基准,另一部分元素大于基准。
然后对这两部分递归地进行快速排序。
通过多次重复这个过程,直到所有元素按照升序排列为止。
5. 归并排序(Merge Sort)归并排序是一种稳定的排序算法。
它通过将数组递归地分成两半,分别对这两半进行归并排序,然后将排序好的两部分合并起来。
通过多次重复这个过程,直到所有元素按照升序排列为止。
6. 堆排序(Heap Sort)堆排序是一种高效的排序算法。
它利用堆的性质来进行排序,通过构建一个最大堆或最小堆,并不断地取出堆顶元素并调整堆。
通过多次重复这个过程,直到所有元素按照升序排列为止。
7. 计数排序(Counting Sort)计数排序是一种非比较性的整数排序算法。
它通过统计每个元素的个数来排序。
首先统计每个元素出现的次数,然后根据元素的大小顺序将其放入新的数组中。
通过多次重复这个过程,直到所有元素按照升序排列为止。
8. 桶排序(Bucket Sort)桶排序是一种非比较性的排序算法。
它通过将元素划分到不同的桶中,每个桶内再使用其他排序算法进行排序。
数字排序将数字按从小到大的顺序排列数字排序,是将一组数字按照从小到大的顺序排列。
这是一种常见的数学操作,也是计算机编程中常用的算法之一。
在数字排序的过程中,我们需要将数字按照一定的规则进行比较,然后按照比较的结果进行排序。
下面将介绍几种常见的数字排序算法。
1. 冒泡排序冒泡排序是一种简单易懂的排序算法,其基本思想是通过相邻元素的比较和交换,将较大的元素逐渐“冒泡”到数组的尾部。
具体步骤如下:(1)从数组的第一个元素开始,依次比较相邻的两个元素。
如果前一个元素大于后一个元素,则交换这两个元素的位置;(2)重复上述比较和交换的步骤,直到将最大的元素“冒泡”到数组的末尾;(3)重复上述步骤,直到所有的元素都按照从小到大的顺序排列。
冒泡排序的时间复杂度为O(n^2),其中n为待排序数组的长度。
2. 插入排序插入排序是一种比较直观的排序算法,其基本思想是将数组分为已排序部分和未排序部分,每次从未排序部分选择一个元素插入到已排序部分的正确位置。
具体步骤如下:(1)从数组的第二个元素开始,将其与已排序部分的元素比较,找到合适位置;(2)将选中元素插入到合适的位置,并将已排序部分后面的元素依次向后移动;(3)重复上述步骤,直到所有的元素都按照从小到大的顺序排列。
插入排序的时间复杂度为O(n^2),但在大部分情况下,插入排序的性能要优于冒泡排序。
3. 快速排序快速排序是一种高效的排序算法,其基本思想是采用分而治之的思想,通过一趟排序将数组分割成两个子数组,再对子数组进行排序。
具体步骤如下:(1)选择一个基准元素,将数组分为左右两个子数组;(2)将比基准元素小的元素放在左边,将比基准元素大的元素放在右边;(3)对左右两个子数组分别进行快速排序;(4)重复上述步骤,直到每个子数组只包含一个元素或为空。
快速排序的时间复杂度为O(nlogn),其中n为待排序数组的长度。
快速排序是目前最快的排序算法之一。
以上只是介绍了几种常见的数字排序算法,实际应用中还有其他的排序算法,如选择排序、归并排序等。
选择排序、快速排序、希尔排序、堆排序不是稳定的排序算法,冒泡排序、插入排序、归并排序和基数排序是稳定的排序算法。
冒泡法:这是最原始,也是众所周知的最慢的算法了。
他的名字的由来因为它的工作看来象是冒泡:复杂度为O(n*n)。
当数据为正序,将不会有交换。
复杂度为O(0)。
直接插入排序:O(n*n)选择排序:O(n*n)快速排序:平均时间复杂度log2(n)*n,所有内部排序方法中最高好的,大多数情况下总是最好的。
归并排序:l og2(n)*n堆排序:l og2(n)*n希尔排序:算法的复杂度为n的1.2次幂这里我没有给出行为的分析,因为这个很简单,我们直接来分析算法:首先我们考虑最理想的情况1.数组的大小是2的幂,这样分下去始终可以被2整除。
假设为2的k次方,即k=log2(n)。
2.每次我们选择的值刚好是中间值,这样,数组才可以被等分。
第一层递归,循环n次,第二层循环2*(n/2)......所以共有n+2(n/2)+4(n/4)+...+n*(n/n) = n+n+n+...+n=k*n=log2(n)*n所以算法复杂度为O(lo g2(n)*n) 其他的情况只会比这种情况差,最差的情况是每次选择到的midd le都是最小值或最大值,那么他将变成交换法(由于使用了递归,情况更糟)。
但是你认为这种情况发生的几率有多大??呵呵,你完全不必担心这个问题。
实践证明,大多数的情况,快速排序总是最好的。
如果你担心这个问题,你可以使用堆排序,这是一种稳定的O(log2(n)*n)算法,但是通常情况下速度要慢于快速排序(因为要重组堆)。
排序算法十大经典方法
排序算法是计算机科学中的经典问题之一,它们用于将一组元素按照一定规则排序。
以下是十大经典排序算法:
1. 冒泡排序:比较相邻元素并交换,每一轮将最大的元素移动到最后。
2. 选择排序:每一轮选出未排序部分中最小的元素,并将其放在已排序部分的末尾。
3. 插入排序:将未排序部分的第一个元素插入到已排序部分的合适位置。
4. 希尔排序:改进的插入排序,将数据分组排序,最终合并排序。
5. 归并排序:将序列拆分成子序列,分别排序后合并,递归完成。
6. 快速排序:选定一个基准值,将小于基准值的元素放在左边,大于基准值的元素放在右边,递归排序。
7. 堆排序:将序列构建成一个堆,然后一次将堆顶元素取出并调整堆。
8. 计数排序:统计每个元素出现的次数,再按照元素大小输出。
9. 桶排序:将数据分到一个或多个桶中,对每个桶进行排序,最后输出。
10. 基数排序:按照元素的位数从低到高进行排序,每次排序只考虑一位。
以上是十大经典排序算法,每个算法都有其优缺点和适用场景,选择合适的算法可以提高排序效率。
C语言入门必学—10个经典C语言算法C语言是一种广泛使用的编程语言,具有高效、灵活和易学的特点。
它不仅在软件开发中被广泛应用,也是计算机科学专业的必修课。
在学习C语言的过程中,掌握一些经典的算法是非常重要的。
本文将介绍10个经典C语言算法,帮助读者更好地了解和掌握C语言。
一、冒泡排序算法(Bubble Sort)冒泡排序算法是最简单、也是最经典的排序算法之一。
它通过不断比较相邻的元素并交换位置,将最大(或最小)的元素逐渐“冒泡”到数组的最后(或最前)位置。
二、选择排序算法(Selection Sort)选择排序算法是一种简单但低效的排序算法。
它通过不断选择最小(或最大)的元素,并与未排序部分的第一个元素进行交换,将最小(或最大)的元素逐渐交换到数组的前面(或后面)。
三、插入排序算法(Insertion Sort)插入排序算法是一种简单且高效的排序算法。
它通过将数组分为已排序和未排序两个部分,依次将未排序部分的元素插入到已排序部分的合适位置。
四、快速排序算法(Quick Sort)快速排序算法是一种高效的排序算法。
它采用了分治的思想,通过将数组分为较小和较大两部分,并递归地对两部分进行排序,最终达到整个数组有序的目的。
五、归并排序算法(Merge Sort)归并排序算法是一种高效的排序算法。
它采用了分治的思想,将数组一分为二,递归地对两个子数组进行排序,并将结果合并,最终得到有序的数组。
六、二分查找算法(Binary Search)二分查找算法是一种高效的查找算法。
它通过不断将查找范围折半,根据中间元素与目标值的大小关系,缩小查找范围,最终找到目标值所在的位置。
七、递归算法(Recursive Algorithm)递归算法是一种通过自我调用的方式解决问题的算法。
在C语言中,递归算法常用于解决树的遍历、问题分解等情况。
八、斐波那契数列算法(Fibonacci Sequence)斐波那契数列是一列数字,其中每个数字都是前两个数字的和。
简单排序算法排序算法是计算机科学中最基本、最常用的算法之一。
通过对原始数据集合进行排序,可以更方便地进行搜索、统计、查找等操作。
常用的排序算法有冒泡排序、选择排序、插入排序等。
本文将介绍这些简单排序算法的具体实现及其优缺点。
一、冒泡排序(Bubble Sort)冒泡排序是一种基础的交换排序算法。
它通过不断地交换相邻的元素,从而将数据集合逐渐排序。
具体实现步骤如下:1.比较相邻的元素。
如果第一个比第二个大,就交换它们两个;2.对每一对相邻元素做同样的工作,从第一对到最后一对,这样一轮排序后,就可以确保最后一个元素是最大的元素;3.针对所有元素重复以上的步骤,除了最后一个;4.重复步骤1~3,直到排序完成。
冒泡排序的优点是实现简单、容易理解。
缺点是排序效率较低,尤其是对于较大的数据集合,时间复杂度为O(n²)。
二、选择排序(Selection Sort)选择排序是一种基础的选择排序算法。
它通过在数据集合中选择最小的元素,并将其放置到最前面的位置,然后再从剩余元素中选出最小的元素,放置到已排序部分的末尾。
具体实现步骤如下:1.在未排序序列中找到最小元素,存放到排序序列的起始位置;2.再从剩余未排序元素中继续寻找最小元素,放到排序序列末尾;3.重复步骤1~2,直到排序完成。
选择排序的优点是实现简单、固定时间复杂度O(n²)。
缺点是排序效率仍然较低,尤其是对于大数据集合,因为每次只能交换一个元素,所以相对于冒泡排序,它的移动次数固定。
三、插入排序(Insertion Sort)插入排序是一种基础的插入排序算法。
它将未排序的元素一个一个插入到已排序部分的正确位置。
具体实现步骤如下:1.从第一个元素开始,该元素可以认为已经被排序;2.取出下一个元素,在已经排序的元素序列中从后往前扫描;3.如果该元素(已排序)大于新元素,将该元素移到下一位置;4.重复步骤3,直到找到已排序的元素小于或等于新元素的位置;5.将新元素插入到该位置后;6.重复步骤2~5,直到排序完成。
数字排序将一组数字按照指定的规则排序数字排序是一种将一组数字按照指定规则进行排序的方法。
排序是计算机科学中非常常见的操作,它可以帮助我们更好地处理和组织数据。
本文将介绍几种常见的数字排序算法,并解释它们的工作原理和应用场景。
一、冒泡排序冒泡排序是一种简单且常用的排序算法,它的基本思想是比较相邻的元素并交换位置,通过不断“冒泡”将最大(或最小)的元素移动到最后(或最前)。
具体的步骤如下:1. 从第一个元素开始,依次比较相邻的两个元素大小。
2. 如果顺序错误,则交换这两个元素的位置。
3. 重复步骤1和步骤2,直到所有的元素都按照指定规则排序完成。
冒泡排序的时间复杂度为O(n^2),其中n为待排序元素的数量。
虽然冒泡排序的效率不高,但对于小规模的数据集来说,它仍然是一种简单而有效的排序算法。
二、插入排序插入排序是一种通过构建有序序列,不断将未排序的元素插入到已排序序列中的排序算法。
具体的步骤如下:1. 将第一个元素视为已排序序列,将剩余的元素视为未排序序列。
2. 从未排序序列中依次取出一个元素,插入到已排序序列的正确位置。
3. 重复步骤2,直到所有的元素都按照指定规则排序完成。
插入排序的时间复杂度也为O(n^2),但是相比冒泡排序,插入排序在实际应用中更加高效。
尤其是对于部分有序的数据集来说,插入排序的性能更加出色。
三、快速排序快速排序是一种高效的排序算法,它采用分治的方法将一个大问题拆分成若干个小问题,然后分别解决这些小问题。
具体的步骤如下:1. 选择一个基准元素(通常为待排序序列的第一个或最后一个元素)。
2. 将序列中的其他元素分为两部分,其中一部分小于等于基准元素,另一部分大于基准元素。
3. 对上述两部分分别进行递归调用,直到每个小问题的规模足够小(通常为只有一个或两个元素)。
4. 将所有的小问题的解合并起来,即可得到最终排序结果。
快速排序的时间复杂度为O(nlogn),但是在最坏情况下,时间复杂度会退化为O(n^2)。
程序员必学的10大算法程序员在编程中经常会遇到各种问题,需要使用算法来解决。
掌握一些经典算法能够提高程序效率、减少bug的数量,并且对于面试中的算法题也有帮助。
下面是程序员必学的10大算法。
1.排序算法:排序算法是最基本也是最常用的算法之一、常见的排序算法有冒泡排序、选择排序、插入排序、快速排序、归并排序等。
排序算法能够让数据按照一定的顺序排列,提高数据的查找和处理效率。
2.查找算法:查找算法是在一组数据中找到目标数据的过程。
常见的查找算法有顺序查找、二分查找、哈希查找等。
查找算法能够帮助程序员快速定位目标数据,提高程序效率。
3.哈希算法:哈希算法将任意长度的数据映射为固定长度的数据。
常见的哈希算法有MD5、SHA、CRC等。
哈希算法在密码加密、唯一标识生成等场景中应用广泛。
4.最短路径算法:最短路径算法是在带权图中找到两个节点之间最短路径的过程。
常见的最短路径算法有迪杰斯特拉算法、弗洛伊德算法、贝尔曼-福特算法等。
最短路径算法在网络路由、导航系统等领域有重要应用。
5.动态规划算法:动态规划算法是在求解多阶段决策过程的最优解问题时使用的一种算法。
常见的动态规划算法有背包问题、最长公共子序列等。
动态规划算法能够解决很多实际问题,提高程序的效率和准确性。
6.贪心算法:贪心算法是一种在每一步选择中都采取当前状态下最优的选择,从而希望最终能得到全局最优解的算法。
常见的贪心算法有霍夫曼编码、最小生成树等。
贪心算法适用于那些可以通过局部最优选择来达到全局最优的问题。
7.图算法:图算法是解决图结构中的问题的一种算法。
常见的图算法有深度优先、广度优先、拓扑排序、最小生成树等。
图算法在社交网络分析、网络流量优化等领域有广泛应用。
8. 字符串匹配算法:字符串匹配算法是在一个较长的字符串中查找出现的目标子串的过程。
常见的字符串匹配算法有暴力匹配、KMP算法、Boyer-Moore算法等。
字符串匹配算法在文本、模式匹配等场景中非常重要。
⼗⼤排序算法算法之排序排序算法基本上是我们⽆论是在项⽬中还是在⾯试中都会遇到的问题,加上最近在看《算法》这本书,所以就准备好好的将排序算法整理⼀下。
所有排序算法都是基于 Java 实现,为了简单,只使⽤了int类型,从⼩到⼤排序基本排序⾼效的排序各⼤排序的时间测试如何选择排序排序之基本排序算法准备阶段:有⼀个交换位置的函数exc/*** 交换a数组中i和j的位置* @param a 需要交换的数组* @param i 位置* @param j 位置*/public static void exc(int a[],int i,int j){// 当他们相等的时候就没必要进⾏交换if(a[i] != a[j]){a[i] ^= a[j];a[j] ^= a[i];a[i] ^= a[j];}}基本排序算法主要是分为插⼊排序,选择排序,冒泡排序和梳排序。
选择排序原理:选择排序的原理很简单,就是从需要排序的数据中选择最⼩的(从⼩到⼤排序),然后放在第⼀个,选择第⼆⼩的放在第⼆个……代码:/*** 选择排序* @param a 进⾏排序的数组*/public static int[] selectionSort(int a[]){int min;for(int i=0;i<a.length;i++){min = i;// 这个for循环是为了找出最⼩的值for (int j = i+1; j < a.length; j++) {if(a[min]>a[j]){min = j;}}/** 如果第⼀个取出的元素不是最⼩值,就进⾏交换* 意思就是:如果取出的元素就是最⼩值,那么就没有必要进⾏交换了 */if(min != i){// 进⾏交换exc(a, i, min);}}return a;}选择排序的动画演⽰img假如数组的长度是N,则时间复杂度:进⾏⽐较的次数:(N-1)+(N-2)+……+1 = N(N-1)/2进⾏交换的次数:N特点:(稳定)1. 运⾏时间与输⼊⽆关。
今天我正式开始按照我的目录写我的OI心得了。
我要把我所有学到的OI知识传给以后千千万万的OIer。
以前写过的一些东西不重复写了,但我最后将会重新整理,使之成为一个完整的教程。
按照我的目录,讲任何东西之前我都会先介绍时间复杂度的相关知识,以后动不动就会扯到这个东西。
这个已经写过了,你可以在这里看到那篇又臭又长的文章。
在讲排序算法的过程中,我们将始终围绕时间复杂度的内容进行说明。
我把这篇文章称之为“从零开始学算法”,因为排序算法是最基础的算法,介绍算法时从各种排序算法入手是最好不过的了。
给出n个数,怎样将它们从小到大排序?下面一口气讲三种常用的算法,它们是最简单的、最显然的、最容易想到的。
选择排序(Selection Sort)是说,每次从数列中找出一个最小的数放到最前面来,再从剩下的n-1个数中选择一个最小的,不断做下去。
插入排序(Insertion Sort)是,每次从数列中取一个还没有取出过的数,并按照大小关系插入到已经取出的数中使得已经取出的数仍然有序。
冒泡排序(Bubble Sort)分为若干趟进行,每一趟排序从前往后比较每两个相邻的元素的大小(因此一趟排序要比较n-1对位置相邻的数)并在每次发现前面的那个数比紧接它后的数大时交换位置;进行足够多趟直到某一趟跑完后发现这一趟没有进行任何交换操作(最坏情况下要跑n-1趟,这种情况在最小的数位于给定数列的最后面时发生)。
事实上,在第一趟冒泡结束后,最后面那个数肯定是最大的了,于是第二次只需要对前面n-1个数排序,这又将把这n-1个数中最小的数放到整个数列的倒数第二个位置。
这样下去,冒泡排序第i趟结束后后面i个数都已经到位了,第i+1趟实际上只考虑前n-i 个数(需要的比较次数比前面所说的n-1要小)。
这相当于用数学归纳法证明了冒泡排序的正确性:实质与选择排序相同。
上面的三个算法描述可能有点模糊了,没明白的话网上找资料,代码和动画演示遍地都是。
这三种算法非常容易理解,因为我们生活当中经常在用。
比如,班上的MM搞选美活动,有人叫我给所有MM排个名。
我们通常会用选择排序,即先找出自己认为最漂亮的,然后找第二漂亮的,然后找第三漂亮的,不断找剩下的人中最满意的。
打扑克牌时我们希望抓完牌后手上的牌是有序的,三个8挨在一起,后面紧接着两个9。
这时,我们会使用插入排序,每次拿到一张牌后把它插入到手上的牌中适当的位置。
什么时候我们会用冒泡排序呢?比如,体育课上从矮到高排队时,站队完毕后总会有人出来,比较挨着的两个人的身高,指挥到:你们俩调换一下,你们俩换一下。
这是很有启发性的。
这告诉我们,什么时候用什么排序最好。
当人们渴望先知道排在前面的是谁时,我们用选择排序;当我们不断拿到新的数并想保持已有的数始终有序时,我们用插入排序;当给出的数列已经比较有序,只需要小幅度的调整一下时,我们用冒泡排序。
我们来算一下最坏情况下三种算法各需要多少次比较和赋值操作。
选择排序在第i次选择时赋值和比较都需要n-i次(在n-i+1个数中选一个出来作为当前最小值,其余n-i个数与当前最小值比较并不断更新当前最小值),然后需要一次赋值操作。
总共需要n(n-1)/2次比较与n(n-1)/2+n次赋值。
插入排序在第i次寻找插入位置时需要最多i-1次比较(从后往前找到第一个比待插入的数小的数,最坏情况发生在这个数是所有已经取出的数中最小的一个的时候),在已有数列中给新的数腾出位置需要i-1次赋值操作来实现,还需要两次赋值借助临时变量把新取出的数搬进搬出。
也就是说,最坏情况下比较需要n(n -1)/2次,赋值需要n(n-1)/2+2n次。
我这么写有点误导人,大家不要以为程序的实现用了两个数组哦,其实一个数组就够了,看看上面的演示就知道了。
我只说算法,一般不写如何实现。
学算法的都是强人,知道算法了都能写出一个漂亮的代码来。
冒泡排序第i趟排序需要比较n-i次,n-1趟排序总共n(n-1)/2次。
给出的序列逆序排列是最坏的情况,这时每一次比较都要进行交换操作。
一次交换操作需要3次赋值实现,因此冒泡排序最坏情况下需要赋值3n(n-1)/2次。
按照渐进复杂度理论,忽略所有的常数,三种排序的最坏情况下复杂度都是一样的:O(n^2)。
但实际应用中三种排序的效率并不相同。
实践证明(政治考试时每道大题都要用这四个字),插入排序是最快的(虽然最坏情况下与选择排序相当甚至更糟),因为每一次插入时寻找插入的位置多数情况只需要与已有数的一部分进行比较(你可能知道这还能二分)。
你或许会说冒泡排序也可以在半路上完成,还没有跑到第n-1趟就已经有序。
但冒泡排序的交换操作更费时,而插入排序中找到了插入的位置后移动操作只需要用赋值就能完成(你可能知道这还能用move)。
本文后面将介绍的一种算法就利用插入排序的这些优势。
我们证明了,三种排序方法在最坏情况下时间复杂度都是O(n^2)。
但大家想过吗,这只是最坏情况下的。
在很多时候,复杂度没有这么大,因为插入和冒泡在数列已经比较有序的情况下需要的操作远远低于n^2次(最好情况下甚至是线性的)。
抛开选择排序不说(因为它的复杂度是“死”的,对于选择排序没有什么“好”的情况),我们下面探讨插入排序和冒泡排序在特定数据和平均情况下的复杂度。
你会发现,如果把插入排序中的移动赋值操作看作是把当前取出的元素与前面取出的且比它大的数逐一交换,那插入排序和冒泡排序对数据的变动其实都是相邻元素的交换操作。
下面我们说明,若只能对数列中相邻的数进行交换操作,如何计算使得n个数变得有序最少需要的交换次数。
我们定义逆序对的概念。
假设我们要把数列从小到大排序,一个逆序对是指的在原数列中,左边的某个数比右边的大。
也就是说,如果找到了某个i和j使得i<j且Ai>Aj,我们就说我们找到了一个逆序对。
比如说,数列3,1,4,2中有三个逆序对,而一个已经有序的数列逆序对个数为0。
我们发现,交换两个相邻的数最多消除一个逆序对,且冒泡排序(或插入排序)中的一次交换恰好能消除一个逆序对。
那么显然,原数列中有多少个逆序对冒泡排序(或插入排序)就需要多少次交换操作,这个操作次数不可能再少。
若给出的n个数中有m个逆序对,插入排序的时间复杂度可以说是O(m+n)的,而冒泡排序不能这么说,因为冒泡排序有很多“无用”的比较(比较后没有交换),这些无用的比较超过了O(m+n)个。
从这个意义上说,插入排序仍然更为优秀,因为冒泡排序的复杂度要受到它跑的趟数的制约。
一个典型的例子是这样的数列:8, 2, 3, 4, 5, 6, 7, 1。
在这样的输入数据下插入排序的优势非常明显,冒泡排序只能哭着喊上天不公。
然而,我们并不想计算排序算法对于某个特定数据的效率。
我们真正关心的是,对于所有可能出现的数据,算法的平均复杂度是多少。
不用激动了,平均复杂度并不会低于平方。
下面证明,两种算法的平均复杂度仍然是O(n^2)的。
我们仅仅证明算法需要的交换次数平均为O(n^2)就足够了。
前面已经说过,它们需要的交换次数与逆序对的个数相同。
我们将证明,n个数的数列中逆序对个数平均O(n^2)个。
计算的方法是十分巧妙的。
如果把给出的数列反过来(从后往前倒过来写),你会发现原来的逆序对现在变成顺序的了,而原来所有的非逆序对现在都成逆序了。
正反两个数列的逆序对个数加起来正好就是数列所有数对的个数,它等于n(n-1)/2。
于是,平均每个数列有n(n-1)/4个逆序对。
忽略常数,逆序对平均个数O(n^2)。
上面的讨论启示我们,要想搞出一个复杂度低于平方级别的排序算法,我们需要想办法能把离得老远的两个数进行操作。
人们想啊想啊想啊,怎么都想不出怎样才能搞出复杂度低于平方的算法。
后来,英雄出现了,Donald Shell发明了一种新的算法,我们将证明它的复杂度最坏情况下也没有O(n^2) (似乎有人不喜欢研究正确性和复杂度的证明,我会用实例告诉大家,这些证明是非常有意思的)。
他把这种算法叫做Shell增量排序算法(大家常说的希尔排序)。
Shell排序算法依赖一种称之为“排序增量”的数列,不同的增量将导致不同的效率。
假如我们对20个数进行排序,使用的增量为1,3,7。
那么,我们首先对这20个数进行“7-排序”(7-sortedness)。
所谓7-排序,就是按照位置除以7的余数分组进行排序。
具体地说,我们将把在1、8、15三个位置上的数进行排序,将第2、9、16个数进行排序,依此类推。
这样,对于任意一个数字k,单看A(k), A(k+7), A(k+14), ...这些数是有序的。
7-排序后,我们接着又进行一趟3-排序(别忘了我们使用的排序增量为1,3,7)。
最后进行1-排序(即普通的排序)后整个Shell算法完成。
看看我们的例子:3 7 9 0 5 1 6 84 2 0 6 15 7 3 4 9 8 2 <-- 原数列3 3 2 0 5 1 5 74 4 0 6 1 6 8 7 9 9 8 2 <-- 7-排序后0 0 1 1 2 2 3 3 4 4 5 6 5 6 8 7 7 9 8 9 <-- 3-排序后0 0 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 <-- 1-排序后(完成)在每一趟、每一组的排序中我们总是使用插入排序。
仔细观察上面的例子你会发现是什么导致了Shell排序的高效。
对,每一趟排序将使得数列部分有序,从而使得以后的插入排序很快找到插入位置。
我们下面将紧紧围绕这一点来证明Shell排序算法的时间复杂度上界。
只要排序增量的第一个数是1,Shell排序算法就是正确的。
但是不同的增量将导致不同的时间复杂度。
我们上面例子中的增量(1, 3, 7, 15, 31, ..., 2^k-1)是使用最广泛的增量序列之一,可以证明使用这个增量的时间复杂度为O(n√n)。
这个证明很简单,大家可以参看一些其它的资料,我们今天不证明它。
今天我们证明,使用增量1, 2, 3, 4, 6, 8, 9, 12, 16, ..., 2^p*3^q,时间复杂度为O(n*(log n)^2)。
很显然,任何一个大于1的正整数都可以表示为2x+3y,其中x和y是非负整数。
于是,如果一个数列已经是2-排序的且是3 -排序的,那么对于此时数列中的每一个数A(i),它的左边比它大的只有可能是A(i-1)。
A2绝对不可能比A12大,因为10可以表示为两个2和两个3的和,则A2<A4<A6<A9<A12。
那么,在这个增量中的1-排序时每个数找插入位置只需要比较一次。
一共有n个数,所以1-排序是O(n)的。
事实上,这个增量中的2-排序也是O(n),因为在2-排序之前,这个数列已经是4-排序且6-排序过的,只看数列的奇数项或者偶数项(即单看每一组)的话就又成了刚才的样子。