如何做系列(4)-微博URL短网址生成算法原理（java版、php版实现实例）

短网址（Short URL），顾名思义就是在形式上比较短的网址。通常用的是asp或者php转向，在Web 2.0的今天，不得不说，这是一个潮流。目前已经有许多类似服务，借助短网址您可以用简短的网址替代原来冗长的网址，让使用者可以更容易的分享链接。

例如：http://t.cn/SzjPjA

短网址服务，可能很多朋友都已经不再陌生，现在大部分微博、手机邮件提醒等地方已经有很多应用模式了，并占据了一定的市场。估计很多朋友现在也正在使用。

看过新浪的短连接服务，发现后面主要有6个字符串组成，于是第一个想到的就是原来公司写的一个游戏激活码规则，也就是下面的算法2，

26个大写字母 26小写字母，10个数字，随机生成6个然后插入数据库对应一个id，短连接跳转的时候，根据字符串查询到对应id，即可实现相应的跳转！不过2的62次方，不知道有没有重复的，小概率可以，但是对应不是很大的网站应该足够了

自从twitter推出短网址(shorturl),继之国内各大微博跟风,google公开goo.gl使用API,短网址之风愈演愈烈.不得不说这是一个新兴又一大热门web2.0服务.现整理一下,包括完整短网址网站,短网址生成原理,算法举例,以及优劣比较,同时还介绍几个phper个人实现的。

短链接的好处：

1、内容需要；2、用户友好；3、便于管理。

为什么要这样做的，原因我想有这样几点：

微博限制字数为140字一条，那么如果我们需要发一些连接上去，但是这个连接非常的长，以至于将近要占用我们内容的一半篇幅，这肯定是不能被允许的，所以短网址应运而生了。
短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖暴力，广告等信息，这样我们可以通过用户的举报，完全管理这个连接将不出现在我们的应用中，应为同样的URL通过加密算法之后，得到的地址是一样的。
我们可以对一系列的网址进行流量，点击等统计，挖掘出大多数用户的关注点，这样有利于我们对项目的后续工作更好的作出决策。

算法原理

算法一

1)将长网址md5生成32位签名串,分为4段, 每段8个字节;

2)对这四段循环处理, 取8个字节, 将他看成16进制串与0x3fffffff(30位1)与操作, 即超过30位的忽略处理;

3)这30位分成6段, 每5位的数字作为字母表的索引取得特定字符, 依次进行获得6位字符串;

4)总的md5串可以获得4个6位串; 取里面的任意一个就可作为这个长url的短url地址;

这种算法,虽然会生成4个,但是仍然存在重复几率,下面的算法一和三,就是这种的实现.

算法二

a-zA-Z0-9 这64位取6位组合,可产生500多亿个组合数量.把数字和字符组合做一定的映射,就可以产生唯一的字符串,如第62个组合就是aaaaa9,第63个组合就是aaaaba,再利用洗牌算法，把原字符串打乱后保存，那么对应位置的组合字符串就会是无序的组合。

把长网址存入数据库,取返回的id,找出对应的字符串,例如返回ID为1，那么对应上面的字符串组合就是bbb,同理 ID为2时，字符串组合为bba,依次类推,直至到达64种组合后才会出现重复的可能，所以如果用上面的62个字符，任意取6个字符组合成字符串的话，你的数据存量达到500多亿后才会出现重复的可能。

具体参看这里彻底完善新浪微博接口和超短URL算法,算法四可以算作是此算法的一种实现,此算法一般不会重复,但是如果是统计的话,就有很大问题,特别是对域名相关的统计,就抓瞎了。

java语言实现：

Java代码

public class ShortUrlGenerator {
/**
* @param args
*/
public static void main(String[] args) {
String sLongUrl = "http://474515923.qzone.qq.com" ; //长链接
String[] aResult = shortUrl (sLongUrl);
// 打印出结果
for ( int i = 0; i < aResult. length ; i++) {
System. out .println( "[" + i + "]:::" + aResult[i]);
}
}
public static String[] shortUrl(String url) {
// 可以自定义生成 MD5 加密字符传前的混合 KEY
String key = "mengdelong" ;
// 要使用生成 URL 的字符
String[] chars = new String[] { "a" , "b" , "c" , "d" , "e" , "f" , "g" , "h" ,
"i" , "j" , "k" , "l" , "m" , "n" , "o" , "p" , "q" , "r" , "s" , "t" ,
"u" , "v" , "w" , "x" , "y" , "z" , "0" , "1" , "2" , "3" , "4" , "5" ,
"6" , "7" , "8" , "9" , "A" , "B" , "C" , "D" , "E" , "F" , "G" , "H" ,
"I" , "J" , "K" , "L" , "M" , "N" , "O" , "P" , "Q" , "R" , "S" , "T" ,
"U" , "V" , "W" , "X" , "Y" , "Z"
};
// 对传入网址进行 MD5 加密
String sMD5EncryptResult = ( new CMyEncrypt()).md5(key + url);
String hex = sMD5EncryptResult;
String[] resUrl = new String[4];
for ( int i = 0; i < 4; i++) {
// 把加密字符按照 8 位一组 16 进制与 0x3FFFFFFF 进行位与运算
String sTempSubString = hex.substring(i * 8, i * 8 + 8);
// 这里需要使用 long 型来转换，因为 Inteper .parseInt() 只能处理 31 位 , 首位为符号位 , 如果不用 long ，则会越界
long lHexLong = 0x3FFFFFFF & Long.parseLong (sTempSubString, 16);
String outChars = "" ;
for ( int j = 0; j < 6; j++) {
// 把得到的值与 0x0000003D 进行位与运算，取得字符数组 chars 索引
long index = 0x0000003D & lHexLong;
// 把取得的字符相加
outChars += chars[( int ) index];
// 每次循环按位右移 5 位
lHexLong = lHexLong >> 5;
}
// 把字符串存入对应索引的输出数组
resUrl[i] = outChars;
}
return resUrl;
}
}

以下为php语言实现：

Php代码

<?php
function shorturl($input) {
$base32 = array (
'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h',
'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p',
'q', 'r', 's', 't', 'u', 'v', 'w', 'x',
'y', 'z', '0', '1', '2', '3', '4', '5'
);
$hex = md5($input);
$hexLen = strlen($hex);
$subHexLen = $hexLen / 8;
$output = array();
for ($i = 0; $i < $subHexLen; $i++) {
$subHex = substr ($hex, $i * 8, 8);
$int = 0x3FFFFFFF & (1 * ('0x'.$subHex));
$out = '';
for ($j = 0; $j < 6; $j++) {
$val = 0x0000001F & $int;
$out .= $base32[$val];
$int = $int >> 5;
}
$output[] = $out;
}
return $output;
}
?>

Php代码

<?php
function random($length, $pool = '')
{
$random = '';
if (emptyempty($pool)) {
$pool = 'abcdefghkmnpqrstuvwxyz';
$pool .= '23456789';
}
srand ((double)microtime()*1000000);
for($i = 0; $i < $length; $i++)
{
$random .= substr($pool,(rand()%(strlen ($pool))), 1);
}
return $random;
}
?>

跳转原理

当我们生成短链接之后，只需要在表中（数据库或者NoSql ）存储原始链接与短链接的映射关系即可。当我们访问短链接时，只需要从映射关系中找到原始链接，即可跳转到原始链接。

短地址原理以及相关实现

短网址服务两种不同算法JAVA实现

短网址（Short URL），顾名思义就是看起来很短的网址。自从twitter推出短网址服务以后，各大互联网公司都推出了自己的短网址服务。个人感觉短网址最大的优点就是短，字符少，便于发布、传播、复制和存储。

通过网上的搜索，感觉流传了2种短网址算法，一种是基于MD5码的，一种是基于自增序列的。

1、基于MD5码：这种算法计算的短网址长度一般是5位或者6位，计算过程中可能出现碰撞（概率很小），可表达的url数量为62 的5次方或6次方。感觉google(http://goo.gl)，微博用的是类似这种的算法（猜的），可能看起来比较美观。

2、基于自增序列：这种算法实现比较简单，碰撞的可能性为0，可表达的URL可达无穷大，长度从1开始。貌似百度的短网址服务( http://dwz.cn/)是这种算法.

具体算法

1、MD5码：假设url的长度为N

a.计算长地址的MD5码，将32位的MD码分成4段，每段8个字符

b.将a得到的8个字符串看成一个16进制的数，与N * 6个1表示的二进制数进行&操作

得到一个N * 6长的二进制数

c.将b得到的数分成N段，每段6位，然后将这N个6位数分别与61进行&操作，将得到的

数作为INDEX去字母表取相应的字母或数字，拼接就是一个长度为N的短网址。

		static final char[] DIGITS = { '0', '1', '2', '3', '4', '5', '6', '7',

				'8', '9', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j',

				'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v',

				'w', 'x', 'y', 'z', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H',

				'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T',

				'U', 'V', 'W', 'X', 'Y', 'Z' };

public String shorten(String longUrl, int urlLength) {

		if (urlLength < 0 || urlLength > 6) {

			throw new IllegalArgumentException(

					"the length of url must be between 0 and 6");

		}

		String md5Hex = DigestUtils.md5Hex(longUrl);

		// 6 digit binary can indicate 62 letter & number from 0-9a-zA-Z

		int binaryLength = urlLength * 6;

		long binaryLengthFixer = Long.valueOf(

				StringUtils.repeat("1", binaryLength), BINARY);

		for (int i = 0; i < 4; i++) {

			String subString = StringUtils

					.substring(md5Hex, i * 8, (i + 1) * 8);

			subString = Long.toBinaryString(Long.valueOf(subString, 16)

					& binaryLengthFixer);

			subString = StringUtils.leftPad(subString, binaryLength, "0");

			StringBuilder sbBuilder = new StringBuilder();

			for (int j = 0; j < urlLength; j++) {

				String subString2 = StringUtils.substring(subString, j * 6,

						(j + 1) * 6);

				int charIndex = Integer.valueOf(subString2, BINARY) & NUMBER_61;

				sbBuilder.append(DIGITS[charIndex]);

			}

			String shortUrl = sbBuilder.toString();

			if (lookupLong(shortUrl) != null) {

				continue;

			} else {

				return shortUrl;

			}

		}

		// if all 4 possibilities are already exists

		return null;

	}

2、自增序列：

a. 或者序列的自增值，将值用62进制表示。

private AtomicLong sequence = new AtomicLong(0);

	@Override

	protected String shorten(String longUrl) {

		long myseq = sequence.incrementAndGet();

		String shortUrl = to62RadixString(myseq);

		return shortUrl;

	}

	private String to62RadixString(long seq) {

		StringBuilder sBuilder = new StringBuilder();

		while (true) {

			int remainder = (int) (seq % 62);

			sBuilder.append(DIGITS[remainder]);

			seq = seq / 62;

			if (seq == 0) {

				break;

			}

		}

		return sBuilder.toString();

	}

本章摘自IT瘾。

短址(short URL)原理及其实现

前言：

最近看了一些关于短址（short URL）方面的一些博客，有些博客说到一些好的东西，但是，也不是很全，所以，这篇博客算是对其它博客的一个总结吧。

介绍：

短址，顾名思义，就是把长的 URL 转成短的 URL, 现在提供这种服务的有很多公司，我们以google家的 URL shortener 服务： http://goo.gl/ 为例。

首先我们到 http://goo.gl/，然后把本文博客的地址http://blog.csdn.net/beiyeqingteng 输入进去，最后它会返回一个更短的URL，http://goo.gl/Jfs6q 。如下图所示：

URL 解析：

当我们在浏览器里输入 http://goo.gl/Jfs6q 时，DNS首先解析获得http://goo.gl/的IP地址。当DNS获得IP地址以后（比如：74.125.225.72），会向这个地址发送HTTP GET请求，查询 Jfs6q，这个时候，http://goo.gl/服务器会把请求通过HTTP 301转到对应的长URL http://blog.csdn.net/beiyeqingteng 。后面的解析过程就和平常网址解析是一样的了。

短址本质：

短址本质上是实现了一个映射函数 f: X -> Y 。而这个映射函数必须同时具有两个特点：

1. 如果 x1 != x2, 则 f (x1) != f(x2);

2. 对于每一个 y, 能够找到唯一的一个 x 使得 f(x) = y;

对于任何的线性函数，比如 f(x) = 2x，都满足这样的条件。

好了，如果了解了短址的本质，我们再来看它是如何实现的。

注明：在google URL shortener 服务中，它允许一个长 url 对应多个短的url。这可能是出于安全上的考虑。在本文中，我们不考虑这种情况。

实现：

短址的长度一般设为 6 位，而每一位是由 [a - z, A - Z, 0 - 9] 总共 62 个字母组成的，所以6位的话，总共会有 62^6 ~= 568亿种组合，基本上够用了。在google URL shortener 服务中，短址长度为 5，大概有9亿多种组合.

假设我们用数据库来保存长地址和短地址的映射，那么，在表 LongtoShortURL 中，我们会有三列：

1. ID，int, 自动增长；

2. LURL，varchar, // 长URL；

3. SURL, varchar, // 短URL。

现在我们考虑通过如何长URL得到唯一的短URL。

在讲具体算法以前，先提一个问题：10进制数和16进制数之间的转换是否满足刚刚提到的映射函数 f: X -> Y中的两个条件？

答案：是。

本文的思路也是利用进制之间的转换。因为我们总共有 62 个字母，我们可以自创一种进制，叫做 62 进制。其规则如下：

0  → a

1  → b

...

25 → z

...

52 → 0

61 → 9

所以，对于每一个长地址，我们可以根据它的ID，得到一个6位的 62 进制数，这个6位的 62 进制数就是我们的短址。具体实现如下：

public ArrayList<Integer> base62(int id) {  

    ArrayList<Integer> value = new ArrayList<Integer>();

    while (id > 0) {

        int remainder = id % 62;

        value.add(remainder);

        id = id / 62;

    }  

    return value;

}

举例：

对于 ID = 138，通过 base62(138), 我们得到 value = [14, 2]。根据上面的对应规则表，我们可以得到其对应的短址为：aaaabn 。(由 value 得到具体的短址，可以通过switch 语句得到，因为代码太长，在此略过。)

当我们想通过短址找到所对应的长地址，方法也很简单，就是把62进制数转成10进制数即可，这样我们就可以得到长地址的ID了。代码如下：

public static int base10(ArrayList<Integer> base62) {

    //make sure the size of base62 is 6

    for (int i = 1; i <= 6 - base62.size(); i++) {

        base62.add(0, 0);

    }  

    int id = 0;

    int size = base62.size();

    for (int i = 0; i < size; i++) {

        int value = base62.get(i);

        id += (int) (value * Math.pow(62, size - i - 1));

    }  

    return id;

}

比如，对于短址aaae9a，其62进制为[0, 0, 0, 4,61,0] ，则其长地址的ID 为[0, 0, 0, 4,61,0] = 0×62^5+ 0×62^4 + 0×62^3 + 4×62^2 + 61×62^1 + 0×62^0 = 1915810。有了ID，我们自然就可以得到长地址了。

参考：http://stackoverflow.com/questions/742013/how-to-code-a-url-shortener (本文算法来源)

http://blog.sina.com.cn/s/blog_65db99840100lg4n.html

本章摘自http://blog.csdn.net/beiyeqingteng。

微博URL短网址生成算法原理及（java版、php版实现实例）

例如：http://t.cn/SzjPjA

短网址服务，可能很多朋友都已经不再陌生，现在大部分微博、手机邮件提醒等地方已经有很多应用模式了，并占据了一定的市场。估计很多朋友现在也正在使用。

看过新浪的短连接服务，发现后面主要有6个字符串组成，于是第一个想到的就是原来公司写的一个游戏激活码规则，也就是下面的算法2，

短链接的好处：

1、内容需要；2、用户友好；3、便于管理。

为什么要这样做的，原因我想有这样几点：

微博限制字数为140字一条，那么如果我们需要发一些连接上去，但是这个连接非常的长，以至于将近要占用我们内容的一半篇幅，这肯定是不能被允许的，所以短网址应运而生了。

短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖暴力，广告等信息，这样我们可以通过用户的举报，完全管理这个连接将不出现在我们的应用中，应为同样的URL通过加密算法之后，得到的地址是一样的。

我们可以对一系列的网址进行流量，点击等统计，挖掘出大多数用户的关注点，这样有利于我们对项目的后续工作更好的作出决策。