【转载】关于微博内容中的短地址ShortURL

短网址应用已经在全国各大微博上开始流行了起来。例如QQ微博的url.cn，新郎的sinaurl.cn等。

我们在QQ微博上发布网址的时候，微博会自动判别网址，并将其转换，例如：http://url.cn/2hytQx

为什么要这样做的，原因我想有这样几点：

  1. 微博限制字数为140字一条，那么如果我们需要发一些连接上去，但是这个连接非常的长，以至于要占用将近一半的内容篇幅，这肯定是不能友好的，所以短网址应运而生。
  2. 短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可能会涵盖色情，暴力，广告等信息，这样我们可以通过用户的举报，完全管理这个连接，将不出现在我们的应用中，因为同样的URL通过加密算法之后，得到的地址是一样的。
  3. 我们可以对一系列的网址进行流量，点击等统计，挖掘出大多数用户的关注点，这样有利于我们对项目的后续工作更好的作出决策。

其实以上三点纯属个人观点，因为在我接下来的部分项目中会应用到，所以就了解了一下，下面先来看看短网址映射算法的理论（网上找到的资料）：

  1. 将长网址md5生成32位签名串，分为4段，每段8个字节；
  2. 对这四段循环处理，取8个字节，将他看成16进制串与0x3fffffff(30位1)与操作，即超过30位的忽略处理；
  3. 这30位分成6段，每5位的数字作为字母表的索引取得特定字符，依次进行获得6位字符串；
  4. 总的md5串可以获得4个6位串；取里面的任意一个就可作为这个长url的短url地址；

很简单的理论，我们并不一定说得到的URL是唯一的，但是我们能够取出4组URL，这样几乎不会出现太大的重复。

下面来看看程序部分：

01 public static string[] ShortUrl(string url)
02 {
03     //可以自定义生成MD5加密字符传前的混合KEY
04     string key = "Leejor";
05     //要使用生成URL的字符
06     string[] chars = new string[]{
07         "a","b","c","d","e","f","g","h",
08         "i","j","k","l","m","n","o","p",
09         "q","r","s","t","u","v","w","x",
10         "y","z","0","1","2","3","4","5",
11         "6","7","8","9","A","B","C","D",
12         "E","F","G","H","I","J","K","L",
13         "M","N","O","P","Q","R","S","T",
14         "U","V","W","X","Y","Z"
15     };
16   
17     //对传入网址进行MD5加密
18     string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");
19  
20     string[] resUrl = new string[4];
21  
22     for (int i = 0; i < 4; i++)
23     {
24         //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算
25         int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16);
26         string outChars = string.Empty;
27         for (int j = 0; j < 6; j++)
28         {
29             //把得到的值与0x0000003D进行位与运算，取得字符数组chars索引
30             int index = 0x0000003D & hexint;
31             //把取得的字符相加
32             outChars += chars[index];
33             //每次循环按位右移5位
34             hexint = hexint >> 5;
35         }
36         //把字符串存入对应索引的输出数组
37         resUrl[i] = outChars;
38     }
39     return resUrl;
40 }

现在可以直接使用该方法，可以等到下面四组值：

1 ShortUrl(http://www.me3.cn)[0];  //得到值fAVfui
2 ShortUrl(http://www.me3.cn)[1];  //得到值3ayQry
3 ShortUrl(http://www.me3.cn)[2];  //得到值UZzyUr
4 ShortUrl(http://www.me3.cn)[3];  //得到值36rQZn

在存放这个URL的数据方面，我个人推荐TTServer，有的朋友可以没有听说过，下面是这个数据库的介绍：

Tokyo Cabinet 是日本人 Mikio Hirabayashi（平林幹雄）のページ 开发的一款DBM数据库(注：大名鼎鼎的DBM数据库qdbm就是他开发的)，该数据库读写非常快。insert:0.4sec/1000000 recordes(2500000qps)，写入100万数据只需要0.4秒。search:0.33sec/1000000 recordes (3000000 qps)，读取100万数据只需要0.33秒。

可以看到对于字典类型的数据Key/Value的查询，这个数据库可以说是我目前见过效率非常高的，况且他如此的小巧，用来对short url/long url的配对再好不过。

原文链接：http://www.nowamagic.net/webdesign/webdesign_ShortUrlInTwitter.php

 

前言：

最近看了一些关于短址（short URL）方面的一些博客，有些博客说到一些好的东西，但是，也不是很全，所以，这篇博客算是对其它博客的一个总结吧。


介绍：

短址，顾名思义，就是把长的 URL 转成短的 URL, 现在提供这种服务的有很多公司，我们以google家的 URL shortener 服务： http://goo.gl/ 为例。

首先我们到 http://goo.gl/，然后把本文博客的地址http://blog.csdn.net/beiyeqingteng 输入进去，最后它会返回一个更短的URL，http://goo.gl/Jfs6q 。如下图所示：




URL 解析：

当我们在浏览器里输入 http://goo.gl/Jfs6q 时，DNS首先解析获得http://goo.gl/的IP地址。当DNS获得IP地址以后（比如：74.125.225.72），会向这个地址发送HTTP GET请求，查询 Jfs6q， 这个时候，http://goo.gl/服务器会把请求通过HTTP
301转到对应的长URL http://blog.csdn.net/beiyeqingteng 。后面的解析过程就和平常网址解析是一样的了。


短址本质：

短址本质上是实现了一个映射函数 f: X -> Y 。而这个映射函数必须同时具有两个特点：

1. 如果 x1 != x2, 则 f (x1) != f(x2);

2. 对于每一个 y, 能够找到唯一的一个 x 使得 f(x) = y;

对于任何的线性函数，比如 f(x) = 2x，都满足这样的条件。


好了，如果了解了短址的本质，我们再来看它是如何实现的。

注明：在google URL shortener 服务中，它允许一个长 url 对应多个短的url。这可能是出于安全上的考虑。在本文中，我们不考虑这种情况。


实现：

短址的长度一般设为 6 位，而每一位是由 [a – z, A – Z, 0 –
9] 总共 62 个字母组成的，所以6位的话，总共会有 62^6 ~= 568亿种组合，基本上够用了。在google URL shortener
服务中，短址长度为 5，大概有9亿多种组合.


假设我们用数据库来保存长地址和短地址的映射，那么，在表 LongtoShortURL 中，我们会有三列：

1. ID，int,  自动增长；

2. LURL，varchar,  // 长URL；

3. SURL, varchar,  // 短URL。


现在我们考虑通过如何长URL得到唯一的短URL。


在讲具体算法以前，先提一个问题：10进制数和16进制数之间的转换是否满足刚刚提到的映射函数 f: X -> Y中的两个条件？

答案： 是。


本文的思路也是利用进制之间的转换。因为我们总共有 62 个字母，我们可以自创一种进制，叫做 62 进制。其规则如下：

 

[html] view plaincopy
  1. 0  → a  
  2. 1  → b  
  3. …  
  4. 25 → z  
  5. …  
  6. 52 → 0  
  7. 61 → 9  

所以，对于每一个长地址，我们可以根据它的ID，得到一个6位的 62 进制数，这个6位的 62 进制数就是我们的短址。具体实现如下：

 

[java] view plaincopy
  1. public ArrayList<Integer> base62(int id) {  
  2.       
  3.     ArrayList<Integer> value = new ArrayList<Integer>();  
  4.     while (id > 0) {  
  5.         int remainder = id % 62;  
  6.         value.add(remainder);  
  7.         id = id / 62;  
  8.     }  
  9.       
  10.     return value;  
  11. }  

举例：

对于 ID = 138，通过 base62(138), 我们得到 value = [14, 2]。根据上面的对应规则表，我们可以得到其对应的短址为：aaaabn 。(由 value 得到具体的短址，可以通过switch 语句得到，因为代码太长，在此略过。)


当我们想通过短址找到所对应的长地址，方法也很简单，就是把62进制数转成10进制数即可，这样我们就可以得到长地址的ID了。代码如下：

 

[java] view plaincopy
  1. public static int base10(ArrayList<Integer> base62) {  
  2.     //make sure the size of base62 is 6  
  3.     for (int i = 1; i <= 6 – base62.size(); i++) {  
  4.         base62.add(0, 0);  
  5.     }  
  6.       
  7.     int id = 0;  
  8.     int size = base62.size();  
  9.     for (int i = 0; i < size; i++) {  
  10.         int value = base62.get(i);  
  11.         id += (int) (value * Math.pow(62, size – i – 1));  
  12.     }  
  13.       
  14.     return id;  
  15. }  

比如，对于短址aaae9a，其62进制为[0, 0, 0, 4,61,0] ，则其长地址的ID 为[0, 0, 0, 4,61,0] = 0×62^5+ 0×62^4 + 0×62^3 + 4×62^2 + 61×62^1 + 0×62^0 = 1915810。有了ID，我们自然就可以得到长地址了。


参考：http://stackoverflow.com/questions/742013/how-to-code-a-url-shortener (本文算法来源)

http://blog.sina.com.cn/s/blog_65db99840100lg4n.html

转载请注明出处：http://blog.csdn.net/beiyeqingteng

版权声明：本文为technic-emotion原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/technic-emotion/articles/3690336.html