国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 服務器 > 管理維護 > 正文

微博縮短網址是如何實現的_負載集群教程

2024-09-10 14:21:08
字體:
來源:轉載
供稿:網友
由于微博字數限制,網址縮短被普遍使用。加上網址縮短服務提供商提供網址追蹤等服務,這一業務日漸興起。知名網址縮短服務商Bit.ly的主要業務便是為微博Twitter提供網址縮短服務。 比如sina微博的sinaurl.cn,騰訊微博的url.cn等。

  實現原理很簡單,主要是將用戶提交的 url 地址轉化成一個唯一的字串,這個字串就對應著真實的 url,怎么樣實現這種轉換呢?

  數據庫只有兩個字段seq(自增長數字)和url(數字的url地址,建立索引)。

  用戶輸入一個url地址,查詢表是否包含此url,如果存在,則返回seq的數字,

  如果不存在,則插入數據庫,得到一個新增加的自增seq數字,為了縮短數字占用的字符數,我們可以把abc等字母的大小寫用上。這樣10個數字,26個小寫字母,26個大小字母就組成了一個62進制了。比如數字10000000000(100億)轉換后就是aUKYOA,只有6位了,這樣就能縮短很多的網址了。

<?php//十進制轉到其他制function dec2any($num, $base=62, $index=false){  if (!$base)  {    $base = strlen($index);  }  elseif(!$index)   {    $index = substr("0123456789abcdefghijklmnopqrstuvwxyz    ABCDEFGHIJKLMNOPQRSTUVWXYZ", 0, $base );  }  $out = "";  for ($t = floor(log10($num) / log10($base )); $t >= 0; $t-- )   {    $a = floor( $num / pow( $base, $t ) );    $out = $out . substr( $index, $a, 1 );    $num = $num - ( $a * pow( $base, $t ) );  }  return $out;}function any2dec($num, $base=62, $index=false){   if (!$base)  {    $base = strlen( $index );  }  elseif(!$index)  {    $index = substr("0123456789abcdefghijklmnopqrstuvwxyz    ABCDEFGHIJKLMNOPQRSTUVWXYZ", 0, $base);  }  $out = 0;  $len = strlen($num) - 1;  for ($t = 0; $t <= $len; $t++)  {    $out = $out + strpos($index, substr($num, $t, 1 )) * pow($base, $len - $t);  }  return $out;}?>

  得到縮短的網址以后,怎樣實現網址的轉發呢?可以利用 ttserver,將縮短網縮字串當作key,真實的 url 地址當作 value,存入ttserver中。ttserver本身就提供 http 訪問,只需要稍加修改就可以直接利用 ttserver 進行縮短網址的轉發:

  在 ttserver 源碼目錄下找到 ttserver.c 這個文件,這里我用的是 tokyotyrant-1.1.39 ,跳到第 2981 行,將下面的幾行改成圖中所示:

微博縮短網址的實現

  保存退出,編譯安裝 ttserver,網上有很多安裝教程,可以參考。

  啟動 ttserver,并向里面寫入一條 key 為 aaaaaa,value為 http://www.baidu.com 的值。

curl -X PUT http://127.0.0.10:11221/aaaaaa -d "http://www.baidu.com"

  主要目的是用 http 訪問 ttserver 時直接取得到真實的 url 并做轉發。這樣做很方便,但不安全,ttserver 的 http 還支持刪除、修改、插入數據(當然也可以修改 ttserver 的 http 訪問入口,屏蔽掉這幾種操作)。負載均衡方面,可以通過添加多條 A 記錄隨機轉發到不同的 ttserver 機器上,但這樣每臺機器上存放的數據必須相同,網上也有說過ttserver  存過千萬左右的數據以后不太穩定。

  利用 nginx 就能很好解決直接用 ttserver 的問題,用 nginx 過濾掉 http 訪問 ttserver 的刪除、修改、插入的操作,并為多臺 ttserver 提供反向代理的功能。如下圖所示:

微博縮短網址的實現

  安裝 nginx,我這里采用的是 nginx-0.8.36.tar.gz。安裝 nginx 請參考:http://blog.s135.com/nginx_php_v6。

  打開 nginx.conf 配置文件:

#user  nobody;#啟動 8 個 nginx 進程worker_processes  8;#error_log  logs/error.log;#error_log  logs/error.log  notice;#error_log  logs/error.log  info;#pid        logs/nginx.pid;events {    # 用 epoll,最大連接數    use epoll;    worker_connections 65535;}http {    include       mime.types;    default_type  application/octet-stream;    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '    #                  '$status $body_bytes_sent "$http_referer" '    #                  '"$http_user_agent" "$http_x_forwarded_for"';    #access_log  logs/access.log  main;    sendfile        on;    #tcp_nopush     on;    # 由于只做轉發,將超時時間設為 0    keepalive_timeout  0;    #gzip  on;    # 反向代理 ttserver 1 號機,這里我放在一臺機器上開了三個不同端口    upstream backend_1 {        server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s;    }    # 反向代理 ttserver 2 號機    upstream backend_2 {        server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s;    }    # 反向代理 ttserver 3 號機    upstream backend_3 {        server 127.0.0.10:11221 weight=5 max_fails=3 fail_timeout=1s;    }    server {        listen       80;        server_name  url.cn;        #charset koi8-r;        #access_log  logs/host.access.log  main;        #當路徑包含/count的時候,則代理到ttserver后端進行請求數據。	#請注意,這里屏蔽了PUT,DELETE,POST方法,只是使用了GET,主要目的是為了安全性,    #因為DELETE,POST,PUT是可以修改數據的	location ~* /count(.*) {	    if ($request_method = PUT ) {	        return 403;	    }	    if ($request_method = DELETE ) {	        return 403;	    }	    if ($request_method = POST ) {	        return 403;	    }	    proxy_method GET;	}        #將以 a-z 為第一個字符的 url 代理到 ttserver 1 號機	location ~* "^/([a-z]{1})([a-zA-Z0-9]{5})" {	    proxy_pass http://backend_1;	}        #將以 A-Z 為第一個字符的 url 代理到 ttserver 2 號機	location ~* "^/([A-Z]{1})([a-zA-Z0-9]{5})" {	    proxy_pass http://backend_2;	}        #將以 0-9 為第一個字符的 url 代理到 ttserver 3 號機	location ~* "^/([0-9]{1})([a-zA-Z0-9]{5})" {	    proxy_pass http://backend_3;	}        #error_page  404              /404.html;        # redirect server error pages to the static page /50x.html        #        error_page   500 502 503 504  /50x.html;        location = /50x.html {            root   html;        }    }} 

  保存 nginx.conf 退出,現在就可以啟動 ttserver了,我這里做演示,為了方便就在一臺機器的三個端口啟動了三個 ttserver。如圖:

點擊查看大圖

  這里用 /ttserver/url_1 存放 ttserver 1號機的數據,依此類推,分別在 11222、11223啟動 ttserver。

  接著啟動 nginx:

ulimit -SHn 65535/usr/local/nginx/sbin/nginx

  接著在服務器上用下面的命令插入測試數據:

curl -X PUT http://127.0.0.10:11221/aaaaaa -d "http://www.baidu.com"curl -X PUT http://127.0.0.10:11222/Aaaaaa -d "http://www.soso.com"curl -X PUT http://127.0.0.10:11223/1aaaaa -d "http://www.qq.com"

  配置你機器的 hosts 指向 nginx 服務器:

127.0.0.10    url.cn

  現在我們就可以打開瀏覽器,輸入 http://url.cn/aaaaaa 就可以跳轉到 baidu 上了,http://url.cn/Aaaaaa 就可以跳轉到 soso 了,http://url.cn/1aaaaa 就可以跳轉到 qq 上。至此配置完成,nginx只做轉發工作,應付大規模的訪問應該沒什么問題,這也正是 nginx 所擅長的。ttserver 數據的取值操作也是很快的,在后面可以多開幾臺 ttserver,分散大量訪問時的負載。

  前臺程序根據用戶提交的 url 生成短的 url 后,根據前面的 nginx 分發規則寫到某一臺 ttserver 中,就可以了。nginx還支持一直 url hash 的均衡,但需要安裝一個第三方模塊ngx_http_upstream_hash_module,具體可以參考:http://www.CuoXIn.com/System/plus/view.php?aid=6486

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 太白县| 深泽县| 上饶县| 阜南县| 遵义市| 自治县| 洛南县| 延津县| 桓台县| 赣榆县| 屏东县| 康保县| 华亭县| 永年县| 北辰区| 榆树市| 朝阳市| 扎兰屯市| 诸暨市| 西丰县| 舟曲县| 禹城市| 大名县| 商城县| 张家界市| 南漳县| 廊坊市| 宿州市| 三亚市| 株洲县| 海原县| 延吉市| 合山市| 平塘县| 潞西市| 江永县| 泗水县| 沈丘县| 浪卡子县| 上思县| 松桃|