go中使用web

web是基于http协议的一个服务,Go中提供了一个完善的net/http包,通过http包可以很方便的搭建一个可以运行的web服务。

http包建立web服务器:

package main

import (
    "fmt"
    "net/http"
    "strings"
    "log"
)

func sayHello(w http.ResponseWriter, r *http.Request) {
    fmt.Fprintf(w, "Hello World!")
}

func main() {
    http.HandleFunc("/", sayHello)

    err := http.ListenAndServe(":9000", nil)

    if err != nil {
        log.Fatal("ListenAndServe:", err)
    }
}

go run main.go后,打开浏览器,输入http://localhost:9000将看到输出Hello World!

web工作方式的几个概念

以下均是服务器端的几个概念

Request :用户请求的信息,用来解析用户的请求信息,包括post、get、cookie、url等信息

Response :服务器需要反馈给客户端的信息

Conn :用户的每次请求链接

Handler :处理请求和生成返回信息的处理逻辑

http有两个核心功能:Conn、ServeMux

Conn的goroutine

与一般编写的http服务器不同, Go为了实现高并发和高性能, 使用了goroutines来处理Conn的读写事件, 这样每个请求都能保持独立,相互不会阻塞,可以高效的响应网络事件。这是Go高效的保证。

Go在等待客户端请求里面是这样写的:

c, err := srv.newConn(rw)
if err != nil {
    continue
}
go c.serve()

可以看到客户端的每次请求都会创建一个Conn,这个Conn里面保存了该次请求的信息,然后再传递到对应的handler,该handler中便可以读取到相应的header信息,这样保证了每个请求的独立性。

ServeMux的自定义

前面讲述conn.server的时候,其实内部是调用了http包默认的路由器,通过路由器把本次请求的信息传递到了后端的处理函数。那么这个路由器是怎么实现的呢?

它的结构如下:

type ServeMux struct {
    mu sync.RWMutex   //锁,由于请求涉及到并发处理,因此这里需要一个锁机制
    m  map[string]muxEntry  // 路由规则,一个string对应一个mux实体,这里的string就是注册的路由表达式
    hosts bool // 是否在任意的规则中带有host信息
}

下面看一下muxEntry

type muxEntry struct {
    explicit bool   // 是否精确匹配
    h        Handler // 这个路由表达式对应哪个handler
    pattern  string  //匹配字符串
}

接着看一下Handler的定义

type Handler interface {
    ServeHTTP(ResponseWriter, *Request)  // 路由实现器
}

Handler是一个接口,前边例子的sayHello并没有实现ServeHTTP接口,是因为在http包中还定义了一个类型HandlerFuncsayHello实际上是HandlerFunc调用后的结果,这个类型默认实现了ServeHTTP接口,就是说,当我们调用了HandlerFunc(f),强制将f转换为了HandlerFunc类型,这样f就拥有了ServeHTTP方法。

type HandlerFunc func(ResponseWriter, *Request)

// ServeHTTP calls f(w, r).
func (f HandlerFunc) ServeHTTP(w ResponseWriter, r *Request) {
    f(w, r)
}

路由器里面存储好了相应的路由规则之后,那么具体的请求又是怎么分发的呢?请看下面的代码,默认的路由器实现了ServeHTTP

func (mux *ServeMux) ServeHTTP(w ResponseWriter, r *Request) {
    if r.RequestURI == "*" {
        w.Header().Set("Connection", "close")
        w.WriteHeader(StatusBadRequest)
        return
    }
    h, _ := mux.Handler(r)
    h.ServeHTTP(w, r)
}

如上所示路由器接收到请求之后,如果是*那么关闭链接,不然调用mux.Handler(r)返回对应设置路由的处理Handler, 然后执行h.ServeHTTP(w, r)

也就是调用对应路由的handlerServerHTTP接口,那么mux.Handler(r)怎么处理的呢?

func (mux *ServeMux) Handler(r *Request) (h Handler, pattern string) {
    if r.Method != "CONNECT" {
        if p := cleanPath(r.URL.Path); p != r.URL.Path {
            _, pattern = mux.handler(r.Host, p)
            return RedirectHandler(p, StatusMovedPermanently), pattern
            }
        }
    return mux.handler(r.Host, r.URL.Path)
}

func (mux *ServeMux) handler(host, path string) (h Handler, pattern string) {
    mux.mu.RLock()
    defer mux.mu.RUnlock()

    // Host-specific pattern takes precedence over generic ones
    if mux.hosts {
        h, pattern = mux.match(host + path)
    }
    if h == nil {
        h, pattern = mux.match(path)
    }
    if h == nil {
        h, pattern = NotFoundHandler(), ""
    }
    return
}

根据用户请求的URL和路由器里面存储的map去匹配,当匹配到之后返回存储的handle,调用这个handle的ServeHTTP接口就可以执行到相应的函数了。

通过上面这个介绍,我们了解了整个路由过程,Go其实支持外部实现的路由器 ListenAndServe的第二个参数就是用以配置外部路由器的,它是一个Handler接口,即外部路由器只要实现了Handler接口就可以,我们可以在自己实现的路由器的ServeHTTP里面实现自定义路由功能。

如下代码所示,我们自己实现了一个简易的路由器:

package main

import (
    "fmt"
    "net/http"
)

type MyMux struct {
}

func (p *MyMux) ServeHTTP(w http.ResponseWriter, r *http.Request) {
    if r.URL.Path == "/" {
        sayhelloName(w, r)
        return
    }
    http.NotFound(w, r)
    return
}

func sayhelloName(w http.ResponseWriter, r *http.Request) {
    fmt.Fprintf(w, "Hello myroute!")
}

func main() {
    mux := &MyMux{}
    http.ListenAndServe(":9090", mux)
}

Go代码的执行流程:

通过对http包的分析之后,现在让我们来梳理一下整个的代码执行过程。

首先调用Http.HandleFunc

按顺序做了几件事:

1 调用了DefaultServeMuxHandleFunc

2 调用了DefaultServeMuxHandle

3 往DefaultServeMuxmap[string]muxEntry中增加对应的handler和路由规则

其次调用http.ListenAndServe(":9090", nil)

按顺序做了几件事情:

1 实例化Server

2 调用ServerListenAndServe()

3 调用net.Listen("tcp", addr)监听端口

4 启动一个for循环,在循环体中Accept请求

5 对每个请求实例化一个Conn,并且开启一个goroutine为这个请求进行服务go c.serve()

6 读取每个请求的内容w, err := c.readRequest()

7 判断handler是否为空,如果没有设置handler(这个例子就没有设置handler),handler就设置为DefaultServeMux

8 调用handlerServeHttp

9 在这个例子中,下面就进入到DefaultServeMux.ServeHttp

10 根据request选择handler,并且进入到这个handlerServeHTTP

11 选择handler:

A 判断是否有路由能满足这个request(循环遍历ServerMuxmuxEntry

B 如果有路由满足,调用这个路由handlerServeHttp

C 如果没有路由满足,调用NotFoundHandlerServeHttp

实例中,我们自定义了一个handle。

web/server.go

func Handler(cfg Config) http.Handler {
    fileServer := http.FileServer(&assetfs.AssetFS{
        Asset:     Asset,
        AssetDir:  AssetDir,
        AssetInfo: AssetInfo,
    })

    info := Info{
        buildTime: version.BuildTime,
        version:   version.Version,
    }

    return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        if !haveUI() {
            http.ServeContent(w, r, "index.html", info.GoTime(), bytes.NewReader(bareIndexHTML))
            return
        }

        if r.URL.Path != "/" {
            fileServer.ServeHTTP(w, r)
            return
        }

        if err := indexHTMLTemplate.Execute(w, indexHTMLArgs{
            ExperimentalUseLogin: cfg.ExperimentalUseLogin,
            LoginEnabled:         cfg.LoginEnabled,
            }); err != nil {
            err = errors.Wrap(err, "templating index.html")
            http.Error(w, err.Error(), 500)
            log.Fatalln(err)
            }
        })
}

首先获取静态资源:

fileServer := http.FileServer(&assetfs.AssetFS{
    Asset:     Asset,
    AssetDir:  AssetDir,
    AssetInfo: AssetInfo,
    })

其次获取包的版本信息:

info := Info{
    buildTime: version.BuildTime,
    version:   version.Version,
    }

最后返回http.HandlerFunc,在其中定义了以下逻辑:

  1. 如果加载不到静态资源,返回一个无资源界面。
  2. 如果不是"/"返回对应的路由。
  3. 通过模板加载index.html

静态资源的使用

使用Go开发应用的时候,有时会遇到需要读取静态资源的情况。比如开发Web应用,程序需要加载模板文件生成输出的HTML。在程序部署的时候,除了发布应用可执行文件外,还需要额外的发布依赖的静态资源文件。这给发布过程添加了一些麻烦。既然发布单独一个可执行文件是非常简单的操作,就有人会想办法把静态资源文件打包进Go的程序文件中。

在hubble中使用go-bindata方案。

go-bindata是一个可以把静态资源文件嵌入到go文件中,并提供一个操作方法的包。

然后结合go-bindata-assetfs,就可以很方便的使用静态资源了。

安装

go get -u github.com/kevinburke/go-bindata/go-bindata

或者下载https://github.com/kevinburke/go-bindata/releases/download/v*/go-bindata-linux-amd64 对应的二进制文件,然后mv go-bindata-linux-amd64 go-bindata,之后移动到$GOPATH/bin目录下。

使用

go-bindata -pkg dist$* -o dist/bindata.go -prefix dist$* dist$*/...

-pkg 包名 -o 输出文件 -prefix 去除路径

-prefix去除路径的含义如下:

不加参数:

go-bindata /path/to/templates/

_bindata["/path/to/templates/foo.html"] = path_to_templates_foo_html

加参数:

go-bindata -prefix "/path/to/" /path/to/templates/

_bindata["templates/foo.html"] = templates_foo_html

bindata时可以去掉不必要的路径。

在实例中,使用了前边说的generate

//go:generate go-bindata -pkg dist$* -o dist/bindata.go -prefix \
    dist$* dist$*/... -ignore=\\.go

这样在build时可以使用go generate&&go build

http.FileSystem是定义HTTP静态文件服务的接口。go-bindata-assetfs实现了这个接口, 支持 HTTP 访问静态文件目录的行为。详细使用请参考实例的web/server.go文件。

目前构建脚本未调整,还需要手动在bindata.go的import中增加 "gitee.com/beagledata_1/cobra-example/web",在结尾增加 func init() { web.Asset = Asset; web.AssetDir = AssetDir; web.AssetInfo = AssetInfo }

目的是将go-bindata.go中的AssetAssetDirAsserInfo与web包下的三个函数绑定。

当然,如果是简单写法,直接在使用时用:

fs := assetfs.AssetFS{
        Asset:     bindata.Asset,
        AssetDir:  bindata.AssetDir,
        AssetInfo: bindata.AssetInfo,
    }

现在的写法的目的是不需要先生成bindata.go编译也不会报错。

start.go的import中增加_ "gitee.com/beagledata_1/cobra-example/web/dist"的目的是调用go-bindata.go中的init。把静态资源加载到server.go中。

构建后,./cobra-example start --addr localhost --port 12345即可访问到对应的页面了。

更高级的用法就是和nodejs结合,做到前后端的分离,前端只需要使用nodejs将前端打包成静态文件,然后再与go对接即可。