关于 Build 能力的完善和建设

[anycodes]

Build能力在Serverless架构下，是不可以忽略的功能，但是现在部分组件的build能力还是不足的。此处可以一起讨论一下，一个优秀的build组件应该具备哪些功能，以及我们后期要看齐的方向。

一个Build应该要具备三个层面的使用方法：

• 快速安装依赖/项目构建
• 可以执行一些脚本安装一些内容
• 可以登陆到实例处理一些能力

针对快速安装依赖/项目构建和：应该有用户提供相对应的文件（例如package.json，requirements.txt等），然后快速安装：

  -f, --dockerfile string   [Optional] Specify the dockerfile path             
  -d, --use-docker          [Optional] Use docker container to build functions 
  --use-buildkit               [Optional] Use buildkit to build functions
  --custom-env               [Optional] Custom environment variables, Json String: {"key": "value"}, effective under  --use-docker
  --custom-args             [Optional] Custom args, effective under  --use-docker
  --script-file                  [Optional] Install script file, shell command, effective under  --use-docker
  --script-command

此时开发者如果进行构建，可以：

s build --use-docker --custom-env '{"pythonVersion": "python3"}' --custom-args "-i http://test.com"

针对可以执行一些脚本安装一些内容：用户可以提供一个脚本，例如一个script.txt文件：

pip install ****
git clone ***
echo ****

此时开发者如果进行构建，可以：

s build --use-docker --custom-env '{"pythonVersion": "python3"}' --custom-args "-i http://test.com" --script-file script.txt

此时，系统不会自动去检测对应的依赖文件（例如package.json，requirements.txt等），而是选择执行脚本文件。

在帮助文档中要说明，挂载的目录是哪里，需要将结果复制到指定的目录下才可以顺利导出

除了上面的部分，还可以给用户提供一个exec的能力，即s build exec，该方法是将当前的代码目录挂载到实例中，然后允许用户登录到实例进行处理。

在帮助文档中要说明，挂载的目录是哪里，需要将结果复制到指定的目录下才可以顺利导出

Build

  Build the dependencies 

Document

  https://github.com/devsapp/fc/blob/main/docs/zh/command/build.md 

Usage

  $ s build <option> 

Options

  -f, --dockerfile string   [Optional] Specify the dockerfile path             
  -d, --use-docker          [Optional] Use docker container to build functions 
  --use-buildkit            [Optional] Use buildkit to build functions        
  --custom-env                             [Optional] Custom environment variables, Json String: {"key": "value"}, effective under  --use-docker
  --custom-args             [Optional] Custom args
  --script-file                  [Optional] Install script file, shell command, effective under  --use-docker
  --command                 []

Global Options

  --debug string          [Optional] Output debug informations   
  -h, --help              [Optional] Help for command            
  -t, --template string   [Optional] Specify the template file   
  -a, --access string     [Optional] Specify key alias           

Options Help

  Required: Required parameters in YAML mode and CLI mode            
  C-Required: Required parameters in CLI mode                        
  Y-Required: Required parameters in Yaml mode                       
  Optional: Non mandatory parameter                                  
  ✋ The difference between Yaml mode and CLI mode: http://ej6.net/yc 

SubCommand List

  sandbox    Exec instance and build application 

Others

  You can override the default docker image version by setting up the           
  'FC_DOCKER_VERSION' environment variable                                      
  For example: export 'FC_DOCKER_VERSION=latest'                                
  For all available versions, see https://github.com/aliyun/fc-docker or        
  https://hub.docker.com/u/aliyunfc    

[rsonghuster]

在 build 这块

• 如果是开发者使用，我个人感觉回退到 sandbox 的模式是最佳的，即上面列的最后一个实例登录处理能力。
• 如果是放在的 ci 或者流水线上， 现在这种功能可能是需要的，可以兼容

之前遗留下来的 fun 的 build 能力， 我个人感觉太多黑盒的东西

以这个为例， 甚至用了一个图来解释源码和交付物， 这个看起来是简化了用户的操作， 但是这个其实更多带来的是黑盒操作（如图列出来的 1，2，3，4）：

1. 一旦报错， 用户基本懵逼
2. 比如截图的 python 示例， 按照这个图的原理， 源码和交付物在不同的目录， 我们总是要 s build & s deploy， 但是 build 都是重复的， 而且时间可能会比较长， 因此我们又要为了 build 速度去做各种优化， 如果这个时候， 用户不知道 s build & s deploy， 而是直接 s deploy， 他会感觉他的代码一直没有生效（python 是解释型语言， 用户不习惯 build， 认为 build 完成了安装的操作是理所当然的）

其实我希望是这种模式：

1. 编译型语言， java 和 go

默认开发 java 的是本地安装了 openjdk， go 开发是本地安装了 golang 的， 直接在 actions 完成编译就好

• java8， java 本身是跨平台语言， 本地编译即可， 只要示例给的 pom.xml 是编译成无 dep 的 jar 包
• go， go 本身支持在指令系统交叉编译

2. 解释型语言， python、nodejs、 PHP等， 本质是依赖包的安装

• s build 的行为就是在当前目录完成安装， 然后 s deploy 自动加上对应的环境变量， 不要搞什么交付物在一个 .s/build/xxx 目录下面， 这样也就不需要搞什么 build link 这种奇怪的东西了， 而且 codeuri 这个参数认知是一致的

当然这块有类似 apt-get 那种 cache 更好

• 为了防止不是纯脚本实现的lib，可以直接 sandbox 里面执行 pip install -t . xxx 这种命令即可， 然后继续正常的开发就好， 不需要每次s build & s deploy

4. apt-get 安装

本质是一段 shell 脚本将对应的 pkg 安装到代码包目录， 可以将这个 shell 脚本内置到 sandbox， 比如在 sandbox 执行 s-install apt-get install lib-xxx, 就在当前目录有完整 .s/usr/lib 目录， 然后提醒用户， 在 FC 函数里面设置 env LD_LIBRARY_PATH=/code/.s/usr/lib 即可

5. dockerfile
   这个没有问题， 保持原来就好

[anycodes]

另外，build这里还需要注意：

我们还应该提供一个应用中心可以识别的能力，如果在应用中心--use-docker就会默认编程--use-local，这个可以通过环境变量来做。

关于镜像这里可能要在应用中心场景下单独看

[rsonghuster]

比如设置了 ENV FC_BUILD_ENV=fc-backend, s 工具的 s build 指令就自动根据 runtime 来执行 s build --use-local 还是 s build --use-kaniko

[anycodes]

------------现有基础上优化

s build --use-docker --custom-args '--production --registry XXXXXX'

package.json  -> s build  -> npm install -> npm install --production --registry XXXXXX      
env -> s build -> exp -> 之前的操作

-------------高阶功能，必须要引导告诉用户的挂载目录等

--script-command -> 单纯的执行命令      
--script-file-> 单纯的执行脚本

sandbox

-------------针对系统优化

ENV FC_BUILD_ENV=fc-backend

-------------下一期支持cache

[anycodes]

s build --use-docker --custom-args '--production --registry XXXXXX'

后面的--custom-args '--production --registry XXXXXX'，需要用户对 build原理有了解：

1. install
2. 构建目录 .s/a/node/

---

docker container：pypi： alibaba

AI: pytorch->800M

s build --use-docker alibaba有限速 必失败 timeout 

-i 清华 
-i 豆瓣

/------------------

nodejs taobao

taobao != npm

数据不同步
taobao代码包不一样
npm国内速度比较慢

npm install
npm install --production

---

funcraft

--registry <npm-url>                 Configure npm to use any compatible registry, and even run your own registry.
--index-url <pip-url>                Base URL of Python Package Index (default https://pypi.org/simple). This should point to a repository compliant with PEP 503 (the simple repository API) or a local

---

1. command -> pip install

[anycodes]

• 本地

s build
--custom-args

• 进入到container / 交互

s build sandbox

其中 sandbox 的语义， 是拉起 runtime 的 fc-docker build image, 然后将当前目录挂载到容器的 /code 目录， 当然 /code 目录里面可以跳转到映射到本地 codeuri 的目录， 然后可以执行自定义的命令， 在这里推荐两个命令：

• s-install apt-get install xxx, 会在当前目录生成 .s/root/xxx 目录， 然后告诉增加环境变量 LD_LIBRARY_PATH 即可

• s-install pip install xxxx, 会在当前目录生成 .s/python/xxx 目录， 然后告诉增加环境变量 PYTHONUSEBASE 即可

• 在container，执行 / 非交互式

s build --use-docker
--command
--script-file
--custom-args
--custom-env