Merge pull request #604 from yalechen-cyw/main

🎨 Add enhanced_safety_java

Author: bensonhome

client/tool/collie.py

@@ -22,13 +22,11 @@ def __init__(self, params):
         self.sensitive_word_maps = {"Collie": "Tool", "collie": "Tool"}
 
     def analyze(self, params):
-        relpos = len(params.source_dir) + 1
         issues = list()
         collie = Tool(params=params)
         func_output = collie.check()
         if func_output and os.path.exists(os.path.join(func_output, "check.csv")):
             for issue in collie.get_issue(os.path.join(func_output, "check.csv")):
-                issue["path"] = issue["path"][relpos:]
                 issues.append(issue)
 
         return issues

client/tool/util/collie.py

@@ -8,6 +8,7 @@
 
 import os
 import csv
+import json
 import sys
 import psutil
 
@@ -19,6 +20,7 @@
 from util.pathfilter import PathMgr, FilterPathUtil
 from util.textutil import CommentsManager
 from util.logutil import LogPrinter
+from util.configlib import ConfigReader
 from node.app import settings
 from task.authcheck.check_license import __lu__
 
@@ -125,10 +127,40 @@ def check(self, files=None, want_suffix=None, force_all=False, method_mode=False
         ]
         if method_mode:
             options.append("-m")
+
+        # 默认开启所有规则
+        # 支持指定规则，使用配置文件的方式，以下是demo
+        # {
+        #     "enableCheckers": {
+        #         "GoFuncVisitor": {},
+        #         "JavaScriptFuncVisitor": {
+        #             "ignoreNestingMethods": true
+        #         }
+        #     }
+        # }
+        config = dict()
+        enable_rules = dict()
+        rule_list = self.params.get("rule_list", list())
+        for rule in rule_list:
+            # 因为有这个字段但本身就是None，所以返回None
+            rule_params = rule.get("params")
+            if rule_params is None:
+                rule_params = ""
+            if f"[{self.tool_name.lower()}]" not in rule_params:
+                rule_params = f"[{self.tool_name.lower()}]\r\n" + rule_params
+            rule_params_dict = ConfigReader(cfg_string=rule_params).read(self.tool_name.lower())
+            enable_rules[rule["name"]] = rule_params_dict
+        config["enableCheckers"] = enable_rules
+        config_path = os.path.join(self.work_dir, f"{self.tool_name}_config.json")
+        with open(config_path, "w") as f:
+            json.dump(config, f, indent=2)
+        options.extend(["-c", config_path])
+
         scan_cmd = self.get_cmd(options)
 
         spc = SubProcController(
             scan_cmd,
+            cwd=self.tool_home,
             stdout_line_callback=subprocc_log,
             stderr_line_callback=subprocc_log,
         )
@@ -171,8 +203,9 @@ def get_issue(self, output):
         if not output or not os.path.exists(output):
             return
 
+        relpos = len(self.params.source_dir) + 1
         rules = self.params.get("rules", list())
-        
+
         f = open(output, "r", encoding="utf-8")
         fieldnames = (
             "checker",
@@ -185,19 +218,33 @@ def get_issue(self, output):
         reader = csv.DictReader(csv_f, fieldnames)
         next(reader)
         for row in reader:
-            path = row["path"]
+            path = row["path"][relpos:]
             line = int(row["line"])
             column = int(row["column"])
             rule = row["checker"]
             if rule not in rules:
                 continue
             msg = row["description"]
+
+            row_refs = row[None]
+            refs = list()
+            for ref in row_refs:
+                parts = ref.split(":")
+                refs.append(
+                    {
+                        "line": parts[2],
+                        "column": parts[3],
+                        "msg": parts[0],
+                        "path": parts[1][relpos:],
+                    }
+                )
             yield {
                 "rule": rule,
                 "msg": msg,
                 "path": path,
                 "line": line,
                 "column": column,
+                "refs": refs,
             }
 
         f.close()

doc/en/quickStarted/enhanceDeploy.md

@@ -24,9 +24,13 @@ TCA 增强分析模块，需要用户额外部署 License 鉴权微服务，并
 ### 准备
 - 一台 CLS 微服务专属机器，CLS 微服务需要跟该机器绑定
 
+**注意：不能随意删除CLS目录**
+
 ### 步骤
 1. 在 TCA 源码中[`server/cls`](https://github.com/Tencent/CodeAnalysis/tree/main/server/cls) 目录下执行以下命令，获取 `Server ID` 和 `Client License`
 
+**注意：需要在 CLS 目录下执行命令**
+
 ```shell
 $ ./cls server
 2022-04-13 18:35:29.356510559 +0800 CST [INFO] Version: 20220328.1
@@ -42,8 +46,8 @@ xxx
 ```ini
 [LICENSE_CONFIG]
 ; [可选]使用独立工具时，需要填写，默认不需要
+; License服务的域名和端口
 URL=http://<IP或者域名>:<port>
-;License服务的域名和端口
 BASE_PATH=
 LICENSE=<Client License>
 ```
@@ -88,7 +92,7 @@ tommyzhang@tencent.com
 ```
 
 6. 启动 TCA 分析任务
-在 TCA 平台的分析方案里面勾选独立工具相关的规则包。
+在 TCA 平台的分析方案里面勾选独立工具相关的规则包，比如依赖组件分析规则包，然后启动一次分析任务，执行正常则表明设置生效。
 
 ### CLS 运维
 #### 自动重启

doc/zh/quickStarted/enhanceDeploy.md

@@ -24,9 +24,13 @@ TCA 增强分析模块，需要用户额外部署 License 鉴权微服务，并
 ### 准备
 - 一台 CLS 微服务专属机器，CLS 微服务需要跟该机器绑定
 
+**注意：不能随意删除CLS目录**
+
 ### 步骤
 1. 在 TCA 源码中[`server/cls`](https://github.com/Tencent/CodeAnalysis/tree/main/server/cls) 目录下执行以下命令，获取 `Server ID` 和 `Client License`
 
+**注意：需要在 CLS 目录下执行命令**
+
 ```shell
 $ ./cls server
 2022-04-13 18:35:29.356510559 +0800 CST [INFO] Version: 20220328.1
@@ -42,8 +46,8 @@ xxx
 ```ini
 [LICENSE_CONFIG]
 ; [可选]使用独立工具时，需要填写，默认不需要
+; License服务的域名和端口
 URL=http://<IP或者域名>:<port>
-;License服务的域名和端口
 BASE_PATH=
 LICENSE=<Client License>
 ```
@@ -88,7 +92,7 @@ tommyzhang@tencent.com
 ```
 
 6. 启动 TCA 分析任务
-在 TCA 平台的分析方案里面勾选独立工具相关的规则包。
+在 TCA 平台的分析方案里面勾选独立工具相关的规则包，比如依赖组件分析规则包，然后启动一次分析任务，执行正常则表明设置生效。
 
 ### CLS 运维
 #### 自动重启