graph TD
    A[用户自然语言输入] --> B[数据库表结构识别]
    B --> C[生成SQL查询]
    C --> D[执行SQL获取数据]
    D --> E[数据分析处理]
    E --> F[生成可视化图表]
    F --> G[展示分析结果]
    
    subgraph 表结构识别流程
    H[首次连接提取表结构] --> I[创建向量索引]
    I --> J[语义检索相关表结构]
    J --> K[提供上下文给LLM]
    end

# 使用uv运行DB-GPT服务
uv run dbgpt start webserver --config configs/dbgpt-proxy-temp-tongyi.toml

[models]
[[models.llms]]
name = "qwen-max-latest"
provider = "${env:LLM_MODEL_PROVIDER:-proxy/tongyi}"
api_base = "https://dashscope.aliyuncs.com/compatible-mode/v1"
api_key = "${env:DASHSCOPE_API_KEY:-sk-xxxxxxxxxxxxxx}"

[[models.embeddings]]
name = "text-embedding-v3"
provider = "${env:EMBEDDING_MODEL_PROVIDER:-proxy/tongyi}"
api_url = "https://dashscope.aliyuncs.com/compatible-mode/v1/embeddings"
api_key = "${env:DASHSCOPE_API_KEY:-sk-xxxxxxxxxxxxxx}"

# 核心方法: db_summary_client.py中的get_db_summary
def get_db_summary(self, dbname, query, topk):
    """获取与用户查询相关的表信息"""
    table_vector_connector, field_vector_connector = self._get_vector_connector_by_db(dbname)
    retriever = DBSchemaRetriever(
        top_k=topk,
        table_vector_store_connector=table_vector_connector,
        field_vector_store_connector=field_vector_connector,
        separator="--table-field-separator--",
    )
    
    table_docs = retriever.retrieve(query)
    ans = [d.content for d in table_docs]
    return ans

# prompt.py中的核心提示词模板
_DEFAULT_TEMPLATE = """
根据以下表结构定义：
{table_info}
提供专业的数据分析以支持用户的目标：
{input}

根据用户目标提供至少4个且最多8个维度的分析。
分析的输出数据不能超过4列，且不要使用pay_status等列作为SQL where条件进行数据过滤。
根据分析数据的特点，从下面提供的图表中选择最适合的一种进行数据展示，图表类型：
{supported_chat_type}

注意分析结果输出内容的长度，不要超过4000个token

给出正确的{dialect}分析SQL
1.不要使用未提供的值，如'paid'
2.所有查询的值必须有别名，如select count(*) as count from table
3.如果表结构定义使用{dialect}的关键字作为字段名，需要使用转义字符，如select `count` from table
4.仔细检查SQL的正确性，SQL必须正确，显示方法和简要分析思路的总结，并以以下json格式回复：
{response}
"""

# chat.py中的do_action方法
def do_action(self, prompt_response):
    chart_datas: List[ChartData] = []
    dashboard_data_loader = DashboardDataLoader()
    for chart_item in prompt_response:
        try:
            field_names, values = dashboard_data_loader.get_chart_values_by_conn(
                self.database, chart_item.sql
            )
            chart_datas.append(
                ChartData(
                    chart_uid=str(uuid.uuid1()),
                    chart_name=chart_item.title,
                    chart_type=chart_item.showcase,
                    chart_desc=chart_item.thoughts,
                    chart_sql=chart_item.sql,
                    column_name=field_names,
                    values=values,
                )
            )
        except Exception as e:
            logger.warning(f"Failed to get chart data: {str(e)}")

# 创建虚拟环境
conda create -n dbgpt-hub python=3.10
conda activate dbgpt-hub

# 安装依赖
pip install dbgpt-hub

{
  "example_text2sql_train": {
    "file_name": "example_text2sql_train.json"
  },
  "example_text2sql_dev": {
    "file_name": "example_text2sql_dev.json"
  }
}

CUDA_VISIBLE_DEVICES=0 python -m dbgpt_hub.train.sft \
    --stage sft \
    --model_name_or_path baichuan-inc/Baichuan2-7B-Base \
    --do_train \
    --dataset example_text2sql_train \
    --finetuning_type lora \
    --output_dir output_baichuan2 \
    --overwrite_cache \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 5e-5 \
    --num_train_epochs 40.0 \
    --plot_loss \
    --bf16