Tài liệu gốc 33 18 phútTiếng Việt + English
docs/glossary.mdXem bản gốc Bản dịch tiếng Việt
Bản dịch đầy đủ theo đúng cấu trúc tài liệu; code, liên kết và định danh kỹ thuật được giữ nguyên.
Thuật ngữ
Từ vựng chuẩn cho coding agent. Khi mã, tài liệu, thông số kỹ thuật hoặc cuộc trò chuyện sử dụng khái niệm miền, hãy sử dụng thuật ngữ như xuất hiện ở đây. Những PR giới thiệu hoặc đổi tên một khái niệm miền sẽ cập nhật tệp này với cùng một thay đổi. Cơ sở lý luận và cơ chế tồn tại trong các ADR được tham chiếu, không phải ở đây.
| Kỳ hạn | Định nghĩa | Ghi chú |
|---|---|---|
| harness | Trình bao bọc runtime xung quanh vòng lặp agent: hàng đợi tin nhắn, cổng ưu tiên và kết nối tới TUI, hộp cát, móc và dịch vụ. | Toàn bộ hệ thống đang chạy trừ đi chính mô hình đó. |
| Vòng lặp agent | Vòng lặp Pydantic-AI ReAct xen kẽ giữa lệnh gọi LLM và công cụ cho đến khi nhiệm vụ được hoàn thành. | Một vòng mỗi lượt. |
| Cổng ưu tiên | Việc kiểm tra giữa các lần lặp vòng lặp sẽ đưa các thông báo của người dùng mới đến vào vòng lặp đang chạy. | Được thực hiện bởi hàng đợi Chỉ đạo + Theo dõi. |
| Chỉ đạo | Dòng người dùng ở giữa lượt được đưa vào trước chặng yêu cầu mô hình tiếp theo (không bao giờ là giữa luồng/công cụ giữa). | đồng bằng Enter trong khi bận (ADR-0002 §4). Theo dõi tương phản. |
| Theo dõi | Hàng người dùng xếp hàng chỉ cạn khi lượt dừng lại, tiếp tục như một lượt rẽ nữa. | Alt+Enter trong khi bận rộn. Chỉ đạo tương phản. |
| Kênh quyết định | Bề mặt đầu vào giữa lượt duy nhất: người yêu cầu chờ đợi một tương lai và vòng lặp đầu vào sẽ định tuyến dòng được nhập tiếp theo vào đó. | Chuyến bay đơn; phục vụ Phê duyệt Trì hoãn và AskUser (ADR-0002 §3-4). |
| Phê duyệt hoãn lại | Bước cấp phép yêu cầu trên mọi công cụ: một công cụ được kiểm soát sẽ tạm dừng quá trình chạy cho đến khi việc cho phép/từ chối của con người giải quyết được. | Cơ cấu công cụ trì hoãn cũng cho phép đánh lái giữa chừng (ADR-0002 §2-3). |
| Người dùng hỏi | Công cụ chặn, không có điều kiện: agent hỏi một câu hỏi dạng tự do và câu trả lời được đánh máy sẽ trở thành kết quả của công cụ. | Đi trên Kênh Quyết định, không phải cổng (ADR-0002 §7). |
| Hộp cát | Ranh giới thực thi cho các tác dụng phụ do mô hình chọn: MỘT SandboxExecutor trên Phần cuối của hộp cát (docker/modal) chia sẻ Không gian làm việc liên tục trong phiên, thực thi mới cho mỗi cuộc gọi; none = chủ nhà LocalExecutor, byte giống hệt nhau. | Sự trừu tượng hóa cơ sở hạ tầng có chủ ý (ADR-0011 §1, ADR-0012). Docker chứa hành vi sai trái vô tình; Modal là bậc thang mã không đáng tin cậy. |
| Giao diện dịch vụ | Ranh giới hiển thị các máy chủ LLM Gateway, Bộ nhớ, LSP và máy chủ MCP cho agent. | Khác biệt với tools/ (những gì mô hình gọi). |
| Nén | Tầng đầu tiên tương đối với cửa sổ, rẻ nhất giúp thu gọn một cuộc trò chuyện dài: Vi tính ở mức ~60% đầy đủ, Nén gọn đầy đủ (một cuộc gọi LLM, tóm tắt + đuôi nguyên văn) ở mức ~80% hoặc thủ công /compact. | Sự nén chặt hoàn toàn vẫn tồn tại như một compaction dòng điểm kiểm tra JSONL; phát lại sẽ xây dựng lại nó. compaction_enabled chỉ cổng xếp tầng tự động (ADR-0006). |
| Ranh giới nén | Điểm cắt hợp lệ cho phần đuôi nguyên văn được giữ nguyên: lượt người dùng ModelRequest HOẶC bất kỳ ModelResponse - không bao giờ ModelRequest thực hiện trả lại/thử lại công cụ, do đó quá trình nén không bao giờ làm mất đi cặp lệnh gọi công cụ/kết quả. | Snap-back đi đến ranh giới hợp lệ GẦN NHẤT, không phải điểm bắt đầu rẽ - một lượt tác động dài vẫn có thể nén được. Được chia sẻ bởi nén chặt hoàn toàn và nén vi mô (ADR-0006 §5 được sửa đổi bởi ADR-0018 §1). |
| Kết quả nén | Kết quả ba giá trị của phép nén hoàn toàn - COMPACTED / NOTHING_TO_COMPACT / SUMMARIZER_FAILED - nổi lên như khác biệt /compact dòng và một dòng nhật ký INFO trên trình kích hoạt tự động được kích hoạt nhưng không thành công. | Thay thế bool mơ hồ; SUMMARIZER_FAILED tên .decode/logs/decode.log (ADR-0018 §3). |
| Vi tính | Tầng trong bộ nhớ, không có LLM, giá rẻ: xóa các phần đầu ra công cụ cũ bằng một trình giữ chỗ, không bao giờ xóa tin nhắn. | Không được duy trì - tiếp tục phát lại toàn bộ lịch sử và hiển thị lại các máy tính nhỏ (ADR-0006 §3a). |
| Nén bộ nhớ | Nén khi thoát của MEMORY.md ở giới hạn 200 dòng: một cuộc gọi LLM giá rẻ bị loại bỏ/hợp nhất thay vì cuộc gọi cũ nhất bị loại bỏ (vẫn là dự phòng). | Kiểm soát bởi memory_compression_enabled; không gây tử vong (ADR-0006 §8). |
| Thước đo bối cảnh | Chỉ báo điền chân trang TUI (○ ◔ ◑ ◕ ● + %) hiển thị token đầu vào so với cửa sổ nén, được tô màu theo cùng ngưỡng cấp. | Cài đặt cửa sổ tương tự như Nén - nguồn sự thật duy nhất (ADR-0006 §9). Đọc mức sử dụng yêu cầu do nhà cung cấp báo cáo của mô hình CUỐI CÙNG (input_tokens + cache_read_tokens), không bao giờ là tổng tích lũy chân; ngay sau khi nén hoàn toàn, nó hiển thị nhanh ước tính chars≈/4 của lịch sử được lưu giữ cho đến báo cáo chặng tiếp theo (ADR-0018 §2, §4). |
| subagent | Một agent con được sinh ra thông qua Công cụ agent cho một tác vụ có phạm vi, chỉ đọc, trả về một báo cáo đã nén — một tác vụ được lồng trong quá trình xử lý agent.run() với số dep bị thu hẹp. | Một tàu: khám phá (subagent: true). Chỉ đọc theo cấu trúc; sinh ra thông qua Fan-out; bảng điểm là phù du (ADR-0013, ADR-0017). |
| Tan ra | MỘT agent(prompts=[…]) công cụ gọi sinh sản N Khám phá các Subagent đồng thời — được đảm bảo khai thác (asyncio.gather bên dưới semaphore trên mỗi vòng lặp) - và gấp MỘT tập hợp được gắn nhãn lại, một phần cho mỗi dấu nhắc. | Giới hạn chiều rộng ở 6 dấu nhắc (ModelRetry: hợp nhất); subagent_max_parallel là trần ĐỒNG BỘ riêng biệt. Một phần tử con là danh sách một phần tử (ADR-0017 §1-2,4-5). |
| Báo cáo agent phụ | Bản tóm tắt có cấu trúc chặt chẽ mà phần con Khám phá trả về: phát hiện, tệp:bằng chứng dòng và dấu vết mà nó theo sau - được nén để N báo cáo anh chị em chia sẻ ngân sách gấp của cha mẹ (subagent_result_max_bytes // N mỗi cái). | BAD = trống hoặc không có lệnh gọi công cụ nào (được trả lời từ bộ nhớ); một người đã thử sinh sản lại bằng một cú huých, sau đó là một ghi chú lỗi rõ ràng (ADR-0017 §6-8). |
| Chế độ dài dòng | Nút bật tắt Ctrl+O của TUI (tắt theo mặc định): hiển thị từng lệnh gọi công cụ của Khám phá Subagent dưới dạng thụt lề [child N] các dòng trong đầu ra của cha mẹ, N = chỉ mục nhắc nhở dựa trên 1 của nó. | Trực tiếp giữa lượt — cờ cưỡi AgentDeps.verbose và được đọc tại thời điểm EMIT, do đó Fan-out đang chạy sẽ tuân theo nó ngay lập tức; trạng thái hiển thị ở chân trang (ADR-0013 §8 sửa đổi). |
| Chân trang tổng hợp | Hướng dẫn đóng harness kèm theo trên mỗi bộ tổng hợp agent kết quả: tổng hợp N Báo cáo agent con thành MỘT câu trả lời - văn xuôi cộng với sơ đồ văn bản (mặc định ASCII; Nàng tiên cá chỉ dành cho đồ thị chính hãng). | Đúng lúc và ở một nơi - không bao giờ theo lời nhắc của cá nhân; được nối thêm sau khi cắt bớt, do đó không tốn ngân sách con (ADR-0017 §9). |
| Kỹ năng | Đơn vị lệnh có thể tái sử dụng: thư mục <name>/SKILL.md (frontmatter + Markdown body), được mô hình tải theo yêu cầu (skill(name)) hoặc người dùng (/<name>). | Hướng dẫn được đưa vào, không phải mã thực thi được; các hành động được mô tả vẫn vượt qua cổng công cụ riêng của chúng (ADR-0004 §7). Một kỹ năng dự án sẽ ghi đè lên một kỹ năng tích hợp tương tự name. |
| KỸ NĂNG.md | Tệp mục nhập chuẩn duy nhất của thư mục Skill: YAML frontmatter (name + description) + phần thân lệnh. | Bản sắc của kỹ năng là vấn đề hàng đầu name, không phải tên thư mục (ADR-0004 §3). |
| Tài nguyên đi kèm | Các tập tin/thư mục anh chị em tùy chọn (references/, examples/, scripts/, …) của kỹ năng dự án, được tải theo yêu cầu (cấp 3). | Chỉ kỹ năng dự án - phần tích hợp chỉ có SKILL.md. Được hiển thị bởi đoạn giới thiệu tài nguyên của người điều phối (ADR-0004 §3). |
| Danh mục kỹ năng | Chỉ mục nhẹ (tên + mô tả một dòng cho mỗi kỹ năng) được đưa vào lời nhắc hệ thống. | "Thực đơn"; tải toàn thân theo yêu cầu (ADR-0004). |
| Người điều phối kỹ năng | Kẻ vô dụng skill(name) công cụ trả về toàn bộ nội dung của kỹ năng (cộng với đoạn giới thiệu tài nguyên khi Tài nguyên đi kèm tồn tại, cộng với đoạn giới thiệu Thư mục đầu ra thường trực). | Chia sẻ format_skill_payload với /<name> Lệnh TUI; không biết tên → ModelRetry (ADR-0004 §7). |
| Tiết lộ lũy tiến | Chiến lược tải kỹ năng ba cấp: danh mục luôn hiện diện → nội dung được gọi → tài nguyên theo yêu cầu. | Mỗi bậc chỉ được thanh toán khi đạt đến (ADR-0004). |
| Thư mục đầu ra | .decode/outputs/ — ngôi nhà mặc định cho các tệp MỚI mà một kỹ năng tạo ra, được gắn vào mọi trọng tải kỹ năng dưới dạng đoạn giới thiệu cố định; đích đến do người dùng đặt tên luôn thắng. | Gitignored với phần còn lại của .decode/* (chỉ skills/ được theo dõi), vì vậy việc chạy kỹ năng không bao giờ làm ảnh hưởng đến cây dự án. Các chỉnh sửa đối với các tập tin hiện có vẫn được giữ nguyên. |
| Chế độ cấp phép | Chế độ đánh giá của cổng - default / plan / edit / bypass — quyết định cho phép/yêu cầu/từ chối cùng với kiểu công cụ và Quy tắc cấp phép. | Có thể thay đổi trên cổng; được luân chuyển bằng Shift+Tab (ADR-0003 §1). |
| Chế độ mặc định | Tự động cho phép công cụ chỉ đọc; công cụ đột biến hỏi. | Mặc định khởi động. |
| Chế độ kế hoạch | Tự động cho phép công cụ chỉ đọc; mọi công cụ đột biến đều bị từ chối bằng một con trỏ tới exit_plan_mode. | ADR-0003 §1,8. |
| Chế độ chỉnh sửa | Tự động cho phép các công cụ chỉ đọc và chỉnh sửa tệp; các công cụ đột biến khác (bash) hỏi. | hay còn gọi là chấp nhậnSửa đổi; exit_plan_mode đất ở đây sau khi được phê duyệt. |
| Chế độ bỏ qua | Mọi cuộc gọi công cụ đều được phép mà không cần nhắc nhở. | Sử dụng cẩn thận. |
| kiểu công cụ | Phân loại quyền của một công cụ - read_only, file_edithoặc other - được khai báo một lần trên thông số đăng ký của nó. | todo_write là read_only (trong bộ nhớ) — ADR-0003 §2. |
| Quy tắc cấp phép | Mục nhập cho phép/từ chối Tool(pattern) khớp với chủ đề của cuộc gọi (bash→command, file→path, web→url). | Nguồn: .decode/settings.json + agent phía trước. Ưu tiên: từ chối → cho phép → chế độ (ADR-0003 §3-4). |
| Danh mục agent | Tập hợp các đặc tính agent được tích hợp sẵn (Xây dựng, Lập kế hoạch, Khám phá, Người đánh giá mã): Các tệp đánh dấu có frontmatter + nội dung nhắc nhở hệ thống, được xác thực khi khởi động. | các subagent: bool trục chia tách sơ bộ (--agent / /agent) từ các cá nhân chỉ dành cho subagent (khám phá) — ADR-0003 §5, ADR-0013. |
| agent (nhân cách) | Một mục nhập Danh mục agent: một AgentDef mang theo lời nhắc hệ thống, danh sách công cụ cho phép, quy tắc tùy chọn và Chế độ cấp phép mặc định. | Khác biệt với Pydantic-AI Agent đối tượng (ADR-0003 §5-7). |
| Công cụ agent | Mô hình có thể gọi được agent(prompts) công cụ tạo ra Fan-out của Khám phá các subagent và trả về một tổng hợp được gắn nhãn Báo cáo subagent của chúng cộng với Chân trang tổng hợp. | ToolKind.READ_ONLY - tự động cho phép. Đầu vào được bảo vệ (ModelRetry) về chất và chiều rộng; đồng thời bị giới hạn bởi subagent_max_parallel, mỗi đứa trẻ bằng subagent_max_requests. Được cấp cho các cuộc bầu cử sơ bộ, không bao giờ được khám phá (ADR-0013 §7,10; ADR-0017). |
| EnterPlanMode / ExitPlanMode | Các công cụ có thể gọi theo mô hình để chuyển cổng sang Chế độ lập kế hoạch và quay lại; exit_plan_mode yêu cầu con người phê duyệt kế hoạch. | Ungated — họ sử dụng Kênh Quyết định (ADR-0003 §8). |
| Nhà cung cấp LLM | Phần phụ trợ suy luận được chọn theo cấu hình — gemini / openrouter / modal - mỗi cái có thông tin xác thực và id mẫu mặc định riêng. | Mặc định gemini vẫn tồn tại .env các tệp đang hoạt động (ADR-0005 §1). |
| Đường may nhà cung cấp | các agent/factory._build_model() người trợ giúp phân nhánh trên Nhà cung cấp LLM; phần còn lại của build_agent() vẫn là nhà cung cấp bất khả tri. | Song Tử → GoogleModel; OpenRouter/Modal → OpenAIChatModel (ADR-0005 §3, 02_modal_endpoints.md §6). |
| Mã thông minh | Hiểu biết ngữ nghĩa về mã nguồn - định nghĩa, tài liệu tham khảo, di chuột, chẩn đoán - thông qua Máy chủ ngôn ngữ, trên hai kênh: lsp công cụ (hoạt động) và Công cụ hỗ trợ chẩn đoán (thụ động). | Chỉ dành cho Python; nỗ lực tốt nhất (ADR-0007). |
| Máy chủ ngôn ngữ | Quá trình decode quy trình LSP bên ngoài sẽ bao gồm - ty server theo mặc định, có thể tráo đổi thông qua lsp_server_command/lsp_server_args. | Một cái cho mỗi gốc dự án, được sinh ra một cách lười biếng; chỉ chẩn đoán kéo (ADR-0007). |
| Dịch vụ LSP | ứng dụng khách JSON-RPC-over-stdio được cuộn bằng tay của decode cho một Máy chủ Ngôn ngữ — mục nhập Giao diện Dịch vụ cụ thể đầu tiên. | Lười biếng, lưu trữ, nỗ lực hết mình ở mọi nơi; không có thư viện giao thức (ADR-0007). |
| Công cụ hỗ trợ chẩn đoán | Kênh thụ động: sau khi thành công .py write/edit, khối chẩn đoán chỉ có lỗi sẽ được thêm vào kết quả của công cụ. | Nhận được sự chấp thuận của bản chỉnh sửa; im lặng trên các tập tin sạch; kiểm soát bởi lsp_diagnostics_on_edit (ADR-0007). |
| runtime headless | Đường vào thứ hai, không tương tác: Kitaru Bền Flow chạy tương tự build_agent() tự động, được phát động bởi decode run "<task>". | Nhận Phát lại/Chờ thay vì Chỉ đạo/Hủy bỏ; cùng tồn tại với TUI; kiểm soát bởi runtime_enabled (ADR-0008). |
| Dòng chảy bền bỉ | Kitaru @flow chức năng (runtime/flow.py::run_agent_task) gói agent cho runtime headless. | Một luồng = một nhiệm vụ tự trị; Kitaru được nhập khẩu trực tiếp (ADR-0008). |
| Điểm kiểm tra | Bản ghi lâu bền mà Kitaru ghi cho mỗi lệnh gọi mô hình/công cụ ("calls", mặc định) hoặc mỗi lần chạy ("turn"); trên Phát lại điểm kiểm tra đã hoàn thành phục vụ từ bộ nhớ đệm. | Không giống như việc nén checkpoint Dòng JSONL (ADR-0008). |
| Phát lại | Chạy lại quá trình thực thi Luồng bền vững với các Điểm kiểm tra đã hoàn thành được cung cấp từ bộ đệm - tiếp tục sự cố hoặc điều gì sẽ xảy ra từ một neo đã chọn với một đầu vào luồng đã thay đổi. | Thượng nguồn của from_ được lưu trữ; neo + thực hiện lại xuôi dòng. Chờ đợi được yêu cầu lại trên ngăn xếp cục bộ (ADR-0008 §8, ADR-0010). |
| Đợi đã (HITL) | Một khoảng dừng lâu dài tạm dừng một luồng cho đến khi người vận hành giải quyết nó (kitaru executions input …), sau đó tiếp tục từ cùng một điểm. | Kết nối Kênh Quyết định ở chế độ luồng; cũng ủng hộ sự bền bỉ sleep bộ đếm thời gian (ADR-0008 §3-4,6). |
| Nhóm môi trường | Bí mật Kitaru có nguồn gốc decode-<env> giúp hydrat hóa toàn bộ Settings bề mặt ở một điều khiển từ xa DECODE_ENV - một tấm gương chính xác của .env, chỉ được viết bởi make sync-secrets ENV=<env>. | Giá trị đất ở Settings chỉ - không bao giờ os.environ/một môi trường công nhân; quy trình ưu tiên env> nhóm> mặc định, với .env bị rơi hoàn toàn ở một môi trường từ xa. CHỈ CỦA Kitaru get_secret đường nối trong decode (ADR-0015). |
| DECODE_ENV | Bộ chọn môi trường bootstrap - local / dev / staging / prod - quyết định cơ chế tiêm nào sẽ cấp dữ liệu Settings: .env tại local, nếu không thì là Nhóm môi trường. Không có gì khác. | Đã giải quyết ngoài băng tần (tệp dotenv, được phủ bởi tiến trình env) vì nó quyết định liệu nhóm có được đọc hay không. Tại local (mặc định) decode không bao giờ nhập kitaru (ADR-0015). |
| Chế độ hộp cát | các SANDBOX_MODE thiết lập - none / docker / modal — chọn phần phụ trợ cho toàn bộ quá trình, được chọn một lần khi khởi động. | Trình bảo vệ khởi động thoát thân thiện nếu chương trình phụ trợ không khả dụng hoặc --repo được đặt dưới none (ADR-0011 §1, ADR-0012). |
| Công nhân | Quy trình được đóng hộp cát chạy các lệnh và hoạt động tệp do mô hình chọn - vùng chứa Docker hoặc hộp cát Modal lưu trữ Không gian làm việc. | Nguyên tắc: nó giữ chính xác thông tin xác thực mà người dùng chọn cung cấp - hôm nay SANDBOX_GIT_TOKEN, tiêm trực tiếp như GITHUB_TOKEN trong cả hai phần phụ trợ và không có gì khác. Một quy trình được đóng hộp cát có thể đọc token đó: sử dụng PAT có phạm vi, có thể hủy bỏ. Chưa đặt → không có thông tin xác thực nào cả (ADR-0016 §2). |
| Không gian làm việc | Cây bị cô lập có chế độ hộp cát cung cấp cho agent: /workspace ≡ chủ nhà .decode/sandbox/ ≡ một bản sao của --repo/SANDBOX_REPO (hoặc một vết xước trống). Toàn bộ phạm vi công cụ của agent (deps.cwd) sống ở đây. | Khác biệt với Trang chủ khai thác. Xem Bàn tay lại (ADR-0012). |
| Trang chủ khai thác | Khởi chạy cwd, nơi neo giữ tất cả các tạo phẩm khai thác (phiên, MEMORY.md, nhật ký, kỹ năng, tệp quyền), bất kể chế độ hộp cát. Tiếp tục AgentDeps.harness_home. | Chỉ phạm vi công cụ di chuyển vào Không gian làm việc; trong none chế độ Khai thác Trang chủ == deps.cwd (ADR-0012). |
| Phần cuối của hộp cát | Bộ điều hợp mỗi phụ trợ mỏng (SandboxBackend Giao thức) đằng sau một SandboxExecutor: exec + tập tin ops + vòng đời. Hai tàu: DockerBackend, ModalBackend. | Logic công cụ phía máy chủ được chia sẻ vẫn ở phía trên đường nối; chỉ vận chuyển byte là cho mỗi phụ trợ. none không có phụ trợ (ADR-0012). |
| Trở lại | Sự đảm bảo rằng kết quả của phiên hộp cát vẫn tồn tại: a decode/<session-id> Nhánh phiên nắm bắt Không gian làm việc cuối cùng (mô hình cam kết được giữ nguyên) và được đẩy trở lại nguồn gốc của repository, tất cả phía máy chủ. | Cần thông tin xác thực không trong hộp cát - mọi lệnh git đều chạy phía máy chủ với thông tin xác thực git của máy chủ xung quanh, dù có hay không SANDBOX_GIT_TOKEN được đặt (ADR-0016 §4). Kích hoạt khi thoát, /ship, và headless decode run --repo; bị bỏ qua đối với Không gian làm việc không có repo/không thay đổi (ADR-0012 §8). |
| Ghi đè mô hình | Id mô hình tùy chọn được phân luồng dưới dạng đầu vào Dòng bền, chỉ ghi đè id mô hình của nhà cung cấp đang hoạt động cho lần chạy/phát lại đó. | Không bao giờ thay đổi nhà cung cấp. Nổi lên như decode run --model / decode replay --model; có thể hoán đổi khi phát lại vì đây là đầu vào luồng (ADR-0010 §2). |
| Nĩa | Một bản Phát lại thực hiện lại một lần chạy đã ghi từ một điểm cố định với chính xác một đầu vào đã thay đổi — lần chạy "điều gì sẽ xảy ra". | Khác với Chạy lại đường cơ sở, không phải bản gốc (ADR-0010 §6). |
| Chạy lại đường cơ sở | Phát lại không thay đổi từ cùng một neo với Fork - điều khiển chứng minh hoạt động tái tạo trước khi quy bất kỳ sự khác biệt nào cho thay đổi. | Phần giữa của mô hình "ba lần chạy" (ADR-0010 §6). |
| Ghi đè điểm kiểm tra | Ghi đè phát lại (--overrides '{"checkpoint.<name>":<value>}') thay thế đầu ra của Điểm kiểm tra được ghi lại cho người tiêu dùng trực tiếp. | Bản thay thế được vận chuyển cho các mô hình đầu ra công cụ (lộ trình của Kitaru). Khác biệt với Ghi đè mô hình (ADR-0010 §6). |
| Dấu vết | Một dấu vết Opik = một lượt REPL hoặc một lượt decode run: một khoảng gốc bao gồm mọi lệnh gọi LLM và công cụ với đầu vào/đầu ra, độ trễ, token, chi phí. | Sự hiện diện dựa trên OPIK_API_KEY; không được đặt → không hoạt động giống hệt byte (ADR-0014). |
| Khoảng cách | Một nút bên trong Dấu vết — một yêu cầu LLM, lệnh gọi công cụ hoặc gói rẽ gốc — mang theo gen_ai.usage.* token trên các nhịp LLM. | Khoảng thời gian do agent điều hành sử dụng gen_ai.aggregated_usage.* vì vậy Opik không bao giờ đếm gấp đôi (ADR-0014). |
| Chủ đề (Opik) | Khóa nhóm hội thoại của Opik: id phiên (REPL) hoặc Kitaru exec_id (decode run). | Hoàn toàn là một nhóm giao diện người dùng Opik - không phải chuỗi hệ điều hành, không phải Chờ (ADR-0014). |
| Khả năng quan sát (Truy tìm Opik) | bề mặt theo dõi của decode: một init_tracing() đó, khi OPIK_API_KEY có mặt, dây logfire + instrument_pydantic_ai() + nhà xuất khẩu OTLP sang Opik. | Bao gồm mọi agent pydantic-ai cùng một lúc. Khác biệt với nhật ký phiên JSONL và Điểm kiểm tra Kitaru (ADR-0014). |
| Đánh giá khai thác | Cấp cao nhất evals/ gói (không bao giờ được vận chuyển trong bánh xe) điều khiển quá trình decode thông qua Opik evaluate() — trình điều khiển, số liệu, đánh giá, bộ dữ liệu, người chạy. | Khác biệt với Khả năng quan sát (theo dõi việc sử dụng trực tiếp); eval chạy đăng nhập EVAL_PROJECT_NAME (ADR-0017). |
| Kỹ năng demo | Một kỹ năng giới thiệu (.decode/skills/demo-N-<slug>/) có cơ thể dẫn dắt agent đi qua một kịch bản ấn tượng từ đầu đến cuối, được đánh giá bởi con người - không có Opik. | Track A của bộ đánh giá; Hợp đồng kỹ năng tương tự như ADR-0004 (ADR-0017 §2). |
| Nhiệm vụ điểm chuẩn | Một thư mục tác vụ oracle kết quả (evals/benchmark/tasks/<NNN>-<slug>/): task.yaml nhắc + setup/ hạt giống + ẩn verify/ lời tiên tri + solution/ câu trả lời vàng. | Người đại diện không bao giờ nhìn thấy verify/ hoặc solution/; Bộ ba terminal thu nhỏ (ADR-0017 §2,5). |
| Xác minh Oracle | Điều ẩn giấu verify.sh (+ các bài kiểm tra ẩn tùy chọn) chỉ được đưa vào Không gian làm việc vào giờ học; thoát 0 = ĐẠT. Đó LÀ logic chấm điểm - minh bạch theo thiết kế. | Đã được chứng minh cả hai hướng bằng cách khai thác oracle-sanity: giải pháp vàng thành công, thiết lập nguyên vẹn không thành công (ADR-0017 §5). |
| Thăm dò hồi quy | Một lần kiểm tra hành vi khai thác: lịch thi đấu + lời nhắc + số liệu xác nhận cách thức decode hoạt động (công cụ phù hợp, độ khác biệt tối thiểu, cổng được tôn trọng), chạy máy chủ gốc (none mode) trên một thư mục tạm thời. | Thăm dò hành vi điểm số, kết quả điểm Điểm chuẩn của Nhiệm vụ (ADR-0017 §2,6). |
| Thẩm phán | Số liệu LLM đánh giá G (GEval(task_introduction, evaluation_criteria, model=<LiteLLM string>)) được xây dựng bởi nhà máy đánh giá, định tuyến nhà cung cấp decode tới id LiteLLM; EVAL_JUDGE_MODEL ghi đè. | Chỉ được sử dụng khi số liệu mã không thể quyết định (chất lượng, tính căn cứ, độ khác biệt tối thiểu) - ADR-0017 §7. |
| Thử nghiệm | Một ý tưởng evaluate() chạy trên một tập dữ liệu: điểm số trên mỗi mục + tổng hợp ở cấp độ thử nghiệm, được gắn thẻ với experiment_config (mô hình agent, git sha). | So sánh cơ sở tìm nạp các Thử nghiệm trước đó theo tên (ADR-0017 §6,8). |
| Dùng thử | Một trong k các lần chạy lặp lại của cùng một mục tập dữ liệu (evaluate(trial_count=k), --trials k). | Đơn vị theo pass@k / pass^k (ADR-0017 §8). |
| pass@k / pass^k | Suite tổng hợp trên k Bản thử nghiệm: pass@k = ít nhất một bản thử nghiệm đã thành công; pass^k = mọi thử nghiệm đều đạt (thanh độ tin cậy). pass@1 là giá trị trung bình k=1. | Tính bằng experiment_scoring_functions, với tốc độ bong tróc (0 < passes < k) and cost-normalized success-per-dollar (ADR-0017 §8). |
| Threshold Gate | Nghi thức thủ công trước khi merge: evals/regression/test_thresholds.py xác nhận aggregate_evaluation_scores() ≥ bảng ngưỡng theo từng metric — nằm ngoài testpaths, không bao giờ trong make ci. | Bề mặt hồi quy (a); bề mặt (b) là Opik Test Suite (ADR-0017 §6,9). |
| Test Suite (Opik) | Bề mặt hồi quy đối chiếu: các assertion ngôn ngữ tự nhiên trên một suite (get_or_create_test_suite → run_tests → pass_rate) trên một tập con probe. | Được cố ý đặt cạnh — không thay thế — metric code: sự đối chiếu chính là bài học (ADR-0017 §6). |