Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.
Python calibrationclassificationdecision-modelhuggingfacejevmodernbertmultilingualnlppythonpytorchroutingtyped-decisionszero-shot
feat(research): add Spanish phone-turn benchmark and fine-tuning recipe
Freddy Chinchilla412b532b21d3
diff --git a/research/benchmarks/es_phone_turns/README.md b/research/benchmarks/es_phone_turns/README.mdnew file mode 100644index 00000000..6fcc39cf--- /dev/null+++ b/research/benchmarks/es_phone_turns/README.md@@ -0,0 +1,241 @@+# Spanish phone turns: routing a caller's sentence to an action++217 frozen Spanish sentences said to a telephone voice agent, a fine-tuning recipe that takes+`laya-multilingual` from **0.396 to 0.912** on them, and the language model that agent uses today+measured on the same sentences as the bar to clear.++The task is the one a voice agent faces on every turn. The caller said something; the agent can+keep talking, transfer the call to one of a closed list of destinations, or end the call. It is+one six- or seven-way `choice` question over one short sentence.++**These are hand-written and hand-labelled fixtures with a label policy fixed before any model+was run on them. They are not an independently annotated corpus and not an official+evaluation.** Read [What this does not show](#what-this-does-not-show) before quoting a number.++## Start here: verify offline++From the repository root, Python 3.10+:++```bash+python research/benchmarks/es_phone_turns/audit.py+python -m unittest discover -s research/benchmarks/es_phone_turns/tests -v+```++No model download and no network. The audit needs only the standard library. It re-checks the+hashes of the five frozen files, checks every record against the case it answers, and recomputes+every summary from the per-case records. The tests break a copy of the archive five different ways+and require the audit to refuse each one.++## The five frozen sets++| Set | Cases | Menu | Who wrote the sentences |+|---|---:|---|---|+| `cases` | 112 (+4 borderline) | telephone company: `ventas`, `soporte`, `facturacion`, `operadora` | the author of this benchmark |+| `clinic` | 45 | clinic: `citas`, `laboratorio`, `farmacia`, `emergencias`, `recepcion` | the author of this benchmark |+| `independent_cases` | 31 | telephone company | `glm-4.7-flash`, then labelled by hand |+| `independent_clinic` | 20 | clinic | `glm-4.7-flash`, then labelled by hand |+| `frustration` | 9 | telephone company | a native Honduran Spanish speaker |++Every menu also has `colgar` (end the call) and `ninguno` (keep talking). The label policy is at+the top of [`build_cases.py`](build_cases.py). Two rules carry most of the weight:++- A question the agent can answer by itself (opening hours, address) is `ninguno`.+- A request that **negates** a transfer or a hang-up ("no me pase con ventas") is `ninguno`.+ Acting on the destination that was named is the exact mistake a phone agent cannot make.++The independent sets exist because the first two share an author with part of the training+data's design. A different language model wrote 96 sentences from briefs about negation; they+were read one by one, labelled by hand under the same policy, and the ones two readers could+label differently were dropped. 51 were kept.++## Results++Accuracy, and after the slash the number of **wrong actions**: turns where the model transferred+or hung up and should not have, or transferred to the wrong place. Answering `ninguno` by mistake+costs a slower turn; a wrong action sends a caller somewhere they did not ask to go.++| Model | `cases` | `clinic` | `independent_cases` | `independent_clinic` | `frustration` | Pooled (217) |+|---|---:|---:|---:|---:|---:|---:|+| `laya-multilingual`, zero-shot | 0.384 / 64 | 0.489 / 21 | 0.419 / 18 | 0.400 / 12 | 0.000 / 9 | **0.396 / 124** |+| fine-tuned, this recipe (`v5`) | 0.875 / 9 | 0.978 / 1 | 0.968 / 0 | 0.900 / 1 | 0.889 / 1 | **0.912 / 12** |+| `qwen2.5:7b-instruct`, tool calling | 0.920 / 6 | 0.911 / 3 | 0.871 / 4 | 0.850 / 2 | 1.000 / 0 | **0.908 / 15** |+| always the most frequent label | 0.313 | 0.289 | 0.452 | 0.250 | 1.000 | |++The language model is not deterministic (temperature 0.3, as the agent runs it). Over repeated+runs it scored 0.911 to 0.938 on `cases` and 0.867 to 0.933 on `clinic`; the table has the last one. With sets this size a+difference of two or three points between two rows is noise. What the table supports is that the+fine-tuned checkpoint and the language model are level, and that the zero-shot checkpoint is not+usable for this.++### Where each one fails++Pooled over the five sets:++| Kind of sentence | fine-tuned `v5` | `qwen2.5:7b-instruct` |+|---|---:|---:|+| names an area and refuses it (`refused`) | 16 / 17 | 11 / 17 |+| refusal written by the benchmark author (`negation`) | 20 / 22 | 18 / 22 |+| a real need stated with a negation (`need-with-no`) | 25 / 26 | 25 / 26 |+| refuses one area and asks for another (`redirected`) | 5 / 6 | 6 / 6 |+| names an area that is not the one that must act (`hard`) | 7 / 9 | 9 / 9 |+| angry at the agent (`frustration`) | 8 / 9 | 9 / 9 |++The mistakes are complementary. The language model acts on refusals: "No me pasen con soporte+técnico, llámeme directo al celular" ended the call. The fine-tuned checkpoint is weaker when a+sentence mentions two areas.++### Zero-shot: the option descriptions matter more than the sentence++| Checkpoint | criteria in Spanish | criteria in English |+|---|---:|---:|+| `laya-multilingual` on `cases` | 0.384 | 0.589 |+| `laya-typed-decisions` on `cases` | 0.384 | 0.616 |+| `laya` on `cases` | 0.313 | 0.634 |++The sentences are Spanish in both columns. What changes is the language of the instructions and+of the option descriptions. Zero-shot, the checkpoints read a Spanish sentence against English+options far better than against Spanish ones. Negation is the floor either way:+`laya-multilingual` with English criteria got 3 of 15 refusals right and answered "No me pase con+ventas, solo quiero saber el horario" with `ventas` at confidence 1.00.++### Latency++| | p50 | Where |+|---|---:|---|+| fine-tuned, PyTorch | 60 ms | Apple M2 Ultra, CPU, 4 threads |+| fine-tuned, PyTorch | ~130 ms | same machine, inside the repository's Docker image (linux/arm64) |+| fine-tuned, ONNX fp32 | 60 ms | Apple M2 Ultra, CPU, 4 threads |+| fine-tuned, ONNX int8 | 39 ms | Apple M2 Ultra, CPU, 4 threads |+| `qwen2.5:7b-instruct`, first token | ~405 ms | same machine, GPU, through Ollama |++The language model also reads about 380 tokens and writes about 25 on every turn.++### INT8 changes decisions on this checkpoint++| | same decision as PyTorch | max confidence drift | accuracy |+|---|---:|---:|---:|+| ONNX fp32 | 221 / 221 | 0.000 | 198 / 217 |+| ONNX int8, per-channel (`export_onnx.py --quantize`) | 197 / 221 | 0.459 | 188 / 217 |++The exporter's note reports no flipped decision on 20 English states. On this fine-tuned+multilingual checkpoint it flips 24 of 221 and costs ten correct answers. Measure before+shipping the int8 graph of a fine-tuned checkpoint.++### Confidence is a weak gate++Pooled, `answer_confidence` separates right from wrong with AUROC 0.72 on `v5`. If only actions+at or above a threshold skip the language model:++| Threshold | Turns that take the fast path | Wrong actions among them |+|---:|---:|---:|+| none | 140 (65%) | 12 (8.6%) |+| 0.70 | 133 (61%) | 9 (6.8%) |+| 0.80 | 129 (59%) | 7 (5.4%) |+| 0.84 | 112 (52%) | 6 (5.4%) |+| 0.88 | 24 (11%) | 2 (8.3%) |++Confidence sits between 0.83 and 0.89 for almost every answer, right or wrong. Two things push+it there: the soft targets (0.94 and 0.98 here; with 0.90 the ceiling was 0.85) and the fitted+temperature, which came out above 1 in every run (1.18 to 1.37). A threshold moves the trade-off;+it does not remove the wrong actions.++## The training recipe++```bash+cd research/benchmarks/es_phone_turns/train+python generate.py # needs a local Ollama server; cached answers are in raw/+python build_train.py # 4,740 cases -> train.jsonl, seeded, no network+cd ../../../..+python research/scripts/finetune_single_device.py \+ --data research/benchmarks/es_phone_turns/train/train.jsonl \+ --output-dir out/es-phone --device mps --epochs 4+```++Four epochs take about half an hour on an Apple M2 Ultra (`--device mps`). `train.jsonl` is not+committed: `build_train.py` rebuilds it, byte for byte, from the cached answers in+[`train/raw/`](train/raw).++What is in the 4,740 cases:++| Source | Cases | Answer |+|---|---:|---|+| `indirect`: a need, the area not named | 984 | the area |+| `direct`: asks for the area by name | 374 | the area |+| `needs_with_no`: a need stated with a negation | 387 | the area |+| `redirected`: refuses one area, asks for another | 568 | the area asked for |+| `negated`: refuses an area, written by the language model | 323 | keep talking |+| `negated_named`: refuses an area, written by hand as templates | 239 | keep talking |+| `open`: a question the agent answers | 191 | keep talking |+| `greeting`, `frustration`, `negated_hangup`, `negated_human` | 786 | keep talking |+| `human` | 666 | a person |+| `farewell` | 222 | end the call |++Decisions that mattered, in the order they were found:++1. **Thirteen trades, 49 destinations, none of them in the tests.** No training destination+ shares a label with a test destination, and the three answers every menu has appear under+ several names (`terminar`, `despedida`, `cortar`...). Each case draws its menu at random, in+ random order, and one in eight has no descriptions. The tests ask the model to read a menu it+ has never seen.+2. **The language model writes sentences and never labels one.** Each request is for sentences of+ a kind known beforehand, so the label comes from the request. `qwen3.6:35b` wrote the training+ sentences; a different model wrote the independent tests.+3. **Negation has to point both ways.** With refusals only, every "no" pointed at "keep talking".+ `needs_with_no` ("no me funciona", "nunca me llegó") are requests that use the same words.+4. **Hand-written refusal templates are not what makes negation work.** Without the 239+ `negated_named` cases (`v3`) refusals were still 15 of 15 and 7 of 7.+5. **Inside one trade no two destinations may claim the same sentence.** An early menu had both+ `tarjetas` and `reclamos`; "a charge I do not recognise on my card" fits both, and its label+ depended on which one the generator had been asked for.+6. **A refusal that also asks for someone is dropped from the refusals.** "No me conecten con+ cuentas, necesito hablar con tarjetas" is a request, and the generator cannot know for whom.+7. **Thirty percent of the cases are rewritten the way a speech recogniser hands them over**: no+ capitals, no punctuation, sometimes no accents, a filler or a repeated word at the start.+8. **Anything close to a test sentence is dropped** (token-set Jaccard of 0.7 or more): 12 cases.++### The variants++| | What changed | Pooled accuracy | Wrong actions |+|---|---|---:|---:|+| `v1` | first recipe, soft targets at 0.90 | `cases` 0.902, `clinic` 0.933 | 7, 3 |+| `v2` | targets at 0.94 / 0.98 | 0.894 | 13 |+| `v3` | `v2` without the hand-written refusal templates | not run on `frustration` | |+| `v4` | `v2` plus `redirected`, refusals that ask for someone dropped | 0.894 | 16 |+| `v5` | `v4` plus `frustration` | 0.912 | 12 |++Only `v5` can be rebuilt from the code as committed. The earlier ones are kept because the+results are what motivated each change.++## What this does not show++- **`v4` and `v5` were designed after looking at test results.** `redirected` was added because+ the independent sets showed 1 of 6, and `frustration` because that set showed 7 of 9. The six+ `redirected` cases and the nine `frustration` cases measured a known gap being closed, not an+ unseen one. The training sentences for both were generated separately and none is close to a+ test sentence, but the *kinds* were chosen with the tests in view.+- **The sets are small.** 217 cases put roughly ±4 points of sampling error on the pooled number+ and far more on any single row of the per-kind table.+- **One person labelled everything.** There is no second annotator and no agreement figure. Four+ cases in `cases` are marked `borderline` and reported apart for that reason.+- **The sentences are written, not recorded.** None went through a telephone line and a speech+ recogniser. The `asr` cases imitate that text; they are not that text.+- **Most of it is one author's Spanish**, Central American, addressed as *usted*. The+ `frustration` set is the only one written by someone who was not also designing the benchmark.+- **The language model baseline is one model with one prompt.** It mirrors how a production voice+ agent calls its model: two tools, a one-line system prompt, streaming, 120 tokens. A different+ prompt would move it, and a larger model likely scores higher.+- **Only `choice` was trained and measured.** What fine-tuning did to `score` and `noul` on this+ checkpoint was not checked.++## Files++| | |+|---|---|+| [`build_cases.py`](build_cases.py) | the frozen cases and the label policy; writes `data/*.jsonl` |+| [`prompts.py`](prompts.py) | the menus and the three renderings of the question |+| [`run.py`](run.py) | runs one checkpoint on one set, archives every decision |+| [`baseline_llm.py`](baseline_llm.py) | the language model baseline; needs a local Ollama server |+| [`metrics.py`](metrics.py) | every metric, from per-case records, standard library only |+| [`audit.py`](audit.py) | re-derives every number from the archive |+| [`train/`](train) | the trades, the generator, the builder and the cached sentences |+| [`results/`](results) | one file per model, set and rendering |diff --git a/research/benchmarks/es_phone_turns/audit.py b/research/benchmarks/es_phone_turns/audit.pynew file mode 100644index 00000000..f183fe34--- /dev/null+++ b/research/benchmarks/es_phone_turns/audit.py@@ -0,0 +1,114 @@+"""Re-derives every published number from the archive. Standard library only, no network.++ python research/benchmarks/es_phone_turns/audit.py++Checks that the frozen cases and prompts are the ones the results were produced with, that+every record answers a case that exists with the gold it has, and that the summary stored+beside the records is the one the records produce. Exits non-zero on the first thing that+does not hold.+"""+import hashlib+import json+import sys+from pathlib import Path++HERE = Path(__file__).parent+sys.path.insert(0, str(HERE))++import metrics # noqa: E402+import prompts # noqa: E402++FROZEN = {+ "data/cases.jsonl": "6ea5c7a9ff26b8c2",+ "data/clinic.jsonl": "545990173a6667b7",+ "data/independent_cases.jsonl": "7d412fbf8683963f",+ "data/independent_clinic.jsonl": "ad6b345d9a2edfc7",+ "data/frustration.jsonl": "0274d9f4143c1819",+}+++def digest(path):+ return hashlib.sha256(path.read_bytes()).hexdigest()[:16]+++def close(a, b):+ if a is None or b is None:+ return a is b+ return abs(a - b) < 1e-9+++def check(condition, message, failures):+ if not condition:+ failures.append(message)+++def audit(results_dir=None):+ failures = []+ for relative, expected in FROZEN.items():+ check(digest(HERE / relative) == expected,+ f"{relative} is not the frozen file (expected {expected})", failures)++ results_dir = Path(results_dir) if results_dir else HERE / "results"+ reports = sorted(results_dir.glob("*.json"))+ check(bool(reports), "no result files to audit", failures)++ for path in reports:+ report = json.loads(path.read_text(encoding="utf-8"))+ dataset = report["meta"].get("dataset", "cases")+ cases = {}+ for line in (HERE / "data" / f"{dataset}.jsonl").read_text(encoding="utf-8").splitlines():+ if line:+ row = json.loads(line)+ cases[row["id"]] = row++ records = report["records"]+ check(len(records) == len(cases),+ f"{path.name}: {len(records)} records for {len(cases)} cases", failures)+ check(len({r["id"] for r in records}) == len(records),+ f"{path.name}: a case was answered twice", failures)++ labels = set(prompts.labels(dataset))+ for record in records:+ case = cases.get(record["id"])+ if case is None:+ failures.append(f"{path.name}: {record['id']} is not a case")+ continue+ check(record["text"] == case["text"] and record["gold"] == case["gold"]+ and record["tags"] == case["tags"],+ f"{path.name}: {record['id']} does not match its case", failures)+ check(record["predicted"] in labels | {"invalid"},+ f"{path.name}: {record['id']} predicted {record['predicted']!r}", failures)+ check(0.0 <= record["confidence"] <= 1.0,+ f"{path.name}: {record['id']} has confidence {record['confidence']}", failures)+ if "probabilities" in record:+ check(abs(sum(record["probabilities"].values()) - 1.0) < 1e-3,+ f"{path.name}: {record['id']} probabilities do not add up to 1", failures)+ best = max(record["probabilities"], key=record["probabilities"].get)+ check(best == record["predicted"],+ f"{path.name}: {record['id']} reports {record['predicted']!r} "+ f"but its most likely option is {best!r}", failures)++ rebuilt = metrics.summarize(records, prompts.labels(dataset))+ stored = report["summary"]+ for key in ("accuracy", "macro_f1", "ece", "mean_confidence", "majority_baseline"):+ check(close(rebuilt[key], stored[key]),+ f"{path.name}: {key} is {stored[key]} in the file, {rebuilt[key]} recomputed",+ failures)+ for key in ("n", "wrong_actions", "confusion", "by_tag", "fast_path"):+ check(rebuilt[key] == stored[key],+ f"{path.name}: {key} does not match the records", failures)++ return reports, failures+++def main():+ reports, failures = audit(sys.argv[1] if len(sys.argv) > 1 else None)+ for failure in failures:+ print("FAIL", failure)+ if failures:+ sys.exit(1)+ print(f"ok: {len(FROZEN)} frozen files and {len(reports)} result files re-derived")+++if __name__ == "__main__":+ main()diff --git a/research/benchmarks/es_phone_turns/baseline_llm.py b/research/benchmarks/es_phone_turns/baseline_llm.pynew file mode 100644index 00000000..e88d1339--- /dev/null+++ b/research/benchmarks/es_phone_turns/baseline_llm.py@@ -0,0 +1,156 @@+"""The baseline the router has to beat: the language model the voice agent uses today,+asked the way the voice agent asks it.++The request mirrors a production voice agent: its system prompt, its two tools+(`transfer_call` with the destinations as an enum, `end_call`), streaming, reasoning off,+120 tokens, temperature 0.3. A turn with no tool call is `ninguno`: the agent keeps talking.++Standard library only. Needs an Ollama server with the model already pulled.+"""+import argparse+import json+import time+import urllib.request+from pathlib import Path++import metrics+import prompts++HERE = Path(__file__).parent+# The two answers that are not a destination: one is a tool of its own, the other is no+# tool at all.+HANG_UP, KEEP_TALKING = "colgar", "ninguno"+SYSTEM_PROMPT = (+ "Sos la recepcionista. UNA frase corta y hablada. Derivá al área que corresponda.")+++def destinations(dataset):+ return {label: text for label, text in prompts.MENUS[dataset]["es"].items()+ if label not in (HANG_UP, KEEP_TALKING)}+++def tools(dataset):+ menu = destinations(dataset)+ described = [f"{label} ({text})" for label, text in menu.items()]+ return [+ {"type": "function", "function": {+ "name": "transfer_call",+ "description": (+ "Pasa la llamada a otra persona o área. Úsala apenas quien llama pida hablar "+ "con alguien, o cuando la consulta no sea algo que puedas resolver. "+ "Destinos disponibles: " + "; ".join(described) + "."),+ "parameters": {"type": "object", "properties": {"destination": {+ "type": "string",+ "description": "La etiqueta exacta del destino, tal como aparece en la lista.",+ "enum": list(menu)}}, "required": ["destination"]}}},+ {"type": "function", "function": {+ "name": "end_call",+ "description": (+ "Termina la llamada. Úsala solo cuando ya te despediste y no queda nada "+ "pendiente."),+ "parameters": {"type": "object", "properties": {"reason": {+ "type": "string",+ "description": "En pocas palabras, por qué termina la llamada."}},+ "required": ["reason"]}}},+ ]+++def ask(url, model, text, dataset):+ body = json.dumps({+ "model": model,+ "messages": [{"role": "system", "content": SYSTEM_PROMPT},+ {"role": "user", "content": text}],+ "tools": tools(dataset), "stream": True, "think": False, "keep_alive": "30m",+ "options": {"num_predict": 120, "temperature": 0.3},+ }).encode()+ request = urllib.request.Request(url, data=body, headers={"Content-Type": "application/json"})++ started = time.perf_counter()+ first_ms = decided_ms = None+ calls, spoken, tokens_in, tokens_out = [], "", 0, 0+ with urllib.request.urlopen(request, timeout=120) as response:+ for line in response:+ if not line.strip():+ continue+ chunk = json.loads(line)+ now = (time.perf_counter() - started) * 1000+ message = chunk.get("message") or {}+ if first_ms is None and (message.get("content") or message.get("tool_calls")):+ first_ms = now+ if message.get("tool_calls") and decided_ms is None:+ decided_ms = now+ calls += message.get("tool_calls") or []+ spoken += message.get("content") or ""+ if chunk.get("done"):+ tokens_in = chunk.get("prompt_eval_count", 0)+ tokens_out = chunk.get("eval_count", 0)+ total_ms = (time.perf_counter() - started) * 1000++ predicted, argument = "ninguno", None+ for call in calls:+ function = call.get("function") or {}+ arguments = function.get("arguments") or {}+ if function.get("name") == "transfer_call":+ argument = arguments.get("destination")+ wanted = str(argument or "").strip().lower()+ # An invented destination is not a transfer the agent can make.+ predicted = wanted if wanted in destinations(dataset) else "invalid"+ break+ if function.get("name") == "end_call":+ predicted = "colgar"+ break++ return {+ "predicted": predicted, "argument": argument, "spoken": spoken.strip(),+ "first_ms": first_ms, "decided_ms": decided_ms, "latency_ms": total_ms,+ "tokens_in": tokens_in, "tokens_out": tokens_out,+ }+++def main():+ parser = argparse.ArgumentParser()+ parser.add_argument("--url", default="http://localhost:11434/api/chat")+ parser.add_argument("--model", default="qwen2.5:7b-instruct")+ parser.add_argument("--dataset", default="cases", choices=sorted(prompts.MENUS))+ args = parser.parse_args()++ cases = [json.loads(line) for line in+ (HERE / "data" / f"{args.dataset}.jsonl").read_text(encoding="utf-8").splitlines()+ if line]++ # Warm: the first call loads the model.+ ask(args.url, args.model, cases[0]["text"], args.dataset)++ records = []+ for case in cases:+ answer = ask(args.url, args.model, case["text"], args.dataset)+ records.append({+ "id": case["id"], "text": case["text"], "gold": case["gold"], "tags": case["tags"],+ # A language model gives no probability for its decision: every call it makes,+ # it makes. 1.0 keeps the record comparable and makes the point visible.+ "confidence": 1.0, **answer})++ summary = metrics.summarize(records, prompts.labels(args.dataset))+ headline = [r for r in records if "borderline" not in r["tags"]]+ summary["first_ms"] = {+ "p50": metrics.percentile([r["first_ms"] for r in headline if r["first_ms"]], 50),+ "p95": metrics.percentile([r["first_ms"] for r in headline if r["first_ms"]], 95)}+ summary["tokens"] = {+ "in_mean": sum(r["tokens_in"] for r in headline) / len(headline),+ "out_mean": sum(r["tokens_out"] for r in headline) / len(headline)}+ summary["invalid_destinations"] = sum(r["predicted"] == "invalid" for r in headline)++ name = args.model.replace(":", "-").replace("/", "-")+ (HERE / "results" / f"llm-{name}__{args.dataset}.json").write_text(json.dumps(+ {"meta": {"model": args.model, "dataset": args.dataset,+ "system_prompt": SYSTEM_PROMPT},+ "summary": summary, "records": records}, ensure_ascii=False, indent=1), encoding="utf-8")++ print(f"{args.model} / {args.dataset}: accuracy {summary['accuracy']:.4f} macro-F1 {summary['macro_f1']:.4f} "+ f"wrong actions {summary['wrong_actions']} invalid {summary['invalid_destinations']} "+ f"first {summary['first_ms']['p50']:.0f} ms total p50 {summary['latency_ms']['p50']:.0f} ms "+ f"tokens in/out {summary['tokens']['in_mean']:.0f}/{summary['tokens']['out_mean']:.0f}")+++if __name__ == "__main__":+ main()diff --git a/research/benchmarks/es_phone_turns/build_cases.py b/research/benchmarks/es_phone_turns/build_cases.pynew file mode 100644index 00000000..f42ea56e--- /dev/null+++ b/research/benchmarks/es_phone_turns/build_cases.py@@ -0,0 +1,350 @@+"""Builds the frozen Spanish phone-turn cases.++The label policy below was written BEFORE any model was run on these cases. The cases are+hand-written fixtures in Latin American Spanish, in the register a speech recogniser hands+to a voice agent. They are not a held-out corpus and not independently annotated.++Label policy+------------+The caller is on the phone with a voice agent that can do exactly three things: keep+talking, transfer the call to one of four destinations, or end the call.++* ``ventas`` the caller wants to BUY, contract, upgrade or get a quote.+* ``soporte`` something is broken or not working and needs fixing.+* ``facturacion`` a charge, payment, invoice, balance or refund.+* ``operadora`` the caller asks for a person, without naming an area.+* ``colgar`` the caller says goodbye or states nothing else is needed.+* ``ninguno`` anything else: greetings, questions the agent can answer by itself,+ fragments, and every request that NEGATES a transfer or a hang-up.++A question about information (opening hours, address, how something works) is ``ninguno``:+the agent answers it. A negated request ("no me pase con ventas") is ``ninguno``: acting on+the named destination would be the exact mistake a phone agent must not make.+"""+import json+from pathlib import Path++LABELS = ["ventas", "soporte", "facturacion", "operadora", "colgar", "ninguno"]++# (text, gold, tags)+CASES = [+ # --- ventas: direct -------------------------------------------------------------------+ ("Quiero hablar con ventas, por favor.", "ventas", ["direct"]),+ ("Páseme con el departamento de ventas.", "ventas", ["direct"]),+ ("¿Me comunica con un asesor de ventas?", "ventas", ["direct"]),+ ("Con ventas, por favor.", "ventas", ["direct", "short"]),+ ("Necesito que me transfieran al área comercial.", "ventas", ["direct"]),+ # --- ventas: indirect -----------------------------------------------------------------+ ("Quiero contratar el servicio de internet para mi casa.", "ventas", ["indirect"]),+ ("Me interesa adquirir un plan nuevo para la oficina.", "ventas", ["indirect"]),+ ("Necesito una cotización para veinte líneas telefónicas.", "ventas", ["indirect"]),+ ("Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?", "ventas", ["indirect", "hn"]),+ ("Vi la promoción en Facebook y quiero comprarla.", "ventas", ["indirect"]),+ ("Queremos poner el servicio en una sucursal nueva que vamos a abrir.", "ventas", ["indirect"]),+ ("Quisiera agregar otra línea a mi contrato.", "ventas", ["indirect"]),+ ("Ando buscando un plan empresarial, quiero que me lo vendan.", "ventas", ["indirect", "hn"]),+ ("Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?", "ventas", ["indirect"]),+ # --- soporte: direct ------------------------------------------------------------------+ ("Comuníqueme con soporte técnico.", "soporte", ["direct"]),+ ("Necesito hablar con un técnico.", "soporte", ["direct"]),+ ("Páseme con soporte, por favor.", "soporte", ["direct"]),+ ("Con el área técnica, si me hace el favor.", "soporte", ["direct"]),+ ("Quiero reportar una falla con soporte.", "soporte", ["direct"]),+ # --- soporte: indirect ----------------------------------------------------------------+ ("No tengo internet desde ayer en la noche.", "soporte", ["indirect"]),+ ("El teléfono no da tono y no puedo hacer llamadas.", "soporte", ["indirect"]),+ ("Se me cayó el servicio y necesito que lo arreglen.", "soporte", ["indirect"]),+ ("El módem tiene una luz roja parpadeando y no navega.", "soporte", ["indirect"]),+ ("Fíjese que el internet está lentísimo, casi no carga nada.", "soporte", ["indirect", "hn"]),+ ("Las llamadas se cortan a cada rato, así no se puede trabajar.", "soporte", ["indirect"]),+ ("No me funciona el correo de la empresa desde la mañana.", "soporte", ["indirect"]),+ ("Se fue la señal en toda la oficina, necesitamos que vengan a revisar.", "soporte", ["indirect"]),+ ("La extensión de recepción no suena cuando le marcan.", "soporte", ["indirect"]),+ # --- facturacion: direct --------------------------------------------------------------+ ("Páseme con facturación.", "facturacion", ["direct"]),+ ("Necesito hablar con el departamento de cobros.", "facturacion", ["direct"]),+ ("Quiero hablar con alguien de facturación, por favor.", "facturacion", ["direct"]),+ ("Con cuentas por cobrar, por favor.", "facturacion", ["direct"]),+ ("Comuníqueme con el área de pagos.", "facturacion", ["direct"]),+ # --- facturacion: indirect ------------------------------------------------------------+ ("Me cobraron dos veces este mes y quiero que me devuelvan el dinero.", "facturacion", ["indirect"]),+ ("La factura me llegó con un monto que no es el que acordamos.", "facturacion", ["indirect"]),+ ("Ya pagué y me siguen cobrando el mismo recibo.", "facturacion", ["indirect"]),+ ("Necesito que me reenvíen la factura de agosto con el RTN de la empresa.", "facturacion", ["indirect", "hn"]),+ ("Quiero hacer un arreglo de pago porque estoy atrasado.", "facturacion", ["indirect"]),+ ("Me aparece un cargo que no reconozco en el estado de cuenta.", "facturacion", ["indirect"]),+ ("Hice la transferencia hace tres días y no me han aplicado el pago.", "facturacion", ["indirect"]),+ ("Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.", "facturacion", ["indirect"]),+ ("Pagué de más y quiero un reembolso.", "facturacion", ["indirect"]),+ # --- operadora: a person, no area -----------------------------------------------------+ ("Quiero hablar con una persona.", "operadora", ["human"]),+ ("Páseme con un humano, por favor.", "operadora", ["human"]),+ ("Necesito hablar con alguien de verdad, no con una máquina.", "operadora", ["human"]),+ ("¿Me puede pasar con una operadora?", "operadora", ["human", "direct"]),+ ("Comuníqueme con recepción.", "operadora", ["human", "direct"]),+ ("Prefiero que me atienda un agente.", "operadora", ["human"]),+ ("Quiero hablar con un representante.", "operadora", ["human"]),+ ("Con alguien, por favor, con quien sea.", "operadora", ["human", "short"]),+ ("Mire, mejor páseme con una persona que me pueda ayudar.", "operadora", ["human", "hn"]),+ ("No quiero hablar con un robot, páseme con alguien.", "operadora", ["human", "negation-in-text"]),+ ("¿Hay alguna persona que me pueda atender?", "operadora", ["human"]),+ ("Déjeme hablar con la secretaria.", "operadora", ["human"]),+ # --- colgar: farewell -----------------------------------------------------------------+ ("Eso era todo, muchas gracias, hasta luego.", "colgar", ["farewell"]),+ ("No, gracias, ya no necesito nada más. Adiós.", "colgar", ["farewell"]),+ ("Listo, muy amable, que tenga buen día.", "colgar", ["farewell"]),+ ("Vaya pues, gracias, hasta luego.", "colgar", ["farewell", "hn"]),+ ("Ya puede colgar, gracias.", "colgar", ["farewell", "direct"]),+ ("Perfecto, era solo eso. Buenas tardes.", "colgar", ["farewell"]),+ ("Bueno, le agradezco, adiós.", "colgar", ["farewell"]),+ ("Nada más, gracias. Chao.", "colgar", ["farewell", "short"]),+ ("Me equivoqué de número, disculpe, hasta luego.", "colgar", ["farewell"]),+ ("Ya me resolvieron, gracias, feliz tarde.", "colgar", ["farewell"]),+ ("Está bien, después llamo. Adiós.", "colgar", ["farewell"]),+ ("Cheque, gracias, eso sería todo.", "colgar", ["farewell", "hn"]),+ # --- ninguno: questions the agent answers ---------------------------------------------+ ("¿A qué hora abren mañana?", "ninguno", ["open"]),+ ("¿Dónde queda la oficina principal?", "ninguno", ["open"]),+ ("¿Hasta qué hora atienden los sábados?", "ninguno", ["open"]),+ ("¿Cuál es el correo para mandar documentos?", "ninguno", ["open"]),+ ("¿Ustedes tienen cobertura en San Pedro Sula?", "ninguno", ["open", "hn"]),+ ("¿Me puede repetir la dirección, por favor?", "ninguno", ["open"]),+ ("¿Qué documentos necesito llevar?", "ninguno", ["open"]),+ ("¿Trabajan los días feriados?", "ninguno", ["open"]),+ ("¿Cómo se llama usted?", "ninguno", ["open"]),+ ("¿Tienen parqueo para clientes?", "ninguno", ["open"]),+ # --- ninguno: greetings and fragments -------------------------------------------------+ ("Aló, buenos días.", "ninguno", ["noise"]),+ ("¿Aló? ¿Me escucha?", "ninguno", ["noise"]),+ ("Sí.", "ninguno", ["noise", "short"]),+ ("Este... espere un momento.", "ninguno", ["noise"]),+ ("Buenas tardes, mire, tengo una consulta.", "ninguno", ["noise", "hn"]),+ ("Un momentito, que estoy buscando el número de contrato.", "ninguno", ["noise"]),+ ("¿Cómo dijo? No le entendí.", "ninguno", ["noise"]),+ ("Ajá, sí, lo escucho.", "ninguno", ["noise"]),+ # --- ninguno: negated transfers -------------------------------------------------------+ ("No me pase con ventas, solo quiero saber el horario.", "ninguno", ["negation"]),+ ("No quiero hablar con soporte, ya hablé con ellos ayer.", "ninguno", ["negation"]),+ ("No necesito que me transfieran a facturación, solo una pregunta.", "ninguno", ["negation"]),+ ("Todavía no me pase con nadie, primero explíqueme usted.", "ninguno", ["negation"]),+ ("No, con la operadora no, prefiero que me lo diga usted.", "ninguno", ["negation"]),+ ("No es para ventas, es solo para saber dónde están ubicados.", "ninguno", ["negation"]),+ ("No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.", "ninguno", ["negation"]),+ ("No tengo problema con el cobro, la factura está bien, era otra cosa.", "ninguno", ["negation"]),+ ("No quiero comprar nada, solo estoy preguntando por el horario.", "ninguno", ["negation"]),+ ("No me transfiera, por favor.", "ninguno", ["negation", "short"]),+ # --- ninguno: negated hang-ups --------------------------------------------------------+ ("No cuelgue, por favor, todavía tengo otra pregunta.", "ninguno", ["negation"]),+ ("Espere, no he terminado, no me corte.", "ninguno", ["negation"]),+ ("No, no es todo, me falta preguntarle otra cosa.", "ninguno", ["negation"]),+ ("Gracias, pero todavía no me despido, tengo una duda más.", "ninguno", ["negation"]),+ # --- hard: the named area is not the one that must act --------------------------------+ ("Ventas me prometió una velocidad y el internet no funciona.", "soporte", ["hard"]),+ ("Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.", "facturacion", ["hard"]),+ ("Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.", "ventas", ["hard"]),+ ("Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.", "operadora", ["hard"]),+ ("Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.", "facturacion", ["hard"]),+ ("El técnico arregló todo, solo quería agradecer. Hasta luego.", "colgar", ["hard"]),+ # --- recogniser-style text: no punctuation, fillers, repetitions ----------------------+ ("eh si buenas mire es que no tengo internet desde la mañana", "soporte", ["asr", "indirect"]),+ ("quiero este quiero contratar un plan para mi negocio", "ventas", ["asr", "indirect"]),+ ("me me cobraron doble la factura de este mes", "facturacion", ["asr", "indirect"]),+ ("paseme con una persona por favor", "operadora", ["asr", "human"]),+ ("bueno gracias eso era todo hasta luego", "colgar", ["asr", "farewell"]),+ ("a que hora cierran hoy", "ninguno", ["asr", "open"]),+ ("no no me pase con ventas solo una pregunta", "ninguno", ["asr", "negation"]),+ ("alo alo si me escucha", "ninguno", ["asr", "noise"]),+]++BORDERLINE = [+ # Reported apart and excluded from the headline: two readers could defend two labels.+ ("¿Cuánto cuesta el plan de cincuenta megas?", "ninguno", ["borderline"]),+ ("Quiero cancelar mi servicio.", "operadora", ["borderline"]),+ ("¿Qué promociones tienen este mes?", "ninguno", ["borderline"]),+ ("Necesito cambiar el titular de la cuenta.", "operadora", ["borderline"]),+]+++# A second menu, from a different trade, with different destinations. It exists to tell+# "the model learned to read Spanish" apart from "the model learned this one menu": nothing+# in it shares a destination with the telephone-company menu above.+CLINIC_LABELS = ["citas", "laboratorio", "farmacia", "emergencias", "recepcion", "colgar", "ninguno"]++CLINIC_CASES = [+ # --- citas ----------------------------------------------------------------------------+ ("Quiero sacar una cita con el cardiólogo.", "citas", ["indirect"]),+ ("Necesito cambiar la fecha de mi consulta del jueves.", "citas", ["indirect"]),+ ("Páseme con citas, por favor.", "citas", ["direct"]),+ ("Fíjese que quiero apartar una consulta para mi mamá.", "citas", ["indirect", "hn"]),+ ("Tengo que cancelar la cita que tenía mañana con la doctora.", "citas", ["indirect"]),+ ("quiero agendar con el pediatra para la otra semana", "citas", ["asr", "indirect"]),+ # --- laboratorio ----------------------------------------------------------------------+ ("Quiero saber si ya están listos los resultados de mis exámenes de sangre.", "laboratorio", ["indirect"]),+ ("Comuníqueme con el laboratorio.", "laboratorio", ["direct"]),+ ("Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.", "laboratorio", ["indirect"]),+ ("Necesito que me reenvíen el resultado de la prueba que me hice el lunes.", "laboratorio", ["indirect"]),+ ("me hicieron un examen de orina y no me han entregado nada", "laboratorio", ["asr", "indirect"]),+ # --- farmacia -------------------------------------------------------------------------+ ("Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.", "farmacia", ["direct"]),+ ("Necesito surtir una receta.", "farmacia", ["indirect"]),+ ("Con la farmacia, por favor.", "farmacia", ["direct", "short"]),+ ("Me dieron unas pastillas equivocadas y quiero cambiarlas.", "farmacia", ["indirect"]),+ ("Quiero comprar la medicina que me indicó el doctor.", "farmacia", ["indirect"]),+ # --- emergencias ----------------------------------------------------------------------+ ("Mi papá se desmayó y no reacciona, necesito ayuda ya.", "emergencias", ["indirect"]),+ ("Páseme con emergencias, es urgente.", "emergencias", ["direct"]),+ ("Mi hijo se cortó y está sangrando mucho.", "emergencias", ["indirect"]),+ ("Tengo un dolor muy fuerte en el pecho y me cuesta respirar.", "emergencias", ["indirect"]),+ ("necesito una ambulancia mi esposa se cayó y no se puede mover", "emergencias", ["asr", "indirect"]),+ # --- recepcion: a person, no area -----------------------------------------------------+ ("Quiero hablar con una persona.", "recepcion", ["human"]),+ ("Páseme con alguien que me atienda, por favor.", "recepcion", ["human"]),+ ("No quiero hablar con una máquina, comuníqueme con una persona.", "recepcion", ["human", "negation-in-text"]),+ ("Con la recepcionista, por favor.", "recepcion", ["human", "direct"]),+ # --- colgar ---------------------------------------------------------------------------+ ("Muchas gracias, eso era todo. Hasta luego.", "colgar", ["farewell"]),+ ("Vaya pues, muy amable, adiós.", "colgar", ["farewell", "hn"]),+ ("Ya no necesito nada más, gracias.", "colgar", ["farewell"]),+ ("bueno gracias que pase buen dia", "colgar", ["asr", "farewell"]),+ # --- ninguno: questions, greetings ----------------------------------------------------+ ("¿A qué hora abre la clínica?", "ninguno", ["open"]),+ ("¿Dónde están ubicados?", "ninguno", ["open"]),+ ("¿Atienden los domingos?", "ninguno", ["open"]),+ ("Aló, buenas tardes.", "ninguno", ["noise"]),+ ("¿Me escucha?", "ninguno", ["noise", "short"]),+ ("Un momento, que estoy buscando mi carné.", "ninguno", ["noise"]),+ # --- ninguno: negations ---------------------------------------------------------------+ ("No quiero una cita, solo quiero saber el horario.", "ninguno", ["negation"]),+ ("No me pase con el laboratorio, ya tengo mis resultados.", "ninguno", ["negation"]),+ ("No es una emergencia, solo es una pregunta.", "ninguno", ["negation"]),+ ("No necesito la farmacia, solo quería preguntar dónde quedan.", "ninguno", ["negation"]),+ ("No cuelgue, todavía tengo otra duda.", "ninguno", ["negation"]),+ ("No me transfiera con nadie todavía, primero dígame usted.", "ninguno", ["negation"]),+ ("no no es urgente no me pase con emergencias", "ninguno", ["asr", "negation"]),+ # --- hard -----------------------------------------------------------------------------+ ("En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.", "citas", ["hard"]),+ ("El doctor de emergencias me dejó una receta y quiero comprarla.", "farmacia", ["hard"]),+ ("Ya saqué la cita, ahora quiero saber si están mis resultados.", "laboratorio", ["hard"]),+]+++# A third and fourth set, over the same two menus, whose SENTENCES were not written by the+# author of the first two. A different language model wrote them (glm-4.7-flash, not the+# one that wrote the training data) from briefs about negation; they were then read one by+# one, labelled by hand under the policy at the top of this file, and the ones two readers+# could label differently were dropped. 96 were written, the ones below were kept. The+# labels were fixed before any model was run on them.+#+# Tags: `refused` names an area and turns it down; `redirected` turns one area down and+# asks for another; `need-with-no` states a real need using a negation.+INDEPENDENT_CASES = [+ ("No, ni me meta al área de ventas que yo estoy llamando por una factura.", "facturacion", ["redirected"]),+ ("Soy cliente, no me conecte con los de contratos, necesito hablar con el soporte técnico.", "soporte", ["redirected"]),+ ("Quiero hablar con alguien del área de cobros, no me saque al departamento comercial.", "facturacion", ["redirected"]),+ ("Escúchame bien, no me mande con los de ventas, estoy llamando sobre mi saldo.", "facturacion", ["redirected"]),+ ("Oiga, mira que no me funciona la internet hace tres días", "soporte", ["need-with-no"]),+ ("Holaaa, no me llegó la factura y necesito hablar con alguien", "facturacion", ["need-with-no"]),+ ("Oiga, yo no quiero hablar con nadie, no me pasen al departamento de soporte técnico, llámame directamente.", "ninguno", ["refused"]),+ ("No me pongan con soporte, ya sé lo que hace, ¿podés darme mi número?", "ninguno", ["refused"]),+ ("No me manden al área de soporte, quiero que me respondan acá, al cliente.", "ninguno", ["refused"]),+ ("Mire, no me pongan con el soporte, eso ya lo saben, yo les hablo a ustedes.", "ninguno", ["refused"]),+ ("No me pasen con soporte técnico, llámeme directo al celular, no quiero hablar con nadie más.", "ninguno", ["refused"]),+ ("Oye, ¿saben por qué nunca me funciona el internet?", "soporte", ["need-with-no"]),+ ("Bueno, tengo un problema que no me deja usar la conexión.", "soporte", ["need-with-no"]),+ ("¿Alguien me ayuda con el servicio porque no funciona?", "soporte", ["need-with-no"]),+ ("No me funcionó el equipo que me enviaron, por favor arreglenlo.", "soporte", ["need-with-no"]),+ ("No quiero pasar al de facturación, haganme la atención aquí.", "ninguno", ["refused"]),+ ("Cuidado, no me pasen a facturación, es muy largo.", "ninguno", ["refused"]),+ ("No me manden a facturación, por favor.", "ninguno", ["refused"]),+ ("Ni se les ocurra pasarme a facturación, no estoy interesada.", "ninguno", ["refused"]),+ ("Oiga, estoy llamando por un asunto serio, me está cobrando una mensualidad y no me deja ver la factura ni el detalle del pago.", "facturacion", ["need-with-no"]),+ ("Hola, buenos días, tengo el saldo pendiente y no me está llegando el cobro, necesitan revisar el caso urgente.", "facturacion", ["need-with-no"]),+ ("Buenas tardes, disculpen que llame, me hicieron un cobro adicional y no me aparece la factura para validar el pago.", "facturacion", ["need-with-no"]),+ ("Saludos, llamo para reclamar el saldo que me deben y no puedo generar una orden de pago ni ver el estado del reembolso.", "facturacion", ["need-with-no"]),+ ("¿Sigo en línea?", "ninguno", ["noise"]),+ ("No, espera, no me cuelgues, me falta algo.", "ninguno", ["refused"]),+ ("No me corten la línea, no se vayan.", "ninguno", ["refused"]),+ ("Ya, no me cuelgues, sigo aquí esperando.", "ninguno", ["refused"]),+ ("Me quedé en pausa, no me vayan a cortar.", "ninguno", ["refused"]),+ ("Quiero hablar con el humano, por favor, no quiero hablar con la grabación.", "operadora", ["need-with-no"]),+ ("¿No hay nadie ahí? No quiero hablar con la grabación.", "operadora", ["need-with-no"]),+ ("Oiga, quiero hablar con alguien en vivo, no quiero hablar con la grabación.", "operadora", ["need-with-no"]),+]++INDEPENDENT_CLINIC = [+ ("No, no, no me pasen a esa caja ni al departamento de turnos.", "ninguno", ["refused"]),+ ("Hola, quería ver si se puede arreglar mi cita porque no puedo ir a la clínica", "citas", ["need-with-no"]),+ ("Buenas tardes, necesito saber si hago trámite para cambiar o anular la cita ya que nunca me llegó la confirmación", "citas", ["need-with-no"]),+ ("Quisiera pedir ayuda porque no puedo ir a mi consulta médica y quiero cancelarla o cambiarla", "citas", ["need-with-no"]),+ ("Oiga, mira, por favor, no la pasen para ahí, a lo del laboratorio, no quiero que me hagan análisis de nada, ni nada de eso.", "ninguno", ["refused"]),+ ("Soy yo, no me pasen al área de laboratorio, por favor, no quiero exámenes ni nada.", "ninguno", ["refused"]),+ ("Necesito que revisen los resultados, por favor, ya no me llegó la información que me mandaron.", "laboratorio", ["need-with-no"]),+ ("Oigan, urgente: me dijeron que me envíen los exámenes pero no me funciona el sistema.", "laboratorio", ["need-with-no"]),+ ("¿Alguien ahí me puede llamar para explicarme los resultados? No me puedo mover para ir.", "laboratorio", ["need-with-no"]),+ ("Quiero que me atiendan con mis exámenes, no me funciona lo que me enviaron ayer.", "laboratorio", ["need-with-no"]),+ ("Por favor, necesitan revisar mis análisis, nunca me han dado el resultado que me corresponde.", "laboratorio", ["need-with-no"]),+ ("Quiero hablar con atención humana, no con la farmacia, por favor.", "recepcion", ["redirected"]),+ ("Bueno, hola, soy la señora Rodríguez, tengo una inquietud con el medicamento que me dejaron recetado, no me llegó.", "farmacia", ["need-with-no"]),+ ("Bueno, hola, soy el señor de la mesa cuatro, me dejaron recetar unas cosas pero nunca me las dieron.", "farmacia", ["need-with-no"]),+ ("Oiga, ¿me pueden pasar con el médico de urgencias?", "emergencias", ["direct"]),+ ("Escúcheme, yo no quiero ser atendido en la emergencia.", "ninguno", ["refused"]),+ ("Quiero consulta pero no quiero que me pongan en la sala de emergencias.", "citas", ["redirected"]),+ ("Ayúdeme rápido, por favor, no puedo moverme de la cama", "emergencias", ["need-with-no"]),+ ("Hable conmigo, no quiero hablar con la grabación.", "recepcion", ["need-with-no"]),+ ("No quiero hablar con el sistema, quiero hablar con el humano.", "recepcion", ["need-with-no"]),+]+++# Written by a Honduran Spanish speaker who is neither the author of the sets above nor a+# language model, asked for "sentences with a negation". What came back is a kind none of+# the other sets has: the caller is angry AT THE AGENT and insists. Kept exactly as typed,+# which is also how a recogniser would hand them over.+#+# Under the policy at the top none of them asks for a transfer or to end the call, so the+# answer is `ninguno`: the agent must not act. Whether an angry caller should be offered a+# person is a product decision the policy does not make, and a different question.+FRUSTRATION_CASES = [+ ("te estoy pidiendo que no", "ninguno", ["frustration", "short"]),+ ("te dije que no", "ninguno", ["frustration", "short"]),+ ("no estas entendiendo?", "ninguno", ["frustration", "short"]),+ ("maldita sea te dije que no!", "ninguno", ["frustration", "swearing"]),+ ("carajo no entiendo porque repetis lo mismo", "ninguno", ["frustration", "swearing"]),+ ("que tonteras decis", "ninguno", ["frustration"]),+ ("joder esto no sirve", "ninguno", ["frustration", "swearing"]),+ ("no me estas respondiendo lo que te pregunte", "ninguno", ["frustration"]),+ ("eres demasiado tonto", "ninguno", ["frustration", "insult"]),+]+++def write(here: Path, name: str, prefix: str, cases, labels) -> None:+ rows = []+ for index, (text, gold, tags) in enumerate(cases, start=1):+ assert gold in labels, (text, gold)+ rows.append({"id": f"{prefix}-{index:03d}", "text": text, "gold": gold, "tags": tags})++ texts = [r["text"] for r in rows]+ assert len(set(texts)) == len(texts), "duplicated case"++ out = here / "data" / f"{name}.jsonl"+ out.write_text(+ "".join(json.dumps(r, ensure_ascii=False) + "\n" for r in rows), encoding="utf-8")++ headline = [r for r in rows if "borderline" not in r["tags"]]+ print(f"{name}: {len(rows)} cases, {len(headline)} in the headline")+ for label in labels:+ print(f" {label:12s} {sum(1 for r in headline if r['gold'] == label)}")+ tags = sorted({t for r in rows for t in r["tags"]})+ print(" tags:", ", ".join(f"{t}={sum(1 for r in rows if t in r['tags'])}" for t in tags))+++def main() -> None:+ here = Path(__file__).parent+ write(here, "cases", "es", CASES + BORDERLINE, LABELS)+ write(here, "clinic", "cl", CLINIC_CASES, CLINIC_LABELS)+ write(here, "independent_cases", "ic", INDEPENDENT_CASES, LABELS)+ write(here, "independent_clinic", "il", INDEPENDENT_CLINIC, CLINIC_LABELS)+ write(here, "frustration", "fr", FRUSTRATION_CASES, LABELS)+++if __name__ == "__main__":+ main()diff --git a/research/benchmarks/es_phone_turns/data/cases.jsonl b/research/benchmarks/es_phone_turns/data/cases.jsonlnew file mode 100644index 00000000..4e3aabe0--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/cases.jsonl@@ -0,0 +1,116 @@+{"id": "es-001", "text": "Quiero hablar con ventas, por favor.", "gold": "ventas", "tags": ["direct"]}+{"id": "es-002", "text": "Páseme con el departamento de ventas.", "gold": "ventas", "tags": ["direct"]}+{"id": "es-003", "text": "¿Me comunica con un asesor de ventas?", "gold": "ventas", "tags": ["direct"]}+{"id": "es-004", "text": "Con ventas, por favor.", "gold": "ventas", "tags": ["direct", "short"]}+{"id": "es-005", "text": "Necesito que me transfieran al área comercial.", "gold": "ventas", "tags": ["direct"]}+{"id": "es-006", "text": "Quiero contratar el servicio de internet para mi casa.", "gold": "ventas", "tags": ["indirect"]}+{"id": "es-007", "text": "Me interesa adquirir un plan nuevo para la oficina.", "gold": "ventas", "tags": ["indirect"]}+{"id": "es-008", "text": "Necesito una cotización para veinte líneas telefónicas.", "gold": "ventas", "tags": ["indirect"]}+{"id": "es-009", "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?", "gold": "ventas", "tags": ["indirect", "hn"]}+{"id": "es-010", "text": "Vi la promoción en Facebook y quiero comprarla.", "gold": "ventas", "tags": ["indirect"]}+{"id": "es-011", "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.", "gold": "ventas", "tags": ["indirect"]}+{"id": "es-012", "text": "Quisiera agregar otra línea a mi contrato.", "gold": "ventas", "tags": ["indirect"]}+{"id": "es-013", "text": "Ando buscando un plan empresarial, quiero que me lo vendan.", "gold": "ventas", "tags": ["indirect", "hn"]}+{"id": "es-014", "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?", "gold": "ventas", "tags": ["indirect"]}+{"id": "es-015", "text": "Comuníqueme con soporte técnico.", "gold": "soporte", "tags": ["direct"]}+{"id": "es-016", "text": "Necesito hablar con un técnico.", "gold": "soporte", "tags": ["direct"]}+{"id": "es-017", "text": "Páseme con soporte, por favor.", "gold": "soporte", "tags": ["direct"]}+{"id": "es-018", "text": "Con el área técnica, si me hace el favor.", "gold": "soporte", "tags": ["direct"]}+{"id": "es-019", "text": "Quiero reportar una falla con soporte.", "gold": "soporte", "tags": ["direct"]}+{"id": "es-020", "text": "No tengo internet desde ayer en la noche.", "gold": "soporte", "tags": ["indirect"]}+{"id": "es-021", "text": "El teléfono no da tono y no puedo hacer llamadas.", "gold": "soporte", "tags": ["indirect"]}+{"id": "es-022", "text": "Se me cayó el servicio y necesito que lo arreglen.", "gold": "soporte", "tags": ["indirect"]}+{"id": "es-023", "text": "El módem tiene una luz roja parpadeando y no navega.", "gold": "soporte", "tags": ["indirect"]}+{"id": "es-024", "text": "Fíjese que el internet está lentísimo, casi no carga nada.", "gold": "soporte", "tags": ["indirect", "hn"]}+{"id": "es-025", "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.", "gold": "soporte", "tags": ["indirect"]}+{"id": "es-026", "text": "No me funciona el correo de la empresa desde la mañana.", "gold": "soporte", "tags": ["indirect"]}+{"id": "es-027", "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.", "gold": "soporte", "tags": ["indirect"]}+{"id": "es-028", "text": "La extensión de recepción no suena cuando le marcan.", "gold": "soporte", "tags": ["indirect"]}+{"id": "es-029", "text": "Páseme con facturación.", "gold": "facturacion", "tags": ["direct"]}+{"id": "es-030", "text": "Necesito hablar con el departamento de cobros.", "gold": "facturacion", "tags": ["direct"]}+{"id": "es-031", "text": "Quiero hablar con alguien de facturación, por favor.", "gold": "facturacion", "tags": ["direct"]}+{"id": "es-032", "text": "Con cuentas por cobrar, por favor.", "gold": "facturacion", "tags": ["direct"]}+{"id": "es-033", "text": "Comuníqueme con el área de pagos.", "gold": "facturacion", "tags": ["direct"]}+{"id": "es-034", "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.", "gold": "facturacion", "tags": ["indirect"]}+{"id": "es-035", "text": "La factura me llegó con un monto que no es el que acordamos.", "gold": "facturacion", "tags": ["indirect"]}+{"id": "es-036", "text": "Ya pagué y me siguen cobrando el mismo recibo.", "gold": "facturacion", "tags": ["indirect"]}+{"id": "es-037", "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.", "gold": "facturacion", "tags": ["indirect", "hn"]}+{"id": "es-038", "text": "Quiero hacer un arreglo de pago porque estoy atrasado.", "gold": "facturacion", "tags": ["indirect"]}+{"id": "es-039", "text": "Me aparece un cargo que no reconozco en el estado de cuenta.", "gold": "facturacion", "tags": ["indirect"]}+{"id": "es-040", "text": "Hice la transferencia hace tres días y no me han aplicado el pago.", "gold": "facturacion", "tags": ["indirect"]}+{"id": "es-041", "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.", "gold": "facturacion", "tags": ["indirect"]}+{"id": "es-042", "text": "Pagué de más y quiero un reembolso.", "gold": "facturacion", "tags": ["indirect"]}+{"id": "es-043", "text": "Quiero hablar con una persona.", "gold": "operadora", "tags": ["human"]}+{"id": "es-044", "text": "Páseme con un humano, por favor.", "gold": "operadora", "tags": ["human"]}+{"id": "es-045", "text": "Necesito hablar con alguien de verdad, no con una máquina.", "gold": "operadora", "tags": ["human"]}+{"id": "es-046", "text": "¿Me puede pasar con una operadora?", "gold": "operadora", "tags": ["human", "direct"]}+{"id": "es-047", "text": "Comuníqueme con recepción.", "gold": "operadora", "tags": ["human", "direct"]}+{"id": "es-048", "text": "Prefiero que me atienda un agente.", "gold": "operadora", "tags": ["human"]}+{"id": "es-049", "text": "Quiero hablar con un representante.", "gold": "operadora", "tags": ["human"]}+{"id": "es-050", "text": "Con alguien, por favor, con quien sea.", "gold": "operadora", "tags": ["human", "short"]}+{"id": "es-051", "text": "Mire, mejor páseme con una persona que me pueda ayudar.", "gold": "operadora", "tags": ["human", "hn"]}+{"id": "es-052", "text": "No quiero hablar con un robot, páseme con alguien.", "gold": "operadora", "tags": ["human", "negation-in-text"]}+{"id": "es-053", "text": "¿Hay alguna persona que me pueda atender?", "gold": "operadora", "tags": ["human"]}+{"id": "es-054", "text": "Déjeme hablar con la secretaria.", "gold": "operadora", "tags": ["human"]}+{"id": "es-055", "text": "Eso era todo, muchas gracias, hasta luego.", "gold": "colgar", "tags": ["farewell"]}+{"id": "es-056", "text": "No, gracias, ya no necesito nada más. Adiós.", "gold": "colgar", "tags": ["farewell"]}+{"id": "es-057", "text": "Listo, muy amable, que tenga buen día.", "gold": "colgar", "tags": ["farewell"]}+{"id": "es-058", "text": "Vaya pues, gracias, hasta luego.", "gold": "colgar", "tags": ["farewell", "hn"]}+{"id": "es-059", "text": "Ya puede colgar, gracias.", "gold": "colgar", "tags": ["farewell", "direct"]}+{"id": "es-060", "text": "Perfecto, era solo eso. Buenas tardes.", "gold": "colgar", "tags": ["farewell"]}+{"id": "es-061", "text": "Bueno, le agradezco, adiós.", "gold": "colgar", "tags": ["farewell"]}+{"id": "es-062", "text": "Nada más, gracias. Chao.", "gold": "colgar", "tags": ["farewell", "short"]}+{"id": "es-063", "text": "Me equivoqué de número, disculpe, hasta luego.", "gold": "colgar", "tags": ["farewell"]}+{"id": "es-064", "text": "Ya me resolvieron, gracias, feliz tarde.", "gold": "colgar", "tags": ["farewell"]}+{"id": "es-065", "text": "Está bien, después llamo. Adiós.", "gold": "colgar", "tags": ["farewell"]}+{"id": "es-066", "text": "Cheque, gracias, eso sería todo.", "gold": "colgar", "tags": ["farewell", "hn"]}+{"id": "es-067", "text": "¿A qué hora abren mañana?", "gold": "ninguno", "tags": ["open"]}+{"id": "es-068", "text": "¿Dónde queda la oficina principal?", "gold": "ninguno", "tags": ["open"]}+{"id": "es-069", "text": "¿Hasta qué hora atienden los sábados?", "gold": "ninguno", "tags": ["open"]}+{"id": "es-070", "text": "¿Cuál es el correo para mandar documentos?", "gold": "ninguno", "tags": ["open"]}+{"id": "es-071", "text": "¿Ustedes tienen cobertura en San Pedro Sula?", "gold": "ninguno", "tags": ["open", "hn"]}+{"id": "es-072", "text": "¿Me puede repetir la dirección, por favor?", "gold": "ninguno", "tags": ["open"]}+{"id": "es-073", "text": "¿Qué documentos necesito llevar?", "gold": "ninguno", "tags": ["open"]}+{"id": "es-074", "text": "¿Trabajan los días feriados?", "gold": "ninguno", "tags": ["open"]}+{"id": "es-075", "text": "¿Cómo se llama usted?", "gold": "ninguno", "tags": ["open"]}+{"id": "es-076", "text": "¿Tienen parqueo para clientes?", "gold": "ninguno", "tags": ["open"]}+{"id": "es-077", "text": "Aló, buenos días.", "gold": "ninguno", "tags": ["noise"]}+{"id": "es-078", "text": "¿Aló? ¿Me escucha?", "gold": "ninguno", "tags": ["noise"]}+{"id": "es-079", "text": "Sí.", "gold": "ninguno", "tags": ["noise", "short"]}+{"id": "es-080", "text": "Este... espere un momento.", "gold": "ninguno", "tags": ["noise"]}+{"id": "es-081", "text": "Buenas tardes, mire, tengo una consulta.", "gold": "ninguno", "tags": ["noise", "hn"]}+{"id": "es-082", "text": "Un momentito, que estoy buscando el número de contrato.", "gold": "ninguno", "tags": ["noise"]}+{"id": "es-083", "text": "¿Cómo dijo? No le entendí.", "gold": "ninguno", "tags": ["noise"]}+{"id": "es-084", "text": "Ajá, sí, lo escucho.", "gold": "ninguno", "tags": ["noise"]}+{"id": "es-085", "text": "No me pase con ventas, solo quiero saber el horario.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-086", "text": "No quiero hablar con soporte, ya hablé con ellos ayer.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-087", "text": "No necesito que me transfieran a facturación, solo una pregunta.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-088", "text": "Todavía no me pase con nadie, primero explíqueme usted.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-089", "text": "No, con la operadora no, prefiero que me lo diga usted.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-090", "text": "No es para ventas, es solo para saber dónde están ubicados.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-091", "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-092", "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-093", "text": "No quiero comprar nada, solo estoy preguntando por el horario.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-094", "text": "No me transfiera, por favor.", "gold": "ninguno", "tags": ["negation", "short"]}+{"id": "es-095", "text": "No cuelgue, por favor, todavía tengo otra pregunta.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-096", "text": "Espere, no he terminado, no me corte.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-097", "text": "No, no es todo, me falta preguntarle otra cosa.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-098", "text": "Gracias, pero todavía no me despido, tengo una duda más.", "gold": "ninguno", "tags": ["negation"]}+{"id": "es-099", "text": "Ventas me prometió una velocidad y el internet no funciona.", "gold": "soporte", "tags": ["hard"]}+{"id": "es-100", "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.", "gold": "facturacion", "tags": ["hard"]}+{"id": "es-101", "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.", "gold": "ventas", "tags": ["hard"]}+{"id": "es-102", "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.", "gold": "operadora", "tags": ["hard"]}+{"id": "es-103", "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.", "gold": "facturacion", "tags": ["hard"]}+{"id": "es-104", "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.", "gold": "colgar", "tags": ["hard"]}+{"id": "es-105", "text": "eh si buenas mire es que no tengo internet desde la mañana", "gold": "soporte", "tags": ["asr", "indirect"]}+{"id": "es-106", "text": "quiero este quiero contratar un plan para mi negocio", "gold": "ventas", "tags": ["asr", "indirect"]}+{"id": "es-107", "text": "me me cobraron doble la factura de este mes", "gold": "facturacion", "tags": ["asr", "indirect"]}+{"id": "es-108", "text": "paseme con una persona por favor", "gold": "operadora", "tags": ["asr", "human"]}+{"id": "es-109", "text": "bueno gracias eso era todo hasta luego", "gold": "colgar", "tags": ["asr", "farewell"]}+{"id": "es-110", "text": "a que hora cierran hoy", "gold": "ninguno", "tags": ["asr", "open"]}+{"id": "es-111", "text": "no no me pase con ventas solo una pregunta", "gold": "ninguno", "tags": ["asr", "negation"]}+{"id": "es-112", "text": "alo alo si me escucha", "gold": "ninguno", "tags": ["asr", "noise"]}+{"id": "es-113", "text": "¿Cuánto cuesta el plan de cincuenta megas?", "gold": "ninguno", "tags": ["borderline"]}+{"id": "es-114", "text": "Quiero cancelar mi servicio.", "gold": "operadora", "tags": ["borderline"]}+{"id": "es-115", "text": "¿Qué promociones tienen este mes?", "gold": "ninguno", "tags": ["borderline"]}+{"id": "es-116", "text": "Necesito cambiar el titular de la cuenta.", "gold": "operadora", "tags": ["borderline"]}diff --git a/research/benchmarks/es_phone_turns/data/clinic.jsonl b/research/benchmarks/es_phone_turns/data/clinic.jsonlnew file mode 100644index 00000000..446a825d--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/clinic.jsonl@@ -0,0 +1,45 @@+{"id": "cl-001", "text": "Quiero sacar una cita con el cardiólogo.", "gold": "citas", "tags": ["indirect"]}+{"id": "cl-002", "text": "Necesito cambiar la fecha de mi consulta del jueves.", "gold": "citas", "tags": ["indirect"]}+{"id": "cl-003", "text": "Páseme con citas, por favor.", "gold": "citas", "tags": ["direct"]}+{"id": "cl-004", "text": "Fíjese que quiero apartar una consulta para mi mamá.", "gold": "citas", "tags": ["indirect", "hn"]}+{"id": "cl-005", "text": "Tengo que cancelar la cita que tenía mañana con la doctora.", "gold": "citas", "tags": ["indirect"]}+{"id": "cl-006", "text": "quiero agendar con el pediatra para la otra semana", "gold": "citas", "tags": ["asr", "indirect"]}+{"id": "cl-007", "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.", "gold": "laboratorio", "tags": ["indirect"]}+{"id": "cl-008", "text": "Comuníqueme con el laboratorio.", "gold": "laboratorio", "tags": ["direct"]}+{"id": "cl-009", "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.", "gold": "laboratorio", "tags": ["indirect"]}+{"id": "cl-010", "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.", "gold": "laboratorio", "tags": ["indirect"]}+{"id": "cl-011", "text": "me hicieron un examen de orina y no me han entregado nada", "gold": "laboratorio", "tags": ["asr", "indirect"]}+{"id": "cl-012", "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.", "gold": "farmacia", "tags": ["direct"]}+{"id": "cl-013", "text": "Necesito surtir una receta.", "gold": "farmacia", "tags": ["indirect"]}+{"id": "cl-014", "text": "Con la farmacia, por favor.", "gold": "farmacia", "tags": ["direct", "short"]}+{"id": "cl-015", "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.", "gold": "farmacia", "tags": ["indirect"]}+{"id": "cl-016", "text": "Quiero comprar la medicina que me indicó el doctor.", "gold": "farmacia", "tags": ["indirect"]}+{"id": "cl-017", "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.", "gold": "emergencias", "tags": ["indirect"]}+{"id": "cl-018", "text": "Páseme con emergencias, es urgente.", "gold": "emergencias", "tags": ["direct"]}+{"id": "cl-019", "text": "Mi hijo se cortó y está sangrando mucho.", "gold": "emergencias", "tags": ["indirect"]}+{"id": "cl-020", "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.", "gold": "emergencias", "tags": ["indirect"]}+{"id": "cl-021", "text": "necesito una ambulancia mi esposa se cayó y no se puede mover", "gold": "emergencias", "tags": ["asr", "indirect"]}+{"id": "cl-022", "text": "Quiero hablar con una persona.", "gold": "recepcion", "tags": ["human"]}+{"id": "cl-023", "text": "Páseme con alguien que me atienda, por favor.", "gold": "recepcion", "tags": ["human"]}+{"id": "cl-024", "text": "No quiero hablar con una máquina, comuníqueme con una persona.", "gold": "recepcion", "tags": ["human", "negation-in-text"]}+{"id": "cl-025", "text": "Con la recepcionista, por favor.", "gold": "recepcion", "tags": ["human", "direct"]}+{"id": "cl-026", "text": "Muchas gracias, eso era todo. Hasta luego.", "gold": "colgar", "tags": ["farewell"]}+{"id": "cl-027", "text": "Vaya pues, muy amable, adiós.", "gold": "colgar", "tags": ["farewell", "hn"]}+{"id": "cl-028", "text": "Ya no necesito nada más, gracias.", "gold": "colgar", "tags": ["farewell"]}+{"id": "cl-029", "text": "bueno gracias que pase buen dia", "gold": "colgar", "tags": ["asr", "farewell"]}+{"id": "cl-030", "text": "¿A qué hora abre la clínica?", "gold": "ninguno", "tags": ["open"]}+{"id": "cl-031", "text": "¿Dónde están ubicados?", "gold": "ninguno", "tags": ["open"]}+{"id": "cl-032", "text": "¿Atienden los domingos?", "gold": "ninguno", "tags": ["open"]}+{"id": "cl-033", "text": "Aló, buenas tardes.", "gold": "ninguno", "tags": ["noise"]}+{"id": "cl-034", "text": "¿Me escucha?", "gold": "ninguno", "tags": ["noise", "short"]}+{"id": "cl-035", "text": "Un momento, que estoy buscando mi carné.", "gold": "ninguno", "tags": ["noise"]}+{"id": "cl-036", "text": "No quiero una cita, solo quiero saber el horario.", "gold": "ninguno", "tags": ["negation"]}+{"id": "cl-037", "text": "No me pase con el laboratorio, ya tengo mis resultados.", "gold": "ninguno", "tags": ["negation"]}+{"id": "cl-038", "text": "No es una emergencia, solo es una pregunta.", "gold": "ninguno", "tags": ["negation"]}+{"id": "cl-039", "text": "No necesito la farmacia, solo quería preguntar dónde quedan.", "gold": "ninguno", "tags": ["negation"]}+{"id": "cl-040", "text": "No cuelgue, todavía tengo otra duda.", "gold": "ninguno", "tags": ["negation"]}+{"id": "cl-041", "text": "No me transfiera con nadie todavía, primero dígame usted.", "gold": "ninguno", "tags": ["negation"]}+{"id": "cl-042", "text": "no no es urgente no me pase con emergencias", "gold": "ninguno", "tags": ["asr", "negation"]}+{"id": "cl-043", "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.", "gold": "citas", "tags": ["hard"]}+{"id": "cl-044", "text": "El doctor de emergencias me dejó una receta y quiero comprarla.", "gold": "farmacia", "tags": ["hard"]}+{"id": "cl-045", "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.", "gold": "laboratorio", "tags": ["hard"]}diff --git a/research/benchmarks/es_phone_turns/data/frustration.jsonl b/research/benchmarks/es_phone_turns/data/frustration.jsonlnew file mode 100644index 00000000..8e0193e3--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/frustration.jsonl@@ -0,0 +1,9 @@+{"id": "fr-001", "text": "te estoy pidiendo que no", "gold": "ninguno", "tags": ["frustration", "short"]}+{"id": "fr-002", "text": "te dije que no", "gold": "ninguno", "tags": ["frustration", "short"]}+{"id": "fr-003", "text": "no estas entendiendo?", "gold": "ninguno", "tags": ["frustration", "short"]}+{"id": "fr-004", "text": "maldita sea te dije que no!", "gold": "ninguno", "tags": ["frustration", "swearing"]}+{"id": "fr-005", "text": "carajo no entiendo porque repetis lo mismo", "gold": "ninguno", "tags": ["frustration", "swearing"]}+{"id": "fr-006", "text": "que tonteras decis", "gold": "ninguno", "tags": ["frustration"]}+{"id": "fr-007", "text": "joder esto no sirve", "gold": "ninguno", "tags": ["frustration", "swearing"]}+{"id": "fr-008", "text": "no me estas respondiendo lo que te pregunte", "gold": "ninguno", "tags": ["frustration"]}+{"id": "fr-009", "text": "eres demasiado tonto", "gold": "ninguno", "tags": ["frustration", "insult"]}diff --git a/research/benchmarks/es_phone_turns/data/independent_cases.jsonl b/research/benchmarks/es_phone_turns/data/independent_cases.jsonlnew file mode 100644index 00000000..9cec6fe1--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/independent_cases.jsonl@@ -0,0 +1,31 @@+{"id": "ic-001", "text": "No, ni me meta al área de ventas que yo estoy llamando por una factura.", "gold": "facturacion", "tags": ["redirected"]}+{"id": "ic-002", "text": "Soy cliente, no me conecte con los de contratos, necesito hablar con el soporte técnico.", "gold": "soporte", "tags": ["redirected"]}+{"id": "ic-003", "text": "Quiero hablar con alguien del área de cobros, no me saque al departamento comercial.", "gold": "facturacion", "tags": ["redirected"]}+{"id": "ic-004", "text": "Escúchame bien, no me mande con los de ventas, estoy llamando sobre mi saldo.", "gold": "facturacion", "tags": ["redirected"]}+{"id": "ic-005", "text": "Oiga, mira que no me funciona la internet hace tres días", "gold": "soporte", "tags": ["need-with-no"]}+{"id": "ic-006", "text": "Holaaa, no me llegó la factura y necesito hablar con alguien", "gold": "facturacion", "tags": ["need-with-no"]}+{"id": "ic-007", "text": "Oiga, yo no quiero hablar con nadie, no me pasen al departamento de soporte técnico, llámame directamente.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-008", "text": "No me pongan con soporte, ya sé lo que hace, ¿podés darme mi número?", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-009", "text": "No me manden al área de soporte, quiero que me respondan acá, al cliente.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-010", "text": "Mire, no me pongan con el soporte, eso ya lo saben, yo les hablo a ustedes.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-011", "text": "No me pasen con soporte técnico, llámeme directo al celular, no quiero hablar con nadie más.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-012", "text": "Oye, ¿saben por qué nunca me funciona el internet?", "gold": "soporte", "tags": ["need-with-no"]}+{"id": "ic-013", "text": "Bueno, tengo un problema que no me deja usar la conexión.", "gold": "soporte", "tags": ["need-with-no"]}+{"id": "ic-014", "text": "¿Alguien me ayuda con el servicio porque no funciona?", "gold": "soporte", "tags": ["need-with-no"]}+{"id": "ic-015", "text": "No me funcionó el equipo que me enviaron, por favor arreglenlo.", "gold": "soporte", "tags": ["need-with-no"]}+{"id": "ic-016", "text": "No quiero pasar al de facturación, haganme la atención aquí.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-017", "text": "Cuidado, no me pasen a facturación, es muy largo.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-018", "text": "No me manden a facturación, por favor.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-019", "text": "Ni se les ocurra pasarme a facturación, no estoy interesada.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-020", "text": "Oiga, estoy llamando por un asunto serio, me está cobrando una mensualidad y no me deja ver la factura ni el detalle del pago.", "gold": "facturacion", "tags": ["need-with-no"]}+{"id": "ic-021", "text": "Hola, buenos días, tengo el saldo pendiente y no me está llegando el cobro, necesitan revisar el caso urgente.", "gold": "facturacion", "tags": ["need-with-no"]}+{"id": "ic-022", "text": "Buenas tardes, disculpen que llame, me hicieron un cobro adicional y no me aparece la factura para validar el pago.", "gold": "facturacion", "tags": ["need-with-no"]}+{"id": "ic-023", "text": "Saludos, llamo para reclamar el saldo que me deben y no puedo generar una orden de pago ni ver el estado del reembolso.", "gold": "facturacion", "tags": ["need-with-no"]}+{"id": "ic-024", "text": "¿Sigo en línea?", "gold": "ninguno", "tags": ["noise"]}+{"id": "ic-025", "text": "No, espera, no me cuelgues, me falta algo.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-026", "text": "No me corten la línea, no se vayan.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-027", "text": "Ya, no me cuelgues, sigo aquí esperando.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-028", "text": "Me quedé en pausa, no me vayan a cortar.", "gold": "ninguno", "tags": ["refused"]}+{"id": "ic-029", "text": "Quiero hablar con el humano, por favor, no quiero hablar con la grabación.", "gold": "operadora", "tags": ["need-with-no"]}+{"id": "ic-030", "text": "¿No hay nadie ahí? No quiero hablar con la grabación.", "gold": "operadora", "tags": ["need-with-no"]}+{"id": "ic-031", "text": "Oiga, quiero hablar con alguien en vivo, no quiero hablar con la grabación.", "gold": "operadora", "tags": ["need-with-no"]}diff --git a/research/benchmarks/es_phone_turns/data/independent_clinic.jsonl b/research/benchmarks/es_phone_turns/data/independent_clinic.jsonlnew file mode 100644index 00000000..4b54bc69--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/independent_clinic.jsonl@@ -0,0 +1,20 @@+{"id": "il-001", "text": "No, no, no me pasen a esa caja ni al departamento de turnos.", "gold": "ninguno", "tags": ["refused"]}+{"id": "il-002", "text": "Hola, quería ver si se puede arreglar mi cita porque no puedo ir a la clínica", "gold": "citas", "tags": ["need-with-no"]}+{"id": "il-003", "text": "Buenas tardes, necesito saber si hago trámite para cambiar o anular la cita ya que nunca me llegó la confirmación", "gold": "citas", "tags": ["need-with-no"]}+{"id": "il-004", "text": "Quisiera pedir ayuda porque no puedo ir a mi consulta médica y quiero cancelarla o cambiarla", "gold": "citas", "tags": ["need-with-no"]}+{"id": "il-005", "text": "Oiga, mira, por favor, no la pasen para ahí, a lo del laboratorio, no quiero que me hagan análisis de nada, ni nada de eso.", "gold": "ninguno", "tags": ["refused"]}+{"id": "il-006", "text": "Soy yo, no me pasen al área de laboratorio, por favor, no quiero exámenes ni nada.", "gold": "ninguno", "tags": ["refused"]}+{"id": "il-007", "text": "Necesito que revisen los resultados, por favor, ya no me llegó la información que me mandaron.", "gold": "laboratorio", "tags": ["need-with-no"]}+{"id": "il-008", "text": "Oigan, urgente: me dijeron que me envíen los exámenes pero no me funciona el sistema.", "gold": "laboratorio", "tags": ["need-with-no"]}+{"id": "il-009", "text": "¿Alguien ahí me puede llamar para explicarme los resultados? No me puedo mover para ir.", "gold": "laboratorio", "tags": ["need-with-no"]}+{"id": "il-010", "text": "Quiero que me atiendan con mis exámenes, no me funciona lo que me enviaron ayer.", "gold": "laboratorio", "tags": ["need-with-no"]}+{"id": "il-011", "text": "Por favor, necesitan revisar mis análisis, nunca me han dado el resultado que me corresponde.", "gold": "laboratorio", "tags": ["need-with-no"]}+{"id": "il-012", "text": "Quiero hablar con atención humana, no con la farmacia, por favor.", "gold": "recepcion", "tags": ["redirected"]}+{"id": "il-013", "text": "Bueno, hola, soy la señora Rodríguez, tengo una inquietud con el medicamento que me dejaron recetado, no me llegó.", "gold": "farmacia", "tags": ["need-with-no"]}+{"id": "il-014", "text": "Bueno, hola, soy el señor de la mesa cuatro, me dejaron recetar unas cosas pero nunca me las dieron.", "gold": "farmacia", "tags": ["need-with-no"]}+{"id": "il-015", "text": "Oiga, ¿me pueden pasar con el médico de urgencias?", "gold": "emergencias", "tags": ["direct"]}+{"id": "il-016", "text": "Escúcheme, yo no quiero ser atendido en la emergencia.", "gold": "ninguno", "tags": ["refused"]}+{"id": "il-017", "text": "Quiero consulta pero no quiero que me pongan en la sala de emergencias.", "gold": "citas", "tags": ["redirected"]}+{"id": "il-018", "text": "Ayúdeme rápido, por favor, no puedo moverme de la cama", "gold": "emergencias", "tags": ["need-with-no"]}+{"id": "il-019", "text": "Hable conmigo, no quiero hablar con la grabación.", "gold": "recepcion", "tags": ["need-with-no"]}+{"id": "il-020", "text": "No quiero hablar con el sistema, quiero hablar con el humano.", "gold": "recepcion", "tags": ["need-with-no"]}diff --git a/research/benchmarks/es_phone_turns/data/raw_independent/cases.facturacion.need.json b/research/benchmarks/es_phone_turns/data/raw_independent/cases.facturacion.need.jsonnew file mode 100644index 00000000..0f8e9783--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/cases.facturacion.need.json@@ -0,0 +1,12 @@+{+ "name": "cases.facturacion.need",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una empresa de telefonía e internet y necesita que se ocupe de su caso el área que atiende esto: «un cobro, un pago, una factura, un saldo o un reembolso». En TODAS cuenta su problema usando una negación («no me funciona», «no me llegó», «no puedo», «nunca me»). No nombra el área.",+ "phrases": [+ "Oiga, estoy llamando por un asunto serio, me está cobrando una mensualidad y no me deja ver la factura ni el detalle del pago.",+ "Hola, buenos días, tengo el saldo pendiente y no me está llegando el cobro, necesitan revisar el caso urgente.",+ "Hola, alguien atienda por favor, el plan me funciona bien pero no puedo acceder a la sección de facturación ni al saldo.",+ "Buenas tardes, disculpen que llame, me hicieron un cobro adicional y no me aparece la factura para validar el pago.",+ "Saludos, llamo para reclamar el saldo que me deben y no puedo generar una orden de pago ni ver el estado del reembolso."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/cases.facturacion.refuse.json b/research/benchmarks/es_phone_turns/data/raw_independent/cases.facturacion.refuse.jsonnew file mode 100644index 00000000..68bd2fe5--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/cases.facturacion.refuse.json@@ -0,0 +1,12 @@+{+ "name": "cases.facturacion.refuse",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una empresa de telefonía e internet y deja claro que NO quiere que la pasen al área de «facturacion» (un cobro, un pago, una factura, un saldo o un reembolso). Nombra el área o lo que hace, y la rechaza. No pide ninguna otra área.",+ "phrases": [+ "Oiga, háganme favor de no pasar nada a facturación, por favor.",+ "No quiero pasar al de facturación, haganme la atención aquí.",+ "Cuidado, no me pasen a facturación, es muy largo.",+ "No me manden a facturación, por favor.",+ "Ni se les ocurra pasarme a facturación, no estoy interesada."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/cases.soporte.need.json b/research/benchmarks/es_phone_turns/data/raw_independent/cases.soporte.need.jsonnew file mode 100644index 00000000..89725f56--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/cases.soporte.need.json@@ -0,0 +1,12 @@+{+ "name": "cases.soporte.need",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una empresa de telefonía e internet y necesita que se ocupe de su caso el área que atiende esto: «algo no funciona o está fallando y hay que arreglarlo». En TODAS cuenta su problema usando una negación («no me funciona», «no me llegó», «no puedo», «nunca me»). No nombra el área.",+ "phrases": [+ "Oye, ¿saben por qué nunca me funciona el internet?",+ "Pónganle atención a mi caso, porque no me está llegando nada.",+ "Bueno, tengo un problema que no me deja usar la conexión.",+ "¿Alguien me ayuda con el servicio porque no funciona?",+ "No me funcionó el equipo que me enviaron, por favor arreglenlo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/cases.soporte.refuse.json b/research/benchmarks/es_phone_turns/data/raw_independent/cases.soporte.refuse.jsonnew file mode 100644index 00000000..1b827db2--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/cases.soporte.refuse.json@@ -0,0 +1,12 @@+{+ "name": "cases.soporte.refuse",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una empresa de telefonía e internet y deja claro que NO quiere que la pasen al área de «soporte» (algo no funciona o está fallando y hay que arreglarlo). Nombra el área o lo que hace, y la rechaza. No pide ninguna otra área.",+ "phrases": [+ "Oiga, yo no quiero hablar con nadie, no me pasen al departamento de soporte técnico, llámame directamente.",+ "No me pongan con soporte, ya sé lo que hace, ¿podés darme mi número?",+ "No me manden al área de soporte, quiero que me respondan acá, al cliente.",+ "Mire, no me pongan con el soporte, eso ya lo saben, yo les hablo a ustedes.",+ "No me pasen con soporte técnico, llámeme directo al celular, no quiero hablar con nadie más."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/cases.ventas.need.json b/research/benchmarks/es_phone_turns/data/raw_independent/cases.ventas.need.jsonnew file mode 100644index 00000000..834eb914--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/cases.ventas.need.json@@ -0,0 +1,12 @@+{+ "name": "cases.ventas.need",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una empresa de telefonía e internet y necesita que se ocupe de su caso el área que atiende esto: «quiere comprar, contratar, mejorar su plan o pedir una cotización». En TODAS cuenta su problema usando una negación («no me funciona», «no me llegó», «no puedo», «nunca me»). No nombra el área.",+ "phrases": [+ "Oiga, mira que no me funciona la internet hace tres días",+ "Holaaa, no me llegó la factura y necesito hablar con alguien",+ "Buenas tardes, ya llevo dos semanas y no me responde el sistema",+ "Hola, por favor me ayudan con esto porque no me puedo mover",+ "Me interesa contratar un plan nuevo pero no me funciona nada"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/cases.ventas.refuse.json b/research/benchmarks/es_phone_turns/data/raw_independent/cases.ventas.refuse.jsonnew file mode 100644index 00000000..5cb6ce26--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/cases.ventas.refuse.json@@ -0,0 +1,12 @@+{+ "name": "cases.ventas.refuse",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una empresa de telefonía e internet y deja claro que NO quiere que la pasen al área de «ventas» (quiere comprar, contratar, mejorar su plan o pedir una cotización). Nombra el área o lo que hace, y la rechaza. No pide ninguna otra área.",+ "phrases": [+ "No, ni me meta al área de ventas que yo estoy llamando por una factura.",+ "Soy cliente, no me conecte con los de contratos, necesito hablar con el soporte técnico.",+ "Quiero hablar con alguien del área de cobros, no me saque al departamento comercial.",+ "No, ni me conecte con los de ventas, solo quiero consultar una promoción de facturación.",+ "Escúchame bien, no me mande con los de ventas, estoy llamando sobre mi saldo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/clinic.citas.need.json b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.citas.need.jsonnew file mode 100644index 00000000..f8ccd48c--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.citas.need.json@@ -0,0 +1,12 @@+{+ "name": "clinic.citas.need",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una clínica médica y necesita que se ocupe de su caso el área que atiende esto: «quiere sacar, cambiar o cancelar una consulta médica». En TODAS cuenta su problema usando una negación («no me funciona», «no me llegó», «no puedo», «nunca me»). No nombra el área.",+ "phrases": [+ "Sabe si se puede cambiar la hora o cancelar la consulta que tenía para hoy que **no me funciona**",+ "Oiga, me avisaron que me tenía que atender el área de consultas pero me **no me llegó**",+ "Hola, quería ver si se puede arreglar mi cita porque **no puedo** ir a la clínica",+ "Buenas tardes, necesito saber si hago trámite para cambiar o anular la cita ya que **nunca me** llegó la confirmación",+ "Quisiera pedir ayuda porque **no puedo** ir a mi consulta médica y quiero cancelarla o cambiarla"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/clinic.citas.refuse.json b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.citas.refuse.jsonnew file mode 100644index 00000000..a4e940e4--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.citas.refuse.json@@ -0,0 +1,12 @@+{+ "name": "clinic.citas.refuse",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una clínica médica y deja claro que NO quiere que la pasen al área de «citas» (quiere sacar, cambiar o cancelar una consulta médica). Nombra el área o lo que hace, y la rechaza. No pide ninguna otra área.",+ "phrases": [+ "Oye, ¿aunque ya haya un turno no puedo hacer una baja?",+ "Hola, no me pongan ahí que quiero cambiar mi doctor.",+ "Mandalo al área de administración, no al de citas.",+ "Fijate que no quiero agendar nada, necesito una modificación.",+ "No, no, no me pasen a esa caja ni al departamento de turnos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/clinic.emergencias.need.json b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.emergencias.need.jsonnew file mode 100644index 00000000..f1628667--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.emergencias.need.json@@ -0,0 +1,12 @@+{+ "name": "clinic.emergencias.need",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una clínica médica y necesita que se ocupe de su caso el área que atiende esto: «alguien está en peligro y necesita atención inmediata». En TODAS cuenta su problema usando una negación («no me funciona», «no me llegó», «no puedo», «nunca me»). No nombra el área.",+ "phrases": [+ "Oye, urgente, no me llega la señal de alerta en el teléfono",+ "Oye, aquí no me funciona el botón de emergencia",+ "Ayúdeme rápido, por favor, no puedo moverme de la cama",+ "No, no, no me entendiste, nunca me han respondido los médicos",+ "Aléjense, por favor, no me dejan respirar"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/clinic.emergencias.refuse.json b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.emergencias.refuse.jsonnew file mode 100644index 00000000..027e47c0--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.emergencias.refuse.json@@ -0,0 +1,12 @@+{+ "name": "clinic.emergencias.refuse",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una clínica médica y deja claro que NO quiere que la pasen al área de «emergencias» (alguien está en peligro y necesita atención inmediata). Nombra el área o lo que hace, y la rechaza. No pide ninguna otra área.",+ "phrases": [+ "Oiga, ¿me pueden pasar con el médico de urgencias?",+ "Escúcheme, yo no quiero ser atendido en la emergencia.",+ "¿Tienen un médico aquí o me tienen que ir al área de urgencias?",+ "Quiero consulta pero no quiero que me pongan en la sala de emergencias.",+ "¿Dónde se atienden los pacientes regulares, no los de urgencia?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/clinic.farmacia.need.json b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.farmacia.need.jsonnew file mode 100644index 00000000..d39c8cba--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.farmacia.need.json@@ -0,0 +1,12 @@+{+ "name": "clinic.farmacia.need",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una clínica médica y necesita que se ocupe de su caso el área que atiende esto: «medicamentos y recetas». En TODAS cuenta su problema usando una negación («no me funciona», «no me llegó», «no puedo», «nunca me»). No nombra el área.",+ "phrases": [+ "Bueno, hola, qué tal, vengo urgente con una consulta, la cuestión es que estoy tomando el tratamiento que me mandaron hace días y no me funciona.",+ "Bueno, hola, soy la señora Rodríguez, tengo una inquietud con el medicamento que me dejaron recetado, no me llegó.",+ "Bueno, hola, necesito hablar con alguien rápido, el tema es que estoy muy nerviosa porque no puedo.",+ "Bueno, hola, soy el señor de la mesa cuatro, me dejaron recetar unas cosas pero nunca me las dieron.",+ "Bueno, hola, mira, tengo un problema con el tratamiento, me mandaron receta pero no me funciona."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/clinic.farmacia.refuse.json b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.farmacia.refuse.jsonnew file mode 100644index 00000000..5ff7d7d2--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.farmacia.refuse.json@@ -0,0 +1,12 @@+{+ "name": "clinic.farmacia.refuse",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una clínica médica y deja claro que NO quiere que la pasen al área de «farmacia» (medicamentos y recetas). Nombra el área o lo que hace, y la rechaza. No pide ninguna otra área.",+ "phrases": [+ "Hola, quiero hablar con el médico o la enfermera, no la farmacia.",+ "No, no, no me manden con la farmacia, quiero atención médica.",+ "Me pasan al consultorio o con el doctor, no con la farmacia.",+ "Quiero hablar con atención humana, no con la farmacia, por favor.",+ "Oigan, no me pasen al área de farmacia, solo quiero ver al médico."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/clinic.laboratorio.need.json b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.laboratorio.need.jsonnew file mode 100644index 00000000..c7259741--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.laboratorio.need.json@@ -0,0 +1,12 @@+{+ "name": "clinic.laboratorio.need",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una clínica médica y necesita que se ocupe de su caso el área que atiende esto: «exámenes, análisis y sus resultados». En TODAS cuenta su problema usando una negación («no me funciona», «no me llegó», «no puedo», «nunca me»). No nombra el área.",+ "phrases": [+ "Necesito que revisen los resultados, por favor, ya no me llegó la información que me mandaron.",+ "Oigan, urgente: me dijeron que me envíen los exámenes pero no me funciona el sistema.",+ "¿Alguien ahí me puede llamar para explicarme los resultados? No me puedo mover para ir.",+ "Quiero que me atiendan con mis exámenes, no me funciona lo que me enviaron ayer.",+ "Por favor, necesitan revisar mis análisis, nunca me han dado el resultado que me corresponde."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/clinic.laboratorio.refuse.json b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.laboratorio.refuse.jsonnew file mode 100644index 00000000..9f92369b--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/clinic.laboratorio.refuse.json@@ -0,0 +1,12 @@+{+ "name": "clinic.laboratorio.refuse",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 5 frases distintas de una persona que llama a una clínica médica y deja claro que NO quiere que la pasen al área de «laboratorio» (exámenes, análisis y sus resultados). Nombra el área o lo que hace, y la rechaza. No pide ninguna otra área.",+ "phrases": [+ "Oiga, mira, por favor, no la pasen para ahí, a lo del laboratorio, no quiero que me hagan análisis de nada, ni nada de eso.",+ "Soy yo, no me pasen al área de laboratorio, por favor, no quiero exámenes ni nada.",+ "Aló, no me pongan en el laboratorio, por favor, no quiero resultados, déjenme hablarse con un doctor.",+ "Hola, lo hablo con un médico, no me pasen al laboratorio, no quiero análisis de sangre ni nada, gracias.",+ "Sí, hablame con alguien de medicina, pero no me pase a laboratorio, por favor, no quiero nada de eso."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/pool.hangup_refused.json b/research/benchmarks/es_phone_turns/data/raw_independent/pool.hangup_refused.jsonnew file mode 100644index 00000000..c014e71e--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/pool.hangup_refused.json@@ -0,0 +1,15 @@+{+ "name": "pool.hangup_refused",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que está en una llamada con una empresa y pide que NO le cuelguen, o aclara que todavía no terminó.",+ "phrases": [+ "¿Sigo en línea?",+ "Aún no me pude ir, escuchame por favor.",+ "No, espera, no me cuelgues, me falta algo.",+ "Quédense ahí conmigo un segundo más.",+ "No me corten la línea, no se vayan.",+ "Ya, no me cuelgues, sigo aquí esperando.",+ "¿Me siguen escuchando? Ya voy llegando.",+ "Me quedé en pausa, no me vayan a cortar."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/data/raw_independent/pool.human_with_no.json b/research/benchmarks/es_phone_turns/data/raw_independent/pool.human_with_no.jsonnew file mode 100644index 00000000..c3019c6e--- /dev/null+++ b/research/benchmarks/es_phone_turns/data/raw_independent/pool.human_with_no.json@@ -0,0 +1,15 @@+{+ "name": "pool.human_with_no",+ "model": "glm-4.7-flash:q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa, la atiende una máquina y pide hablar con una persona usando una negación («no quiero hablar con una grabación»). No nombra ningún departamento.",+ "phrases": [+ "Quiero hablar con el humano, por favor, no quiero hablar con la grabación.",+ "Hola, soy cliente, atienden gente o grabación, quiero hablar con el humano.",+ "¿No hay nadie ahí? No quiero hablar con la grabación.",+ "No estoy hablando con nadie, esto es una grabación, quiero hablar con el humano.",+ "Oiga, quiero hablar con alguien en vivo, no quiero hablar con la grabación.",+ "Hola, soy de Ventas, atienden personas o grabación, pido hablar con el humano.",+ "Hable conmigo, no quiero hablar con la grabación.",+ "No quiero hablar con el sistema, quiero hablar con el humano."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/metrics.py b/research/benchmarks/es_phone_turns/metrics.pynew file mode 100644index 00000000..0f978c4a--- /dev/null+++ b/research/benchmarks/es_phone_turns/metrics.py@@ -0,0 +1,117 @@+"""Metrics recomputed from per-case records alone. Standard library only."""+from collections import Counter, defaultdict++# Everything the agent can DO. "ninguno" is the only answer that does nothing.+KEEP_TALKING = "ninguno"+++def accuracy(records):+ return sum(r["predicted"] == r["gold"] for r in records) / len(records) if records else None+++def macro_f1(records, labels):+ scores = []+ for label in labels:+ tp = sum(r["predicted"] == label and r["gold"] == label for r in records)+ fp = sum(r["predicted"] == label and r["gold"] != label for r in records)+ fn = sum(r["predicted"] != label and r["gold"] == label for r in records)+ if tp + fp + fn == 0:+ continue+ scores.append(2 * tp / (2 * tp + fp + fn))+ return sum(scores) / len(scores) if scores else None+++def ece(records, bins=10):+ """Expected calibration error over the confidence of the reported answer."""+ if not records:+ return None+ total = 0.0+ for b in range(bins):+ lo, hi = b / bins, (b + 1) / bins+ inside = [r for r in records+ if (lo < r["confidence"] <= hi) or (b == 0 and r["confidence"] == 0.0)]+ if not inside:+ continue+ conf = sum(r["confidence"] for r in inside) / len(inside)+ acc = sum(r["predicted"] == r["gold"] for r in inside) / len(inside)+ total += len(inside) / len(records) * abs(conf - acc)+ return total+++def by_tag(records):+ groups = defaultdict(list)+ for r in records:+ for tag in r["tags"]:+ groups[tag].append(r)+ return {tag: {"n": len(rs), "accuracy": accuracy(rs)} for tag, rs in sorted(groups.items())}+++def confusion(records):+ return dict(Counter((r["gold"], r["predicted"]) for r in records if r["gold"] != r["predicted"]))+++def wrong_actions(records):+ """The mistakes a phone agent cannot afford: it ACTED, and should not have, or acted+ on the wrong destination. Answering 'ninguno' by mistake only costs a slower turn."""+ return [r for r in records+ if r["predicted"] != KEEP_TALKING and r["predicted"] != r["gold"]]+++def fast_path(records, thresholds=(0.5, 0.6, 0.7, 0.8, 0.9, 0.95, 0.99)):+ """What a confidence gate buys. A turn takes the fast path when the model names an+ ACTION with at least this confidence; every other turn goes to the language model.++ coverage share of all turns that skip the language model+ action_recall share of the turns that truly were actions and were taken fast+ wrong fast turns that acted wrongly (the expensive mistake)+ precision share of fast turns that acted correctly+ """+ actions = [r for r in records if r["gold"] != KEEP_TALKING]+ table = []+ for t in thresholds:+ fast = [r for r in records+ if r["predicted"] != KEEP_TALKING and r["confidence"] >= t]+ right = [r for r in fast if r["predicted"] == r["gold"]]+ table.append({+ "threshold": t,+ "fast": len(fast),+ "coverage": len(fast) / len(records) if records else None,+ "action_recall": len(right) / len(actions) if actions else None,+ "wrong": len(fast) - len(right),+ "precision": len(right) / len(fast) if fast else None,+ })+ return table+++def percentile(values, q):+ if not values:+ return None+ ordered = sorted(values)+ index = min(len(ordered) - 1, max(0, round(q / 100 * (len(ordered) - 1))))+ return ordered[index]+++def summarize(records, labels):+ headline = [r for r in records if "borderline" not in r["tags"]]+ latencies = [r["latency_ms"] for r in records if r.get("latency_ms") is not None]+ majority = Counter(r["gold"] for r in headline).most_common(1)[0][1] / len(headline)+ return {+ "n": len(headline),+ "accuracy": accuracy(headline),+ "macro_f1": macro_f1(headline, labels),+ "ece": ece(headline),+ "mean_confidence": sum(r["confidence"] for r in headline) / len(headline),+ "majority_baseline": majority,+ "wrong_actions": len(wrong_actions(headline)),+ "by_tag": by_tag(headline),+ "confusion": {f"{g}->{p}": n for (g, p), n in sorted(confusion(headline).items())},+ "fast_path": fast_path(headline),+ "latency_ms": {+ "p50": percentile(latencies, 50), "p95": percentile(latencies, 95),+ "min": min(latencies) if latencies else None,+ },+ "borderline": [+ {"id": r["id"], "text": r["text"], "gold": r["gold"],+ "predicted": r["predicted"], "confidence": round(r["confidence"], 4)}+ for r in records if "borderline" in r["tags"]],+ }diff --git a/research/benchmarks/es_phone_turns/prompts.py b/research/benchmarks/es_phone_turns/prompts.pynew file mode 100644index 00000000..d329f2c9--- /dev/null+++ b/research/benchmarks/es_phone_turns/prompts.py@@ -0,0 +1,89 @@+"""The frozen question every case is asked, as a small ladder of renderings.++Written before any model was run. A rung changes HOW the same six-way question is asked,+never which answer is right.+"""++CRITERIA_ES = {+ "ventas": "quiere comprar, contratar, mejorar su plan o pedir una cotización",+ "soporte": "algo no funciona o está fallando y hay que arreglarlo",+ "facturacion": "un cobro, un pago, una factura, un saldo o un reembolso",+ "operadora": "pide hablar con una persona, sin decir con qué área",+ "colgar": "se despide o dice que ya no necesita nada más",+ "ninguno": "saluda, pregunta algo, o pide que NO lo transfieran ni le cuelguen",+}++CRITERIA_EN = {+ "ventas": "wants to buy, contract, upgrade a plan or get a quote",+ "soporte": "something is broken or failing and needs to be fixed",+ "facturacion": "a charge, a payment, an invoice, a balance or a refund",+ "operadora": "asks to talk to a person, without naming an area",+ "colgar": "says goodbye or that nothing else is needed",+ "ninguno": "greets, asks a question, or asks NOT to be transferred or hung up on",+}++CLINIC_CRITERIA_ES = {+ "citas": "quiere sacar, cambiar o cancelar una consulta médica",+ "laboratorio": "exámenes, análisis y sus resultados",+ "farmacia": "medicamentos y recetas",+ "emergencias": "alguien está en peligro y necesita atención inmediata",+ "recepcion": "pide hablar con una persona, sin decir con qué área",+ "colgar": "se despide o dice que ya no necesita nada más",+ "ninguno": "saluda, pregunta algo, o pide que NO lo transfieran ni le cuelguen",+}++CLINIC_CRITERIA_EN = {+ "citas": "wants to book, change or cancel a medical appointment",+ "laboratorio": "lab tests and their results",+ "farmacia": "medicines and prescriptions",+ "emergencias": "someone is in danger and needs immediate care",+ "recepcion": "asks to talk to a person, without naming an area",+ "colgar": "says goodbye or that nothing else is needed",+ "ninguno": "greets, asks a question, or asks NOT to be transferred or hung up on",+}++MENUS = {+ "cases": {"es": CRITERIA_ES, "en": CRITERIA_EN},+ "clinic": {"es": CLINIC_CRITERIA_ES, "en": CLINIC_CRITERIA_EN},+ # The same two menus over sentences the author of the first two sets did not write.+ "independent_cases": {"es": CRITERIA_ES, "en": CRITERIA_EN},+ "independent_clinic": {"es": CLINIC_CRITERIA_ES, "en": CLINIC_CRITERIA_EN},+ # An angry caller, written by a native speaker. The telephone-company menu.+ "frustration": {"es": CRITERIA_ES, "en": CRITERIA_EN},+}++INSTRUCTIONS_ES = "¿Qué debe hacer el agente con esta llamada?"+INSTRUCTIONS_EN = "What should the agent do with this call?"++SCENARIO_ES = (+ "Una persona llama por teléfono a una empresa y la atiende un agente de voz. "+ "El agente puede seguir conversando, pasar la llamada a un área o terminarla."+)++RUNGS = {+ # Spanish question, Spanish option descriptions, bare utterance.+ "es_criteria": {"instructions": INSTRUCTIONS_ES, "language": "es", "scenario": None},+ # The same, with one sentence that says who is talking to whom.+ "es_scenario": {"instructions": INSTRUCTIONS_ES, "language": "es", "scenario": SCENARIO_ES},+ # English question and descriptions over the Spanish utterance: what an integrator+ # who does not write Spanish would ship.+ "en_criteria": {"instructions": INSTRUCTIONS_EN, "language": "en", "scenario": None},+}+++def labels(dataset: str):+ return list(MENUS[dataset]["es"])+++def build(rung: str, text: str, dataset: str = "cases"):+ """Returns (state, questions) for one case at one rung."""+ spec = RUNGS[rung]+ state = text if spec["scenario"] is None else f"{spec['scenario']}\n\nLa persona dice: {text}"+ questions = {+ "accion": {+ "type": "choice",+ "instructions": spec["instructions"],+ "criteria": dict(MENUS[dataset][spec["language"]]),+ }+ }+ return state, questionsdiff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v1__cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v1__cases__es_criteria.jsonnew file mode 100644index 00000000..179770cd--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v1__cases__es_criteria.json@@ -0,0 +1,2412 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3911.978835007176+ },+ "summary": {+ "n": 112,+ "accuracy": 0.9017857142857143,+ "macro_f1": 0.893719810443872,+ "ece": 0.08078928571428569,+ "mean_confidence": 0.8493749999999999,+ "majority_baseline": 0.3125,+ "wrong_actions": 7,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 1.0+ },+ "direct": {+ "n": 18,+ "accuracy": 0.8333333333333334+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.8461538461538461+ },+ "hard": {+ "n": 6,+ "accuracy": 0.8333333333333334+ },+ "hn": {+ "n": 9,+ "accuracy": 1.0+ },+ "human": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.8666666666666667+ },+ "negation": {+ "n": 15,+ "accuracy": 1.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.8888888888888888+ },+ "open": {+ "n": 11,+ "accuracy": 1.0+ },+ "short": {+ "n": 5,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "colgar->ninguno": 2,+ "facturacion->soporte": 1,+ "ninguno->ventas": 1,+ "operadora->colgar": 1,+ "soporte->colgar": 1,+ "soporte->ninguno": 2,+ "soporte->operadora": 1,+ "ventas->facturacion": 2+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 73,+ "coverage": 0.6517857142857143,+ "action_recall": 0.8701298701298701,+ "wrong": 6,+ "precision": 0.9178082191780822+ },+ {+ "threshold": 0.6,+ "fast": 72,+ "coverage": 0.6428571428571429,+ "action_recall": 0.8701298701298701,+ "wrong": 5,+ "precision": 0.9305555555555556+ },+ {+ "threshold": 0.7,+ "fast": 72,+ "coverage": 0.6428571428571429,+ "action_recall": 0.8701298701298701,+ "wrong": 5,+ "precision": 0.9305555555555556+ },+ {+ "threshold": 0.8,+ "fast": 71,+ "coverage": 0.6339285714285714,+ "action_recall": 0.8701298701298701,+ "wrong": 4,+ "precision": 0.9436619718309859+ },+ {+ "threshold": 0.9,+ "fast": 7,+ "coverage": 0.0625,+ "action_recall": 0.09090909090909091,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 129.0739580290392,+ "p95": 147.71716599352658,+ "min": 117.90529097197577+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "facturacion",+ "confidence": 0.8417+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "ninguno",+ "confidence": 0.2076+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ventas",+ "confidence": 0.516+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "facturacion",+ "confidence": 0.6489+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9268,+ "probabilities": {+ "ventas": 0.9268,+ "soporte": 0.0156,+ "facturacion": 0.0143,+ "operadora": 0.0149,+ "colgar": 0.0141,+ "ninguno": 0.0144+ },+ "latency_ms": 127.44945898884907+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9269,+ "probabilities": {+ "ventas": 0.9269,+ "soporte": 0.0152,+ "facturacion": 0.0149,+ "operadora": 0.0145,+ "colgar": 0.0145,+ "ninguno": 0.014+ },+ "latency_ms": 136.6321670357138+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9221,+ "probabilities": {+ "ventas": 0.9221,+ "soporte": 0.0161,+ "facturacion": 0.0158,+ "operadora": 0.0154,+ "colgar": 0.0151,+ "ninguno": 0.0155+ },+ "latency_ms": 133.66200000746176+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.9187,+ "probabilities": {+ "ventas": 0.9187,+ "soporte": 0.0165,+ "facturacion": 0.0158,+ "operadora": 0.0168,+ "colgar": 0.0154,+ "ninguno": 0.0167+ },+ "latency_ms": 135.45558304758742+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.8469,+ "probabilities": {+ "ventas": 0.8469,+ "soporte": 0.0302,+ "facturacion": 0.0307,+ "operadora": 0.0319,+ "colgar": 0.0295,+ "ninguno": 0.0308+ },+ "latency_ms": 138.9897089684382+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8401,+ "probabilities": {+ "ventas": 0.8401,+ "soporte": 0.0317,+ "facturacion": 0.0323,+ "operadora": 0.0312,+ "colgar": 0.0316,+ "ninguno": 0.0332+ },+ "latency_ms": 177.14166699443012+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8395,+ "probabilities": {+ "ventas": 0.8395,+ "soporte": 0.0313,+ "facturacion": 0.0334,+ "operadora": 0.0313,+ "colgar": 0.0309,+ "ninguno": 0.0336+ },+ "latency_ms": 142.79120898572728+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8315,+ "probabilities": {+ "ventas": 0.0344,+ "soporte": 0.0337,+ "facturacion": 0.8315,+ "operadora": 0.0331,+ "colgar": 0.0337,+ "ninguno": 0.0335+ },+ "latency_ms": 128.52858303813264+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8455,+ "probabilities": {+ "ventas": 0.8455,+ "soporte": 0.0312,+ "facturacion": 0.0304,+ "operadora": 0.0315,+ "colgar": 0.0294,+ "ninguno": 0.032+ },+ "latency_ms": 137.90791697101668+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8465,+ "probabilities": {+ "ventas": 0.8465,+ "soporte": 0.0314,+ "facturacion": 0.0311,+ "operadora": 0.031,+ "colgar": 0.0292,+ "ninguno": 0.0308+ },+ "latency_ms": 133.95200000377372+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8269,+ "probabilities": {+ "ventas": 0.8269,+ "soporte": 0.0333,+ "facturacion": 0.0341,+ "operadora": 0.034,+ "colgar": 0.034,+ "ninguno": 0.0377+ },+ "latency_ms": 140.52625000476837+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8416,+ "probabilities": {+ "ventas": 0.8416,+ "soporte": 0.0312,+ "facturacion": 0.0322,+ "operadora": 0.0316,+ "colgar": 0.0305,+ "ninguno": 0.0329+ },+ "latency_ms": 142.4587499932386+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8478,+ "probabilities": {+ "ventas": 0.8478,+ "soporte": 0.0308,+ "facturacion": 0.0315,+ "operadora": 0.0297,+ "colgar": 0.0295,+ "ninguno": 0.0307+ },+ "latency_ms": 135.40258299326524+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8553,+ "probabilities": {+ "ventas": 0.8553,+ "soporte": 0.0289,+ "facturacion": 0.0295,+ "operadora": 0.0284,+ "colgar": 0.029,+ "ninguno": 0.029+ },+ "latency_ms": 133.5829159943387+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8699,+ "probabilities": {+ "ventas": 0.0248,+ "soporte": 0.8699,+ "facturacion": 0.0253,+ "operadora": 0.0295,+ "colgar": 0.0252,+ "ninguno": 0.0252+ },+ "latency_ms": 125.04995800554752+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.8639,+ "probabilities": {+ "ventas": 0.0259,+ "soporte": 0.0272,+ "facturacion": 0.0276,+ "operadora": 0.8639,+ "colgar": 0.0272,+ "ninguno": 0.0282+ },+ "latency_ms": 130.31920901266858+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.883,+ "probabilities": {+ "ventas": 0.0234,+ "soporte": 0.883,+ "facturacion": 0.0237,+ "operadora": 0.0237,+ "colgar": 0.0224,+ "ninguno": 0.0238+ },+ "latency_ms": 127.88666697451845+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.8269,+ "probabilities": {+ "ventas": 0.0358,+ "soporte": 0.0339,+ "facturacion": 0.0339,+ "operadora": 0.0352,+ "colgar": 0.0342,+ "ninguno": 0.8269+ },+ "latency_ms": 134.65691701276228+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8753,+ "probabilities": {+ "ventas": 0.0244,+ "soporte": 0.8753,+ "facturacion": 0.0246,+ "operadora": 0.0254,+ "colgar": 0.0251,+ "ninguno": 0.0253+ },+ "latency_ms": 129.95804101228714+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8405,+ "probabilities": {+ "ventas": 0.0305,+ "soporte": 0.8405,+ "facturacion": 0.0313,+ "operadora": 0.0322,+ "colgar": 0.0317,+ "ninguno": 0.0338+ },+ "latency_ms": 130.25683298474178+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8451,+ "probabilities": {+ "ventas": 0.0302,+ "soporte": 0.8451,+ "facturacion": 0.0305,+ "operadora": 0.0318,+ "colgar": 0.0308,+ "ninguno": 0.0316+ },+ "latency_ms": 148.86629197280854+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8471,+ "probabilities": {+ "ventas": 0.0301,+ "soporte": 0.8471,+ "facturacion": 0.0312,+ "operadora": 0.0307,+ "colgar": 0.0299,+ "ninguno": 0.031+ },+ "latency_ms": 131.80245802504942+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.85,+ "probabilities": {+ "ventas": 0.0293,+ "soporte": 0.85,+ "facturacion": 0.0298,+ "operadora": 0.0302,+ "colgar": 0.0293,+ "ninguno": 0.0314+ },+ "latency_ms": 136.36754103936255+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.8316,+ "probabilities": {+ "ventas": 0.0293,+ "soporte": 0.8316,+ "facturacion": 0.0293,+ "operadora": 0.0313,+ "colgar": 0.0296,+ "ninguno": 0.0489+ },+ "latency_ms": 131.42049999441952+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.5625,+ "probabilities": {+ "ventas": 0.0424,+ "soporte": 0.2434,+ "facturacion": 0.0432,+ "operadora": 0.0531,+ "colgar": 0.5625,+ "ninguno": 0.0554+ },+ "latency_ms": 127.70608300343156+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8447,+ "probabilities": {+ "ventas": 0.0308,+ "soporte": 0.8447,+ "facturacion": 0.0314,+ "operadora": 0.0314,+ "colgar": 0.0306,+ "ninguno": 0.0312+ },+ "latency_ms": 129.89670899696648+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8451,+ "probabilities": {+ "ventas": 0.0293,+ "soporte": 0.8451,+ "facturacion": 0.0304,+ "operadora": 0.0311,+ "colgar": 0.0299,+ "ninguno": 0.0342+ },+ "latency_ms": 138.0562920239754+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.8453,+ "probabilities": {+ "ventas": 0.0285,+ "soporte": 0.0351,+ "facturacion": 0.0306,+ "operadora": 0.0301,+ "colgar": 0.0303,+ "ninguno": 0.8453+ },+ "latency_ms": 131.08474999899045+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9146,+ "probabilities": {+ "ventas": 0.0167,+ "soporte": 0.0173,+ "facturacion": 0.9146,+ "operadora": 0.0177,+ "colgar": 0.0165,+ "ninguno": 0.0172+ },+ "latency_ms": 121.90758297219872+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.8923,+ "probabilities": {+ "ventas": 0.0218,+ "soporte": 0.0221,+ "facturacion": 0.8923,+ "operadora": 0.0213,+ "colgar": 0.0212,+ "ninguno": 0.0213+ },+ "latency_ms": 121.68541603023186+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9123,+ "probabilities": {+ "ventas": 0.0172,+ "soporte": 0.0179,+ "facturacion": 0.9123,+ "operadora": 0.0181,+ "colgar": 0.0169,+ "ninguno": 0.0177+ },+ "latency_ms": 123.87358397245407+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.8795,+ "probabilities": {+ "ventas": 0.0245,+ "soporte": 0.0244,+ "facturacion": 0.8795,+ "operadora": 0.0245,+ "colgar": 0.0238,+ "ninguno": 0.0233+ },+ "latency_ms": 124.40595799125731+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.8909,+ "probabilities": {+ "ventas": 0.0219,+ "soporte": 0.0223,+ "facturacion": 0.8909,+ "operadora": 0.0221,+ "colgar": 0.0216,+ "ninguno": 0.0212+ },+ "latency_ms": 126.76208297489211+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8479,+ "probabilities": {+ "ventas": 0.0307,+ "soporte": 0.0305,+ "facturacion": 0.8479,+ "operadora": 0.0305,+ "colgar": 0.0304,+ "ninguno": 0.03+ },+ "latency_ms": 151.09354199375957+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8373,+ "probabilities": {+ "ventas": 0.0325,+ "soporte": 0.0325,+ "facturacion": 0.8373,+ "operadora": 0.0331,+ "colgar": 0.0324,+ "ninguno": 0.0322+ },+ "latency_ms": 135.5708329938352+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8492,+ "probabilities": {+ "ventas": 0.0302,+ "soporte": 0.0299,+ "facturacion": 0.8492,+ "operadora": 0.0299,+ "colgar": 0.0299,+ "ninguno": 0.0309+ },+ "latency_ms": 127.91662500239909+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.8383,+ "probabilities": {+ "ventas": 0.0324,+ "soporte": 0.0328,+ "facturacion": 0.8383,+ "operadora": 0.0321,+ "colgar": 0.0323,+ "ninguno": 0.032+ },+ "latency_ms": 136.12887496128678+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8586,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.0281,+ "facturacion": 0.8586,+ "operadora": 0.0285,+ "colgar": 0.028,+ "ninguno": 0.0279+ },+ "latency_ms": 125.22145797265694+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8464,+ "probabilities": {+ "ventas": 0.0291,+ "soporte": 0.8464,+ "facturacion": 0.0325,+ "operadora": 0.0306,+ "colgar": 0.0298,+ "ninguno": 0.0316+ },+ "latency_ms": 132.24850001279265+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8297,+ "probabilities": {+ "ventas": 0.034,+ "soporte": 0.0342,+ "facturacion": 0.8297,+ "operadora": 0.0341,+ "colgar": 0.0344,+ "ninguno": 0.0337+ },+ "latency_ms": 131.4791670301929+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8472,+ "probabilities": {+ "ventas": 0.0313,+ "soporte": 0.0302,+ "facturacion": 0.8472,+ "operadora": 0.0304,+ "colgar": 0.0301,+ "ninguno": 0.0307+ },+ "latency_ms": 133.13170801848173+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8212,+ "probabilities": {+ "ventas": 0.0367,+ "soporte": 0.0354,+ "facturacion": 0.8212,+ "operadora": 0.0364,+ "colgar": 0.0347,+ "ninguno": 0.0356+ },+ "latency_ms": 130.26191695826128+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8768,+ "probabilities": {+ "ventas": 0.0231,+ "soporte": 0.0246,+ "facturacion": 0.025,+ "operadora": 0.8768,+ "colgar": 0.0248,+ "ninguno": 0.0258+ },+ "latency_ms": 121.78483296884224+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8571,+ "probabilities": {+ "ventas": 0.0273,+ "soporte": 0.0285,+ "facturacion": 0.0288,+ "operadora": 0.8571,+ "colgar": 0.0288,+ "ninguno": 0.0295+ },+ "latency_ms": 128.32012498984113+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8632,+ "probabilities": {+ "ventas": 0.0259,+ "soporte": 0.0269,+ "facturacion": 0.0275,+ "operadora": 0.8632,+ "colgar": 0.0277,+ "ninguno": 0.0288+ },+ "latency_ms": 124.44270798005164+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.9002,+ "probabilities": {+ "ventas": 0.019,+ "soporte": 0.0199,+ "facturacion": 0.0203,+ "operadora": 0.9002,+ "colgar": 0.0201,+ "ninguno": 0.0206+ },+ "latency_ms": 125.91683398932219+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.7769,+ "probabilities": {+ "ventas": 0.0501,+ "soporte": 0.0481,+ "facturacion": 0.0357,+ "operadora": 0.0472,+ "colgar": 0.7769,+ "ninguno": 0.042+ },+ "latency_ms": 120.6231249962002+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8553,+ "probabilities": {+ "ventas": 0.0282,+ "soporte": 0.0293,+ "facturacion": 0.0289,+ "operadora": 0.8553,+ "colgar": 0.0282,+ "ninguno": 0.0301+ },+ "latency_ms": 125.10929198469967+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8628,+ "probabilities": {+ "ventas": 0.0265,+ "soporte": 0.0277,+ "facturacion": 0.0278,+ "operadora": 0.8628,+ "colgar": 0.0274,+ "ninguno": 0.0278+ },+ "latency_ms": 120.66237500403076+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.8473,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.0309,+ "facturacion": 0.0307,+ "operadora": 0.8473,+ "colgar": 0.0302,+ "ninguno": 0.0314+ },+ "latency_ms": 138.28245899640024+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.8533,+ "probabilities": {+ "ventas": 0.0279,+ "soporte": 0.0293,+ "facturacion": 0.0299,+ "operadora": 0.8533,+ "colgar": 0.0297,+ "ninguno": 0.0301+ },+ "latency_ms": 132.78754201019183+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.8569,+ "probabilities": {+ "ventas": 0.0275,+ "soporte": 0.0286,+ "facturacion": 0.0283,+ "operadora": 0.8569,+ "colgar": 0.0288,+ "ninguno": 0.03+ },+ "latency_ms": 126.18162500439212+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8548,+ "probabilities": {+ "ventas": 0.0273,+ "soporte": 0.0293,+ "facturacion": 0.029,+ "operadora": 0.8548,+ "colgar": 0.0288,+ "ninguno": 0.0309+ },+ "latency_ms": 160.22999997949228+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8608,+ "probabilities": {+ "ventas": 0.0268,+ "soporte": 0.0279,+ "facturacion": 0.0281,+ "operadora": 0.8608,+ "colgar": 0.0278,+ "ninguno": 0.0286+ },+ "latency_ms": 126.53629097621888+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8665,+ "probabilities": {+ "ventas": 0.0232,+ "soporte": 0.0263,+ "facturacion": 0.0278,+ "operadora": 0.0274,+ "colgar": 0.8665,+ "ninguno": 0.0288+ },+ "latency_ms": 132.70804198691621+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.8314,+ "probabilities": {+ "ventas": 0.0303,+ "soporte": 0.032,+ "facturacion": 0.0334,+ "operadora": 0.0348,+ "colgar": 0.0381,+ "ninguno": 0.8314+ },+ "latency_ms": 135.07637503789738+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8559,+ "probabilities": {+ "ventas": 0.0255,+ "soporte": 0.0284,+ "facturacion": 0.0288,+ "operadora": 0.0296,+ "colgar": 0.8559,+ "ninguno": 0.0319+ },+ "latency_ms": 130.3307919879444+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8691,+ "probabilities": {+ "ventas": 0.0229,+ "soporte": 0.0257,+ "facturacion": 0.0271,+ "operadora": 0.0265,+ "colgar": 0.8691,+ "ninguno": 0.0287+ },+ "latency_ms": 127.93941696872935+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.8934,+ "probabilities": {+ "ventas": 0.0181,+ "soporte": 0.021,+ "facturacion": 0.0221,+ "operadora": 0.0216,+ "colgar": 0.8934,+ "ninguno": 0.0238+ },+ "latency_ms": 118.97258297540247+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8264,+ "probabilities": {+ "ventas": 0.0279,+ "soporte": 0.0301,+ "facturacion": 0.0314,+ "operadora": 0.0312,+ "colgar": 0.8264,+ "ninguno": 0.0529+ },+ "latency_ms": 124.89179096883163+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8808,+ "probabilities": {+ "ventas": 0.0211,+ "soporte": 0.0234,+ "facturacion": 0.0248,+ "operadora": 0.0245,+ "colgar": 0.8808,+ "ninguno": 0.0253+ },+ "latency_ms": 123.27587499748915+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "colgar",+ "confidence": 0.8221,+ "probabilities": {+ "ventas": 0.0269,+ "soporte": 0.0288,+ "facturacion": 0.0301,+ "operadora": 0.0296,+ "colgar": 0.8221,+ "ninguno": 0.0624+ },+ "latency_ms": 122.0247499877587+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8549,+ "probabilities": {+ "ventas": 0.026,+ "soporte": 0.0293,+ "facturacion": 0.0293,+ "operadora": 0.029,+ "colgar": 0.8549,+ "ninguno": 0.0315+ },+ "latency_ms": 123.87799995485693+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8541,+ "probabilities": {+ "ventas": 0.0262,+ "soporte": 0.0294,+ "facturacion": 0.0303,+ "operadora": 0.0295,+ "colgar": 0.8541,+ "ninguno": 0.0304+ },+ "latency_ms": 123.13379201805219+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.8471,+ "probabilities": {+ "ventas": 0.0289,+ "soporte": 0.0305,+ "facturacion": 0.0299,+ "operadora": 0.0313,+ "colgar": 0.0323,+ "ninguno": 0.8471+ },+ "latency_ms": 137.76141603011638+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8587,+ "probabilities": {+ "ventas": 0.0247,+ "soporte": 0.0279,+ "facturacion": 0.0294,+ "operadora": 0.0289,+ "colgar": 0.8587,+ "ninguno": 0.0305+ },+ "latency_ms": 130.72166603524238+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8546,+ "probabilities": {+ "ventas": 0.0272,+ "soporte": 0.028,+ "facturacion": 0.0293,+ "operadora": 0.0307,+ "colgar": 0.0303,+ "ninguno": 0.8546+ },+ "latency_ms": 127.31437501497567+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.861,+ "probabilities": {+ "ventas": 0.0254,+ "soporte": 0.0277,+ "facturacion": 0.0274,+ "operadora": 0.0297,+ "colgar": 0.0288,+ "ninguno": 0.861+ },+ "latency_ms": 122.6498750038445+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8555,+ "probabilities": {+ "ventas": 0.0269,+ "soporte": 0.0281,+ "facturacion": 0.0287,+ "operadora": 0.0305,+ "colgar": 0.0302,+ "ninguno": 0.8555+ },+ "latency_ms": 125.67912501981482+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.836,+ "probabilities": {+ "ventas": 0.0323,+ "soporte": 0.0314,+ "facturacion": 0.0327,+ "operadora": 0.0339,+ "colgar": 0.0337,+ "ninguno": 0.836+ },+ "latency_ms": 127.08762503461912+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.832,+ "probabilities": {+ "ventas": 0.0333,+ "soporte": 0.0324,+ "facturacion": 0.0343,+ "operadora": 0.0329,+ "colgar": 0.0351,+ "ninguno": 0.832+ },+ "latency_ms": 125.60800003120676+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8535,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.0276,+ "facturacion": 0.0284,+ "operadora": 0.0303,+ "colgar": 0.0292,+ "ninguno": 0.8535+ },+ "latency_ms": 129.57275001099333+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.846,+ "probabilities": {+ "ventas": 0.0291,+ "soporte": 0.0296,+ "facturacion": 0.0309,+ "operadora": 0.0318,+ "colgar": 0.0326,+ "ninguno": 0.846+ },+ "latency_ms": 126.05458399048075+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8456,+ "probabilities": {+ "ventas": 0.028,+ "soporte": 0.0304,+ "facturacion": 0.0311,+ "operadora": 0.0321,+ "colgar": 0.0328,+ "ninguno": 0.8456+ },+ "latency_ms": 120.2350840321742+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8596,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.0269,+ "facturacion": 0.0274,+ "operadora": 0.0303,+ "colgar": 0.0292,+ "ninguno": 0.8596+ },+ "latency_ms": 119.5814170059748+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.85,+ "probabilities": {+ "ventas": 0.0302,+ "soporte": 0.0291,+ "facturacion": 0.0293,+ "operadora": 0.0307,+ "colgar": 0.0307,+ "ninguno": 0.85+ },+ "latency_ms": 117.90529097197577+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8477,+ "probabilities": {+ "ventas": 0.0272,+ "soporte": 0.0289,+ "facturacion": 0.0295,+ "operadora": 0.0303,+ "colgar": 0.0365,+ "ninguno": 0.8477+ },+ "latency_ms": 130.9455000446178+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8536,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.0287,+ "facturacion": 0.0288,+ "operadora": 0.031,+ "colgar": 0.0302,+ "ninguno": 0.8536+ },+ "latency_ms": 120.58054201770574+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8492,+ "probabilities": {+ "ventas": 0.0286,+ "soporte": 0.0288,+ "facturacion": 0.03,+ "operadora": 0.0319,+ "colgar": 0.0315,+ "ninguno": 0.8492+ },+ "latency_ms": 119.94333297479898+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8688,+ "probabilities": {+ "ventas": 0.0239,+ "soporte": 0.0254,+ "facturacion": 0.0268,+ "operadora": 0.0277,+ "colgar": 0.0274,+ "ninguno": 0.8688+ },+ "latency_ms": 121.70550000155345+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.8395,+ "probabilities": {+ "ventas": 0.0293,+ "soporte": 0.034,+ "facturacion": 0.0308,+ "operadora": 0.0337,+ "colgar": 0.0326,+ "ninguno": 0.8395+ },+ "latency_ms": 136.3861260470003+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ventas",+ "confidence": 0.845,+ "probabilities": {+ "ventas": 0.845,+ "soporte": 0.0299,+ "facturacion": 0.031,+ "operadora": 0.0303,+ "colgar": 0.0298,+ "ninguno": 0.034+ },+ "latency_ms": 141.83179201791063+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.7875,+ "probabilities": {+ "ventas": 0.0365,+ "soporte": 0.0373,+ "facturacion": 0.0372,+ "operadora": 0.0643,+ "colgar": 0.0373,+ "ninguno": 0.7875+ },+ "latency_ms": 150.12354200007394+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8472,+ "probabilities": {+ "ventas": 0.0291,+ "soporte": 0.0298,+ "facturacion": 0.0303,+ "operadora": 0.0319,+ "colgar": 0.0317,+ "ninguno": 0.8472+ },+ "latency_ms": 127.56950000766665+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8714,+ "probabilities": {+ "ventas": 0.0241,+ "soporte": 0.0246,+ "facturacion": 0.026,+ "operadora": 0.0271,+ "colgar": 0.0268,+ "ninguno": 0.8714+ },+ "latency_ms": 128.30533302621916+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8522,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.0288,+ "facturacion": 0.0294,+ "operadora": 0.0312,+ "colgar": 0.0318,+ "ninguno": 0.8522+ },+ "latency_ms": 125.72179199196398+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8716,+ "probabilities": {+ "ventas": 0.0236,+ "soporte": 0.0246,+ "facturacion": 0.0261,+ "operadora": 0.0264,+ "colgar": 0.0277,+ "ninguno": 0.8716+ },+ "latency_ms": 130.26941695716232+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8567,+ "probabilities": {+ "ventas": 0.0266,+ "soporte": 0.0273,+ "facturacion": 0.0283,+ "operadora": 0.0309,+ "colgar": 0.0302,+ "ninguno": 0.8567+ },+ "latency_ms": 127.63629097025841+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8696,+ "probabilities": {+ "ventas": 0.0239,+ "soporte": 0.0248,+ "facturacion": 0.0257,+ "operadora": 0.0281,+ "colgar": 0.0279,+ "ninguno": 0.8696+ },+ "latency_ms": 128.75308300135657+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8547,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.0275,+ "facturacion": 0.0295,+ "operadora": 0.0309,+ "colgar": 0.0307,+ "ninguno": 0.8547+ },+ "latency_ms": 128.63379099871963+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8402,+ "probabilities": {+ "ventas": 0.0291,+ "soporte": 0.0317,+ "facturacion": 0.0318,+ "operadora": 0.0332,+ "colgar": 0.034,+ "ninguno": 0.8402+ },+ "latency_ms": 130.1079589757137+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8603,+ "probabilities": {+ "ventas": 0.0244,+ "soporte": 0.0266,+ "facturacion": 0.0291,+ "operadora": 0.0293,+ "colgar": 0.0302,+ "ninguno": 0.8603+ },+ "latency_ms": 131.25345902517438+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8388,+ "probabilities": {+ "ventas": 0.0316,+ "soporte": 0.0305,+ "facturacion": 0.0319,+ "operadora": 0.0333,+ "colgar": 0.0339,+ "ninguno": 0.8388+ },+ "latency_ms": 127.38779198843986+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8469,+ "probabilities": {+ "ventas": 0.028,+ "soporte": 0.0297,+ "facturacion": 0.0314,+ "operadora": 0.0319,+ "colgar": 0.032,+ "ninguno": 0.8469+ },+ "latency_ms": 124.60149999242276+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8538,+ "probabilities": {+ "ventas": 0.0266,+ "soporte": 0.0279,+ "facturacion": 0.0299,+ "operadora": 0.031,+ "colgar": 0.0308,+ "ninguno": 0.8538+ },+ "latency_ms": 123.38791700312868+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8539,+ "probabilities": {+ "ventas": 0.0255,+ "soporte": 0.028,+ "facturacion": 0.03,+ "operadora": 0.0311,+ "colgar": 0.0316,+ "ninguno": 0.8539+ },+ "latency_ms": 124.54308301676065+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8686,+ "probabilities": {+ "ventas": 0.0234,+ "soporte": 0.0248,+ "facturacion": 0.0269,+ "operadora": 0.028,+ "colgar": 0.0283,+ "ninguno": 0.8686+ },+ "latency_ms": 150.25649999734014+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8555,+ "probabilities": {+ "ventas": 0.0256,+ "soporte": 0.0279,+ "facturacion": 0.0295,+ "operadora": 0.0306,+ "colgar": 0.031,+ "ninguno": 0.8555+ },+ "latency_ms": 135.6992499786429+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.8346,+ "probabilities": {+ "ventas": 0.0342,+ "soporte": 0.8346,+ "facturacion": 0.0329,+ "operadora": 0.0332,+ "colgar": 0.0325,+ "ninguno": 0.0326+ },+ "latency_ms": 147.71716599352658+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.8427,+ "probabilities": {+ "ventas": 0.0314,+ "soporte": 0.0324,+ "facturacion": 0.8427,+ "operadora": 0.0312,+ "colgar": 0.0312,+ "ninguno": 0.0312+ },+ "latency_ms": 137.31666596140712+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.4623,+ "probabilities": {+ "ventas": 0.4536,+ "soporte": 0.0206,+ "facturacion": 0.4623,+ "operadora": 0.0209,+ "colgar": 0.0214,+ "ninguno": 0.0211+ },+ "latency_ms": 137.72820797748864+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "operadora",+ "confidence": 0.8472,+ "probabilities": {+ "ventas": 0.0304,+ "soporte": 0.0312,+ "facturacion": 0.0303,+ "operadora": 0.8472,+ "colgar": 0.0302,+ "ninguno": 0.0307+ },+ "latency_ms": 141.1394170136191+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.8713,+ "probabilities": {+ "ventas": 0.0262,+ "soporte": 0.0253,+ "facturacion": 0.8713,+ "operadora": 0.026,+ "colgar": 0.0255,+ "ninguno": 0.0257+ },+ "latency_ms": 129.0739580290392+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "colgar",+ "confidence": 0.8568,+ "probabilities": {+ "ventas": 0.0254,+ "soporte": 0.0285,+ "facturacion": 0.0289,+ "operadora": 0.0296,+ "colgar": 0.8568,+ "ninguno": 0.0307+ },+ "latency_ms": 131.39108300674707+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.838,+ "probabilities": {+ "ventas": 0.0311,+ "soporte": 0.838,+ "facturacion": 0.0319,+ "operadora": 0.0325,+ "colgar": 0.0321,+ "ninguno": 0.0344+ },+ "latency_ms": 130.16383297508582+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8513,+ "probabilities": {+ "ventas": 0.8513,+ "soporte": 0.0303,+ "facturacion": 0.0307,+ "operadora": 0.0296,+ "colgar": 0.0285,+ "ninguno": 0.0296+ },+ "latency_ms": 130.36483398173004+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8541,+ "probabilities": {+ "ventas": 0.0294,+ "soporte": 0.0288,+ "facturacion": 0.8541,+ "operadora": 0.0296,+ "colgar": 0.0292,+ "ninguno": 0.0289+ },+ "latency_ms": 124.62883297121152+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8589,+ "probabilities": {+ "ventas": 0.027,+ "soporte": 0.0284,+ "facturacion": 0.0285,+ "operadora": 0.8589,+ "colgar": 0.0281,+ "ninguno": 0.0291+ },+ "latency_ms": 119.10654098028317+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8712,+ "probabilities": {+ "ventas": 0.0226,+ "soporte": 0.0254,+ "facturacion": 0.0268,+ "operadora": 0.0264,+ "colgar": 0.8712,+ "ninguno": 0.0276+ },+ "latency_ms": 122.34733300283551+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8473,+ "probabilities": {+ "ventas": 0.0284,+ "soporte": 0.0295,+ "facturacion": 0.0305,+ "operadora": 0.0321,+ "colgar": 0.0323,+ "ninguno": 0.8473+ },+ "latency_ms": 122.80879099853337+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8713,+ "probabilities": {+ "ventas": 0.0238,+ "soporte": 0.0243,+ "facturacion": 0.0264,+ "operadora": 0.027,+ "colgar": 0.0271,+ "ninguno": 0.8713+ },+ "latency_ms": 124.8819999746047+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8583,+ "probabilities": {+ "ventas": 0.0259,+ "soporte": 0.0273,+ "facturacion": 0.0286,+ "operadora": 0.0302,+ "colgar": 0.0297,+ "ninguno": 0.8583+ },+ "latency_ms": 134.21616703271866+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.8417,+ "probabilities": {+ "ventas": 0.0325,+ "soporte": 0.0318,+ "facturacion": 0.8417,+ "operadora": 0.0305,+ "colgar": 0.0313,+ "ninguno": 0.0323+ },+ "latency_ms": 129.04025003081188+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.2076,+ "probabilities": {+ "ventas": 0.203,+ "soporte": 0.1537,+ "facturacion": 0.1705,+ "operadora": 0.1335,+ "colgar": 0.1317,+ "ninguno": 0.2076+ },+ "latency_ms": 120.60987495351583+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.516,+ "probabilities": {+ "ventas": 0.516,+ "soporte": 0.0164,+ "facturacion": 0.017,+ "operadora": 0.017,+ "colgar": 0.0166,+ "ninguno": 0.417+ },+ "latency_ms": 124.2950419546105+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.6489,+ "probabilities": {+ "ventas": 0.059,+ "soporte": 0.1111,+ "facturacion": 0.6489,+ "operadora": 0.0576,+ "colgar": 0.0595,+ "ninguno": 0.0638+ },+ "latency_ms": 130.6110419682227+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v1__clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v1__clinic__es_criteria.jsonnew file mode 100644index 00000000..44316d7b--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v1__clinic__es_criteria.json@@ -0,0 +1,1059 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3522.4657519720495+ },+ "summary": {+ "n": 45,+ "accuracy": 0.9333333333333333,+ "macro_f1": 0.9241583813012385,+ "ece": 0.09881111111111111,+ "mean_confidence": 0.8345222222222222,+ "majority_baseline": 0.28888888888888886,+ "wrong_actions": 3,+ "by_tag": {+ "asr": {+ "n": 5,+ "accuracy": 1.0+ },+ "direct": {+ "n": 6,+ "accuracy": 1.0+ },+ "farewell": {+ "n": 4,+ "accuracy": 1.0+ },+ "hard": {+ "n": 3,+ "accuracy": 0.6666666666666666+ },+ "hn": {+ "n": 2,+ "accuracy": 1.0+ },+ "human": {+ "n": 4,+ "accuracy": 1.0+ },+ "indirect": {+ "n": 16,+ "accuracy": 0.875+ },+ "negation": {+ "n": 7,+ "accuracy": 1.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 3,+ "accuracy": 1.0+ },+ "open": {+ "n": 3,+ "accuracy": 1.0+ },+ "short": {+ "n": 2,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "citas->laboratorio": 1,+ "farmacia->citas": 1,+ "farmacia->recepcion": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 0.90625,+ "wrong": 3,+ "precision": 0.90625+ },+ {+ "threshold": 0.6,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 0.90625,+ "wrong": 3,+ "precision": 0.90625+ },+ {+ "threshold": 0.7,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 0.90625,+ "wrong": 3,+ "precision": 0.90625+ },+ {+ "threshold": 0.8,+ "fast": 30,+ "coverage": 0.6666666666666666,+ "action_recall": 0.84375,+ "wrong": 3,+ "precision": 0.9+ },+ {+ "threshold": 0.9,+ "fast": 1,+ "coverage": 0.022222222222222223,+ "action_recall": 0.03125,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 123.19091701647267,+ "p95": 151.9511669757776,+ "min": 113.30895900027826+ },+ "borderline": []+ },+ "records": [+ {+ "id": "cl-001",+ "text": "Quiero sacar una cita con el cardiólogo.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.835,+ "probabilities": {+ "citas": 0.835,+ "laboratorio": 0.0272,+ "farmacia": 0.0282,+ "emergencias": 0.0276,+ "recepcion": 0.0267,+ "colgar": 0.0276,+ "ninguno": 0.0277+ },+ "latency_ms": 140.06125001469627+ },+ {+ "id": "cl-002",+ "text": "Necesito cambiar la fecha de mi consulta del jueves.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.7674,+ "probabilities": {+ "citas": 0.7674,+ "laboratorio": 0.0396,+ "farmacia": 0.0407,+ "emergencias": 0.0391,+ "recepcion": 0.0374,+ "colgar": 0.0374,+ "ninguno": 0.0384+ },+ "latency_ms": 206.8445420009084+ },+ {+ "id": "cl-003",+ "text": "Páseme con citas, por favor.",+ "gold": "citas",+ "tags": [+ "direct"+ ],+ "predicted": "citas",+ "confidence": 0.9063,+ "probabilities": {+ "citas": 0.9063,+ "laboratorio": 0.016,+ "farmacia": 0.0166,+ "emergencias": 0.0161,+ "recepcion": 0.0153,+ "colgar": 0.0152,+ "ninguno": 0.0145+ },+ "latency_ms": 135.09595900541171+ },+ {+ "id": "cl-004",+ "text": "Fíjese que quiero apartar una consulta para mi mamá.",+ "gold": "citas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "citas",+ "confidence": 0.8188,+ "probabilities": {+ "citas": 0.8188,+ "laboratorio": 0.0299,+ "farmacia": 0.0312,+ "emergencias": 0.03,+ "recepcion": 0.0297,+ "colgar": 0.0294,+ "ninguno": 0.031+ },+ "latency_ms": 136.63387502310798+ },+ {+ "id": "cl-005",+ "text": "Tengo que cancelar la cita que tenía mañana con la doctora.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.813,+ "probabilities": {+ "citas": 0.813,+ "laboratorio": 0.0317,+ "farmacia": 0.0324,+ "emergencias": 0.0313,+ "recepcion": 0.0303,+ "colgar": 0.0304,+ "ninguno": 0.0309+ },+ "latency_ms": 126.18241598829627+ },+ {+ "id": "cl-006",+ "text": "quiero agendar con el pediatra para la otra semana",+ "gold": "citas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.807,+ "probabilities": {+ "citas": 0.807,+ "laboratorio": 0.0291,+ "farmacia": 0.0285,+ "emergencias": 0.045,+ "recepcion": 0.0304,+ "colgar": 0.0293,+ "ninguno": 0.0307+ },+ "latency_ms": 129.78495797142386+ },+ {+ "id": "cl-007",+ "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8287,+ "probabilities": {+ "citas": 0.0296,+ "laboratorio": 0.8287,+ "farmacia": 0.0294,+ "emergencias": 0.029,+ "recepcion": 0.0282,+ "colgar": 0.0283,+ "ninguno": 0.0268+ },+ "latency_ms": 133.3409589715302+ },+ {+ "id": "cl-008",+ "text": "Comuníqueme con el laboratorio.",+ "gold": "laboratorio",+ "tags": [+ "direct"+ ],+ "predicted": "laboratorio",+ "confidence": 0.895,+ "probabilities": {+ "citas": 0.0178,+ "laboratorio": 0.895,+ "farmacia": 0.0176,+ "emergencias": 0.0179,+ "recepcion": 0.0175,+ "colgar": 0.0174,+ "ninguno": 0.0167+ },+ "latency_ms": 124.22275100834668+ },+ {+ "id": "cl-009",+ "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8056,+ "probabilities": {+ "citas": 0.032,+ "laboratorio": 0.8056,+ "farmacia": 0.0311,+ "emergencias": 0.0313,+ "recepcion": 0.0306,+ "colgar": 0.0311,+ "ninguno": 0.0384+ },+ "latency_ms": 138.78416595980525+ },+ {+ "id": "cl-010",+ "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8041,+ "probabilities": {+ "citas": 0.0334,+ "laboratorio": 0.8041,+ "farmacia": 0.0332,+ "emergencias": 0.0333,+ "recepcion": 0.0321,+ "colgar": 0.032,+ "ninguno": 0.0319+ },+ "latency_ms": 133.07687500491738+ },+ {+ "id": "cl-011",+ "text": "me hicieron un examen de orina y no me han entregado nada",+ "gold": "laboratorio",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8099,+ "probabilities": {+ "citas": 0.0319,+ "laboratorio": 0.8099,+ "farmacia": 0.0309,+ "emergencias": 0.0335,+ "recepcion": 0.0308,+ "colgar": 0.0312,+ "ninguno": 0.0317+ },+ "latency_ms": 165.5138340429403+ },+ {+ "id": "cl-012",+ "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.",+ "gold": "farmacia",+ "tags": [+ "direct"+ ],+ "predicted": "farmacia",+ "confidence": 0.8765,+ "probabilities": {+ "citas": 0.0204,+ "laboratorio": 0.0211,+ "farmacia": 0.8765,+ "emergencias": 0.0215,+ "recepcion": 0.0207,+ "colgar": 0.0206,+ "ninguno": 0.0192+ },+ "latency_ms": 151.9511669757776+ },+ {+ "id": "cl-013",+ "text": "Necesito surtir una receta.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "recepcion",+ "confidence": 0.8288,+ "probabilities": {+ "citas": 0.0257,+ "laboratorio": 0.0256,+ "farmacia": 0.0416,+ "emergencias": 0.0262,+ "recepcion": 0.8288,+ "colgar": 0.0256,+ "ninguno": 0.0264+ },+ "latency_ms": 118.26941696926951+ },+ {+ "id": "cl-014",+ "text": "Con la farmacia, por favor.",+ "gold": "farmacia",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "farmacia",+ "confidence": 0.8881,+ "probabilities": {+ "citas": 0.0189,+ "laboratorio": 0.0187,+ "farmacia": 0.8881,+ "emergencias": 0.0195,+ "recepcion": 0.019,+ "colgar": 0.0177,+ "ninguno": 0.0182+ },+ "latency_ms": 121.10783398384228+ },+ {+ "id": "cl-015",+ "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.803,+ "probabilities": {+ "citas": 0.803,+ "laboratorio": 0.0301,+ "farmacia": 0.0429,+ "emergencias": 0.0309,+ "recepcion": 0.0304,+ "colgar": 0.0302,+ "ninguno": 0.0325+ },+ "latency_ms": 127.57024995516986+ },+ {+ "id": "cl-016",+ "text": "Quiero comprar la medicina que me indicó el doctor.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8246,+ "probabilities": {+ "citas": 0.0299,+ "laboratorio": 0.0299,+ "farmacia": 0.8246,+ "emergencias": 0.0296,+ "recepcion": 0.0284,+ "colgar": 0.029,+ "ninguno": 0.0285+ },+ "latency_ms": 133.1966249854304+ },+ {+ "id": "cl-017",+ "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8303,+ "probabilities": {+ "citas": 0.0274,+ "laboratorio": 0.0275,+ "farmacia": 0.0284,+ "emergencias": 0.8303,+ "recepcion": 0.0288,+ "colgar": 0.0288,+ "ninguno": 0.029+ },+ "latency_ms": 150.0184159958735+ },+ {+ "id": "cl-018",+ "text": "Páseme con emergencias, es urgente.",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.8885,+ "probabilities": {+ "citas": 0.0182,+ "laboratorio": 0.0185,+ "farmacia": 0.0187,+ "emergencias": 0.8885,+ "recepcion": 0.0185,+ "colgar": 0.0184,+ "ninguno": 0.0191+ },+ "latency_ms": 124.26470895297825+ },+ {+ "id": "cl-019",+ "text": "Mi hijo se cortó y está sangrando mucho.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8181,+ "probabilities": {+ "citas": 0.0292,+ "laboratorio": 0.0294,+ "farmacia": 0.0303,+ "emergencias": 0.8181,+ "recepcion": 0.031,+ "colgar": 0.031,+ "ninguno": 0.031+ },+ "latency_ms": 123.14787600189447+ },+ {+ "id": "cl-020",+ "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8366,+ "probabilities": {+ "citas": 0.0267,+ "laboratorio": 0.0261,+ "farmacia": 0.0276,+ "emergencias": 0.8366,+ "recepcion": 0.0276,+ "colgar": 0.0272,+ "ninguno": 0.0283+ },+ "latency_ms": 119.55141701037064+ },+ {+ "id": "cl-021",+ "text": "necesito una ambulancia mi esposa se cayó y no se puede mover",+ "gold": "emergencias",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8307,+ "probabilities": {+ "citas": 0.0273,+ "laboratorio": 0.0273,+ "farmacia": 0.0289,+ "emergencias": 0.8307,+ "recepcion": 0.0289,+ "colgar": 0.0284,+ "ninguno": 0.0284+ },+ "latency_ms": 128.0376670183614+ },+ {+ "id": "cl-022",+ "text": "Quiero hablar con una persona.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8529,+ "probabilities": {+ "citas": 0.0235,+ "laboratorio": 0.0236,+ "farmacia": 0.024,+ "emergencias": 0.0255,+ "recepcion": 0.8529,+ "colgar": 0.0249,+ "ninguno": 0.0257+ },+ "latency_ms": 116.56945798313245+ },+ {+ "id": "cl-023",+ "text": "Páseme con alguien que me atienda, por favor.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8411,+ "probabilities": {+ "citas": 0.0257,+ "laboratorio": 0.0256,+ "farmacia": 0.0259,+ "emergencias": 0.0278,+ "recepcion": 0.8411,+ "colgar": 0.0264,+ "ninguno": 0.0275+ },+ "latency_ms": 122.28883401257917+ },+ {+ "id": "cl-024",+ "text": "No quiero hablar con una máquina, comuníqueme con una persona.",+ "gold": "recepcion",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "recepcion",+ "confidence": 0.8341,+ "probabilities": {+ "citas": 0.0268,+ "laboratorio": 0.0266,+ "farmacia": 0.0265,+ "emergencias": 0.0287,+ "recepcion": 0.8341,+ "colgar": 0.028,+ "ninguno": 0.0293+ },+ "latency_ms": 123.24412498855963+ },+ {+ "id": "cl-025",+ "text": "Con la recepcionista, por favor.",+ "gold": "recepcion",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "recepcion",+ "confidence": 0.8896,+ "probabilities": {+ "citas": 0.018,+ "laboratorio": 0.0179,+ "farmacia": 0.0184,+ "emergencias": 0.0188,+ "recepcion": 0.8896,+ "colgar": 0.0186,+ "ninguno": 0.0186+ },+ "latency_ms": 123.19091701647267+ },+ {+ "id": "cl-026",+ "text": "Muchas gracias, eso era todo. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8293,+ "probabilities": {+ "citas": 0.0268,+ "laboratorio": 0.0268,+ "farmacia": 0.0277,+ "emergencias": 0.0288,+ "recepcion": 0.0305,+ "colgar": 0.8293,+ "ninguno": 0.03+ },+ "latency_ms": 126.53999996837229+ },+ {+ "id": "cl-027",+ "text": "Vaya pues, muy amable, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8372,+ "probabilities": {+ "citas": 0.0253,+ "laboratorio": 0.0257,+ "farmacia": 0.0266,+ "emergencias": 0.027,+ "recepcion": 0.0286,+ "colgar": 0.8372,+ "ninguno": 0.0297+ },+ "latency_ms": 117.85654199775308+ },+ {+ "id": "cl-028",+ "text": "Ya no necesito nada más, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8448,+ "probabilities": {+ "citas": 0.0239,+ "laboratorio": 0.0245,+ "farmacia": 0.0254,+ "emergencias": 0.0259,+ "recepcion": 0.0279,+ "colgar": 0.8448,+ "ninguno": 0.0276+ },+ "latency_ms": 122.8840000112541+ },+ {+ "id": "cl-029",+ "text": "bueno gracias que pase buen dia",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8282,+ "probabilities": {+ "citas": 0.0269,+ "laboratorio": 0.0274,+ "farmacia": 0.028,+ "emergencias": 0.0286,+ "recepcion": 0.0303,+ "colgar": 0.8282,+ "ninguno": 0.0306+ },+ "latency_ms": 118.13412501942366+ },+ {+ "id": "cl-030",+ "text": "¿A qué hora abre la clínica?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8419,+ "probabilities": {+ "citas": 0.026,+ "laboratorio": 0.0245,+ "farmacia": 0.0259,+ "emergencias": 0.0267,+ "recepcion": 0.0276,+ "colgar": 0.0275,+ "ninguno": 0.8419+ },+ "latency_ms": 122.74608301231638+ },+ {+ "id": "cl-031",+ "text": "¿Dónde están ubicados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8423,+ "probabilities": {+ "citas": 0.0252,+ "laboratorio": 0.0247,+ "farmacia": 0.0255,+ "emergencias": 0.0271,+ "recepcion": 0.0276,+ "colgar": 0.0278,+ "ninguno": 0.8423+ },+ "latency_ms": 113.30895900027826+ },+ {+ "id": "cl-032",+ "text": "¿Atienden los domingos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8341,+ "probabilities": {+ "citas": 0.0267,+ "laboratorio": 0.0257,+ "farmacia": 0.0269,+ "emergencias": 0.0283,+ "recepcion": 0.0292,+ "colgar": 0.029,+ "ninguno": 0.8341+ },+ "latency_ms": 115.69120798958465+ },+ {+ "id": "cl-033",+ "text": "Aló, buenas tardes.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8294,+ "probabilities": {+ "citas": 0.0276,+ "laboratorio": 0.0261,+ "farmacia": 0.0273,+ "emergencias": 0.0282,+ "recepcion": 0.0305,+ "colgar": 0.0309,+ "ninguno": 0.8294+ },+ "latency_ms": 131.13299995893613+ },+ {+ "id": "cl-034",+ "text": "¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8405,+ "probabilities": {+ "citas": 0.0255,+ "laboratorio": 0.0249,+ "farmacia": 0.0257,+ "emergencias": 0.027,+ "recepcion": 0.0284,+ "colgar": 0.028,+ "ninguno": 0.8405+ },+ "latency_ms": 115.26729201432317+ },+ {+ "id": "cl-035",+ "text": "Un momento, que estoy buscando mi carné.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8174,+ "probabilities": {+ "citas": 0.0311,+ "laboratorio": 0.0277,+ "farmacia": 0.0304,+ "emergencias": 0.0301,+ "recepcion": 0.0311,+ "colgar": 0.0322,+ "ninguno": 0.8174+ },+ "latency_ms": 122.11016699438915+ },+ {+ "id": "cl-036",+ "text": "No quiero una cita, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8305,+ "probabilities": {+ "citas": 0.0267,+ "laboratorio": 0.0267,+ "farmacia": 0.0281,+ "emergencias": 0.0288,+ "recepcion": 0.0295,+ "colgar": 0.0297,+ "ninguno": 0.8305+ },+ "latency_ms": 119.55245898570865+ },+ {+ "id": "cl-037",+ "text": "No me pase con el laboratorio, ya tengo mis resultados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8236,+ "probabilities": {+ "citas": 0.0277,+ "laboratorio": 0.0292,+ "farmacia": 0.029,+ "emergencias": 0.03,+ "recepcion": 0.0294,+ "colgar": 0.0311,+ "ninguno": 0.8236+ },+ "latency_ms": 121.18874996667728+ },+ {+ "id": "cl-038",+ "text": "No es una emergencia, solo es una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8394,+ "probabilities": {+ "citas": 0.0241,+ "laboratorio": 0.025,+ "farmacia": 0.0266,+ "emergencias": 0.0279,+ "recepcion": 0.0284,+ "colgar": 0.0285,+ "ninguno": 0.8394+ },+ "latency_ms": 117.89487500209361+ },+ {+ "id": "cl-039",+ "text": "No necesito la farmacia, solo quería preguntar dónde quedan.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8389,+ "probabilities": {+ "citas": 0.0247,+ "laboratorio": 0.0251,+ "farmacia": 0.0274,+ "emergencias": 0.0274,+ "recepcion": 0.028,+ "colgar": 0.0287,+ "ninguno": 0.8389+ },+ "latency_ms": 117.01816599816084+ },+ {+ "id": "cl-040",+ "text": "No cuelgue, todavía tengo otra duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8418,+ "probabilities": {+ "citas": 0.0243,+ "laboratorio": 0.0254,+ "farmacia": 0.0268,+ "emergencias": 0.0266,+ "recepcion": 0.0273,+ "colgar": 0.0278,+ "ninguno": 0.8418+ },+ "latency_ms": 118.56545798946172+ },+ {+ "id": "cl-041",+ "text": "No me transfiera con nadie todavía, primero dígame usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8176,+ "probabilities": {+ "citas": 0.0288,+ "laboratorio": 0.0293,+ "farmacia": 0.0295,+ "emergencias": 0.0308,+ "recepcion": 0.0314,+ "colgar": 0.0325,+ "ninguno": 0.8176+ },+ "latency_ms": 123.46224999055266+ },+ {+ "id": "cl-042",+ "text": "no no es urgente no me pase con emergencias",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8424,+ "probabilities": {+ "citas": 0.0244,+ "laboratorio": 0.0251,+ "farmacia": 0.0259,+ "emergencias": 0.0271,+ "recepcion": 0.0275,+ "colgar": 0.0277,+ "ninguno": 0.8424+ },+ "latency_ms": 117.94754205038771+ },+ {+ "id": "cl-043",+ "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.",+ "gold": "citas",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8269,+ "probabilities": {+ "citas": 0.0315,+ "laboratorio": 0.8269,+ "farmacia": 0.0288,+ "emergencias": 0.0288,+ "recepcion": 0.0281,+ "colgar": 0.0282,+ "ninguno": 0.0276+ },+ "latency_ms": 118.82220901316032+ },+ {+ "id": "cl-044",+ "text": "El doctor de emergencias me dejó una receta y quiero comprarla.",+ "gold": "farmacia",+ "tags": [+ "hard"+ ],+ "predicted": "farmacia",+ "confidence": 0.7961,+ "probabilities": {+ "citas": 0.0341,+ "laboratorio": 0.0345,+ "farmacia": 0.7961,+ "emergencias": 0.0343,+ "recepcion": 0.0328,+ "colgar": 0.0344,+ "ninguno": 0.0337+ },+ "latency_ms": 120.60587498126552+ },+ {+ "id": "cl-045",+ "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.",+ "gold": "laboratorio",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8175,+ "probabilities": {+ "citas": 0.0315,+ "laboratorio": 0.8175,+ "farmacia": 0.0303,+ "emergencias": 0.0307,+ "recepcion": 0.0303,+ "colgar": 0.0304,+ "ninguno": 0.0292+ },+ "latency_ms": 123.80716699408367+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__cases__es_criteria.jsonnew file mode 100644index 00000000..f9d675e9--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__cases__es_criteria.json@@ -0,0 +1,2413 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 4090.723334986251+ },+ "summary": {+ "n": 112,+ "accuracy": 0.8928571428571429,+ "macro_f1": 0.8856215997768508,+ "ece": 0.03810624999999992,+ "mean_confidence": 0.8683687499999999,+ "majority_baseline": 0.3125,+ "wrong_actions": 7,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 1.0+ },+ "direct": {+ "n": 18,+ "accuracy": 0.8333333333333334+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.7692307692307693+ },+ "hard": {+ "n": 6,+ "accuracy": 0.8333333333333334+ },+ "hn": {+ "n": 9,+ "accuracy": 1.0+ },+ "human": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.9+ },+ "negation": {+ "n": 15,+ "accuracy": 1.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.7777777777777778+ },+ "open": {+ "n": 11,+ "accuracy": 1.0+ },+ "short": {+ "n": 5,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "colgar->ninguno": 3,+ "ninguno->colgar": 1,+ "ninguno->ventas": 1,+ "operadora->colgar": 1,+ "soporte->colgar": 1,+ "soporte->ninguno": 2,+ "soporte->operadora": 1,+ "soporte->ventas": 1,+ "ventas->facturacion": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 73,+ "coverage": 0.6517857142857143,+ "action_recall": 0.8701298701298701,+ "wrong": 6,+ "precision": 0.9178082191780822+ },+ {+ "threshold": 0.6,+ "fast": 73,+ "coverage": 0.6517857142857143,+ "action_recall": 0.8701298701298701,+ "wrong": 6,+ "precision": 0.9178082191780822+ },+ {+ "threshold": 0.7,+ "fast": 73,+ "coverage": 0.6517857142857143,+ "action_recall": 0.8701298701298701,+ "wrong": 6,+ "precision": 0.9178082191780822+ },+ {+ "threshold": 0.8,+ "fast": 72,+ "coverage": 0.6428571428571429,+ "action_recall": 0.8571428571428571,+ "wrong": 6,+ "precision": 0.9166666666666666+ },+ {+ "threshold": 0.9,+ "fast": 13,+ "coverage": 0.11607142857142858,+ "action_recall": 0.16883116883116883,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 7,+ "coverage": 0.0625,+ "action_recall": 0.09090909090909091,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 130.56695903651416,+ "p95": 149.75391700863838,+ "min": 120.908250042703+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "facturacion",+ "confidence": 0.883+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "colgar",+ "confidence": 0.6255+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ninguno",+ "confidence": 0.5027+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "facturacion",+ "confidence": 0.8866+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9615,+ "probabilities": {+ "ventas": 0.9615,+ "soporte": 0.0079,+ "facturacion": 0.0073,+ "operadora": 0.0076,+ "colgar": 0.0076,+ "ninguno": 0.0083+ },+ "latency_ms": 127.43512500310317+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9578,+ "probabilities": {+ "ventas": 0.9578,+ "soporte": 0.0087,+ "facturacion": 0.0082,+ "operadora": 0.0081,+ "colgar": 0.0084,+ "ninguno": 0.0087+ },+ "latency_ms": 133.47658299608156+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9585,+ "probabilities": {+ "ventas": 0.9585,+ "soporte": 0.0081,+ "facturacion": 0.0082,+ "operadora": 0.0089,+ "colgar": 0.0083,+ "ninguno": 0.0081+ },+ "latency_ms": 134.34733299072832+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.9534,+ "probabilities": {+ "ventas": 0.9534,+ "soporte": 0.0083,+ "facturacion": 0.0079,+ "operadora": 0.0081,+ "colgar": 0.008,+ "ninguno": 0.0143+ },+ "latency_ms": 133.36087495554239+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.855,+ "probabilities": {+ "ventas": 0.855,+ "soporte": 0.0275,+ "facturacion": 0.028,+ "operadora": 0.0306,+ "colgar": 0.0281,+ "ninguno": 0.0308+ },+ "latency_ms": 200.39887499297038+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8742,+ "probabilities": {+ "ventas": 0.8742,+ "soporte": 0.0254,+ "facturacion": 0.0254,+ "operadora": 0.024,+ "colgar": 0.0252,+ "ninguno": 0.0258+ },+ "latency_ms": 125.28633401961997+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8696,+ "probabilities": {+ "ventas": 0.8696,+ "soporte": 0.0265,+ "facturacion": 0.0257,+ "operadora": 0.0256,+ "colgar": 0.026,+ "ninguno": 0.0266+ },+ "latency_ms": 127.2621660027653+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8333,+ "probabilities": {+ "ventas": 0.0378,+ "soporte": 0.0323,+ "facturacion": 0.8333,+ "operadora": 0.0303,+ "colgar": 0.0338,+ "ninguno": 0.0325+ },+ "latency_ms": 138.54133401764557+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8839,+ "probabilities": {+ "ventas": 0.8839,+ "soporte": 0.0225,+ "facturacion": 0.0233,+ "operadora": 0.023,+ "colgar": 0.0235,+ "ninguno": 0.0238+ },+ "latency_ms": 148.95050000632182+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8715,+ "probabilities": {+ "ventas": 0.8715,+ "soporte": 0.0263,+ "facturacion": 0.0259,+ "operadora": 0.0248,+ "colgar": 0.0257,+ "ninguno": 0.0257+ },+ "latency_ms": 149.75391700863838+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8128,+ "probabilities": {+ "ventas": 0.8128,+ "soporte": 0.0384,+ "facturacion": 0.0358,+ "operadora": 0.0356,+ "colgar": 0.034,+ "ninguno": 0.0436+ },+ "latency_ms": 138.2725000148639+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8671,+ "probabilities": {+ "ventas": 0.8671,+ "soporte": 0.0247,+ "facturacion": 0.0234,+ "operadora": 0.0231,+ "colgar": 0.0254,+ "ninguno": 0.0364+ },+ "latency_ms": 127.81929201446474+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8818,+ "probabilities": {+ "ventas": 0.8818,+ "soporte": 0.0239,+ "facturacion": 0.0223,+ "operadora": 0.0228,+ "colgar": 0.0236,+ "ninguno": 0.0256+ },+ "latency_ms": 142.50837499275804+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8909,+ "probabilities": {+ "ventas": 0.8909,+ "soporte": 0.0224,+ "facturacion": 0.0212,+ "operadora": 0.0214,+ "colgar": 0.0219,+ "ninguno": 0.0222+ },+ "latency_ms": 133.12941597541794+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8862,+ "probabilities": {+ "ventas": 0.0224,+ "soporte": 0.8862,+ "facturacion": 0.0222,+ "operadora": 0.0251,+ "colgar": 0.0224,+ "ninguno": 0.0217+ },+ "latency_ms": 130.98508398979902+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.8844,+ "probabilities": {+ "ventas": 0.0224,+ "soporte": 0.0227,+ "facturacion": 0.0228,+ "operadora": 0.8844,+ "colgar": 0.023,+ "ninguno": 0.0248+ },+ "latency_ms": 127.51129199750721+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.9265,+ "probabilities": {+ "ventas": 0.0147,+ "soporte": 0.9265,+ "facturacion": 0.0144,+ "operadora": 0.015,+ "colgar": 0.0143,+ "ninguno": 0.015+ },+ "latency_ms": 129.95704199420288+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.8761,+ "probabilities": {+ "ventas": 0.0263,+ "soporte": 0.0257,+ "facturacion": 0.0232,+ "operadora": 0.0248,+ "colgar": 0.0239,+ "ninguno": 0.8761+ },+ "latency_ms": 139.10758402198553+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8963,+ "probabilities": {+ "ventas": 0.0208,+ "soporte": 0.8963,+ "facturacion": 0.0205,+ "operadora": 0.0205,+ "colgar": 0.0207,+ "ninguno": 0.0212+ },+ "latency_ms": 125.588416995015+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8076,+ "probabilities": {+ "ventas": 0.039,+ "soporte": 0.8076,+ "facturacion": 0.0356,+ "operadora": 0.0352,+ "colgar": 0.0367,+ "ninguno": 0.0459+ },+ "latency_ms": 134.0541670215316+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8714,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.8714,+ "facturacion": 0.0243,+ "operadora": 0.0267,+ "colgar": 0.0244,+ "ninguno": 0.0276+ },+ "latency_ms": 122.762041981332+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.878,+ "probabilities": {+ "ventas": 0.0244,+ "soporte": 0.878,+ "facturacion": 0.0253,+ "operadora": 0.0229,+ "colgar": 0.0241,+ "ninguno": 0.0253+ },+ "latency_ms": 127.11649999255314+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8813,+ "probabilities": {+ "ventas": 0.0236,+ "soporte": 0.8813,+ "facturacion": 0.0227,+ "operadora": 0.0235,+ "colgar": 0.0239,+ "ninguno": 0.025+ },+ "latency_ms": 139.4691250170581+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.8442,+ "probabilities": {+ "ventas": 0.0313,+ "soporte": 0.8442,+ "facturacion": 0.0288,+ "operadora": 0.0293,+ "colgar": 0.0289,+ "ninguno": 0.0375+ },+ "latency_ms": 142.37691700691357+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.2382,+ "probabilities": {+ "ventas": 0.1053,+ "soporte": 0.2075,+ "facturacion": 0.1112,+ "operadora": 0.1362,+ "colgar": 0.2382,+ "ninguno": 0.2016+ },+ "latency_ms": 153.834291966632+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8784,+ "probabilities": {+ "ventas": 0.0244,+ "soporte": 0.8784,+ "facturacion": 0.0246,+ "operadora": 0.0226,+ "colgar": 0.0237,+ "ninguno": 0.0263+ },+ "latency_ms": 137.5724999816157+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.7712,+ "probabilities": {+ "ventas": 0.0422,+ "soporte": 0.7712,+ "facturacion": 0.0416,+ "operadora": 0.0451,+ "colgar": 0.0422,+ "ninguno": 0.0577+ },+ "latency_ms": 133.23595898691565+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.8392,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.0378,+ "facturacion": 0.0332,+ "operadora": 0.0285,+ "colgar": 0.0302,+ "ninguno": 0.8392+ },+ "latency_ms": 127.24708399036899+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9528,+ "probabilities": {+ "ventas": 0.0095,+ "soporte": 0.0096,+ "facturacion": 0.9528,+ "operadora": 0.0095,+ "colgar": 0.0097,+ "ninguno": 0.0089+ },+ "latency_ms": 121.93537497660145+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9523,+ "probabilities": {+ "ventas": 0.0096,+ "soporte": 0.0096,+ "facturacion": 0.9523,+ "operadora": 0.0094,+ "colgar": 0.0097,+ "ninguno": 0.0095+ },+ "latency_ms": 131.6693329717964+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9523,+ "probabilities": {+ "ventas": 0.0095,+ "soporte": 0.0095,+ "facturacion": 0.9523,+ "operadora": 0.0095,+ "colgar": 0.0099,+ "ninguno": 0.0093+ },+ "latency_ms": 128.4137920010835+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9432,+ "probabilities": {+ "ventas": 0.0113,+ "soporte": 0.0114,+ "facturacion": 0.9432,+ "operadora": 0.0111,+ "colgar": 0.0118,+ "ninguno": 0.0113+ },+ "latency_ms": 124.20849996851757+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9459,+ "probabilities": {+ "ventas": 0.0109,+ "soporte": 0.011,+ "facturacion": 0.9459,+ "operadora": 0.0106,+ "colgar": 0.0111,+ "ninguno": 0.0105+ },+ "latency_ms": 128.11679200967774+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8702,+ "probabilities": {+ "ventas": 0.0265,+ "soporte": 0.0258,+ "facturacion": 0.8702,+ "operadora": 0.0248,+ "colgar": 0.0265,+ "ninguno": 0.0263+ },+ "latency_ms": 136.3372909836471+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8697,+ "probabilities": {+ "ventas": 0.0258,+ "soporte": 0.0255,+ "facturacion": 0.8697,+ "operadora": 0.0254,+ "colgar": 0.0274,+ "ninguno": 0.0263+ },+ "latency_ms": 149.03845801018178+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8735,+ "probabilities": {+ "ventas": 0.0255,+ "soporte": 0.025,+ "facturacion": 0.8735,+ "operadora": 0.0242,+ "colgar": 0.0261,+ "ninguno": 0.0256+ },+ "latency_ms": 133.89916700543836+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.8743,+ "probabilities": {+ "ventas": 0.0248,+ "soporte": 0.0253,+ "facturacion": 0.8743,+ "operadora": 0.0239,+ "colgar": 0.0261,+ "ninguno": 0.0256+ },+ "latency_ms": 138.10058298986405+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8844,+ "probabilities": {+ "ventas": 0.023,+ "soporte": 0.0239,+ "facturacion": 0.8844,+ "operadora": 0.0224,+ "colgar": 0.0232,+ "ninguno": 0.0231+ },+ "latency_ms": 126.38441700255498+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8718,+ "probabilities": {+ "ventas": 0.0259,+ "soporte": 0.0248,+ "facturacion": 0.8718,+ "operadora": 0.0245,+ "colgar": 0.0267,+ "ninguno": 0.0262+ },+ "latency_ms": 131.69687503250316+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8797,+ "probabilities": {+ "ventas": 0.024,+ "soporte": 0.0246,+ "facturacion": 0.8797,+ "operadora": 0.0229,+ "colgar": 0.0243,+ "ninguno": 0.0245+ },+ "latency_ms": 131.8984999670647+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8866,+ "probabilities": {+ "ventas": 0.0229,+ "soporte": 0.0227,+ "facturacion": 0.8866,+ "operadora": 0.0219,+ "colgar": 0.0229,+ "ninguno": 0.023+ },+ "latency_ms": 137.14720803545788+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8776,+ "probabilities": {+ "ventas": 0.0247,+ "soporte": 0.0245,+ "facturacion": 0.8776,+ "operadora": 0.0239,+ "colgar": 0.0246,+ "ninguno": 0.0247+ },+ "latency_ms": 125.4467919934541+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8925,+ "probabilities": {+ "ventas": 0.021,+ "soporte": 0.0216,+ "facturacion": 0.0213,+ "operadora": 0.8925,+ "colgar": 0.0217,+ "ninguno": 0.0219+ },+ "latency_ms": 120.908250042703+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8729,+ "probabilities": {+ "ventas": 0.0243,+ "soporte": 0.0253,+ "facturacion": 0.025,+ "operadora": 0.8729,+ "colgar": 0.0261,+ "ninguno": 0.0265+ },+ "latency_ms": 138.32279096823186+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8719,+ "probabilities": {+ "ventas": 0.0247,+ "soporte": 0.0248,+ "facturacion": 0.0253,+ "operadora": 0.8719,+ "colgar": 0.0256,+ "ninguno": 0.0276+ },+ "latency_ms": 129.1345419595018+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.9344,+ "probabilities": {+ "ventas": 0.0128,+ "soporte": 0.0129,+ "facturacion": 0.0131,+ "operadora": 0.9344,+ "colgar": 0.0135,+ "ninguno": 0.0132+ },+ "latency_ms": 128.58533300459385+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.8438,+ "probabilities": {+ "ventas": 0.0285,+ "soporte": 0.0318,+ "facturacion": 0.0295,+ "operadora": 0.0294,+ "colgar": 0.8438,+ "ninguno": 0.0369+ },+ "latency_ms": 122.83929198747501+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8601,+ "probabilities": {+ "ventas": 0.0269,+ "soporte": 0.0283,+ "facturacion": 0.0287,+ "operadora": 0.8601,+ "colgar": 0.0273,+ "ninguno": 0.0286+ },+ "latency_ms": 125.81625004531816+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8737,+ "probabilities": {+ "ventas": 0.0245,+ "soporte": 0.0254,+ "facturacion": 0.0251,+ "operadora": 0.8737,+ "colgar": 0.0251,+ "ninguno": 0.0262+ },+ "latency_ms": 123.14883404178545+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.8849,+ "probabilities": {+ "ventas": 0.0228,+ "soporte": 0.0221,+ "facturacion": 0.0226,+ "operadora": 0.8849,+ "colgar": 0.023,+ "ninguno": 0.0246+ },+ "latency_ms": 126.38079200405627+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.8689,+ "probabilities": {+ "ventas": 0.0255,+ "soporte": 0.0251,+ "facturacion": 0.0265,+ "operadora": 0.8689,+ "colgar": 0.0267,+ "ninguno": 0.0273+ },+ "latency_ms": 166.53708298690617+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.8691,+ "probabilities": {+ "ventas": 0.0253,+ "soporte": 0.0263,+ "facturacion": 0.0256,+ "operadora": 0.8691,+ "colgar": 0.0261,+ "ninguno": 0.0276+ },+ "latency_ms": 132.50566698843613+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8508,+ "probabilities": {+ "ventas": 0.0287,+ "soporte": 0.03,+ "facturacion": 0.0273,+ "operadora": 0.8508,+ "colgar": 0.0282,+ "ninguno": 0.035+ },+ "latency_ms": 128.8525829440914+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8742,+ "probabilities": {+ "ventas": 0.0252,+ "soporte": 0.0253,+ "facturacion": 0.0245,+ "operadora": 0.8742,+ "colgar": 0.0253,+ "ninguno": 0.0256+ },+ "latency_ms": 124.94237499777228+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8888,+ "probabilities": {+ "ventas": 0.0215,+ "soporte": 0.0225,+ "facturacion": 0.0224,+ "operadora": 0.0221,+ "colgar": 0.8888,+ "ninguno": 0.0227+ },+ "latency_ms": 128.80199996288866+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8846,+ "probabilities": {+ "ventas": 0.022,+ "soporte": 0.0227,+ "facturacion": 0.0225,+ "operadora": 0.0225,+ "colgar": 0.8846,+ "ninguno": 0.0257+ },+ "latency_ms": 131.00049999775365+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8825,+ "probabilities": {+ "ventas": 0.0223,+ "soporte": 0.0235,+ "facturacion": 0.0228,+ "operadora": 0.0233,+ "colgar": 0.8825,+ "ninguno": 0.0255+ },+ "latency_ms": 135.27720898855478+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8918,+ "probabilities": {+ "ventas": 0.0206,+ "soporte": 0.0215,+ "facturacion": 0.0214,+ "operadora": 0.0211,+ "colgar": 0.8918,+ "ninguno": 0.0235+ },+ "latency_ms": 128.0505420290865+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.9038,+ "probabilities": {+ "ventas": 0.0182,+ "soporte": 0.0189,+ "facturacion": 0.0192,+ "operadora": 0.0191,+ "colgar": 0.9038,+ "ninguno": 0.0208+ },+ "latency_ms": 121.96333397878334+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.8496,+ "probabilities": {+ "ventas": 0.0269,+ "soporte": 0.0255,+ "facturacion": 0.0277,+ "operadora": 0.0271,+ "colgar": 0.0432,+ "ninguno": 0.8496+ },+ "latency_ms": 128.79620800958946+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8843,+ "probabilities": {+ "ventas": 0.0223,+ "soporte": 0.0235,+ "facturacion": 0.0234,+ "operadora": 0.0229,+ "colgar": 0.8843,+ "ninguno": 0.0237+ },+ "latency_ms": 126.97283300803974+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "colgar",+ "confidence": 0.8899,+ "probabilities": {+ "ventas": 0.021,+ "soporte": 0.0219,+ "facturacion": 0.0216,+ "operadora": 0.0217,+ "colgar": 0.8899,+ "ninguno": 0.0238+ },+ "latency_ms": 127.57141701877117+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.2573,+ "probabilities": {+ "ventas": 0.1237,+ "soporte": 0.1751,+ "facturacion": 0.1363,+ "operadora": 0.1664,+ "colgar": 0.1413,+ "ninguno": 0.2573+ },+ "latency_ms": 130.56695903651416+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8816,+ "probabilities": {+ "ventas": 0.0229,+ "soporte": 0.0234,+ "facturacion": 0.0239,+ "operadora": 0.0226,+ "colgar": 0.8816,+ "ninguno": 0.0255+ },+ "latency_ms": 149.76191602181643+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.6607,+ "probabilities": {+ "ventas": 0.0247,+ "soporte": 0.0241,+ "facturacion": 0.0257,+ "operadora": 0.0237,+ "colgar": 0.2412,+ "ninguno": 0.6607+ },+ "latency_ms": 147.3129169899039+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8851,+ "probabilities": {+ "ventas": 0.0218,+ "soporte": 0.0231,+ "facturacion": 0.0236,+ "operadora": 0.0226,+ "colgar": 0.8851,+ "ninguno": 0.0238+ },+ "latency_ms": 157.27762499591336+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8855,+ "probabilities": {+ "ventas": 0.0233,+ "soporte": 0.0218,+ "facturacion": 0.0237,+ "operadora": 0.022,+ "colgar": 0.0238,+ "ninguno": 0.8855+ },+ "latency_ms": 131.81799999438226+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8927,+ "probabilities": {+ "ventas": 0.0206,+ "soporte": 0.0218,+ "facturacion": 0.0218,+ "operadora": 0.0215,+ "colgar": 0.0215,+ "ninguno": 0.8927+ },+ "latency_ms": 130.59324998175725+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8859,+ "probabilities": {+ "ventas": 0.0236,+ "soporte": 0.0221,+ "facturacion": 0.0234,+ "operadora": 0.0216,+ "colgar": 0.0234,+ "ninguno": 0.8859+ },+ "latency_ms": 155.06779198767617+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8604,+ "probabilities": {+ "ventas": 0.0303,+ "soporte": 0.0257,+ "facturacion": 0.0299,+ "operadora": 0.0252,+ "colgar": 0.0284,+ "ninguno": 0.8604+ },+ "latency_ms": 125.93220901908353+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.6064,+ "probabilities": {+ "ventas": 0.3143,+ "soporte": 0.0187,+ "facturacion": 0.0209,+ "operadora": 0.0186,+ "colgar": 0.021,+ "ninguno": 0.6064+ },+ "latency_ms": 140.13091597007588+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8815,+ "probabilities": {+ "ventas": 0.0263,+ "soporte": 0.0221,+ "facturacion": 0.0233,+ "operadora": 0.0214,+ "colgar": 0.0253,+ "ninguno": 0.8815+ },+ "latency_ms": 129.10054199164733+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8905,+ "probabilities": {+ "ventas": 0.0226,+ "soporte": 0.022,+ "facturacion": 0.0214,+ "operadora": 0.021,+ "colgar": 0.0224,+ "ninguno": 0.8905+ },+ "latency_ms": 127.25295795826241+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8841,+ "probabilities": {+ "ventas": 0.0229,+ "soporte": 0.022,+ "facturacion": 0.024,+ "operadora": 0.0221,+ "colgar": 0.025,+ "ninguno": 0.8841+ },+ "latency_ms": 127.21533299190924+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8913,+ "probabilities": {+ "ventas": 0.0238,+ "soporte": 0.0201,+ "facturacion": 0.0217,+ "operadora": 0.0205,+ "colgar": 0.0226,+ "ninguno": 0.8913+ },+ "latency_ms": 121.68170796940103+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8835,+ "probabilities": {+ "ventas": 0.027,+ "soporte": 0.0221,+ "facturacion": 0.0222,+ "operadora": 0.0217,+ "colgar": 0.0236,+ "ninguno": 0.8835+ },+ "latency_ms": 122.97170900274068+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "colgar",+ "confidence": 0.8714,+ "probabilities": {+ "ventas": 0.0224,+ "soporte": 0.0215,+ "facturacion": 0.0232,+ "operadora": 0.0217,+ "colgar": 0.8714,+ "ninguno": 0.0397+ },+ "latency_ms": 124.49645798187703+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8938,+ "probabilities": {+ "ventas": 0.022,+ "soporte": 0.0211,+ "facturacion": 0.0215,+ "operadora": 0.0208,+ "colgar": 0.0209,+ "ninguno": 0.8938+ },+ "latency_ms": 125.10895798914135+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8943,+ "probabilities": {+ "ventas": 0.0215,+ "soporte": 0.0211,+ "facturacion": 0.0217,+ "operadora": 0.0208,+ "colgar": 0.0206,+ "ninguno": 0.8943+ },+ "latency_ms": 125.57616701815277+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8917,+ "probabilities": {+ "ventas": 0.0216,+ "soporte": 0.0207,+ "facturacion": 0.0222,+ "operadora": 0.021,+ "colgar": 0.0228,+ "ninguno": 0.8917+ },+ "latency_ms": 125.98937499569729+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.8942,+ "probabilities": {+ "ventas": 0.0211,+ "soporte": 0.0214,+ "facturacion": 0.0218,+ "operadora": 0.0208,+ "colgar": 0.0207,+ "ninguno": 0.8942+ },+ "latency_ms": 138.42845801264048+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ventas",+ "confidence": 0.8437,+ "probabilities": {+ "ventas": 0.8437,+ "soporte": 0.0231,+ "facturacion": 0.0223,+ "operadora": 0.0227,+ "colgar": 0.0233,+ "ninguno": 0.0649+ },+ "latency_ms": 130.64325001323596+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8816,+ "probabilities": {+ "ventas": 0.0232,+ "soporte": 0.0246,+ "facturacion": 0.0234,+ "operadora": 0.0248,+ "colgar": 0.0224,+ "ninguno": 0.8816+ },+ "latency_ms": 130.96879102522507+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8874,+ "probabilities": {+ "ventas": 0.0242,+ "soporte": 0.0222,+ "facturacion": 0.0228,+ "operadora": 0.0218,+ "colgar": 0.0217,+ "ninguno": 0.8874+ },+ "latency_ms": 124.16274996940047+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8873,+ "probabilities": {+ "ventas": 0.0228,+ "soporte": 0.022,+ "facturacion": 0.0218,+ "operadora": 0.0228,+ "colgar": 0.0232,+ "ninguno": 0.8873+ },+ "latency_ms": 129.87262499518692+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8871,+ "probabilities": {+ "ventas": 0.0228,+ "soporte": 0.0213,+ "facturacion": 0.0224,+ "operadora": 0.0233,+ "colgar": 0.023,+ "ninguno": 0.8871+ },+ "latency_ms": 134.4345830148086+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.9296,+ "probabilities": {+ "ventas": 0.014,+ "soporte": 0.014,+ "facturacion": 0.0139,+ "operadora": 0.014,+ "colgar": 0.0145,+ "ninguno": 0.9296+ },+ "latency_ms": 132.63233297038823+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8872,+ "probabilities": {+ "ventas": 0.0241,+ "soporte": 0.022,+ "facturacion": 0.022,+ "operadora": 0.022,+ "colgar": 0.0226,+ "ninguno": 0.8872+ },+ "latency_ms": 125.91124995378777+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.912,+ "probabilities": {+ "ventas": 0.0185,+ "soporte": 0.0173,+ "facturacion": 0.0171,+ "operadora": 0.0177,+ "colgar": 0.0174,+ "ninguno": 0.912+ },+ "latency_ms": 130.28774998383597+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8875,+ "probabilities": {+ "ventas": 0.0228,+ "soporte": 0.0222,+ "facturacion": 0.0223,+ "operadora": 0.0218,+ "colgar": 0.0234,+ "ninguno": 0.8875+ },+ "latency_ms": 136.9817919912748+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8811,+ "probabilities": {+ "ventas": 0.0231,+ "soporte": 0.0238,+ "facturacion": 0.0245,+ "operadora": 0.0229,+ "colgar": 0.0245,+ "ninguno": 0.8811+ },+ "latency_ms": 134.26625001011416+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8934,+ "probabilities": {+ "ventas": 0.0211,+ "soporte": 0.021,+ "facturacion": 0.0212,+ "operadora": 0.0213,+ "colgar": 0.0219,+ "ninguno": 0.8934+ },+ "latency_ms": 136.56358298612759+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8744,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.0236,+ "facturacion": 0.0256,+ "operadora": 0.0241,+ "colgar": 0.0245,+ "ninguno": 0.8744+ },+ "latency_ms": 129.81504201889038+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8734,+ "probabilities": {+ "ventas": 0.0246,+ "soporte": 0.0256,+ "facturacion": 0.0255,+ "operadora": 0.0247,+ "colgar": 0.0261,+ "ninguno": 0.8734+ },+ "latency_ms": 130.22279203869402+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.89,+ "probabilities": {+ "ventas": 0.0226,+ "soporte": 0.0211,+ "facturacion": 0.0221,+ "operadora": 0.0215,+ "colgar": 0.0227,+ "ninguno": 0.89+ },+ "latency_ms": 134.47516702581197+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8758,+ "probabilities": {+ "ventas": 0.0251,+ "soporte": 0.0234,+ "facturacion": 0.0249,+ "operadora": 0.0249,+ "colgar": 0.0259,+ "ninguno": 0.8758+ },+ "latency_ms": 128.03841603454202+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.89,+ "probabilities": {+ "ventas": 0.0216,+ "soporte": 0.022,+ "facturacion": 0.0219,+ "operadora": 0.0223,+ "colgar": 0.0223,+ "ninguno": 0.89+ },+ "latency_ms": 147.6007080054842+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8895,+ "probabilities": {+ "ventas": 0.0222,+ "soporte": 0.0214,+ "facturacion": 0.0217,+ "operadora": 0.0225,+ "colgar": 0.0227,+ "ninguno": 0.8895+ },+ "latency_ms": 132.00020795920864+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "ventas",+ "confidence": 0.8825,+ "probabilities": {+ "ventas": 0.8825,+ "soporte": 0.0318,+ "facturacion": 0.0201,+ "operadora": 0.0203,+ "colgar": 0.0212,+ "ninguno": 0.0242+ },+ "latency_ms": 136.19729201309383+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.8834,+ "probabilities": {+ "ventas": 0.0241,+ "soporte": 0.0235,+ "facturacion": 0.8834,+ "operadora": 0.0225,+ "colgar": 0.0227,+ "ninguno": 0.0238+ },+ "latency_ms": 135.88116702158004+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "ventas",+ "confidence": 0.8728,+ "probabilities": {+ "ventas": 0.8728,+ "soporte": 0.0258,+ "facturacion": 0.0242,+ "operadora": 0.0252,+ "colgar": 0.0258,+ "ninguno": 0.0262+ },+ "latency_ms": 132.85187497967854+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "operadora",+ "confidence": 0.8742,+ "probabilities": {+ "ventas": 0.0243,+ "soporte": 0.0252,+ "facturacion": 0.0249,+ "operadora": 0.8742,+ "colgar": 0.0255,+ "ninguno": 0.026+ },+ "latency_ms": 137.6317500253208+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.9168,+ "probabilities": {+ "ventas": 0.0167,+ "soporte": 0.0163,+ "facturacion": 0.9168,+ "operadora": 0.0165,+ "colgar": 0.0174,+ "ninguno": 0.0163+ },+ "latency_ms": 128.1457080040127+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "colgar",+ "confidence": 0.8805,+ "probabilities": {+ "ventas": 0.0233,+ "soporte": 0.0239,+ "facturacion": 0.0239,+ "operadora": 0.0235,+ "colgar": 0.8805,+ "ninguno": 0.025+ },+ "latency_ms": 123.2784169842489+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8368,+ "probabilities": {+ "ventas": 0.032,+ "soporte": 0.8368,+ "facturacion": 0.0317,+ "operadora": 0.0302,+ "colgar": 0.0313,+ "ninguno": 0.0381+ },+ "latency_ms": 123.52962500881404+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8797,+ "probabilities": {+ "ventas": 0.8797,+ "soporte": 0.0243,+ "facturacion": 0.0234,+ "operadora": 0.0238,+ "colgar": 0.0241,+ "ninguno": 0.0247+ },+ "latency_ms": 127.1550829987973+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8632,+ "probabilities": {+ "ventas": 0.0275,+ "soporte": 0.0271,+ "facturacion": 0.8632,+ "operadora": 0.0262,+ "colgar": 0.0281,+ "ninguno": 0.0279+ },+ "latency_ms": 128.87362501351163+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8837,+ "probabilities": {+ "ventas": 0.0222,+ "soporte": 0.0236,+ "facturacion": 0.0232,+ "operadora": 0.8837,+ "colgar": 0.0233,+ "ninguno": 0.024+ },+ "latency_ms": 126.37108302442357+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8911,+ "probabilities": {+ "ventas": 0.0209,+ "soporte": 0.0219,+ "facturacion": 0.0221,+ "operadora": 0.0217,+ "colgar": 0.8911,+ "ninguno": 0.0223+ },+ "latency_ms": 128.83337499806657+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8918,+ "probabilities": {+ "ventas": 0.0218,+ "soporte": 0.0208,+ "facturacion": 0.0223,+ "operadora": 0.0208,+ "colgar": 0.0226,+ "ninguno": 0.8918+ },+ "latency_ms": 129.44504205370322+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8976,+ "probabilities": {+ "ventas": 0.0209,+ "soporte": 0.02,+ "facturacion": 0.0199,+ "operadora": 0.0208,+ "colgar": 0.0208,+ "ninguno": 0.8976+ },+ "latency_ms": 136.52125000953674+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8832,+ "probabilities": {+ "ventas": 0.0232,+ "soporte": 0.0231,+ "facturacion": 0.0239,+ "operadora": 0.0234,+ "colgar": 0.0232,+ "ninguno": 0.8832+ },+ "latency_ms": 140.33208403270692+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.883,+ "probabilities": {+ "ventas": 0.0245,+ "soporte": 0.0225,+ "facturacion": 0.883,+ "operadora": 0.0219,+ "colgar": 0.0246,+ "ninguno": 0.0235+ },+ "latency_ms": 134.56720899557695+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "colgar",+ "confidence": 0.6255,+ "probabilities": {+ "ventas": 0.0576,+ "soporte": 0.0691,+ "facturacion": 0.112,+ "operadora": 0.0659,+ "colgar": 0.6255,+ "ninguno": 0.0699+ },+ "latency_ms": 121.98100000387058+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.5027,+ "probabilities": {+ "ventas": 0.4296,+ "soporte": 0.017,+ "facturacion": 0.0168,+ "operadora": 0.0167,+ "colgar": 0.0172,+ "ninguno": 0.5027+ },+ "latency_ms": 137.0325839961879+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.8866,+ "probabilities": {+ "ventas": 0.0225,+ "soporte": 0.0218,+ "facturacion": 0.8866,+ "operadora": 0.0219,+ "colgar": 0.0228,+ "ninguno": 0.0243+ },+ "latency_ms": 129.58354101283476+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__clinic__es_criteria.jsonnew file mode 100644index 00000000..8d5f5087--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__clinic__es_criteria.json@@ -0,0 +1,1059 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3855.5103770340793+ },+ "summary": {+ "n": 45,+ "accuracy": 0.9333333333333333,+ "macro_f1": 0.9271839271839273,+ "ece": 0.09402444444444436,+ "mean_confidence": 0.8711177777777775,+ "majority_baseline": 0.28888888888888886,+ "wrong_actions": 3,+ "by_tag": {+ "asr": {+ "n": 5,+ "accuracy": 0.8+ },+ "direct": {+ "n": 6,+ "accuracy": 1.0+ },+ "farewell": {+ "n": 4,+ "accuracy": 1.0+ },+ "hard": {+ "n": 3,+ "accuracy": 0.6666666666666666+ },+ "hn": {+ "n": 2,+ "accuracy": 1.0+ },+ "human": {+ "n": 4,+ "accuracy": 1.0+ },+ "indirect": {+ "n": 16,+ "accuracy": 0.875+ },+ "negation": {+ "n": 7,+ "accuracy": 1.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 3,+ "accuracy": 1.0+ },+ "open": {+ "n": 3,+ "accuracy": 1.0+ },+ "short": {+ "n": 2,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "citas->laboratorio": 1,+ "citas->recepcion": 1,+ "farmacia->citas": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 0.90625,+ "wrong": 3,+ "precision": 0.90625+ },+ {+ "threshold": 0.6,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 0.90625,+ "wrong": 3,+ "precision": 0.90625+ },+ {+ "threshold": 0.7,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 0.90625,+ "wrong": 3,+ "precision": 0.90625+ },+ {+ "threshold": 0.8,+ "fast": 31,+ "coverage": 0.6888888888888889,+ "action_recall": 0.90625,+ "wrong": 2,+ "precision": 0.9354838709677419+ },+ {+ "threshold": 0.9,+ "fast": 6,+ "coverage": 0.13333333333333333,+ "action_recall": 0.1875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 121.74833397148177,+ "p95": 142.76120899012312,+ "min": 111.50266701588407+ },+ "borderline": []+ },+ "records": [+ {+ "id": "cl-001",+ "text": "Quiero sacar una cita con el cardiólogo.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8619,+ "probabilities": {+ "citas": 0.8619,+ "laboratorio": 0.023,+ "farmacia": 0.0248,+ "emergencias": 0.0226,+ "recepcion": 0.0219,+ "colgar": 0.0228,+ "ninguno": 0.023+ },+ "latency_ms": 119.97654201695696+ },+ {+ "id": "cl-002",+ "text": "Necesito cambiar la fecha de mi consulta del jueves.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8588,+ "probabilities": {+ "citas": 0.8588,+ "laboratorio": 0.0239,+ "farmacia": 0.0233,+ "emergencias": 0.0238,+ "recepcion": 0.0223,+ "colgar": 0.0233,+ "ninguno": 0.0246+ },+ "latency_ms": 120.16295897774398+ },+ {+ "id": "cl-003",+ "text": "Páseme con citas, por favor.",+ "gold": "citas",+ "tags": [+ "direct"+ ],+ "predicted": "citas",+ "confidence": 0.9462,+ "probabilities": {+ "citas": 0.9462,+ "laboratorio": 0.009,+ "farmacia": 0.0094,+ "emergencias": 0.0089,+ "recepcion": 0.0087,+ "colgar": 0.0088,+ "ninguno": 0.009+ },+ "latency_ms": 125.49579096958041+ },+ {+ "id": "cl-004",+ "text": "Fíjese que quiero apartar una consulta para mi mamá.",+ "gold": "citas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "citas",+ "confidence": 0.8685,+ "probabilities": {+ "citas": 0.8685,+ "laboratorio": 0.0209,+ "farmacia": 0.0219,+ "emergencias": 0.0222,+ "recepcion": 0.0216,+ "colgar": 0.0224,+ "ninguno": 0.0226+ },+ "latency_ms": 120.7349169999361+ },+ {+ "id": "cl-005",+ "text": "Tengo que cancelar la cita que tenía mañana con la doctora.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8639,+ "probabilities": {+ "citas": 0.8639,+ "laboratorio": 0.0229,+ "farmacia": 0.0223,+ "emergencias": 0.0229,+ "recepcion": 0.0222,+ "colgar": 0.0225,+ "ninguno": 0.0233+ },+ "latency_ms": 128.65062500350177+ },+ {+ "id": "cl-006",+ "text": "quiero agendar con el pediatra para la otra semana",+ "gold": "citas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "recepcion",+ "confidence": 0.7157,+ "probabilities": {+ "citas": 0.0731,+ "laboratorio": 0.0398,+ "farmacia": 0.0402,+ "emergencias": 0.0408,+ "recepcion": 0.7157,+ "colgar": 0.0383,+ "ninguno": 0.0521+ },+ "latency_ms": 123.23929101694375+ },+ {+ "id": "cl-007",+ "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8659,+ "probabilities": {+ "citas": 0.0222,+ "laboratorio": 0.8659,+ "farmacia": 0.0217,+ "emergencias": 0.0228,+ "recepcion": 0.0214,+ "colgar": 0.0232,+ "ninguno": 0.0229+ },+ "latency_ms": 121.84974999399856+ },+ {+ "id": "cl-008",+ "text": "Comuníqueme con el laboratorio.",+ "gold": "laboratorio",+ "tags": [+ "direct"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9443,+ "probabilities": {+ "citas": 0.0092,+ "laboratorio": 0.9443,+ "farmacia": 0.0097,+ "emergencias": 0.0095,+ "recepcion": 0.009,+ "colgar": 0.0091,+ "ninguno": 0.0091+ },+ "latency_ms": 116.52049998519942+ },+ {+ "id": "cl-009",+ "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8647,+ "probabilities": {+ "citas": 0.0226,+ "laboratorio": 0.8647,+ "farmacia": 0.0248,+ "emergencias": 0.0218,+ "recepcion": 0.0209,+ "colgar": 0.0221,+ "ninguno": 0.023+ },+ "latency_ms": 142.76120899012312+ },+ {+ "id": "cl-010",+ "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8568,+ "probabilities": {+ "citas": 0.0231,+ "laboratorio": 0.8568,+ "farmacia": 0.025,+ "emergencias": 0.0242,+ "recepcion": 0.0229,+ "colgar": 0.0237,+ "ninguno": 0.0242+ },+ "latency_ms": 126.79683399619535+ },+ {+ "id": "cl-011",+ "text": "me hicieron un examen de orina y no me han entregado nada",+ "gold": "laboratorio",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8632,+ "probabilities": {+ "citas": 0.0233,+ "laboratorio": 0.8632,+ "farmacia": 0.0225,+ "emergencias": 0.0231,+ "recepcion": 0.0223,+ "colgar": 0.023,+ "ninguno": 0.0226+ },+ "latency_ms": 121.69983296189457+ },+ {+ "id": "cl-012",+ "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.",+ "gold": "farmacia",+ "tags": [+ "direct"+ ],+ "predicted": "farmacia",+ "confidence": 0.9346,+ "probabilities": {+ "citas": 0.0107,+ "laboratorio": 0.0111,+ "farmacia": 0.9346,+ "emergencias": 0.0111,+ "recepcion": 0.0105,+ "colgar": 0.0113,+ "ninguno": 0.0107+ },+ "latency_ms": 126.13283400423825+ },+ {+ "id": "cl-013",+ "text": "Necesito surtir una receta.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.863,+ "probabilities": {+ "citas": 0.0223,+ "laboratorio": 0.0226,+ "farmacia": 0.863,+ "emergencias": 0.0227,+ "recepcion": 0.0234,+ "colgar": 0.0227,+ "ninguno": 0.0233+ },+ "latency_ms": 148.56004202738404+ },+ {+ "id": "cl-014",+ "text": "Con la farmacia, por favor.",+ "gold": "farmacia",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "farmacia",+ "confidence": 0.9392,+ "probabilities": {+ "citas": 0.0099,+ "laboratorio": 0.01,+ "farmacia": 0.9392,+ "emergencias": 0.0106,+ "recepcion": 0.0097,+ "colgar": 0.0103,+ "ninguno": 0.0103+ },+ "latency_ms": 120.3889159951359+ },+ {+ "id": "cl-015",+ "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8699,+ "probabilities": {+ "citas": 0.8699,+ "laboratorio": 0.021,+ "farmacia": 0.0239,+ "emergencias": 0.0208,+ "recepcion": 0.0212,+ "colgar": 0.0216,+ "ninguno": 0.0215+ },+ "latency_ms": 117.48391599394381+ },+ {+ "id": "cl-016",+ "text": "Quiero comprar la medicina que me indicó el doctor.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8663,+ "probabilities": {+ "citas": 0.0226,+ "laboratorio": 0.021,+ "farmacia": 0.8663,+ "emergencias": 0.0227,+ "recepcion": 0.0218,+ "colgar": 0.0227,+ "ninguno": 0.0228+ },+ "latency_ms": 115.26879196753725+ },+ {+ "id": "cl-017",+ "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8579,+ "probabilities": {+ "citas": 0.0242,+ "laboratorio": 0.0231,+ "farmacia": 0.023,+ "emergencias": 0.8579,+ "recepcion": 0.0231,+ "colgar": 0.0247,+ "ninguno": 0.024+ },+ "latency_ms": 121.89000000944361+ },+ {+ "id": "cl-018",+ "text": "Páseme con emergencias, es urgente.",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.9403,+ "probabilities": {+ "citas": 0.0097,+ "laboratorio": 0.0097,+ "farmacia": 0.0098,+ "emergencias": 0.9403,+ "recepcion": 0.0101,+ "colgar": 0.0103,+ "ninguno": 0.01+ },+ "latency_ms": 123.75700002303347+ },+ {+ "id": "cl-019",+ "text": "Mi hijo se cortó y está sangrando mucho.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8609,+ "probabilities": {+ "citas": 0.0233,+ "laboratorio": 0.0226,+ "farmacia": 0.022,+ "emergencias": 0.8609,+ "recepcion": 0.0233,+ "colgar": 0.0242,+ "ninguno": 0.0237+ },+ "latency_ms": 116.55929201515391+ },+ {+ "id": "cl-020",+ "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8672,+ "probabilities": {+ "citas": 0.0225,+ "laboratorio": 0.0213,+ "farmacia": 0.0217,+ "emergencias": 0.8672,+ "recepcion": 0.0222,+ "colgar": 0.0223,+ "ninguno": 0.0226+ },+ "latency_ms": 122.98220896627754+ },+ {+ "id": "cl-021",+ "text": "necesito una ambulancia mi esposa se cayó y no se puede mover",+ "gold": "emergencias",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8636,+ "probabilities": {+ "citas": 0.0219,+ "laboratorio": 0.022,+ "farmacia": 0.0228,+ "emergencias": 0.8636,+ "recepcion": 0.0227,+ "colgar": 0.0235,+ "ninguno": 0.0234+ },+ "latency_ms": 119.60679100593552+ },+ {+ "id": "cl-022",+ "text": "Quiero hablar con una persona.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8785,+ "probabilities": {+ "citas": 0.0198,+ "laboratorio": 0.02,+ "farmacia": 0.0189,+ "emergencias": 0.0213,+ "recepcion": 0.8785,+ "colgar": 0.0208,+ "ninguno": 0.0207+ },+ "latency_ms": 113.9528329949826+ },+ {+ "id": "cl-023",+ "text": "Páseme con alguien que me atienda, por favor.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8694,+ "probabilities": {+ "citas": 0.0208,+ "laboratorio": 0.0208,+ "farmacia": 0.0215,+ "emergencias": 0.0229,+ "recepcion": 0.8694,+ "colgar": 0.0227,+ "ninguno": 0.022+ },+ "latency_ms": 123.73758299509063+ },+ {+ "id": "cl-024",+ "text": "No quiero hablar con una máquina, comuníqueme con una persona.",+ "gold": "recepcion",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "recepcion",+ "confidence": 0.8681,+ "probabilities": {+ "citas": 0.021,+ "laboratorio": 0.0214,+ "farmacia": 0.0207,+ "emergencias": 0.0242,+ "recepcion": 0.8681,+ "colgar": 0.0221,+ "ninguno": 0.0226+ },+ "latency_ms": 121.9793749623932+ },+ {+ "id": "cl-025",+ "text": "Con la recepcionista, por favor.",+ "gold": "recepcion",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "recepcion",+ "confidence": 0.9308,+ "probabilities": {+ "citas": 0.011,+ "laboratorio": 0.0111,+ "farmacia": 0.011,+ "emergencias": 0.0119,+ "recepcion": 0.9308,+ "colgar": 0.0123,+ "ninguno": 0.0119+ },+ "latency_ms": 115.91675103409216+ },+ {+ "id": "cl-026",+ "text": "Muchas gracias, eso era todo. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8668,+ "probabilities": {+ "citas": 0.0226,+ "laboratorio": 0.0216,+ "farmacia": 0.0219,+ "emergencias": 0.0227,+ "recepcion": 0.0218,+ "colgar": 0.8668,+ "ninguno": 0.0224+ },+ "latency_ms": 114.1735830460675+ },+ {+ "id": "cl-027",+ "text": "Vaya pues, muy amable, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.86,+ "probabilities": {+ "citas": 0.0228,+ "laboratorio": 0.022,+ "farmacia": 0.0227,+ "emergencias": 0.0238,+ "recepcion": 0.0218,+ "colgar": 0.86,+ "ninguno": 0.0269+ },+ "latency_ms": 112.50004201428965+ },+ {+ "id": "cl-028",+ "text": "Ya no necesito nada más, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8688,+ "probabilities": {+ "citas": 0.0213,+ "laboratorio": 0.0209,+ "farmacia": 0.0214,+ "emergencias": 0.0224,+ "recepcion": 0.0224,+ "colgar": 0.8688,+ "ninguno": 0.0228+ },+ "latency_ms": 119.45241701323539+ },+ {+ "id": "cl-029",+ "text": "bueno gracias que pase buen dia",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8634,+ "probabilities": {+ "citas": 0.0218,+ "laboratorio": 0.0218,+ "farmacia": 0.022,+ "emergencias": 0.0233,+ "recepcion": 0.0237,+ "colgar": 0.8634,+ "ninguno": 0.0241+ },+ "latency_ms": 114.91400003433228+ },+ {+ "id": "cl-030",+ "text": "¿A qué hora abre la clínica?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8769,+ "probabilities": {+ "citas": 0.0223,+ "laboratorio": 0.0184,+ "farmacia": 0.0198,+ "emergencias": 0.0206,+ "recepcion": 0.0201,+ "colgar": 0.0219,+ "ninguno": 0.8769+ },+ "latency_ms": 144.01766704395413+ },+ {+ "id": "cl-031",+ "text": "¿Dónde están ubicados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8822,+ "probabilities": {+ "citas": 0.0187,+ "laboratorio": 0.0184,+ "farmacia": 0.019,+ "emergencias": 0.0207,+ "recepcion": 0.0198,+ "colgar": 0.0212,+ "ninguno": 0.8822+ },+ "latency_ms": 116.07700097374618+ },+ {+ "id": "cl-032",+ "text": "¿Atienden los domingos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8778,+ "probabilities": {+ "citas": 0.0202,+ "laboratorio": 0.02,+ "farmacia": 0.0198,+ "emergencias": 0.0209,+ "recepcion": 0.0204,+ "colgar": 0.0209,+ "ninguno": 0.8778+ },+ "latency_ms": 114.88866701256484+ },+ {+ "id": "cl-033",+ "text": "Aló, buenas tardes.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8696,+ "probabilities": {+ "citas": 0.0224,+ "laboratorio": 0.0206,+ "farmacia": 0.0207,+ "emergencias": 0.0226,+ "recepcion": 0.0212,+ "colgar": 0.0229,+ "ninguno": 0.8696+ },+ "latency_ms": 111.50266701588407+ },+ {+ "id": "cl-034",+ "text": "¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8772,+ "probabilities": {+ "citas": 0.0197,+ "laboratorio": 0.019,+ "farmacia": 0.0196,+ "emergencias": 0.0215,+ "recepcion": 0.0211,+ "colgar": 0.022,+ "ninguno": 0.8772+ },+ "latency_ms": 113.88783296570182+ },+ {+ "id": "cl-035",+ "text": "Un momento, que estoy buscando mi carné.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.6746,+ "probabilities": {+ "citas": 0.0503,+ "laboratorio": 0.0464,+ "farmacia": 0.0631,+ "emergencias": 0.0469,+ "recepcion": 0.0709,+ "colgar": 0.0478,+ "ninguno": 0.6746+ },+ "latency_ms": 118.77887498121709+ },+ {+ "id": "cl-036",+ "text": "No quiero una cita, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8796,+ "probabilities": {+ "citas": 0.0192,+ "laboratorio": 0.0197,+ "farmacia": 0.0203,+ "emergencias": 0.0204,+ "recepcion": 0.0202,+ "colgar": 0.0205,+ "ninguno": 0.8796+ },+ "latency_ms": 123.26479202602059+ },+ {+ "id": "cl-037",+ "text": "No me pase con el laboratorio, ya tengo mis resultados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8517,+ "probabilities": {+ "citas": 0.0278,+ "laboratorio": 0.0248,+ "farmacia": 0.0226,+ "emergencias": 0.0238,+ "recepcion": 0.024,+ "colgar": 0.0253,+ "ninguno": 0.8517+ },+ "latency_ms": 123.54420899646357+ },+ {+ "id": "cl-038",+ "text": "No es una emergencia, solo es una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8914,+ "probabilities": {+ "citas": 0.0176,+ "laboratorio": 0.0175,+ "farmacia": 0.0178,+ "emergencias": 0.0187,+ "recepcion": 0.0183,+ "colgar": 0.0187,+ "ninguno": 0.8914+ },+ "latency_ms": 122.72525002481416+ },+ {+ "id": "cl-039",+ "text": "No necesito la farmacia, solo quería preguntar dónde quedan.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.9089,+ "probabilities": {+ "citas": 0.0146,+ "laboratorio": 0.0149,+ "farmacia": 0.0151,+ "emergencias": 0.0154,+ "recepcion": 0.0152,+ "colgar": 0.0159,+ "ninguno": 0.9089+ },+ "latency_ms": 122.81458301004022+ },+ {+ "id": "cl-040",+ "text": "No cuelgue, todavía tengo otra duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8782,+ "probabilities": {+ "citas": 0.0198,+ "laboratorio": 0.0195,+ "farmacia": 0.02,+ "emergencias": 0.0207,+ "recepcion": 0.0207,+ "colgar": 0.0211,+ "ninguno": 0.8782+ },+ "latency_ms": 130.14512497466058+ },+ {+ "id": "cl-041",+ "text": "No me transfiera con nadie todavía, primero dígame usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8745,+ "probabilities": {+ "citas": 0.0208,+ "laboratorio": 0.0206,+ "farmacia": 0.0208,+ "emergencias": 0.0211,+ "recepcion": 0.0208,+ "colgar": 0.0215,+ "ninguno": 0.8745+ },+ "latency_ms": 124.88925002980977+ },+ {+ "id": "cl-042",+ "text": "no no es urgente no me pase con emergencias",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8963,+ "probabilities": {+ "citas": 0.0168,+ "laboratorio": 0.0166,+ "farmacia": 0.0168,+ "emergencias": 0.0176,+ "recepcion": 0.0174,+ "colgar": 0.0186,+ "ninguno": 0.8963+ },+ "latency_ms": 113.64437598967925+ },+ {+ "id": "cl-043",+ "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.",+ "gold": "citas",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8658,+ "probabilities": {+ "citas": 0.0259,+ "laboratorio": 0.8658,+ "farmacia": 0.0217,+ "emergencias": 0.0223,+ "recepcion": 0.021,+ "colgar": 0.0214,+ "ninguno": 0.0219+ },+ "latency_ms": 135.91129099950194+ },+ {+ "id": "cl-044",+ "text": "El doctor de emergencias me dejó una receta y quiero comprarla.",+ "gold": "farmacia",+ "tags": [+ "hard"+ ],+ "predicted": "farmacia",+ "confidence": 0.8523,+ "probabilities": {+ "citas": 0.0249,+ "laboratorio": 0.0249,+ "farmacia": 0.8523,+ "emergencias": 0.0235,+ "recepcion": 0.0239,+ "colgar": 0.0252,+ "ninguno": 0.0252+ },+ "latency_ms": 121.74833397148177+ },+ {+ "id": "cl-045",+ "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.",+ "gold": "laboratorio",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8647,+ "probabilities": {+ "citas": 0.0219,+ "laboratorio": 0.8647,+ "farmacia": 0.0239,+ "emergencias": 0.0221,+ "recepcion": 0.0216,+ "colgar": 0.0214,+ "ninguno": 0.0244+ },+ "latency_ms": 122.18870903598145+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__frustration__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__frustration__es_criteria.jsonnew file mode 100644index 00000000..4a59d380--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__frustration__es_criteria.json@@ -0,0 +1,293 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "frustration",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3807.2911269846372+ },+ "summary": {+ "n": 9,+ "accuracy": 0.7777777777777778,+ "macro_f1": 0.2916666666666667,+ "ece": 0.09839999999999995,+ "mean_confidence": 0.7904666666666667,+ "majority_baseline": 1.0,+ "wrong_actions": 2,+ "by_tag": {+ "frustration": {+ "n": 9,+ "accuracy": 0.7777777777777778+ },+ "insult": {+ "n": 1,+ "accuracy": 1.0+ },+ "short": {+ "n": 3,+ "accuracy": 1.0+ },+ "swearing": {+ "n": 3,+ "accuracy": 0.6666666666666666+ }+ },+ "confusion": {+ "ninguno->operadora": 1,+ "ninguno->soporte": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 1,+ "coverage": 0.1111111111111111,+ "action_recall": null,+ "wrong": 1,+ "precision": 0.0+ },+ {+ "threshold": 0.6,+ "fast": 1,+ "coverage": 0.1111111111111111,+ "action_recall": null,+ "wrong": 1,+ "precision": 0.0+ },+ {+ "threshold": 0.7,+ "fast": 1,+ "coverage": 0.1111111111111111,+ "action_recall": null,+ "wrong": 1,+ "precision": 0.0+ },+ {+ "threshold": 0.8,+ "fast": 1,+ "coverage": 0.1111111111111111,+ "action_recall": null,+ "wrong": 1,+ "precision": 0.0+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 134.99312498606741,+ "p95": 150.29437496559694,+ "min": 121.09829200198874+ },+ "borderline": []+ },+ "records": [+ {+ "id": "fr-001",+ "text": "te estoy pidiendo que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8858,+ "probabilities": {+ "ventas": 0.0227,+ "soporte": 0.0223,+ "facturacion": 0.0234,+ "operadora": 0.0225,+ "colgar": 0.0232,+ "ninguno": 0.8858+ },+ "latency_ms": 134.99312498606741+ },+ {+ "id": "fr-002",+ "text": "te dije que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8878,+ "probabilities": {+ "ventas": 0.0215,+ "soporte": 0.0226,+ "facturacion": 0.0229,+ "operadora": 0.0219,+ "colgar": 0.0233,+ "ninguno": 0.8878+ },+ "latency_ms": 136.73049997305498+ },+ {+ "id": "fr-003",+ "text": "no estas entendiendo?",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8824,+ "probabilities": {+ "ventas": 0.0234,+ "soporte": 0.0248,+ "facturacion": 0.0225,+ "operadora": 0.0238,+ "colgar": 0.0231,+ "ninguno": 0.8824+ },+ "latency_ms": 121.09829200198874+ },+ {+ "id": "fr-004",+ "text": "maldita sea te dije que no!",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "ninguno",+ "confidence": 0.8791,+ "probabilities": {+ "ventas": 0.0248,+ "soporte": 0.0232,+ "facturacion": 0.0246,+ "operadora": 0.0235,+ "colgar": 0.0247,+ "ninguno": 0.8791+ },+ "latency_ms": 141.23499998822808+ },+ {+ "id": "fr-005",+ "text": "carajo no entiendo porque repetis lo mismo",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "ninguno",+ "confidence": 0.8519,+ "probabilities": {+ "ventas": 0.0275,+ "soporte": 0.0336,+ "facturacion": 0.0292,+ "operadora": 0.0317,+ "colgar": 0.0262,+ "ninguno": 0.8519+ },+ "latency_ms": 139.38895898172632+ },+ {+ "id": "fr-006",+ "text": "que tonteras decis",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "predicted": "operadora",+ "confidence": 0.3506,+ "probabilities": {+ "ventas": 0.1347,+ "soporte": 0.1454,+ "facturacion": 0.115,+ "operadora": 0.3506,+ "colgar": 0.0947,+ "ninguno": 0.1596+ },+ "latency_ms": 123.17541701486334+ },+ {+ "id": "fr-007",+ "text": "joder esto no sirve",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "soporte",+ "confidence": 0.8773,+ "probabilities": {+ "ventas": 0.0237,+ "soporte": 0.8773,+ "facturacion": 0.023,+ "operadora": 0.0253,+ "colgar": 0.0237,+ "ninguno": 0.027+ },+ "latency_ms": 121.78279197541997+ },+ {+ "id": "fr-008",+ "text": "no me estas respondiendo lo que te pregunte",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "predicted": "ninguno",+ "confidence": 0.885,+ "probabilities": {+ "ventas": 0.0234,+ "soporte": 0.0229,+ "facturacion": 0.0228,+ "operadora": 0.0235,+ "colgar": 0.0225,+ "ninguno": 0.885+ },+ "latency_ms": 130.71904197568074+ },+ {+ "id": "fr-009",+ "text": "eres demasiado tonto",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "insult"+ ],+ "predicted": "ninguno",+ "confidence": 0.6143,+ "probabilities": {+ "ventas": 0.0675,+ "soporte": 0.0768,+ "facturacion": 0.0642,+ "operadora": 0.1025,+ "colgar": 0.0746,+ "ninguno": 0.6143+ },+ "latency_ms": 150.29437496559694+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__independent_cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__independent_cases__es_criteria.jsonnew file mode 100644index 00000000..a550a737--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__independent_cases__es_criteria.json@@ -0,0 +1,705 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3841.0184609820135+ },+ "summary": {+ "n": 31,+ "accuracy": 0.8709677419354839,+ "macro_f1": 0.8596725854790371,+ "ece": 0.045409677419355116,+ "mean_confidence": 0.8741129032258064,+ "majority_baseline": 0.45161290322580644,+ "wrong_actions": 1,+ "by_tag": {+ "need-with-no": {+ "n": 13,+ "accuracy": 1.0+ },+ "noise": {+ "n": 1,+ "accuracy": 1.0+ },+ "redirected": {+ "n": 4,+ "accuracy": 0.0+ },+ "refused": {+ "n": 13,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "facturacion->ninguno": 2,+ "facturacion->operadora": 1,+ "soporte->ninguno": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 14,+ "coverage": 0.45161290322580644,+ "action_recall": 0.7647058823529411,+ "wrong": 1,+ "precision": 0.9285714285714286+ },+ {+ "threshold": 0.6,+ "fast": 14,+ "coverage": 0.45161290322580644,+ "action_recall": 0.7647058823529411,+ "wrong": 1,+ "precision": 0.9285714285714286+ },+ {+ "threshold": 0.7,+ "fast": 14,+ "coverage": 0.45161290322580644,+ "action_recall": 0.7647058823529411,+ "wrong": 1,+ "precision": 0.9285714285714286+ },+ {+ "threshold": 0.8,+ "fast": 14,+ "coverage": 0.45161290322580644,+ "action_recall": 0.7647058823529411,+ "wrong": 1,+ "precision": 0.9285714285714286+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 147.9602909530513,+ "p95": 165.6514590140432,+ "min": 123.66870901314542+ },+ "borderline": []+ },+ "records": [+ {+ "id": "ic-001",+ "text": "No, ni me meta al área de ventas que yo estoy llamando por una factura.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.8858,+ "probabilities": {+ "ventas": 0.0226,+ "soporte": 0.0216,+ "facturacion": 0.024,+ "operadora": 0.022,+ "colgar": 0.0239,+ "ninguno": 0.8858+ },+ "latency_ms": 154.57033301936463+ },+ {+ "id": "ic-002",+ "text": "Soy cliente, no me conecte con los de contratos, necesito hablar con el soporte técnico.",+ "gold": "soporte",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.8783,+ "probabilities": {+ "ventas": 0.027,+ "soporte": 0.0239,+ "facturacion": 0.0235,+ "operadora": 0.0247,+ "colgar": 0.0226,+ "ninguno": 0.8783+ },+ "latency_ms": 148.34270800929517+ },+ {+ "id": "ic-003",+ "text": "Quiero hablar con alguien del área de cobros, no me saque al departamento comercial.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "operadora",+ "confidence": 0.8691,+ "probabilities": {+ "ventas": 0.0256,+ "soporte": 0.0257,+ "facturacion": 0.0272,+ "operadora": 0.8691,+ "colgar": 0.0264,+ "ninguno": 0.026+ },+ "latency_ms": 142.30800000950694+ },+ {+ "id": "ic-004",+ "text": "Escúchame bien, no me mande con los de ventas, estoy llamando sobre mi saldo.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.7526,+ "probabilities": {+ "ventas": 0.0476,+ "soporte": 0.0474,+ "facturacion": 0.0557,+ "operadora": 0.0489,+ "colgar": 0.0478,+ "ninguno": 0.7526+ },+ "latency_ms": 145.92454099329188+ },+ {+ "id": "ic-005",+ "text": "Oiga, mira que no me funciona la internet hace tres días",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8765,+ "probabilities": {+ "ventas": 0.0245,+ "soporte": 0.8765,+ "facturacion": 0.025,+ "operadora": 0.0247,+ "colgar": 0.0243,+ "ninguno": 0.0251+ },+ "latency_ms": 134.22666699625552+ },+ {+ "id": "ic-006",+ "text": "Holaaa, no me llegó la factura y necesito hablar con alguien",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8773,+ "probabilities": {+ "ventas": 0.0235,+ "soporte": 0.0237,+ "facturacion": 0.8773,+ "operadora": 0.0275,+ "colgar": 0.0239,+ "ninguno": 0.024+ },+ "latency_ms": 139.99058300396428+ },+ {+ "id": "ic-007",+ "text": "Oiga, yo no quiero hablar con nadie, no me pasen al departamento de soporte técnico, llámame directamente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8812,+ "probabilities": {+ "ventas": 0.0233,+ "soporte": 0.0228,+ "facturacion": 0.024,+ "operadora": 0.0251,+ "colgar": 0.0237,+ "ninguno": 0.8812+ },+ "latency_ms": 153.05337501922622+ },+ {+ "id": "ic-008",+ "text": "No me pongan con soporte, ya sé lo que hace, ¿podés darme mi número?",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8721,+ "probabilities": {+ "ventas": 0.0249,+ "soporte": 0.0232,+ "facturacion": 0.0244,+ "operadora": 0.0299,+ "colgar": 0.0255,+ "ninguno": 0.8721+ },+ "latency_ms": 147.78900000965223+ },+ {+ "id": "ic-009",+ "text": "No me manden al área de soporte, quiero que me respondan acá, al cliente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8875,+ "probabilities": {+ "ventas": 0.0236,+ "soporte": 0.0218,+ "facturacion": 0.022,+ "operadora": 0.0217,+ "colgar": 0.0233,+ "ninguno": 0.8875+ },+ "latency_ms": 157.0780420443043+ },+ {+ "id": "ic-010",+ "text": "Mire, no me pongan con el soporte, eso ya lo saben, yo les hablo a ustedes.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8981,+ "probabilities": {+ "ventas": 0.0224,+ "soporte": 0.0198,+ "facturacion": 0.0197,+ "operadora": 0.0197,+ "colgar": 0.0204,+ "ninguno": 0.8981+ },+ "latency_ms": 161.87204100424424+ },+ {+ "id": "ic-011",+ "text": "No me pasen con soporte técnico, llámeme directo al celular, no quiero hablar con nadie más.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8881,+ "probabilities": {+ "ventas": 0.023,+ "soporte": 0.0211,+ "facturacion": 0.0223,+ "operadora": 0.0226,+ "colgar": 0.0229,+ "ninguno": 0.8881+ },+ "latency_ms": 159.19124998617917+ },+ {+ "id": "ic-012",+ "text": "Oye, ¿saben por qué nunca me funciona el internet?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8815,+ "probabilities": {+ "ventas": 0.0233,+ "soporte": 0.8815,+ "facturacion": 0.0226,+ "operadora": 0.0234,+ "colgar": 0.0233,+ "ninguno": 0.0258+ },+ "latency_ms": 171.62204202031717+ },+ {+ "id": "ic-013",+ "text": "Bueno, tengo un problema que no me deja usar la conexión.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8607,+ "probabilities": {+ "ventas": 0.0268,+ "soporte": 0.8607,+ "facturacion": 0.0257,+ "operadora": 0.031,+ "colgar": 0.0254,+ "ninguno": 0.0304+ },+ "latency_ms": 173.2042909716256+ },+ {+ "id": "ic-014",+ "text": "¿Alguien me ayuda con el servicio porque no funciona?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8905,+ "probabilities": {+ "ventas": 0.022,+ "soporte": 0.8905,+ "facturacion": 0.0211,+ "operadora": 0.0215,+ "colgar": 0.022,+ "ninguno": 0.0229+ },+ "latency_ms": 165.02987500280142+ },+ {+ "id": "ic-015",+ "text": "No me funcionó el equipo que me enviaron, por favor arreglenlo.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8766,+ "probabilities": {+ "ventas": 0.0238,+ "soporte": 0.8766,+ "facturacion": 0.024,+ "operadora": 0.025,+ "colgar": 0.0238,+ "ninguno": 0.0268+ },+ "latency_ms": 155.47699999297038+ },+ {+ "id": "ic-016",+ "text": "No quiero pasar al de facturación, haganme la atención aquí.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8928,+ "probabilities": {+ "ventas": 0.0225,+ "soporte": 0.0204,+ "facturacion": 0.0211,+ "operadora": 0.0211,+ "colgar": 0.022,+ "ninguno": 0.8928+ },+ "latency_ms": 140.34137601265684+ },+ {+ "id": "ic-017",+ "text": "Cuidado, no me pasen a facturación, es muy largo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8866,+ "probabilities": {+ "ventas": 0.0231,+ "soporte": 0.0218,+ "facturacion": 0.0225,+ "operadora": 0.0234,+ "colgar": 0.0226,+ "ninguno": 0.8866+ },+ "latency_ms": 161.55533300479874+ },+ {+ "id": "ic-018",+ "text": "No me manden a facturación, por favor.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8872,+ "probabilities": {+ "ventas": 0.0221,+ "soporte": 0.0224,+ "facturacion": 0.0223,+ "operadora": 0.0231,+ "colgar": 0.0229,+ "ninguno": 0.8872+ },+ "latency_ms": 134.85445798141882+ },+ {+ "id": "ic-019",+ "text": "Ni se les ocurra pasarme a facturación, no estoy interesada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8812,+ "probabilities": {+ "ventas": 0.0239,+ "soporte": 0.0225,+ "facturacion": 0.024,+ "operadora": 0.023,+ "colgar": 0.0254,+ "ninguno": 0.8812+ },+ "latency_ms": 147.9602909530513+ },+ {+ "id": "ic-020",+ "text": "Oiga, estoy llamando por un asunto serio, me está cobrando una mensualidad y no me deja ver la factura ni el detalle del pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8835,+ "probabilities": {+ "ventas": 0.0232,+ "soporte": 0.0231,+ "facturacion": 0.8835,+ "operadora": 0.0228,+ "colgar": 0.0242,+ "ninguno": 0.0232+ },+ "latency_ms": 156.49074997054413+ },+ {+ "id": "ic-021",+ "text": "Hola, buenos días, tengo el saldo pendiente y no me está llegando el cobro, necesitan revisar el caso urgente.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8793,+ "probabilities": {+ "ventas": 0.024,+ "soporte": 0.025,+ "facturacion": 0.8793,+ "operadora": 0.0234,+ "colgar": 0.024,+ "ninguno": 0.0242+ },+ "latency_ms": 143.19008303573355+ },+ {+ "id": "ic-022",+ "text": "Buenas tardes, disculpen que llame, me hicieron un cobro adicional y no me aparece la factura para validar el pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8717,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.0254,+ "facturacion": 0.8717,+ "operadora": 0.0248,+ "colgar": 0.0264,+ "ninguno": 0.026+ },+ "latency_ms": 148.37637497112155+ },+ {+ "id": "ic-023",+ "text": "Saludos, llamo para reclamar el saldo que me deben y no puedo generar una orden de pago ni ver el estado del reembolso.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8722,+ "probabilities": {+ "ventas": 0.0247,+ "soporte": 0.0257,+ "facturacion": 0.8722,+ "operadora": 0.0249,+ "colgar": 0.0272,+ "ninguno": 0.0252+ },+ "latency_ms": 141.46499999333173+ },+ {+ "id": "ic-024",+ "text": "¿Sigo en línea?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8809,+ "probabilities": {+ "ventas": 0.0262,+ "soporte": 0.0249,+ "facturacion": 0.0225,+ "operadora": 0.0226,+ "colgar": 0.0229,+ "ninguno": 0.8809+ },+ "latency_ms": 123.66870901314542+ },+ {+ "id": "ic-025",+ "text": "No, espera, no me cuelgues, me falta algo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8827,+ "probabilities": {+ "ventas": 0.0232,+ "soporte": 0.0224,+ "facturacion": 0.0238,+ "operadora": 0.0233,+ "colgar": 0.0247,+ "ninguno": 0.8827+ },+ "latency_ms": 132.9764169640839+ },+ {+ "id": "ic-026",+ "text": "No me corten la línea, no se vayan.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8754,+ "probabilities": {+ "ventas": 0.0246,+ "soporte": 0.0236,+ "facturacion": 0.025,+ "operadora": 0.0254,+ "colgar": 0.0259,+ "ninguno": 0.8754+ },+ "latency_ms": 165.6514590140432+ },+ {+ "id": "ic-027",+ "text": "Ya, no me cuelgues, sigo aquí esperando.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8767,+ "probabilities": {+ "ventas": 0.0243,+ "soporte": 0.0239,+ "facturacion": 0.0249,+ "operadora": 0.0242,+ "colgar": 0.0259,+ "ninguno": 0.8767+ },+ "latency_ms": 130.89374999981374+ },+ {+ "id": "ic-028",+ "text": "Me quedé en pausa, no me vayan a cortar.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8681,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.0257,+ "facturacion": 0.0263,+ "operadora": 0.0271,+ "colgar": 0.0261,+ "ninguno": 0.8681+ },+ "latency_ms": 127.9699580045417+ },+ {+ "id": "ic-029",+ "text": "Quiero hablar con el humano, por favor, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8677,+ "probabilities": {+ "ventas": 0.0259,+ "soporte": 0.0255,+ "facturacion": 0.0261,+ "operadora": 0.8677,+ "colgar": 0.0265,+ "ninguno": 0.0282+ },+ "latency_ms": 143.1852910318412+ },+ {+ "id": "ic-030",+ "text": "¿No hay nadie ahí? No quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8452,+ "probabilities": {+ "ventas": 0.0286,+ "soporte": 0.0318,+ "facturacion": 0.0291,+ "operadora": 0.8452,+ "colgar": 0.0288,+ "ninguno": 0.0365+ },+ "latency_ms": 153.79591699456796+ },+ {+ "id": "ic-031",+ "text": "Oiga, quiero hablar con alguien en vivo, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8704,+ "probabilities": {+ "ventas": 0.025,+ "soporte": 0.0254,+ "facturacion": 0.0258,+ "operadora": 0.8704,+ "colgar": 0.0256,+ "ninguno": 0.0277+ },+ "latency_ms": 135.83425001706928+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__independent_clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__independent_clinic__es_criteria.jsonnew file mode 100644index 00000000..441798eb--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v2__independent_clinic__es_criteria.json@@ -0,0 +1,515 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3605.9275009902194+ },+ "summary": {+ "n": 20,+ "accuracy": 0.9,+ "macro_f1": 0.8873015873015873,+ "ece": 0.091645,+ "mean_confidence": 0.856755,+ "majority_baseline": 0.25,+ "wrong_actions": 0,+ "by_tag": {+ "direct": {+ "n": 1,+ "accuracy": 1.0+ },+ "need-with-no": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "redirected": {+ "n": 2,+ "accuracy": 0.5+ },+ "refused": {+ "n": 4,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "citas->ninguno": 1,+ "emergencias->ninguno": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.6,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.7,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.8,+ "fast": 13,+ "coverage": 0.65,+ "action_recall": 0.8125,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 1,+ "coverage": 0.05,+ "action_recall": 0.0625,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 123.85529099265113,+ "p95": 135.6124589801766,+ "min": 114.64124999474734+ },+ "borderline": []+ },+ "records": [+ {+ "id": "il-001",+ "text": "No, no, no me pasen a esa caja ni al departamento de turnos.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8846,+ "probabilities": {+ "citas": 0.019,+ "laboratorio": 0.0188,+ "farmacia": 0.0183,+ "emergencias": 0.0195,+ "recepcion": 0.0195,+ "colgar": 0.0202,+ "ninguno": 0.8846+ },+ "latency_ms": 130.4769170237705+ },+ {+ "id": "il-002",+ "text": "Hola, quería ver si se puede arreglar mi cita porque no puedo ir a la clínica",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8691,+ "probabilities": {+ "citas": 0.8691,+ "laboratorio": 0.0207,+ "farmacia": 0.0223,+ "emergencias": 0.022,+ "recepcion": 0.021,+ "colgar": 0.0229,+ "ninguno": 0.0221+ },+ "latency_ms": 125.31016598222777+ },+ {+ "id": "il-003",+ "text": "Buenas tardes, necesito saber si hago trámite para cambiar o anular la cita ya que nunca me llegó la confirmación",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8724,+ "probabilities": {+ "citas": 0.8724,+ "laboratorio": 0.0212,+ "farmacia": 0.0209,+ "emergencias": 0.0216,+ "recepcion": 0.0206,+ "colgar": 0.0216,+ "ninguno": 0.0217+ },+ "latency_ms": 135.48095797887072+ },+ {+ "id": "il-004",+ "text": "Quisiera pedir ayuda porque no puedo ir a mi consulta médica y quiero cancelarla o cambiarla",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8684,+ "probabilities": {+ "citas": 0.8684,+ "laboratorio": 0.0222,+ "farmacia": 0.0243,+ "emergencias": 0.0217,+ "recepcion": 0.0206,+ "colgar": 0.0217,+ "ninguno": 0.021+ },+ "latency_ms": 123.42854199232534+ },+ {+ "id": "il-005",+ "text": "Oiga, mira, por favor, no la pasen para ahí, a lo del laboratorio, no quiero que me hagan análisis de nada, ni nada de eso.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8746,+ "probabilities": {+ "citas": 0.0204,+ "laboratorio": 0.0204,+ "farmacia": 0.02,+ "emergencias": 0.0212,+ "recepcion": 0.0211,+ "colgar": 0.0222,+ "ninguno": 0.8746+ },+ "latency_ms": 156.1631669756025+ },+ {+ "id": "il-006",+ "text": "Soy yo, no me pasen al área de laboratorio, por favor, no quiero exámenes ni nada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8638,+ "probabilities": {+ "citas": 0.0255,+ "laboratorio": 0.0216,+ "farmacia": 0.0225,+ "emergencias": 0.0222,+ "recepcion": 0.0223,+ "colgar": 0.0221,+ "ninguno": 0.8638+ },+ "latency_ms": 126.08129100408405+ },+ {+ "id": "il-007",+ "text": "Necesito que revisen los resultados, por favor, ya no me llegó la información que me mandaron.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8654,+ "probabilities": {+ "citas": 0.0225,+ "laboratorio": 0.8654,+ "farmacia": 0.0223,+ "emergencias": 0.0232,+ "recepcion": 0.0216,+ "colgar": 0.0223,+ "ninguno": 0.0227+ },+ "latency_ms": 123.85529099265113+ },+ {+ "id": "il-008",+ "text": "Oigan, urgente: me dijeron que me envíen los exámenes pero no me funciona el sistema.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8866,+ "probabilities": {+ "citas": 0.0189,+ "laboratorio": 0.8866,+ "farmacia": 0.0186,+ "emergencias": 0.0197,+ "recepcion": 0.0183,+ "colgar": 0.0186,+ "ninguno": 0.0193+ },+ "latency_ms": 121.85229099122807+ },+ {+ "id": "il-009",+ "text": "¿Alguien ahí me puede llamar para explicarme los resultados? No me puedo mover para ir.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8671,+ "probabilities": {+ "citas": 0.0226,+ "laboratorio": 0.8671,+ "farmacia": 0.0219,+ "emergencias": 0.0219,+ "recepcion": 0.0223,+ "colgar": 0.022,+ "ninguno": 0.0221+ },+ "latency_ms": 129.38958400627598+ },+ {+ "id": "il-010",+ "text": "Quiero que me atiendan con mis exámenes, no me funciona lo que me enviaron ayer.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8914,+ "probabilities": {+ "citas": 0.0188,+ "laboratorio": 0.8914,+ "farmacia": 0.0178,+ "emergencias": 0.0178,+ "recepcion": 0.0177,+ "colgar": 0.0178,+ "ninguno": 0.0187+ },+ "latency_ms": 120.00179197639227+ },+ {+ "id": "il-011",+ "text": "Por favor, necesitan revisar mis análisis, nunca me han dado el resultado que me corresponde.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8621,+ "probabilities": {+ "citas": 0.0231,+ "laboratorio": 0.8621,+ "farmacia": 0.0231,+ "emergencias": 0.0243,+ "recepcion": 0.0222,+ "colgar": 0.0223,+ "ninguno": 0.0228+ },+ "latency_ms": 122.53145803697407+ },+ {+ "id": "il-012",+ "text": "Quiero hablar con atención humana, no con la farmacia, por favor.",+ "gold": "recepcion",+ "tags": [+ "redirected"+ ],+ "predicted": "recepcion",+ "confidence": 0.8548,+ "probabilities": {+ "citas": 0.0234,+ "laboratorio": 0.0232,+ "farmacia": 0.0241,+ "emergencias": 0.0242,+ "recepcion": 0.8548,+ "colgar": 0.0254,+ "ninguno": 0.025+ },+ "latency_ms": 118.76320804003626+ },+ {+ "id": "il-013",+ "text": "Bueno, hola, soy la señora Rodríguez, tengo una inquietud con el medicamento que me dejaron recetado, no me llegó.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.8551,+ "probabilities": {+ "citas": 0.024,+ "laboratorio": 0.0252,+ "farmacia": 0.8551,+ "emergencias": 0.0253,+ "recepcion": 0.0232,+ "colgar": 0.0234,+ "ninguno": 0.0238+ },+ "latency_ms": 135.6124589801766+ },+ {+ "id": "il-014",+ "text": "Bueno, hola, soy el señor de la mesa cuatro, me dejaron recetar unas cosas pero nunca me las dieron.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.8596,+ "probabilities": {+ "citas": 0.0222,+ "laboratorio": 0.0247,+ "farmacia": 0.8596,+ "emergencias": 0.0234,+ "recepcion": 0.0226,+ "colgar": 0.0236,+ "ninguno": 0.0238+ },+ "latency_ms": 129.8653760459274+ },+ {+ "id": "il-015",+ "text": "Oiga, ¿me pueden pasar con el médico de urgencias?",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.9185,+ "probabilities": {+ "citas": 0.0134,+ "laboratorio": 0.0124,+ "farmacia": 0.0137,+ "emergencias": 0.9185,+ "recepcion": 0.0137,+ "colgar": 0.0141,+ "ninguno": 0.0142+ },+ "latency_ms": 120.82262500189245+ },+ {+ "id": "il-016",+ "text": "Escúcheme, yo no quiero ser atendido en la emergencia.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8599,+ "probabilities": {+ "citas": 0.0262,+ "laboratorio": 0.022,+ "farmacia": 0.0221,+ "emergencias": 0.0246,+ "recepcion": 0.0225,+ "colgar": 0.0228,+ "ninguno": 0.8599+ },+ "latency_ms": 116.57833401113749+ },+ {+ "id": "il-017",+ "text": "Quiero consulta pero no quiero que me pongan en la sala de emergencias.",+ "gold": "citas",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.8338,+ "probabilities": {+ "citas": 0.031,+ "laboratorio": 0.0265,+ "farmacia": 0.0271,+ "emergencias": 0.0278,+ "recepcion": 0.0264,+ "colgar": 0.0274,+ "ninguno": 0.8338+ },+ "latency_ms": 121.47358298534527+ },+ {+ "id": "il-018",+ "text": "Ayúdeme rápido, por favor, no puedo moverme de la cama",+ "gold": "emergencias",+ "tags": [+ "need-with-no"+ ],+ "predicted": "ninguno",+ "confidence": 0.7038,+ "probabilities": {+ "citas": 0.0391,+ "laboratorio": 0.0376,+ "farmacia": 0.0415,+ "emergencias": 0.09,+ "recepcion": 0.0454,+ "colgar": 0.0427,+ "ninguno": 0.7038+ },+ "latency_ms": 120.54220895515755+ },+ {+ "id": "il-019",+ "text": "Hable conmigo, no quiero hablar con la grabación.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.7802,+ "probabilities": {+ "citas": 0.0318,+ "laboratorio": 0.0358,+ "farmacia": 0.033,+ "emergencias": 0.0366,+ "recepcion": 0.7802,+ "colgar": 0.0326,+ "ninguno": 0.05+ },+ "latency_ms": 114.64124999474734+ },+ {+ "id": "il-020",+ "text": "No quiero hablar con el sistema, quiero hablar con el humano.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.8639,+ "probabilities": {+ "citas": 0.0222,+ "laboratorio": 0.0232,+ "farmacia": 0.0223,+ "emergencias": 0.0225,+ "recepcion": 0.8639,+ "colgar": 0.0228,+ "ninguno": 0.0231+ },+ "latency_ms": 125.74287399183959+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__cases__es_criteria.jsonnew file mode 100644index 00000000..d84a409f--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__cases__es_criteria.json@@ -0,0 +1,2413 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 4272.162876965012+ },+ "summary": {+ "n": 112,+ "accuracy": 0.9017857142857143,+ "macro_f1": 0.8949312617244306,+ "ece": 0.13634464285714265,+ "mean_confidence": 0.844419642857143,+ "majority_baseline": 0.3125,+ "wrong_actions": 6,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 1.0+ },+ "direct": {+ "n": 18,+ "accuracy": 0.7777777777777778+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.8461538461538461+ },+ "hard": {+ "n": 6,+ "accuracy": 0.5+ },+ "hn": {+ "n": 9,+ "accuracy": 1.0+ },+ "human": {+ "n": 13,+ "accuracy": 0.8461538461538461+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.9666666666666667+ },+ "negation": {+ "n": 15,+ "accuracy": 1.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 1.0+ },+ "open": {+ "n": 11,+ "accuracy": 1.0+ },+ "short": {+ "n": 5,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "colgar->ninguno": 1,+ "colgar->soporte": 1,+ "facturacion->ninguno": 1,+ "facturacion->soporte": 1,+ "operadora->ninguno": 2,+ "soporte->ninguno": 1,+ "soporte->operadora": 1,+ "soporte->ventas": 1,+ "ventas->facturacion": 2+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 71,+ "coverage": 0.6339285714285714,+ "action_recall": 0.8441558441558441,+ "wrong": 6,+ "precision": 0.9154929577464789+ },+ {+ "threshold": 0.6,+ "fast": 71,+ "coverage": 0.6339285714285714,+ "action_recall": 0.8441558441558441,+ "wrong": 6,+ "precision": 0.9154929577464789+ },+ {+ "threshold": 0.7,+ "fast": 71,+ "coverage": 0.6339285714285714,+ "action_recall": 0.8441558441558441,+ "wrong": 6,+ "precision": 0.9154929577464789+ },+ {+ "threshold": 0.8,+ "fast": 68,+ "coverage": 0.6071428571428571,+ "action_recall": 0.8311688311688312,+ "wrong": 4,+ "precision": 0.9411764705882353+ },+ {+ "threshold": 0.9,+ "fast": 8,+ "coverage": 0.07142857142857142,+ "action_recall": 0.07792207792207792,+ "wrong": 2,+ "precision": 0.75+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 129.52008401043713,+ "p95": 153.23187498142943,+ "min": 121.19125004392117+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "facturacion",+ "confidence": 0.5725+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "ninguno",+ "confidence": 0.8068+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ninguno",+ "confidence": 0.8543+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "soporte",+ "confidence": 0.7883+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9495,+ "probabilities": {+ "ventas": 0.9495,+ "soporte": 0.0104,+ "facturacion": 0.0101,+ "operadora": 0.01,+ "colgar": 0.0097,+ "ninguno": 0.0102+ },+ "latency_ms": 135.96583396429196+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9437,+ "probabilities": {+ "ventas": 0.9437,+ "soporte": 0.0116,+ "facturacion": 0.0111,+ "operadora": 0.011,+ "colgar": 0.0109,+ "ninguno": 0.0118+ },+ "latency_ms": 140.24270797381178+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9463,+ "probabilities": {+ "ventas": 0.9463,+ "soporte": 0.0106,+ "facturacion": 0.0102,+ "operadora": 0.0119,+ "colgar": 0.0104,+ "ninguno": 0.0105+ },+ "latency_ms": 128.86962498305365+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.9456,+ "probabilities": {+ "ventas": 0.9456,+ "soporte": 0.0113,+ "facturacion": 0.0107,+ "operadora": 0.0106,+ "colgar": 0.0105,+ "ninguno": 0.0112+ },+ "latency_ms": 129.6225000405684+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.8403,+ "probabilities": {+ "ventas": 0.8403,+ "soporte": 0.0282,+ "facturacion": 0.0286,+ "operadora": 0.0442,+ "colgar": 0.0289,+ "ninguno": 0.0297+ },+ "latency_ms": 131.5555420005694+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8487,+ "probabilities": {+ "ventas": 0.8487,+ "soporte": 0.03,+ "facturacion": 0.0309,+ "operadora": 0.0294,+ "colgar": 0.03,+ "ninguno": 0.031+ },+ "latency_ms": 129.7342089819722+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8498,+ "probabilities": {+ "ventas": 0.8498,+ "soporte": 0.0301,+ "facturacion": 0.03,+ "operadora": 0.0296,+ "colgar": 0.0304,+ "ninguno": 0.0301+ },+ "latency_ms": 126.47362501593307+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8575,+ "probabilities": {+ "ventas": 0.0297,+ "soporte": 0.0281,+ "facturacion": 0.8575,+ "operadora": 0.0275,+ "colgar": 0.0287,+ "ninguno": 0.0286+ },+ "latency_ms": 125.64279203070328+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8528,+ "probabilities": {+ "ventas": 0.8528,+ "soporte": 0.029,+ "facturacion": 0.029,+ "operadora": 0.0297,+ "colgar": 0.0289,+ "ninguno": 0.0306+ },+ "latency_ms": 137.8639590111561+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8522,+ "probabilities": {+ "ventas": 0.8522,+ "soporte": 0.0294,+ "facturacion": 0.029,+ "operadora": 0.0296,+ "colgar": 0.0295,+ "ninguno": 0.0303+ },+ "latency_ms": 127.95858300523832+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8422,+ "probabilities": {+ "ventas": 0.8422,+ "soporte": 0.0308,+ "facturacion": 0.0311,+ "operadora": 0.0312,+ "colgar": 0.0299,+ "ninguno": 0.0346+ },+ "latency_ms": 142.68012496177107+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8502,+ "probabilities": {+ "ventas": 0.8502,+ "soporte": 0.0293,+ "facturacion": 0.0302,+ "operadora": 0.03,+ "colgar": 0.0296,+ "ninguno": 0.0306+ },+ "latency_ms": 139.9846249842085+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8579,+ "probabilities": {+ "ventas": 0.8579,+ "soporte": 0.0282,+ "facturacion": 0.0282,+ "operadora": 0.0284,+ "colgar": 0.028,+ "ninguno": 0.0292+ },+ "latency_ms": 131.454374990426+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8531,+ "probabilities": {+ "ventas": 0.8531,+ "soporte": 0.0293,+ "facturacion": 0.0287,+ "operadora": 0.0291,+ "colgar": 0.03,+ "ninguno": 0.0298+ },+ "latency_ms": 136.69458398362622+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8656,+ "probabilities": {+ "ventas": 0.0269,+ "soporte": 0.8656,+ "facturacion": 0.0268,+ "operadora": 0.0268,+ "colgar": 0.0266,+ "ninguno": 0.0274+ },+ "latency_ms": 124.52537496574223+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.8553,+ "probabilities": {+ "ventas": 0.0281,+ "soporte": 0.0288,+ "facturacion": 0.0288,+ "operadora": 0.8553,+ "colgar": 0.0292,+ "ninguno": 0.0298+ },+ "latency_ms": 126.4509170432575+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8603,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.8603,+ "facturacion": 0.027,+ "operadora": 0.0272,+ "colgar": 0.027,+ "ninguno": 0.0308+ },+ "latency_ms": 157.40945900324732+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.8189,+ "probabilities": {+ "ventas": 0.0346,+ "soporte": 0.0372,+ "facturacion": 0.0349,+ "operadora": 0.0389,+ "colgar": 0.0354,+ "ninguno": 0.8189+ },+ "latency_ms": 131.80608302354813+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8771,+ "probabilities": {+ "ventas": 0.0245,+ "soporte": 0.8771,+ "facturacion": 0.0243,+ "operadora": 0.0242,+ "colgar": 0.0247,+ "ninguno": 0.0251+ },+ "latency_ms": 129.64549998287112+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8251,+ "probabilities": {+ "ventas": 0.0346,+ "soporte": 0.8251,+ "facturacion": 0.035,+ "operadora": 0.0339,+ "colgar": 0.0346,+ "ninguno": 0.0368+ },+ "latency_ms": 131.03658403269947+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8456,+ "probabilities": {+ "ventas": 0.0308,+ "soporte": 0.8456,+ "facturacion": 0.0305,+ "operadora": 0.0308,+ "colgar": 0.0305,+ "ninguno": 0.0319+ },+ "latency_ms": 126.84545799857005+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8395,+ "probabilities": {+ "ventas": 0.0318,+ "soporte": 0.8395,+ "facturacion": 0.0327,+ "operadora": 0.0313,+ "colgar": 0.0314,+ "ninguno": 0.0334+ },+ "latency_ms": 129.56941704032943+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.843,+ "probabilities": {+ "ventas": 0.0318,+ "soporte": 0.843,+ "facturacion": 0.031,+ "operadora": 0.0316,+ "colgar": 0.0308,+ "ninguno": 0.0317+ },+ "latency_ms": 135.4048329521902+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.8485,+ "probabilities": {+ "ventas": 0.0309,+ "soporte": 0.8485,+ "facturacion": 0.0303,+ "operadora": 0.0297,+ "colgar": 0.03,+ "ninguno": 0.0306+ },+ "latency_ms": 139.28166695404798+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8399,+ "probabilities": {+ "ventas": 0.0325,+ "soporte": 0.8399,+ "facturacion": 0.031,+ "operadora": 0.0317,+ "colgar": 0.0312,+ "ninguno": 0.0336+ },+ "latency_ms": 137.75533303851262+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8458,+ "probabilities": {+ "ventas": 0.0315,+ "soporte": 0.8458,+ "facturacion": 0.0312,+ "operadora": 0.0299,+ "colgar": 0.0296,+ "ninguno": 0.032+ },+ "latency_ms": 126.04158400790766+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8464,+ "probabilities": {+ "ventas": 0.0308,+ "soporte": 0.8464,+ "facturacion": 0.0304,+ "operadora": 0.0301,+ "colgar": 0.03,+ "ninguno": 0.0322+ },+ "latency_ms": 135.4772500344552+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8387,+ "probabilities": {+ "ventas": 0.0313,+ "soporte": 0.8387,+ "facturacion": 0.0324,+ "operadora": 0.0305,+ "colgar": 0.0316,+ "ninguno": 0.0354+ },+ "latency_ms": 129.52008401043713+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.8343,+ "probabilities": {+ "ventas": 0.0331,+ "soporte": 0.0312,+ "facturacion": 0.0335,+ "operadora": 0.034,+ "colgar": 0.0338,+ "ninguno": 0.8343+ },+ "latency_ms": 127.8167080017738+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.8803,+ "probabilities": {+ "ventas": 0.024,+ "soporte": 0.0237,+ "facturacion": 0.8803,+ "operadora": 0.0237,+ "colgar": 0.0242,+ "ninguno": 0.0241+ },+ "latency_ms": 127.11916695116088+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9315,+ "probabilities": {+ "ventas": 0.0138,+ "soporte": 0.0136,+ "facturacion": 0.9315,+ "operadora": 0.0137,+ "colgar": 0.0137,+ "ninguno": 0.0137+ },+ "latency_ms": 131.98804203420877+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.8641,+ "probabilities": {+ "ventas": 0.0272,+ "soporte": 0.0271,+ "facturacion": 0.8641,+ "operadora": 0.0267,+ "colgar": 0.0272,+ "ninguno": 0.0276+ },+ "latency_ms": 156.0957920155488+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.8932,+ "probabilities": {+ "ventas": 0.0218,+ "soporte": 0.0216,+ "facturacion": 0.8932,+ "operadora": 0.0213,+ "colgar": 0.0209,+ "ninguno": 0.0213+ },+ "latency_ms": 142.79516699025407+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.7215,+ "probabilities": {+ "ventas": 0.0559,+ "soporte": 0.0545,+ "facturacion": 0.7215,+ "operadora": 0.054,+ "colgar": 0.0571,+ "ninguno": 0.057+ },+ "latency_ms": 153.23187498142943+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.824,+ "probabilities": {+ "ventas": 0.0351,+ "soporte": 0.0351,+ "facturacion": 0.824,+ "operadora": 0.0344,+ "colgar": 0.0354,+ "ninguno": 0.0359+ },+ "latency_ms": 146.99479198316112+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8524,+ "probabilities": {+ "ventas": 0.03,+ "soporte": 0.0292,+ "facturacion": 0.8524,+ "operadora": 0.0291,+ "colgar": 0.0304,+ "ninguno": 0.0289+ },+ "latency_ms": 130.94820798141882+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.8476,+ "probabilities": {+ "ventas": 0.0307,+ "soporte": 0.0301,+ "facturacion": 0.8476,+ "operadora": 0.0295,+ "colgar": 0.031,+ "ninguno": 0.0311+ },+ "latency_ms": 132.63066700892523+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8592,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.0283,+ "facturacion": 0.8592,+ "operadora": 0.0275,+ "colgar": 0.0281,+ "ninguno": 0.0285+ },+ "latency_ms": 127.46687501203269+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8425,+ "probabilities": {+ "ventas": 0.0287,+ "soporte": 0.0436,+ "facturacion": 0.8425,+ "operadora": 0.0276,+ "colgar": 0.0288,+ "ninguno": 0.0288+ },+ "latency_ms": 129.355208016932+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8474,+ "probabilities": {+ "ventas": 0.0311,+ "soporte": 0.0302,+ "facturacion": 0.8474,+ "operadora": 0.0297,+ "colgar": 0.031,+ "ninguno": 0.0306+ },+ "latency_ms": 128.7881670286879+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8539,+ "probabilities": {+ "ventas": 0.0296,+ "soporte": 0.0295,+ "facturacion": 0.8539,+ "operadora": 0.0287,+ "colgar": 0.029,+ "ninguno": 0.0292+ },+ "latency_ms": 138.3322500041686+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.3732,+ "probabilities": {+ "ventas": 0.1255,+ "soporte": 0.1234,+ "facturacion": 0.3732,+ "operadora": 0.124,+ "colgar": 0.1268,+ "ninguno": 0.1271+ },+ "latency_ms": 151.95645799394697+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8631,+ "probabilities": {+ "ventas": 0.0271,+ "soporte": 0.0269,+ "facturacion": 0.0272,+ "operadora": 0.8631,+ "colgar": 0.0279,+ "ninguno": 0.0278+ },+ "latency_ms": 122.47929099248722+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8451,+ "probabilities": {+ "ventas": 0.0305,+ "soporte": 0.03,+ "facturacion": 0.0309,+ "operadora": 0.8451,+ "colgar": 0.0319,+ "ninguno": 0.0316+ },+ "latency_ms": 156.1034579644911+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8389,+ "probabilities": {+ "ventas": 0.0316,+ "soporte": 0.0316,+ "facturacion": 0.0319,+ "operadora": 0.8389,+ "colgar": 0.0329,+ "ninguno": 0.0331+ },+ "latency_ms": 130.83450100384653+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.9028,+ "probabilities": {+ "ventas": 0.019,+ "soporte": 0.0195,+ "facturacion": 0.0191,+ "operadora": 0.9028,+ "colgar": 0.02,+ "ninguno": 0.0196+ },+ "latency_ms": 124.5274170069024+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.7834,+ "probabilities": {+ "ventas": 0.0385,+ "soporte": 0.0636,+ "facturacion": 0.0391,+ "operadora": 0.0393,+ "colgar": 0.0361,+ "ninguno": 0.7834+ },+ "latency_ms": 143.11524998629466+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8552,+ "probabilities": {+ "ventas": 0.0289,+ "soporte": 0.0285,+ "facturacion": 0.0289,+ "operadora": 0.8552,+ "colgar": 0.029,+ "ninguno": 0.0295+ },+ "latency_ms": 125.85729197598994+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8591,+ "probabilities": {+ "ventas": 0.0279,+ "soporte": 0.0278,+ "facturacion": 0.0277,+ "operadora": 0.8591,+ "colgar": 0.0282,+ "ninguno": 0.0293+ },+ "latency_ms": 124.22950001200661+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.8523,+ "probabilities": {+ "ventas": 0.0289,+ "soporte": 0.0289,+ "facturacion": 0.0292,+ "operadora": 0.8523,+ "colgar": 0.0303,+ "ninguno": 0.0304+ },+ "latency_ms": 125.62316696858034+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.8448,+ "probabilities": {+ "ventas": 0.0298,+ "soporte": 0.0295,+ "facturacion": 0.0294,+ "operadora": 0.8448,+ "colgar": 0.0302,+ "ninguno": 0.0364+ },+ "latency_ms": 127.36491701798514+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.8466,+ "probabilities": {+ "ventas": 0.0299,+ "soporte": 0.03,+ "facturacion": 0.0308,+ "operadora": 0.8466,+ "colgar": 0.0314,+ "ninguno": 0.0313+ },+ "latency_ms": 125.19887497182935+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.853,+ "probabilities": {+ "ventas": 0.0282,+ "soporte": 0.0278,+ "facturacion": 0.0283,+ "operadora": 0.853,+ "colgar": 0.0292,+ "ninguno": 0.0335+ },+ "latency_ms": 122.80370894586667+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "ninguno",+ "confidence": 0.7373,+ "probabilities": {+ "ventas": 0.0263,+ "soporte": 0.0275,+ "facturacion": 0.0246,+ "operadora": 0.1578,+ "colgar": 0.0266,+ "ninguno": 0.7373+ },+ "latency_ms": 124.22749999677762+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8374,+ "probabilities": {+ "ventas": 0.0308,+ "soporte": 0.0315,+ "facturacion": 0.0323,+ "operadora": 0.0324,+ "colgar": 0.8374,+ "ninguno": 0.0356+ },+ "latency_ms": 129.86629200167954+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.4991,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.0252,+ "facturacion": 0.0271,+ "operadora": 0.0262,+ "colgar": 0.3966,+ "ninguno": 0.4991+ },+ "latency_ms": 128.25404200702906+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8531,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.0286,+ "facturacion": 0.0285,+ "operadora": 0.0293,+ "colgar": 0.8531,+ "ninguno": 0.0327+ },+ "latency_ms": 127.81204201746732+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8457,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.0299,+ "facturacion": 0.0307,+ "operadora": 0.0305,+ "colgar": 0.8457,+ "ninguno": 0.0337+ },+ "latency_ms": 142.1837920206599+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.871,+ "probabilities": {+ "ventas": 0.0245,+ "soporte": 0.0253,+ "facturacion": 0.0257,+ "operadora": 0.0257,+ "colgar": 0.871,+ "ninguno": 0.0278+ },+ "latency_ms": 123.452624946367+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.856,+ "probabilities": {+ "ventas": 0.0276,+ "soporte": 0.0281,+ "facturacion": 0.0282,+ "operadora": 0.0283,+ "colgar": 0.856,+ "ninguno": 0.0318+ },+ "latency_ms": 125.74416596908122+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8579,+ "probabilities": {+ "ventas": 0.0271,+ "soporte": 0.0277,+ "facturacion": 0.0284,+ "operadora": 0.0283,+ "colgar": 0.8579,+ "ninguno": 0.0306+ },+ "latency_ms": 123.95229196408764+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "colgar",+ "confidence": 0.8516,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.0288,+ "facturacion": 0.0296,+ "operadora": 0.0293,+ "colgar": 0.8516,+ "ninguno": 0.0325+ },+ "latency_ms": 131.05450000148267+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.7639,+ "probabilities": {+ "ventas": 0.0404,+ "soporte": 0.7639,+ "facturacion": 0.0411,+ "operadora": 0.0507,+ "colgar": 0.0512,+ "ninguno": 0.0527+ },+ "latency_ms": 159.54199997941032+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8535,+ "probabilities": {+ "ventas": 0.0275,+ "soporte": 0.0283,+ "facturacion": 0.0293,+ "operadora": 0.0287,+ "colgar": 0.8535,+ "ninguno": 0.0326+ },+ "latency_ms": 127.61670805048198+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8619,+ "probabilities": {+ "ventas": 0.0262,+ "soporte": 0.0269,+ "facturacion": 0.0274,+ "operadora": 0.0271,+ "colgar": 0.8619,+ "ninguno": 0.0305+ },+ "latency_ms": 129.71337500493973+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8549,+ "probabilities": {+ "ventas": 0.0275,+ "soporte": 0.0283,+ "facturacion": 0.0289,+ "operadora": 0.0288,+ "colgar": 0.8549,+ "ninguno": 0.0315+ },+ "latency_ms": 125.88091701036319+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8714,+ "probabilities": {+ "ventas": 0.0255,+ "soporte": 0.0254,+ "facturacion": 0.025,+ "operadora": 0.0261,+ "colgar": 0.0267,+ "ninguno": 0.8714+ },+ "latency_ms": 121.87566701322794+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8661,+ "probabilities": {+ "ventas": 0.0265,+ "soporte": 0.0263,+ "facturacion": 0.0259,+ "operadora": 0.0276,+ "colgar": 0.0276,+ "ninguno": 0.8661+ },+ "latency_ms": 123.39174997759983+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8617,+ "probabilities": {+ "ventas": 0.0272,+ "soporte": 0.0272,+ "facturacion": 0.0269,+ "operadora": 0.028,+ "colgar": 0.029,+ "ninguno": 0.8617+ },+ "latency_ms": 132.8810830018483+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8416,+ "probabilities": {+ "ventas": 0.0294,+ "soporte": 0.034,+ "facturacion": 0.0318,+ "operadora": 0.0316,+ "colgar": 0.0316,+ "ninguno": 0.8416+ },+ "latency_ms": 138.8205839903094+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.8567,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.028,+ "facturacion": 0.0278,+ "operadora": 0.0286,+ "colgar": 0.0299,+ "ninguno": 0.8567+ },+ "latency_ms": 129.83862502733245+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8572,+ "probabilities": {+ "ventas": 0.028,+ "soporte": 0.0289,+ "facturacion": 0.0275,+ "operadora": 0.0287,+ "colgar": 0.0297,+ "ninguno": 0.8572+ },+ "latency_ms": 129.90674999309704+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.859,+ "probabilities": {+ "ventas": 0.0278,+ "soporte": 0.0271,+ "facturacion": 0.0276,+ "operadora": 0.029,+ "colgar": 0.0295,+ "ninguno": 0.859+ },+ "latency_ms": 121.19125004392117+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8653,+ "probabilities": {+ "ventas": 0.0262,+ "soporte": 0.027,+ "facturacion": 0.026,+ "operadora": 0.0273,+ "colgar": 0.0283,+ "ninguno": 0.8653+ },+ "latency_ms": 122.62499995995313+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8594,+ "probabilities": {+ "ventas": 0.028,+ "soporte": 0.0266,+ "facturacion": 0.0269,+ "operadora": 0.0304,+ "colgar": 0.0287,+ "ninguno": 0.8594+ },+ "latency_ms": 144.72883299458772+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8676,+ "probabilities": {+ "ventas": 0.0266,+ "soporte": 0.0263,+ "facturacion": 0.0255,+ "operadora": 0.027,+ "colgar": 0.0269,+ "ninguno": 0.8676+ },+ "latency_ms": 135.98554203053936+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8603,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.0267,+ "facturacion": 0.0273,+ "operadora": 0.029,+ "colgar": 0.029,+ "ninguno": 0.8603+ },+ "latency_ms": 135.90145797934383+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8623,+ "probabilities": {+ "ventas": 0.0269,+ "soporte": 0.0274,+ "facturacion": 0.0267,+ "operadora": 0.0287,+ "colgar": 0.028,+ "ninguno": 0.8623+ },+ "latency_ms": 169.0622919704765+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8601,+ "probabilities": {+ "ventas": 0.028,+ "soporte": 0.0271,+ "facturacion": 0.0272,+ "operadora": 0.0287,+ "colgar": 0.0289,+ "ninguno": 0.8601+ },+ "latency_ms": 126.29124999511987+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8631,+ "probabilities": {+ "ventas": 0.0272,+ "soporte": 0.027,+ "facturacion": 0.0264,+ "operadora": 0.0284,+ "colgar": 0.028,+ "ninguno": 0.8631+ },+ "latency_ms": 124.57683397224173+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.8497,+ "probabilities": {+ "ventas": 0.0296,+ "soporte": 0.0311,+ "facturacion": 0.029,+ "operadora": 0.0307,+ "colgar": 0.03,+ "ninguno": 0.8497+ },+ "latency_ms": 126.34579098084942+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.7521,+ "probabilities": {+ "ventas": 0.0675,+ "soporte": 0.0295,+ "facturacion": 0.0946,+ "operadora": 0.0282,+ "colgar": 0.0281,+ "ninguno": 0.7521+ },+ "latency_ms": 126.03624997427687+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8118,+ "probabilities": {+ "ventas": 0.0299,+ "soporte": 0.0626,+ "facturacion": 0.0295,+ "operadora": 0.0344,+ "colgar": 0.0318,+ "ninguno": 0.8118+ },+ "latency_ms": 124.12320799194276+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8532,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.0321,+ "facturacion": 0.0281,+ "operadora": 0.0293,+ "colgar": 0.0291,+ "ninguno": 0.8532+ },+ "latency_ms": 123.46083304146305+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8578,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.0274,+ "facturacion": 0.0278,+ "operadora": 0.0291,+ "colgar": 0.0296,+ "ninguno": 0.8578+ },+ "latency_ms": 122.57075001252815+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.85,+ "probabilities": {+ "ventas": 0.0292,+ "soporte": 0.0297,+ "facturacion": 0.0284,+ "operadora": 0.0315,+ "colgar": 0.0311,+ "ninguno": 0.85+ },+ "latency_ms": 125.42741699144244+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.856,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.0276,+ "facturacion": 0.0281,+ "operadora": 0.0294,+ "colgar": 0.0307,+ "ninguno": 0.856+ },+ "latency_ms": 132.05575000029057+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8401,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.0313,+ "facturacion": 0.0311,+ "operadora": 0.0332,+ "colgar": 0.0334,+ "ninguno": 0.8401+ },+ "latency_ms": 129.56866703461856+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8394,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.0297,+ "facturacion": 0.0312,+ "operadora": 0.0364,+ "colgar": 0.0324,+ "ninguno": 0.8394+ },+ "latency_ms": 130.51383302081376+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8548,+ "probabilities": {+ "ventas": 0.0293,+ "soporte": 0.0279,+ "facturacion": 0.0282,+ "operadora": 0.0295,+ "colgar": 0.0301,+ "ninguno": 0.8548+ },+ "latency_ms": 131.3584999879822+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8178,+ "probabilities": {+ "ventas": 0.03,+ "soporte": 0.0583,+ "facturacion": 0.03,+ "operadora": 0.0324,+ "colgar": 0.0315,+ "ninguno": 0.8178+ },+ "latency_ms": 130.38420799421147+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8375,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.0313,+ "facturacion": 0.0328,+ "operadora": 0.0332,+ "colgar": 0.0341,+ "ninguno": 0.8375+ },+ "latency_ms": 130.43308397755027+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8478,+ "probabilities": {+ "ventas": 0.0311,+ "soporte": 0.0295,+ "facturacion": 0.0295,+ "operadora": 0.0311,+ "colgar": 0.0311,+ "ninguno": 0.8478+ },+ "latency_ms": 128.4754590014927+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8512,+ "probabilities": {+ "ventas": 0.0288,+ "soporte": 0.0292,+ "facturacion": 0.0288,+ "operadora": 0.0308,+ "colgar": 0.0311,+ "ninguno": 0.8512+ },+ "latency_ms": 153.2146250247024+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8542,+ "probabilities": {+ "ventas": 0.0281,+ "soporte": 0.0283,+ "facturacion": 0.0286,+ "operadora": 0.0303,+ "colgar": 0.0305,+ "ninguno": 0.8542+ },+ "latency_ms": 128.50570800947025+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8552,+ "probabilities": {+ "ventas": 0.0281,+ "soporte": 0.0283,+ "facturacion": 0.0285,+ "operadora": 0.03,+ "colgar": 0.0299,+ "ninguno": 0.8552+ },+ "latency_ms": 132.39437498850748+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.857,+ "probabilities": {+ "ventas": 0.0279,+ "soporte": 0.0279,+ "facturacion": 0.028,+ "operadora": 0.0295,+ "colgar": 0.0298,+ "ninguno": 0.857+ },+ "latency_ms": 133.24454199755564+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8625,+ "probabilities": {+ "ventas": 0.0269,+ "soporte": 0.0262,+ "facturacion": 0.0268,+ "operadora": 0.028,+ "colgar": 0.0295,+ "ninguno": 0.8625+ },+ "latency_ms": 128.901332966052+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "ventas",+ "confidence": 0.9007,+ "probabilities": {+ "ventas": 0.9007,+ "soporte": 0.0288,+ "facturacion": 0.0174,+ "operadora": 0.0174,+ "colgar": 0.0175,+ "ninguno": 0.0183+ },+ "latency_ms": 127.14404199505225+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.7209,+ "probabilities": {+ "ventas": 0.0284,+ "soporte": 0.7209,+ "facturacion": 0.1664,+ "operadora": 0.0269,+ "colgar": 0.0285,+ "ninguno": 0.029+ },+ "latency_ms": 130.52333297673613+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.9245,+ "probabilities": {+ "ventas": 0.0155,+ "soporte": 0.015,+ "facturacion": 0.9245,+ "operadora": 0.0148,+ "colgar": 0.0152,+ "ninguno": 0.0151+ },+ "latency_ms": 127.17175000580028+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "operadora",+ "confidence": 0.8561,+ "probabilities": {+ "ventas": 0.0347,+ "soporte": 0.0275,+ "facturacion": 0.027,+ "operadora": 0.8561,+ "colgar": 0.0274,+ "ninguno": 0.0272+ },+ "latency_ms": 141.10308297676966+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.8563,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.0285,+ "facturacion": 0.8563,+ "operadora": 0.0282,+ "colgar": 0.0289,+ "ninguno": 0.029+ },+ "latency_ms": 127.77491699671373+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "colgar",+ "confidence": 0.8578,+ "probabilities": {+ "ventas": 0.027,+ "soporte": 0.0281,+ "facturacion": 0.0277,+ "operadora": 0.0286,+ "colgar": 0.8578,+ "ninguno": 0.0307+ },+ "latency_ms": 126.11725099850446+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8451,+ "probabilities": {+ "ventas": 0.0296,+ "soporte": 0.8451,+ "facturacion": 0.0329,+ "operadora": 0.0287,+ "colgar": 0.0294,+ "ninguno": 0.0343+ },+ "latency_ms": 128.38195799849927+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8413,+ "probabilities": {+ "ventas": 0.8413,+ "soporte": 0.0312,+ "facturacion": 0.0323,+ "operadora": 0.0315,+ "colgar": 0.0315,+ "ninguno": 0.0323+ },+ "latency_ms": 127.51079199369997+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8411,+ "probabilities": {+ "ventas": 0.0323,+ "soporte": 0.0309,+ "facturacion": 0.8411,+ "operadora": 0.0312,+ "colgar": 0.0326,+ "ninguno": 0.032+ },+ "latency_ms": 128.72512504691258+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8485,+ "probabilities": {+ "ventas": 0.0298,+ "soporte": 0.0297,+ "facturacion": 0.03,+ "operadora": 0.8485,+ "colgar": 0.0309,+ "ninguno": 0.0311+ },+ "latency_ms": 121.25679198652506+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.847,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.0299,+ "facturacion": 0.0305,+ "operadora": 0.0307,+ "colgar": 0.847,+ "ninguno": 0.033+ },+ "latency_ms": 163.14045898616314+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8608,+ "probabilities": {+ "ventas": 0.0276,+ "soporte": 0.028,+ "facturacion": 0.027,+ "operadora": 0.0285,+ "colgar": 0.0282,+ "ninguno": 0.8608+ },+ "latency_ms": 126.66558299679309+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8622,+ "probabilities": {+ "ventas": 0.027,+ "soporte": 0.0268,+ "facturacion": 0.0273,+ "operadora": 0.0282,+ "colgar": 0.0284,+ "ninguno": 0.8622+ },+ "latency_ms": 127.7271659928374+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8606,+ "probabilities": {+ "ventas": 0.0273,+ "soporte": 0.0278,+ "facturacion": 0.0271,+ "operadora": 0.0287,+ "colgar": 0.0284,+ "ninguno": 0.8606+ },+ "latency_ms": 122.70070798695087+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.5725,+ "probabilities": {+ "ventas": 0.0201,+ "soporte": 0.0192,+ "facturacion": 0.5725,+ "operadora": 0.0193,+ "colgar": 0.0205,+ "ninguno": 0.3484+ },+ "latency_ms": 132.01779103837907+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.8068,+ "probabilities": {+ "ventas": 0.0349,+ "soporte": 0.0463,+ "facturacion": 0.0454,+ "operadora": 0.0328,+ "colgar": 0.0338,+ "ninguno": 0.8068+ },+ "latency_ms": 127.15754203964025+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.8543,+ "probabilities": {+ "ventas": 0.0323,+ "soporte": 0.0275,+ "facturacion": 0.028,+ "operadora": 0.0285,+ "colgar": 0.0294,+ "ninguno": 0.8543+ },+ "latency_ms": 126.18087499868125+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "soporte",+ "confidence": 0.7883,+ "probabilities": {+ "ventas": 0.0571,+ "soporte": 0.7883,+ "facturacion": 0.0427,+ "operadora": 0.0337,+ "colgar": 0.0346,+ "ninguno": 0.0436+ },+ "latency_ms": 128.96900001214817+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__clinic__es_criteria.jsonnew file mode 100644index 00000000..3c06d928--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__clinic__es_criteria.json@@ -0,0 +1,1060 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3737.499459995888+ },+ "summary": {+ "n": 45,+ "accuracy": 0.9111111111111111,+ "macro_f1": 0.9036630036630038,+ "ece": 0.16626444444444435,+ "mean_confidence": 0.8293666666666667,+ "majority_baseline": 0.28888888888888886,+ "wrong_actions": 4,+ "by_tag": {+ "asr": {+ "n": 5,+ "accuracy": 0.8+ },+ "direct": {+ "n": 6,+ "accuracy": 1.0+ },+ "farewell": {+ "n": 4,+ "accuracy": 1.0+ },+ "hard": {+ "n": 3,+ "accuracy": 0.3333333333333333+ },+ "hn": {+ "n": 2,+ "accuracy": 1.0+ },+ "human": {+ "n": 4,+ "accuracy": 1.0+ },+ "indirect": {+ "n": 16,+ "accuracy": 0.875+ },+ "negation": {+ "n": 7,+ "accuracy": 1.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 3,+ "accuracy": 1.0+ },+ "open": {+ "n": 3,+ "accuracy": 1.0+ },+ "short": {+ "n": 2,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "citas->emergencias": 1,+ "citas->laboratorio": 1,+ "farmacia->citas": 1,+ "farmacia->emergencias": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 31,+ "coverage": 0.6888888888888889,+ "action_recall": 0.875,+ "wrong": 3,+ "precision": 0.9032258064516129+ },+ {+ "threshold": 0.6,+ "fast": 31,+ "coverage": 0.6888888888888889,+ "action_recall": 0.875,+ "wrong": 3,+ "precision": 0.9032258064516129+ },+ {+ "threshold": 0.7,+ "fast": 30,+ "coverage": 0.6666666666666666,+ "action_recall": 0.875,+ "wrong": 2,+ "precision": 0.9333333333333333+ },+ {+ "threshold": 0.8,+ "fast": 29,+ "coverage": 0.6444444444444445,+ "action_recall": 0.875,+ "wrong": 1,+ "precision": 0.9655172413793104+ },+ {+ "threshold": 0.9,+ "fast": 4,+ "coverage": 0.08888888888888889,+ "action_recall": 0.125,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 119.03075000736862,+ "p95": 153.79870898323134,+ "min": 112.30600002454594+ },+ "borderline": []+ },+ "records": [+ {+ "id": "cl-001",+ "text": "Quiero sacar una cita con el cardiólogo.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8502,+ "probabilities": {+ "citas": 0.8502,+ "laboratorio": 0.0242,+ "farmacia": 0.0245,+ "emergencias": 0.025,+ "recepcion": 0.0246,+ "colgar": 0.026,+ "ninguno": 0.0254+ },+ "latency_ms": 121.70062499353662+ },+ {+ "id": "cl-002",+ "text": "Necesito cambiar la fecha de mi consulta del jueves.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8346,+ "probabilities": {+ "citas": 0.8346,+ "laboratorio": 0.0271,+ "farmacia": 0.0271,+ "emergencias": 0.0281,+ "recepcion": 0.0275,+ "colgar": 0.0283,+ "ninguno": 0.0272+ },+ "latency_ms": 127.43625097209588+ },+ {+ "id": "cl-003",+ "text": "Páseme con citas, por favor.",+ "gold": "citas",+ "tags": [+ "direct"+ ],+ "predicted": "citas",+ "confidence": 0.8353,+ "probabilities": {+ "citas": 0.8353,+ "laboratorio": 0.027,+ "farmacia": 0.0269,+ "emergencias": 0.0272,+ "recepcion": 0.0272,+ "colgar": 0.0274,+ "ninguno": 0.029+ },+ "latency_ms": 153.79870898323134+ },+ {+ "id": "cl-004",+ "text": "Fíjese que quiero apartar una consulta para mi mamá.",+ "gold": "citas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "citas",+ "confidence": 0.8269,+ "probabilities": {+ "citas": 0.8269,+ "laboratorio": 0.0277,+ "farmacia": 0.0278,+ "emergencias": 0.0296,+ "recepcion": 0.0292,+ "colgar": 0.0299,+ "ninguno": 0.0289+ },+ "latency_ms": 135.20720798987895+ },+ {+ "id": "cl-005",+ "text": "Tengo que cancelar la cita que tenía mañana con la doctora.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8367,+ "probabilities": {+ "citas": 0.8367,+ "laboratorio": 0.0271,+ "farmacia": 0.0268,+ "emergencias": 0.0273,+ "recepcion": 0.0271,+ "colgar": 0.0277,+ "ninguno": 0.0272+ },+ "latency_ms": 130.6560829980299+ },+ {+ "id": "cl-006",+ "text": "quiero agendar con el pediatra para la otra semana",+ "gold": "citas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.4742,+ "probabilities": {+ "citas": 0.2893,+ "laboratorio": 0.0266,+ "farmacia": 0.1142,+ "emergencias": 0.4742,+ "recepcion": 0.0269,+ "colgar": 0.022,+ "ninguno": 0.0468+ },+ "latency_ms": 147.21933304099366+ },+ {+ "id": "cl-007",+ "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8469,+ "probabilities": {+ "citas": 0.0258,+ "laboratorio": 0.8469,+ "farmacia": 0.0254,+ "emergencias": 0.0256,+ "recepcion": 0.0253,+ "colgar": 0.0258,+ "ninguno": 0.0252+ },+ "latency_ms": 121.11508403904736+ },+ {+ "id": "cl-008",+ "text": "Comuníqueme con el laboratorio.",+ "gold": "laboratorio",+ "tags": [+ "direct"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9387,+ "probabilities": {+ "citas": 0.0107,+ "laboratorio": 0.9387,+ "farmacia": 0.0104,+ "emergencias": 0.0102,+ "recepcion": 0.0104,+ "colgar": 0.0104,+ "ninguno": 0.0092+ },+ "latency_ms": 115.05283298902214+ },+ {+ "id": "cl-009",+ "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8342,+ "probabilities": {+ "citas": 0.0282,+ "laboratorio": 0.8342,+ "farmacia": 0.027,+ "emergencias": 0.0279,+ "recepcion": 0.0277,+ "colgar": 0.0274,+ "ninguno": 0.0276+ },+ "latency_ms": 129.10991703392938+ },+ {+ "id": "cl-010",+ "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8222,+ "probabilities": {+ "citas": 0.0305,+ "laboratorio": 0.8222,+ "farmacia": 0.029,+ "emergencias": 0.0299,+ "recepcion": 0.0296,+ "colgar": 0.0298,+ "ninguno": 0.0289+ },+ "latency_ms": 166.27841698937118+ },+ {+ "id": "cl-011",+ "text": "me hicieron un examen de orina y no me han entregado nada",+ "gold": "laboratorio",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8374,+ "probabilities": {+ "citas": 0.027,+ "laboratorio": 0.8374,+ "farmacia": 0.0262,+ "emergencias": 0.0277,+ "recepcion": 0.027,+ "colgar": 0.0271,+ "ninguno": 0.0274+ },+ "latency_ms": 122.70829203771427+ },+ {+ "id": "cl-012",+ "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.",+ "gold": "farmacia",+ "tags": [+ "direct"+ ],+ "predicted": "farmacia",+ "confidence": 0.8607,+ "probabilities": {+ "citas": 0.0236,+ "laboratorio": 0.0226,+ "farmacia": 0.8607,+ "emergencias": 0.0232,+ "recepcion": 0.023,+ "colgar": 0.0232,+ "ninguno": 0.0236+ },+ "latency_ms": 124.66929195215926+ },+ {+ "id": "cl-013",+ "text": "Necesito surtir una receta.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8476,+ "probabilities": {+ "citas": 0.0257,+ "laboratorio": 0.0242,+ "farmacia": 0.8476,+ "emergencias": 0.0253,+ "recepcion": 0.0263,+ "colgar": 0.0255,+ "ninguno": 0.0255+ },+ "latency_ms": 117.15466598980129+ },+ {+ "id": "cl-014",+ "text": "Con la farmacia, por favor.",+ "gold": "farmacia",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "farmacia",+ "confidence": 0.9266,+ "probabilities": {+ "citas": 0.0125,+ "laboratorio": 0.0117,+ "farmacia": 0.9266,+ "emergencias": 0.0119,+ "recepcion": 0.0121,+ "colgar": 0.0124,+ "ninguno": 0.0129+ },+ "latency_ms": 116.07645900221542+ },+ {+ "id": "cl-015",+ "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.7987,+ "probabilities": {+ "citas": 0.7987,+ "laboratorio": 0.0304,+ "farmacia": 0.0425,+ "emergencias": 0.0314,+ "recepcion": 0.0325,+ "colgar": 0.0322,+ "ninguno": 0.0324+ },+ "latency_ms": 119.86849998356774+ },+ {+ "id": "cl-016",+ "text": "Quiero comprar la medicina que me indicó el doctor.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8394,+ "probabilities": {+ "citas": 0.0287,+ "laboratorio": 0.0256,+ "farmacia": 0.8394,+ "emergencias": 0.0265,+ "recepcion": 0.0264,+ "colgar": 0.0265,+ "ninguno": 0.0268+ },+ "latency_ms": 117.08108300808817+ },+ {+ "id": "cl-017",+ "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.835,+ "probabilities": {+ "citas": 0.0276,+ "laboratorio": 0.0259,+ "farmacia": 0.0266,+ "emergencias": 0.835,+ "recepcion": 0.0279,+ "colgar": 0.028,+ "ninguno": 0.029+ },+ "latency_ms": 118.39224997675046+ },+ {+ "id": "cl-018",+ "text": "Páseme con emergencias, es urgente.",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.9081,+ "probabilities": {+ "citas": 0.0158,+ "laboratorio": 0.0148,+ "farmacia": 0.015,+ "emergencias": 0.9081,+ "recepcion": 0.0153,+ "colgar": 0.0154,+ "ninguno": 0.0157+ },+ "latency_ms": 112.30600002454594+ },+ {+ "id": "cl-019",+ "text": "Mi hijo se cortó y está sangrando mucho.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8362,+ "probabilities": {+ "citas": 0.0275,+ "laboratorio": 0.0259,+ "farmacia": 0.0261,+ "emergencias": 0.8362,+ "recepcion": 0.0278,+ "colgar": 0.0279,+ "ninguno": 0.0286+ },+ "latency_ms": 120.2516250195913+ },+ {+ "id": "cl-020",+ "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8424,+ "probabilities": {+ "citas": 0.0263,+ "laboratorio": 0.0248,+ "farmacia": 0.0258,+ "emergencias": 0.8424,+ "recepcion": 0.0264,+ "colgar": 0.0269,+ "ninguno": 0.0275+ },+ "latency_ms": 119.8755000368692+ },+ {+ "id": "cl-021",+ "text": "necesito una ambulancia mi esposa se cayó y no se puede mover",+ "gold": "emergencias",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8472,+ "probabilities": {+ "citas": 0.0259,+ "laboratorio": 0.0236,+ "farmacia": 0.0248,+ "emergencias": 0.8472,+ "recepcion": 0.0262,+ "colgar": 0.0261,+ "ninguno": 0.0261+ },+ "latency_ms": 118.10512497322634+ },+ {+ "id": "cl-022",+ "text": "Quiero hablar con una persona.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8395,+ "probabilities": {+ "citas": 0.0271,+ "laboratorio": 0.0256,+ "farmacia": 0.0256,+ "emergencias": 0.0271,+ "recepcion": 0.8395,+ "colgar": 0.0278,+ "ninguno": 0.0274+ },+ "latency_ms": 124.4205420371145+ },+ {+ "id": "cl-023",+ "text": "Páseme con alguien que me atienda, por favor.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8289,+ "probabilities": {+ "citas": 0.0285,+ "laboratorio": 0.0266,+ "farmacia": 0.0276,+ "emergencias": 0.0296,+ "recepcion": 0.8289,+ "colgar": 0.029,+ "ninguno": 0.0299+ },+ "latency_ms": 121.70558399520814+ },+ {+ "id": "cl-024",+ "text": "No quiero hablar con una máquina, comuníqueme con una persona.",+ "gold": "recepcion",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "recepcion",+ "confidence": 0.8307,+ "probabilities": {+ "citas": 0.0286,+ "laboratorio": 0.0268,+ "farmacia": 0.0266,+ "emergencias": 0.0293,+ "recepcion": 0.8307,+ "colgar": 0.0292,+ "ninguno": 0.0288+ },+ "latency_ms": 121.76154198823497+ },+ {+ "id": "cl-025",+ "text": "Con la recepcionista, por favor.",+ "gold": "recepcion",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "recepcion",+ "confidence": 0.9099,+ "probabilities": {+ "citas": 0.0151,+ "laboratorio": 0.0142,+ "farmacia": 0.0148,+ "emergencias": 0.0152,+ "recepcion": 0.9099,+ "colgar": 0.0157,+ "ninguno": 0.0152+ },+ "latency_ms": 115.46833300963044+ },+ {+ "id": "cl-026",+ "text": "Muchas gracias, eso era todo. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8136,+ "probabilities": {+ "citas": 0.0307,+ "laboratorio": 0.0292,+ "farmacia": 0.0296,+ "emergencias": 0.0317,+ "recepcion": 0.0319,+ "colgar": 0.8136,+ "ninguno": 0.0333+ },+ "latency_ms": 115.69466604851186+ },+ {+ "id": "cl-027",+ "text": "Vaya pues, muy amable, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8314,+ "probabilities": {+ "citas": 0.0277,+ "laboratorio": 0.0264,+ "farmacia": 0.0269,+ "emergencias": 0.0284,+ "recepcion": 0.0286,+ "colgar": 0.8314,+ "ninguno": 0.0306+ },+ "latency_ms": 163.3995000156574+ },+ {+ "id": "cl-028",+ "text": "Ya no necesito nada más, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8293,+ "probabilities": {+ "citas": 0.0278,+ "laboratorio": 0.0269,+ "farmacia": 0.0272,+ "emergencias": 0.0288,+ "recepcion": 0.0292,+ "colgar": 0.8293,+ "ninguno": 0.0308+ },+ "latency_ms": 117.74395901011303+ },+ {+ "id": "cl-029",+ "text": "bueno gracias que pase buen dia",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.826,+ "probabilities": {+ "citas": 0.0285,+ "laboratorio": 0.0274,+ "farmacia": 0.0275,+ "emergencias": 0.0293,+ "recepcion": 0.0299,+ "colgar": 0.826,+ "ninguno": 0.0315+ },+ "latency_ms": 114.33325003599748+ },+ {+ "id": "cl-030",+ "text": "¿A qué hora abre la clínica?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8497,+ "probabilities": {+ "citas": 0.0258,+ "laboratorio": 0.0233,+ "farmacia": 0.024,+ "emergencias": 0.025,+ "recepcion": 0.0261,+ "colgar": 0.0261,+ "ninguno": 0.8497+ },+ "latency_ms": 115.91054202290252+ },+ {+ "id": "cl-031",+ "text": "¿Dónde están ubicados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8502,+ "probabilities": {+ "citas": 0.0254,+ "laboratorio": 0.0236,+ "farmacia": 0.0239,+ "emergencias": 0.0252,+ "recepcion": 0.0259,+ "colgar": 0.0257,+ "ninguno": 0.8502+ },+ "latency_ms": 114.7727090283297+ },+ {+ "id": "cl-032",+ "text": "¿Atienden los domingos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8383,+ "probabilities": {+ "citas": 0.0274,+ "laboratorio": 0.0252,+ "farmacia": 0.0255,+ "emergencias": 0.0271,+ "recepcion": 0.0282,+ "colgar": 0.0284,+ "ninguno": 0.8383+ },+ "latency_ms": 115.44008401688188+ },+ {+ "id": "cl-033",+ "text": "Aló, buenas tardes.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8372,+ "probabilities": {+ "citas": 0.0273,+ "laboratorio": 0.0264,+ "farmacia": 0.0262,+ "emergencias": 0.0267,+ "recepcion": 0.028,+ "colgar": 0.0283,+ "ninguno": 0.8372+ },+ "latency_ms": 112.60741599835455+ },+ {+ "id": "cl-034",+ "text": "¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8457,+ "probabilities": {+ "citas": 0.0259,+ "laboratorio": 0.0244,+ "farmacia": 0.0246,+ "emergencias": 0.0259,+ "recepcion": 0.0271,+ "colgar": 0.0264,+ "ninguno": 0.8457+ },+ "latency_ms": 113.93783299718052+ },+ {+ "id": "cl-035",+ "text": "Un momento, que estoy buscando mi carné.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8418,+ "probabilities": {+ "citas": 0.0273,+ "laboratorio": 0.0251,+ "farmacia": 0.0254,+ "emergencias": 0.0266,+ "recepcion": 0.0266,+ "colgar": 0.0271,+ "ninguno": 0.8418+ },+ "latency_ms": 118.93483303720132+ },+ {+ "id": "cl-036",+ "text": "No quiero una cita, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8322,+ "probabilities": {+ "citas": 0.0296,+ "laboratorio": 0.0263,+ "farmacia": 0.0264,+ "emergencias": 0.0276,+ "recepcion": 0.0289,+ "colgar": 0.029,+ "ninguno": 0.8322+ },+ "latency_ms": 133.3444999763742+ },+ {+ "id": "cl-037",+ "text": "No me pase con el laboratorio, ya tengo mis resultados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8198,+ "probabilities": {+ "citas": 0.0322,+ "laboratorio": 0.0288,+ "farmacia": 0.0284,+ "emergencias": 0.0295,+ "recepcion": 0.0306,+ "colgar": 0.0306,+ "ninguno": 0.8198+ },+ "latency_ms": 115.90729199815542+ },+ {+ "id": "cl-038",+ "text": "No es una emergencia, solo es una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8392,+ "probabilities": {+ "citas": 0.0264,+ "laboratorio": 0.0252,+ "farmacia": 0.0255,+ "emergencias": 0.0273,+ "recepcion": 0.0284,+ "colgar": 0.0281,+ "ninguno": 0.8392+ },+ "latency_ms": 116.49170803138986+ },+ {+ "id": "cl-039",+ "text": "No necesito la farmacia, solo quería preguntar dónde quedan.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8272,+ "probabilities": {+ "citas": 0.029,+ "laboratorio": 0.027,+ "farmacia": 0.0275,+ "emergencias": 0.0286,+ "recepcion": 0.0302,+ "colgar": 0.0305,+ "ninguno": 0.8272+ },+ "latency_ms": 117.09500005235896+ },+ {+ "id": "cl-040",+ "text": "No cuelgue, todavía tengo otra duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8279,+ "probabilities": {+ "citas": 0.028,+ "laboratorio": 0.0272,+ "farmacia": 0.0272,+ "emergencias": 0.029,+ "recepcion": 0.0302,+ "colgar": 0.0304,+ "ninguno": 0.8279+ },+ "latency_ms": 120.66662503639236+ },+ {+ "id": "cl-041",+ "text": "No me transfiera con nadie todavía, primero dígame usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.824,+ "probabilities": {+ "citas": 0.0288,+ "laboratorio": 0.0279,+ "farmacia": 0.0276,+ "emergencias": 0.0296,+ "recepcion": 0.0311,+ "colgar": 0.031,+ "ninguno": 0.824+ },+ "latency_ms": 117.47737502446398+ },+ {+ "id": "cl-042",+ "text": "no no es urgente no me pase con emergencias",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8241,+ "probabilities": {+ "citas": 0.0291,+ "laboratorio": 0.0277,+ "farmacia": 0.0278,+ "emergencias": 0.0294,+ "recepcion": 0.031,+ "colgar": 0.0309,+ "ninguno": 0.8241+ },+ "latency_ms": 118.28275001607835+ },+ {+ "id": "cl-043",+ "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.",+ "gold": "citas",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8365,+ "probabilities": {+ "citas": 0.0305,+ "laboratorio": 0.8365,+ "farmacia": 0.0263,+ "emergencias": 0.027,+ "recepcion": 0.0266,+ "colgar": 0.0276,+ "ninguno": 0.0255+ },+ "latency_ms": 119.03075000736862+ },+ {+ "id": "cl-044",+ "text": "El doctor de emergencias me dejó una receta y quiero comprarla.",+ "gold": "farmacia",+ "tags": [+ "hard"+ ],+ "predicted": "emergencias",+ "confidence": 0.6288,+ "probabilities": {+ "citas": 0.0136,+ "laboratorio": 0.0126,+ "farmacia": 0.304,+ "emergencias": 0.6288,+ "recepcion": 0.0138,+ "colgar": 0.0136,+ "ninguno": 0.0136+ },+ "latency_ms": 151.100667018909+ },+ {+ "id": "cl-045",+ "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.",+ "gold": "laboratorio",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8104,+ "probabilities": {+ "citas": 0.0355,+ "laboratorio": 0.8104,+ "farmacia": 0.0306,+ "emergencias": 0.0309,+ "recepcion": 0.0304,+ "colgar": 0.031,+ "ninguno": 0.0313+ },+ "latency_ms": 124.6126249898225+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__independent_cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__independent_cases__es_criteria.jsonnew file mode 100644index 00000000..ffd72034--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__independent_cases__es_criteria.json@@ -0,0 +1,705 @@+{+ "meta": {+ "model": "/model3",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3598.3607100206427+ },+ "summary": {+ "n": 31,+ "accuracy": 0.8709677419354839,+ "macro_f1": 0.8603084415584416,+ "ece": 0.04937419354838709,+ "mean_confidence": 0.8215935483870968,+ "majority_baseline": 0.45161290322580644,+ "wrong_actions": 0,+ "by_tag": {+ "need-with-no": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "noise": {+ "n": 1,+ "accuracy": 1.0+ },+ "redirected": {+ "n": 4,+ "accuracy": 0.25+ },+ "refused": {+ "n": 13,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "facturacion->ninguno": 2,+ "operadora->ninguno": 1,+ "soporte->ninguno": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 12,+ "coverage": 0.3870967741935484,+ "action_recall": 0.7058823529411765,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.6,+ "fast": 12,+ "coverage": 0.3870967741935484,+ "action_recall": 0.7058823529411765,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.7,+ "fast": 11,+ "coverage": 0.3548387096774194,+ "action_recall": 0.6470588235294118,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.8,+ "fast": 11,+ "coverage": 0.3548387096774194,+ "action_recall": 0.6470588235294118,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 144.31312499800697,+ "p95": 160.70683300495148,+ "min": 128.54604102903977+ },+ "borderline": []+ },+ "records": [+ {+ "id": "ic-001",+ "text": "No, ni me meta al área de ventas que yo estoy llamando por una factura.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.8481,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.029,+ "facturacion": 0.0302,+ "operadora": 0.0311,+ "colgar": 0.032,+ "ninguno": 0.8481+ },+ "latency_ms": 139.9474170175381+ },+ {+ "id": "ic-002",+ "text": "Soy cliente, no me conecte con los de contratos, necesito hablar con el soporte técnico.",+ "gold": "soporte",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.8548,+ "probabilities": {+ "ventas": 0.0308,+ "soporte": 0.0278,+ "facturacion": 0.0277,+ "operadora": 0.0292,+ "colgar": 0.0297,+ "ninguno": 0.8548+ },+ "latency_ms": 141.5950420196168+ },+ {+ "id": "ic-003",+ "text": "Quiero hablar con alguien del área de cobros, no me saque al departamento comercial.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "facturacion",+ "confidence": 0.6684,+ "probabilities": {+ "ventas": 0.0405,+ "soporte": 0.0357,+ "facturacion": 0.6684,+ "operadora": 0.0412,+ "colgar": 0.038,+ "ninguno": 0.1764+ },+ "latency_ms": 140.70629101479426+ },+ {+ "id": "ic-004",+ "text": "Escúchame bien, no me mande con los de ventas, estoy llamando sobre mi saldo.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.8592,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.0267,+ "facturacion": 0.028,+ "operadora": 0.0289,+ "colgar": 0.0295,+ "ninguno": 0.8592+ },+ "latency_ms": 163.53737498866394+ },+ {+ "id": "ic-005",+ "text": "Oiga, mira que no me funciona la internet hace tres días",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8461,+ "probabilities": {+ "ventas": 0.0311,+ "soporte": 0.8461,+ "facturacion": 0.0309,+ "operadora": 0.0302,+ "colgar": 0.0303,+ "ninguno": 0.0314+ },+ "latency_ms": 146.32299996446818+ },+ {+ "id": "ic-006",+ "text": "Holaaa, no me llegó la factura y necesito hablar con alguien",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8523,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.0296,+ "facturacion": 0.8523,+ "operadora": 0.0294,+ "colgar": 0.0294,+ "ninguno": 0.0298+ },+ "latency_ms": 138.55662499554455+ },+ {+ "id": "ic-007",+ "text": "Oiga, yo no quiero hablar con nadie, no me pasen al departamento de soporte técnico, llámame directamente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8445,+ "probabilities": {+ "ventas": 0.0304,+ "soporte": 0.0302,+ "facturacion": 0.0301,+ "operadora": 0.0325,+ "colgar": 0.0323,+ "ninguno": 0.8445+ },+ "latency_ms": 152.36208302667364+ },+ {+ "id": "ic-008",+ "text": "No me pongan con soporte, ya sé lo que hace, ¿podés darme mi número?",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8566,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.0282,+ "facturacion": 0.0278,+ "operadora": 0.0299,+ "colgar": 0.0298,+ "ninguno": 0.8566+ },+ "latency_ms": 139.32770903920755+ },+ {+ "id": "ic-009",+ "text": "No me manden al área de soporte, quiero que me respondan acá, al cliente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8532,+ "probabilities": {+ "ventas": 0.0293,+ "soporte": 0.0283,+ "facturacion": 0.0287,+ "operadora": 0.0303,+ "colgar": 0.0303,+ "ninguno": 0.8532+ },+ "latency_ms": 130.64495800063014+ },+ {+ "id": "ic-010",+ "text": "Mire, no me pongan con el soporte, eso ya lo saben, yo les hablo a ustedes.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8497,+ "probabilities": {+ "ventas": 0.0301,+ "soporte": 0.0292,+ "facturacion": 0.0293,+ "operadora": 0.0304,+ "colgar": 0.0312,+ "ninguno": 0.8497+ },+ "latency_ms": 153.88170897495002+ },+ {+ "id": "ic-011",+ "text": "No me pasen con soporte técnico, llámeme directo al celular, no quiero hablar con nadie más.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8313,+ "probabilities": {+ "ventas": 0.0336,+ "soporte": 0.0321,+ "facturacion": 0.0332,+ "operadora": 0.0352,+ "colgar": 0.0346,+ "ninguno": 0.8313+ },+ "latency_ms": 160.70683300495148+ },+ {+ "id": "ic-012",+ "text": "Oye, ¿saben por qué nunca me funciona el internet?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8448,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.8448,+ "facturacion": 0.0313,+ "operadora": 0.0306,+ "colgar": 0.0305,+ "ninguno": 0.0318+ },+ "latency_ms": 152.3884580237791+ },+ {+ "id": "ic-013",+ "text": "Bueno, tengo un problema que no me deja usar la conexión.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8495,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.8495,+ "facturacion": 0.0301,+ "operadora": 0.0303,+ "colgar": 0.0294,+ "ninguno": 0.0312+ },+ "latency_ms": 136.5867499844171+ },+ {+ "id": "ic-014",+ "text": "¿Alguien me ayuda con el servicio porque no funciona?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8597,+ "probabilities": {+ "ventas": 0.0281,+ "soporte": 0.8597,+ "facturacion": 0.0279,+ "operadora": 0.0277,+ "colgar": 0.0278,+ "ninguno": 0.0287+ },+ "latency_ms": 152.88904099725187+ },+ {+ "id": "ic-015",+ "text": "No me funcionó el equipo que me enviaron, por favor arreglenlo.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8449,+ "probabilities": {+ "ventas": 0.0313,+ "soporte": 0.8449,+ "facturacion": 0.0317,+ "operadora": 0.0308,+ "colgar": 0.0299,+ "ninguno": 0.0314+ },+ "latency_ms": 136.9372500339523+ },+ {+ "id": "ic-016",+ "text": "No quiero pasar al de facturación, haganme la atención aquí.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8501,+ "probabilities": {+ "ventas": 0.0292,+ "soporte": 0.0292,+ "facturacion": 0.0298,+ "operadora": 0.0309,+ "colgar": 0.0308,+ "ninguno": 0.8501+ },+ "latency_ms": 149.1854169871658+ },+ {+ "id": "ic-017",+ "text": "Cuidado, no me pasen a facturación, es muy largo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.849,+ "probabilities": {+ "ventas": 0.0294,+ "soporte": 0.0296,+ "facturacion": 0.0296,+ "operadora": 0.0311,+ "colgar": 0.0312,+ "ninguno": 0.849+ },+ "latency_ms": 144.25124996341765+ },+ {+ "id": "ic-018",+ "text": "No me manden a facturación, por favor.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8461,+ "probabilities": {+ "ventas": 0.0299,+ "soporte": 0.0298,+ "facturacion": 0.0299,+ "operadora": 0.0319,+ "colgar": 0.0324,+ "ninguno": 0.8461+ },+ "latency_ms": 136.98324997676536+ },+ {+ "id": "ic-019",+ "text": "Ni se les ocurra pasarme a facturación, no estoy interesada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8394,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.031,+ "facturacion": 0.0318,+ "operadora": 0.0328,+ "colgar": 0.034,+ "ninguno": 0.8394+ },+ "latency_ms": 144.31312499800697+ },+ {+ "id": "ic-020",+ "text": "Oiga, estoy llamando por un asunto serio, me está cobrando una mensualidad y no me deja ver la factura ni el detalle del pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8473,+ "probabilities": {+ "ventas": 0.0305,+ "soporte": 0.0308,+ "facturacion": 0.8473,+ "operadora": 0.0297,+ "colgar": 0.0303,+ "ninguno": 0.0312+ },+ "latency_ms": 156.63949999725446+ },+ {+ "id": "ic-021",+ "text": "Hola, buenos días, tengo el saldo pendiente y no me está llegando el cobro, necesitan revisar el caso urgente.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8504,+ "probabilities": {+ "ventas": 0.0298,+ "soporte": 0.0304,+ "facturacion": 0.8504,+ "operadora": 0.0292,+ "colgar": 0.0299,+ "ninguno": 0.0304+ },+ "latency_ms": 147.17779197962955+ },+ {+ "id": "ic-022",+ "text": "Buenas tardes, disculpen que llame, me hicieron un cobro adicional y no me aparece la factura para validar el pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.848,+ "probabilities": {+ "ventas": 0.0304,+ "soporte": 0.0305,+ "facturacion": 0.848,+ "operadora": 0.0295,+ "colgar": 0.0302,+ "ninguno": 0.0313+ },+ "latency_ms": 148.75445899087936+ },+ {+ "id": "ic-023",+ "text": "Saludos, llamo para reclamar el saldo que me deben y no puedo generar una orden de pago ni ver el estado del reembolso.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.1969,+ "probabilities": {+ "ventas": 0.1507,+ "soporte": 0.1722,+ "facturacion": 0.1969,+ "operadora": 0.1557,+ "colgar": 0.1563,+ "ninguno": 0.1681+ },+ "latency_ms": 151.34162502363324+ },+ {+ "id": "ic-024",+ "text": "¿Sigo en línea?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8643,+ "probabilities": {+ "ventas": 0.0273,+ "soporte": 0.0269,+ "facturacion": 0.0262,+ "operadora": 0.0275,+ "colgar": 0.0277,+ "ninguno": 0.8643+ },+ "latency_ms": 135.30904200160876+ },+ {+ "id": "ic-025",+ "text": "No, espera, no me cuelgues, me falta algo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8491,+ "probabilities": {+ "ventas": 0.0289,+ "soporte": 0.0302,+ "facturacion": 0.0291,+ "operadora": 0.0312,+ "colgar": 0.0314,+ "ninguno": 0.8491+ },+ "latency_ms": 128.54604102903977+ },+ {+ "id": "ic-026",+ "text": "No me corten la línea, no se vayan.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8496,+ "probabilities": {+ "ventas": 0.0292,+ "soporte": 0.0294,+ "facturacion": 0.0295,+ "operadora": 0.0312,+ "colgar": 0.0312,+ "ninguno": 0.8496+ },+ "latency_ms": 182.68374999752268+ },+ {+ "id": "ic-027",+ "text": "Ya, no me cuelgues, sigo aquí esperando.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8499,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.0291,+ "facturacion": 0.0293,+ "operadora": 0.0311,+ "colgar": 0.0317,+ "ninguno": 0.8499+ },+ "latency_ms": 146.4574160054326+ },+ {+ "id": "ic-028",+ "text": "Me quedé en pausa, no me vayan a cortar.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8522,+ "probabilities": {+ "ventas": 0.0289,+ "soporte": 0.0285,+ "facturacion": 0.0289,+ "operadora": 0.0304,+ "colgar": 0.0311,+ "ninguno": 0.8522+ },+ "latency_ms": 141.2584999925457+ },+ {+ "id": "ic-029",+ "text": "Quiero hablar con el humano, por favor, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8456,+ "probabilities": {+ "ventas": 0.03,+ "soporte": 0.0298,+ "facturacion": 0.0303,+ "operadora": 0.8456,+ "colgar": 0.0314,+ "ninguno": 0.033+ },+ "latency_ms": 135.0562089937739+ },+ {+ "id": "ic-030",+ "text": "¿No hay nadie ahí? No quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "ninguno",+ "confidence": 0.8202,+ "probabilities": {+ "ventas": 0.0293,+ "soporte": 0.0294,+ "facturacion": 0.0298,+ "operadora": 0.0597,+ "colgar": 0.0314,+ "ninguno": 0.8202+ },+ "latency_ms": 146.58550004241988+ },+ {+ "id": "ic-031",+ "text": "Oiga, quiero hablar con alguien en vivo, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8482,+ "probabilities": {+ "ventas": 0.0297,+ "soporte": 0.03,+ "facturacion": 0.0298,+ "operadora": 0.8482,+ "colgar": 0.0304,+ "ninguno": 0.032+ },+ "latency_ms": 141.559999960009+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__independent_clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__independent_clinic__es_criteria.jsonnew file mode 100644index 00000000..a1d31809--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v3-no-templates__independent_clinic__es_criteria.json@@ -0,0 +1,515 @@+{+ "meta": {+ "model": "/model3",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3773.1960849487223+ },+ "summary": {+ "n": 20,+ "accuracy": 0.9,+ "macro_f1": 0.9095238095238095,+ "ece": 0.20983999999999986,+ "mean_confidence": 0.8167900000000001,+ "majority_baseline": 0.25,+ "wrong_actions": 0,+ "by_tag": {+ "direct": {+ "n": 1,+ "accuracy": 1.0+ },+ "need-with-no": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "redirected": {+ "n": 2,+ "accuracy": 0.5+ },+ "refused": {+ "n": 4,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "citas->ninguno": 1,+ "recepcion->ninguno": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.6,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.7,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.8,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 1,+ "coverage": 0.05,+ "action_recall": 0.0625,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 132.02237599762157,+ "p95": 158.71045901440084,+ "min": 118.62712498987094+ },+ "borderline": []+ },+ "records": [+ {+ "id": "il-001",+ "text": "No, no, no me pasen a esa caja ni al departamento de turnos.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8266,+ "probabilities": {+ "citas": 0.0291,+ "laboratorio": 0.027,+ "farmacia": 0.0274,+ "emergencias": 0.0287,+ "recepcion": 0.0308,+ "colgar": 0.0302,+ "ninguno": 0.8266+ },+ "latency_ms": 129.6553750289604+ },+ {+ "id": "il-002",+ "text": "Hola, quería ver si se puede arreglar mi cita porque no puedo ir a la clínica",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8467,+ "probabilities": {+ "citas": 0.8467,+ "laboratorio": 0.0246,+ "farmacia": 0.0245,+ "emergencias": 0.0256,+ "recepcion": 0.0256,+ "colgar": 0.0267,+ "ninguno": 0.0263+ },+ "latency_ms": 133.12266702996567+ },+ {+ "id": "il-003",+ "text": "Buenas tardes, necesito saber si hago trámite para cambiar o anular la cita ya que nunca me llegó la confirmación",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8366,+ "probabilities": {+ "citas": 0.8366,+ "laboratorio": 0.0265,+ "farmacia": 0.0267,+ "emergencias": 0.0268,+ "recepcion": 0.0273,+ "colgar": 0.0281,+ "ninguno": 0.0279+ },+ "latency_ms": 165.55145900929347+ },+ {+ "id": "il-004",+ "text": "Quisiera pedir ayuda porque no puedo ir a mi consulta médica y quiero cancelarla o cambiarla",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8304,+ "probabilities": {+ "citas": 0.8304,+ "laboratorio": 0.0279,+ "farmacia": 0.0279,+ "emergencias": 0.0287,+ "recepcion": 0.0281,+ "colgar": 0.0286,+ "ninguno": 0.0285+ },+ "latency_ms": 130.43937500333413+ },+ {+ "id": "il-005",+ "text": "Oiga, mira, por favor, no la pasen para ahí, a lo del laboratorio, no quiero que me hagan análisis de nada, ni nada de eso.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8077,+ "probabilities": {+ "citas": 0.0339,+ "laboratorio": 0.0308,+ "farmacia": 0.0301,+ "emergencias": 0.0312,+ "recepcion": 0.033,+ "colgar": 0.0334,+ "ninguno": 0.8077+ },+ "latency_ms": 154.72866600612178+ },+ {+ "id": "il-006",+ "text": "Soy yo, no me pasen al área de laboratorio, por favor, no quiero exámenes ni nada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8135,+ "probabilities": {+ "citas": 0.0336,+ "laboratorio": 0.0297,+ "farmacia": 0.0292,+ "emergencias": 0.0303,+ "recepcion": 0.032,+ "colgar": 0.0317,+ "ninguno": 0.8135+ },+ "latency_ms": 143.46454199403524+ },+ {+ "id": "il-007",+ "text": "Necesito que revisen los resultados, por favor, ya no me llegó la información que me mandaron.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8373,+ "probabilities": {+ "citas": 0.0277,+ "laboratorio": 0.8373,+ "farmacia": 0.0266,+ "emergencias": 0.0273,+ "recepcion": 0.0268,+ "colgar": 0.0272,+ "ninguno": 0.0271+ },+ "latency_ms": 158.71045901440084+ },+ {+ "id": "il-008",+ "text": "Oigan, urgente: me dijeron que me envíen los exámenes pero no me funciona el sistema.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8534,+ "probabilities": {+ "citas": 0.0246,+ "laboratorio": 0.8534,+ "farmacia": 0.0237,+ "emergencias": 0.025,+ "recepcion": 0.0242,+ "colgar": 0.0245,+ "ninguno": 0.0246+ },+ "latency_ms": 145.5236669862643+ },+ {+ "id": "il-009",+ "text": "¿Alguien ahí me puede llamar para explicarme los resultados? No me puedo mover para ir.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8411,+ "probabilities": {+ "citas": 0.0267,+ "laboratorio": 0.8411,+ "farmacia": 0.0257,+ "emergencias": 0.0267,+ "recepcion": 0.026,+ "colgar": 0.0269,+ "ninguno": 0.0269+ },+ "latency_ms": 127.1282919915393+ },+ {+ "id": "il-010",+ "text": "Quiero que me atiendan con mis exámenes, no me funciona lo que me enviaron ayer.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8582,+ "probabilities": {+ "citas": 0.0242,+ "laboratorio": 0.8582,+ "farmacia": 0.0231,+ "emergencias": 0.024,+ "recepcion": 0.0235,+ "colgar": 0.0239,+ "ninguno": 0.0231+ },+ "latency_ms": 126.37841596733779+ },+ {+ "id": "il-011",+ "text": "Por favor, necesitan revisar mis análisis, nunca me han dado el resultado que me corresponde.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8375,+ "probabilities": {+ "citas": 0.0275,+ "laboratorio": 0.8375,+ "farmacia": 0.0262,+ "emergencias": 0.0274,+ "recepcion": 0.027,+ "colgar": 0.0272,+ "ninguno": 0.0271+ },+ "latency_ms": 128.99474997539073+ },+ {+ "id": "il-012",+ "text": "Quiero hablar con atención humana, no con la farmacia, por favor.",+ "gold": "recepcion",+ "tags": [+ "redirected"+ ],+ "predicted": "recepcion",+ "confidence": 0.8146,+ "probabilities": {+ "citas": 0.0309,+ "laboratorio": 0.0285,+ "farmacia": 0.0305,+ "emergencias": 0.0324,+ "recepcion": 0.8146,+ "colgar": 0.0323,+ "ninguno": 0.0309+ },+ "latency_ms": 134.32454102439806+ },+ {+ "id": "il-013",+ "text": "Bueno, hola, soy la señora Rodríguez, tengo una inquietud con el medicamento que me dejaron recetado, no me llegó.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.8342,+ "probabilities": {+ "citas": 0.0276,+ "laboratorio": 0.0263,+ "farmacia": 0.8342,+ "emergencias": 0.0285,+ "recepcion": 0.0275,+ "colgar": 0.0275,+ "ninguno": 0.0283+ },+ "latency_ms": 137.46512500802055+ },+ {+ "id": "il-014",+ "text": "Bueno, hola, soy el señor de la mesa cuatro, me dejaron recetar unas cosas pero nunca me las dieron.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.8389,+ "probabilities": {+ "citas": 0.0274,+ "laboratorio": 0.0262,+ "farmacia": 0.8389,+ "emergencias": 0.0272,+ "recepcion": 0.0265,+ "colgar": 0.0268,+ "ninguno": 0.0269+ },+ "latency_ms": 132.02237599762157+ },+ {+ "id": "il-015",+ "text": "Oiga, ¿me pueden pasar con el médico de urgencias?",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.9184,+ "probabilities": {+ "citas": 0.0143,+ "laboratorio": 0.0128,+ "farmacia": 0.0132,+ "emergencias": 0.9184,+ "recepcion": 0.0136,+ "colgar": 0.0139,+ "ninguno": 0.0138+ },+ "latency_ms": 121.37654196703807+ },+ {+ "id": "il-016",+ "text": "Escúcheme, yo no quiero ser atendido en la emergencia.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8084,+ "probabilities": {+ "citas": 0.0347,+ "laboratorio": 0.0292,+ "farmacia": 0.0292,+ "emergencias": 0.0334,+ "recepcion": 0.0323,+ "colgar": 0.0329,+ "ninguno": 0.8084+ },+ "latency_ms": 131.6563329892233+ },+ {+ "id": "il-017",+ "text": "Quiero consulta pero no quiero que me pongan en la sala de emergencias.",+ "gold": "citas",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.7936,+ "probabilities": {+ "citas": 0.0358,+ "laboratorio": 0.0322,+ "farmacia": 0.0323,+ "emergencias": 0.0331,+ "recepcion": 0.0378,+ "colgar": 0.0351,+ "ninguno": 0.7936+ },+ "latency_ms": 126.02283398155123+ },+ {+ "id": "il-018",+ "text": "Ayúdeme rápido, por favor, no puedo moverme de la cama",+ "gold": "emergencias",+ "tags": [+ "need-with-no"+ ],+ "predicted": "emergencias",+ "confidence": 0.8343,+ "probabilities": {+ "citas": 0.0276,+ "laboratorio": 0.026,+ "farmacia": 0.0268,+ "emergencias": 0.8343,+ "recepcion": 0.0287,+ "colgar": 0.028,+ "ninguno": 0.0286+ },+ "latency_ms": 136.59808301599696+ },+ {+ "id": "il-019",+ "text": "Hable conmigo, no quiero hablar con la grabación.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "ninguno",+ "confidence": 0.4727,+ "probabilities": {+ "citas": 0.0199,+ "laboratorio": 0.0169,+ "farmacia": 0.0172,+ "emergencias": 0.0183,+ "recepcion": 0.4358,+ "colgar": 0.0192,+ "ninguno": 0.4727+ },+ "latency_ms": 118.62712498987094+ },+ {+ "id": "il-020",+ "text": "No quiero hablar con el sistema, quiero hablar con el humano.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.8317,+ "probabilities": {+ "citas": 0.0282,+ "laboratorio": 0.0262,+ "farmacia": 0.0268,+ "emergencias": 0.0284,+ "recepcion": 0.8317,+ "colgar": 0.0292,+ "ninguno": 0.0294+ },+ "latency_ms": 120.65816600807011+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__cases__es_criteria.jsonnew file mode 100644index 00000000..2d8c5721--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__cases__es_criteria.json@@ -0,0 +1,2413 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 4167.486877006013+ },+ "summary": {+ "n": 112,+ "accuracy": 0.8839285714285714,+ "macro_f1": 0.8770718700747163,+ "ece": 0.0608633928571428,+ "mean_confidence": 0.8251687499999998,+ "majority_baseline": 0.3125,+ "wrong_actions": 8,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 0.875+ },+ "direct": {+ "n": 18,+ "accuracy": 0.8333333333333334+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.8461538461538461+ },+ "hard": {+ "n": 6,+ "accuracy": 0.5+ },+ "hn": {+ "n": 9,+ "accuracy": 1.0+ },+ "human": {+ "n": 13,+ "accuracy": 0.8461538461538461+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.9+ },+ "negation": {+ "n": 15,+ "accuracy": 1.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.8888888888888888+ },+ "open": {+ "n": 11,+ "accuracy": 1.0+ },+ "short": {+ "n": 5,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "colgar->ninguno": 1,+ "colgar->soporte": 1,+ "facturacion->soporte": 2,+ "ninguno->ventas": 1,+ "operadora->ninguno": 2,+ "soporte->ninguno": 2,+ "soporte->operadora": 1,+ "soporte->ventas": 1,+ "ventas->facturacion": 2+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 71,+ "coverage": 0.6339285714285714,+ "action_recall": 0.8311688311688312,+ "wrong": 7,+ "precision": 0.9014084507042254+ },+ {+ "threshold": 0.6,+ "fast": 68,+ "coverage": 0.6071428571428571,+ "action_recall": 0.8051948051948052,+ "wrong": 6,+ "precision": 0.9117647058823529+ },+ {+ "threshold": 0.7,+ "fast": 65,+ "coverage": 0.5803571428571429,+ "action_recall": 0.7792207792207793,+ "wrong": 5,+ "precision": 0.9230769230769231+ },+ {+ "threshold": 0.8,+ "fast": 61,+ "coverage": 0.5446428571428571,+ "action_recall": 0.7402597402597403,+ "wrong": 4,+ "precision": 0.9344262295081968+ },+ {+ "threshold": 0.9,+ "fast": 10,+ "coverage": 0.08928571428571429,+ "action_recall": 0.11688311688311688,+ "wrong": 1,+ "precision": 0.9+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 126.39908294659108,+ "p95": 141.2530830129981,+ "min": 117.34562501078472+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "ninguno",+ "confidence": 0.8132+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "facturacion",+ "confidence": 0.8074+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ventas",+ "confidence": 0.4608+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "ventas",+ "confidence": 0.3034+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9359,+ "probabilities": {+ "ventas": 0.9359,+ "soporte": 0.013,+ "facturacion": 0.0127,+ "operadora": 0.0125,+ "colgar": 0.0128,+ "ninguno": 0.0131+ },+ "latency_ms": 125.58158399770036+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.931,+ "probabilities": {+ "ventas": 0.931,+ "soporte": 0.0137,+ "facturacion": 0.0129,+ "operadora": 0.0131,+ "colgar": 0.0131,+ "ninguno": 0.0162+ },+ "latency_ms": 128.56362498132512+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9285,+ "probabilities": {+ "ventas": 0.9285,+ "soporte": 0.0141,+ "facturacion": 0.0137,+ "operadora": 0.016,+ "colgar": 0.0136,+ "ninguno": 0.0141+ },+ "latency_ms": 142.56633300101385+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.7273,+ "probabilities": {+ "ventas": 0.7273,+ "soporte": 0.0111,+ "facturacion": 0.0104,+ "operadora": 0.0106,+ "colgar": 0.0106,+ "ninguno": 0.2299+ },+ "latency_ms": 126.17154204053804+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.8406,+ "probabilities": {+ "ventas": 0.8406,+ "soporte": 0.0312,+ "facturacion": 0.0298,+ "operadora": 0.032,+ "colgar": 0.0327,+ "ninguno": 0.0338+ },+ "latency_ms": 133.53595801163465+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8436,+ "probabilities": {+ "ventas": 0.8436,+ "soporte": 0.0308,+ "facturacion": 0.0303,+ "operadora": 0.031,+ "colgar": 0.0322,+ "ninguno": 0.032+ },+ "latency_ms": 126.89704104559496+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8332,+ "probabilities": {+ "ventas": 0.8332,+ "soporte": 0.0321,+ "facturacion": 0.0342,+ "operadora": 0.032,+ "colgar": 0.0316,+ "ninguno": 0.037+ },+ "latency_ms": 130.31454099109396+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.7421,+ "probabilities": {+ "ventas": 0.0587,+ "soporte": 0.0494,+ "facturacion": 0.7421,+ "operadora": 0.0484,+ "colgar": 0.051,+ "ninguno": 0.0504+ },+ "latency_ms": 137.68779201200232+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8496,+ "probabilities": {+ "ventas": 0.8496,+ "soporte": 0.0288,+ "facturacion": 0.0285,+ "operadora": 0.0291,+ "colgar": 0.0298,+ "ninguno": 0.0341+ },+ "latency_ms": 140.9821250126697+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8447,+ "probabilities": {+ "ventas": 0.8447,+ "soporte": 0.0316,+ "facturacion": 0.0308,+ "operadora": 0.0303,+ "colgar": 0.0318,+ "ninguno": 0.0309+ },+ "latency_ms": 126.20933400467038+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8131,+ "probabilities": {+ "ventas": 0.8131,+ "soporte": 0.0323,+ "facturacion": 0.0333,+ "operadora": 0.0332,+ "colgar": 0.0332,+ "ninguno": 0.0548+ },+ "latency_ms": 141.2530830129981+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8377,+ "probabilities": {+ "ventas": 0.8377,+ "soporte": 0.031,+ "facturacion": 0.0297,+ "operadora": 0.0296,+ "colgar": 0.0307,+ "ninguno": 0.0413+ },+ "latency_ms": 125.53279096027836+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8615,+ "probabilities": {+ "ventas": 0.8615,+ "soporte": 0.0264,+ "facturacion": 0.0252,+ "operadora": 0.0262,+ "colgar": 0.0273,+ "ninguno": 0.0333+ },+ "latency_ms": 125.82754105096683+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8421,+ "probabilities": {+ "ventas": 0.8421,+ "soporte": 0.0316,+ "facturacion": 0.0297,+ "operadora": 0.0316,+ "colgar": 0.0322,+ "ninguno": 0.0328+ },+ "latency_ms": 127.17412499478087+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.879,+ "probabilities": {+ "ventas": 0.0242,+ "soporte": 0.879,+ "facturacion": 0.0235,+ "operadora": 0.0241,+ "colgar": 0.0241,+ "ninguno": 0.0252+ },+ "latency_ms": 118.8159579760395+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.8282,+ "probabilities": {+ "ventas": 0.0328,+ "soporte": 0.0385,+ "facturacion": 0.0331,+ "operadora": 0.8282,+ "colgar": 0.034,+ "ninguno": 0.0333+ },+ "latency_ms": 118.5555420233868+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.9191,+ "probabilities": {+ "ventas": 0.0161,+ "soporte": 0.9191,+ "facturacion": 0.016,+ "operadora": 0.0166,+ "colgar": 0.0164,+ "ninguno": 0.0158+ },+ "latency_ms": 120.61095796525478+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.8426,+ "probabilities": {+ "ventas": 0.0322,+ "soporte": 0.0316,+ "facturacion": 0.0301,+ "operadora": 0.0317,+ "colgar": 0.0318,+ "ninguno": 0.8426+ },+ "latency_ms": 123.75283299479634+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8962,+ "probabilities": {+ "ventas": 0.0216,+ "soporte": 0.8962,+ "facturacion": 0.0208,+ "operadora": 0.0211,+ "colgar": 0.0201,+ "ninguno": 0.0202+ },+ "latency_ms": 119.0490000299178+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.6392,+ "probabilities": {+ "ventas": 0.0347,+ "soporte": 0.6392,+ "facturacion": 0.0343,+ "operadora": 0.0356,+ "colgar": 0.0376,+ "ninguno": 0.2187+ },+ "latency_ms": 125.62220898689702+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8332,+ "probabilities": {+ "ventas": 0.0338,+ "soporte": 0.8332,+ "facturacion": 0.0326,+ "operadora": 0.0341,+ "colgar": 0.0342,+ "ninguno": 0.0321+ },+ "latency_ms": 126.17300101555884+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8475,+ "probabilities": {+ "ventas": 0.0301,+ "soporte": 0.8475,+ "facturacion": 0.0298,+ "operadora": 0.0306,+ "colgar": 0.031,+ "ninguno": 0.0311+ },+ "latency_ms": 126.68637500610203+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.845,+ "probabilities": {+ "ventas": 0.0316,+ "soporte": 0.845,+ "facturacion": 0.0306,+ "operadora": 0.0315,+ "colgar": 0.0316,+ "ninguno": 0.0298+ },+ "latency_ms": 136.9973340188153+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.8393,+ "probabilities": {+ "ventas": 0.0323,+ "soporte": 0.8393,+ "facturacion": 0.0316,+ "operadora": 0.0324,+ "colgar": 0.0321,+ "ninguno": 0.0324+ },+ "latency_ms": 139.28029203088954+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.5837,+ "probabilities": {+ "ventas": 0.0648,+ "soporte": 0.5837,+ "facturacion": 0.0607,+ "operadora": 0.0822,+ "colgar": 0.0744,+ "ninguno": 0.1342+ },+ "latency_ms": 127.60670896386728+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8229,+ "probabilities": {+ "ventas": 0.0425,+ "soporte": 0.8229,+ "facturacion": 0.0345,+ "operadora": 0.0323,+ "colgar": 0.0325,+ "ninguno": 0.0354+ },+ "latency_ms": 121.67800002498552+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8432,+ "probabilities": {+ "ventas": 0.0312,+ "soporte": 0.8432,+ "facturacion": 0.0306,+ "operadora": 0.0305,+ "colgar": 0.0315,+ "ninguno": 0.0331+ },+ "latency_ms": 127.0102090202272+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8309,+ "probabilities": {+ "ventas": 0.0321,+ "soporte": 0.8309,+ "facturacion": 0.0307,+ "operadora": 0.0308,+ "colgar": 0.0329,+ "ninguno": 0.0426+ },+ "latency_ms": 121.54650001320988+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9233,+ "probabilities": {+ "ventas": 0.0155,+ "soporte": 0.0156,+ "facturacion": 0.9233,+ "operadora": 0.0158,+ "colgar": 0.0155,+ "ninguno": 0.0144+ },+ "latency_ms": 119.19795803260058+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9169,+ "probabilities": {+ "ventas": 0.0168,+ "soporte": 0.0162,+ "facturacion": 0.9169,+ "operadora": 0.0165,+ "colgar": 0.0171,+ "ninguno": 0.0165+ },+ "latency_ms": 121.95387500105426+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9274,+ "probabilities": {+ "ventas": 0.0143,+ "soporte": 0.0143,+ "facturacion": 0.9274,+ "operadora": 0.0152,+ "colgar": 0.0144,+ "ninguno": 0.0142+ },+ "latency_ms": 122.01591697521508+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.6594,+ "probabilities": {+ "ventas": 0.0842,+ "soporte": 0.0623,+ "facturacion": 0.6594,+ "operadora": 0.0629,+ "colgar": 0.0657,+ "ninguno": 0.0654+ },+ "latency_ms": 120.18662597984076+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9013,+ "probabilities": {+ "ventas": 0.0202,+ "soporte": 0.02,+ "facturacion": 0.9013,+ "operadora": 0.0196,+ "colgar": 0.0203,+ "ninguno": 0.0185+ },+ "latency_ms": 126.94816698785871+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8406,+ "probabilities": {+ "ventas": 0.0317,+ "soporte": 0.0307,+ "facturacion": 0.8406,+ "operadora": 0.0321,+ "colgar": 0.0325,+ "ninguno": 0.0325+ },+ "latency_ms": 129.5462089474313+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.7888,+ "probabilities": {+ "ventas": 0.0412,+ "soporte": 0.0447,+ "facturacion": 0.7888,+ "operadora": 0.0413,+ "colgar": 0.0428,+ "ninguno": 0.0413+ },+ "latency_ms": 126.28850003238767+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8306,+ "probabilities": {+ "ventas": 0.0336,+ "soporte": 0.0346,+ "facturacion": 0.8306,+ "operadora": 0.0332,+ "colgar": 0.0342,+ "ninguno": 0.0339+ },+ "latency_ms": 123.37045802269131+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.8283,+ "probabilities": {+ "ventas": 0.0338,+ "soporte": 0.0346,+ "facturacion": 0.8283,+ "operadora": 0.0339,+ "colgar": 0.0351,+ "ninguno": 0.0344+ },+ "latency_ms": 133.7080000084825+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8369,+ "probabilities": {+ "ventas": 0.0323,+ "soporte": 0.0331,+ "facturacion": 0.8369,+ "operadora": 0.0327,+ "colgar": 0.033,+ "ninguno": 0.032+ },+ "latency_ms": 124.29620896000415+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.4605,+ "probabilities": {+ "ventas": 0.1274,+ "soporte": 0.4605,+ "facturacion": 0.135,+ "operadora": 0.0853,+ "colgar": 0.0916,+ "ninguno": 0.1002+ },+ "latency_ms": 139.5577079965733+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8133,+ "probabilities": {+ "ventas": 0.0365,+ "soporte": 0.0392,+ "facturacion": 0.8133,+ "operadora": 0.0362,+ "colgar": 0.0376,+ "ninguno": 0.0371+ },+ "latency_ms": 148.90716696390882+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8268,+ "probabilities": {+ "ventas": 0.0343,+ "soporte": 0.0364,+ "facturacion": 0.8268,+ "operadora": 0.0337,+ "colgar": 0.0345,+ "ninguno": 0.0342+ },+ "latency_ms": 140.07358299568295+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.5235,+ "probabilities": {+ "ventas": 0.0982,+ "soporte": 0.0948,+ "facturacion": 0.5235,+ "operadora": 0.0968,+ "colgar": 0.0951,+ "ninguno": 0.0916+ },+ "latency_ms": 137.3347089975141+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8496,+ "probabilities": {+ "ventas": 0.0298,+ "soporte": 0.0303,+ "facturacion": 0.029,+ "operadora": 0.8496,+ "colgar": 0.0312,+ "ninguno": 0.0301+ },+ "latency_ms": 133.46391695085913+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8395,+ "probabilities": {+ "ventas": 0.0318,+ "soporte": 0.0322,+ "facturacion": 0.0305,+ "operadora": 0.8395,+ "colgar": 0.0329,+ "ninguno": 0.033+ },+ "latency_ms": 126.70604203594849+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8293,+ "probabilities": {+ "ventas": 0.0334,+ "soporte": 0.0367,+ "facturacion": 0.0326,+ "operadora": 0.8293,+ "colgar": 0.0335,+ "ninguno": 0.0345+ },+ "latency_ms": 124.66187501559034+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.9142,+ "probabilities": {+ "ventas": 0.0172,+ "soporte": 0.0176,+ "facturacion": 0.0165,+ "operadora": 0.9142,+ "colgar": 0.0181,+ "ninguno": 0.0164+ },+ "latency_ms": 125.26787503156811+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.8214,+ "probabilities": {+ "ventas": 0.0347,+ "soporte": 0.0407,+ "facturacion": 0.0319,+ "operadora": 0.0346,+ "colgar": 0.0368,+ "ninguno": 0.8214+ },+ "latency_ms": 125.2742080250755+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8384,+ "probabilities": {+ "ventas": 0.0318,+ "soporte": 0.0323,+ "facturacion": 0.0314,+ "operadora": 0.8384,+ "colgar": 0.0332,+ "ninguno": 0.0328+ },+ "latency_ms": 125.47558301594108+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8506,+ "probabilities": {+ "ventas": 0.0302,+ "soporte": 0.0294,+ "facturacion": 0.0292,+ "operadora": 0.8506,+ "colgar": 0.0307,+ "ninguno": 0.0299+ },+ "latency_ms": 119.23345900140703+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.835,+ "probabilities": {+ "ventas": 0.0331,+ "soporte": 0.0325,+ "facturacion": 0.0323,+ "operadora": 0.835,+ "colgar": 0.0345,+ "ninguno": 0.0327+ },+ "latency_ms": 161.56600002432242+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.841,+ "probabilities": {+ "ventas": 0.0313,+ "soporte": 0.0316,+ "facturacion": 0.0304,+ "operadora": 0.841,+ "colgar": 0.0334,+ "ninguno": 0.0324+ },+ "latency_ms": 150.52312501939014+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.8407,+ "probabilities": {+ "ventas": 0.0317,+ "soporte": 0.031,+ "facturacion": 0.0308,+ "operadora": 0.8407,+ "colgar": 0.0333,+ "ninguno": 0.0324+ },+ "latency_ms": 129.0465000201948+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "ninguno",+ "confidence": 0.8105,+ "probabilities": {+ "ventas": 0.0347,+ "soporte": 0.038,+ "facturacion": 0.0355,+ "operadora": 0.0437,+ "colgar": 0.0376,+ "ninguno": 0.8105+ },+ "latency_ms": 125.18920801812783+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.84,+ "probabilities": {+ "ventas": 0.0322,+ "soporte": 0.0308,+ "facturacion": 0.0315,+ "operadora": 0.84,+ "colgar": 0.0339,+ "ninguno": 0.0316+ },+ "latency_ms": 126.58920901594684+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8311,+ "probabilities": {+ "ventas": 0.0321,+ "soporte": 0.0324,+ "facturacion": 0.035,+ "operadora": 0.0352,+ "colgar": 0.8311,+ "ninguno": 0.0341+ },+ "latency_ms": 151.55545802554116+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.843,+ "probabilities": {+ "ventas": 0.0313,+ "soporte": 0.0292,+ "facturacion": 0.0311,+ "operadora": 0.0316,+ "colgar": 0.843,+ "ninguno": 0.0338+ },+ "latency_ms": 126.42145802965388+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.824,+ "probabilities": {+ "ventas": 0.0342,+ "soporte": 0.034,+ "facturacion": 0.0349,+ "operadora": 0.0362,+ "colgar": 0.824,+ "ninguno": 0.0366+ },+ "latency_ms": 126.8108329968527+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8283,+ "probabilities": {+ "ventas": 0.033,+ "soporte": 0.0328,+ "facturacion": 0.0344,+ "operadora": 0.0351,+ "colgar": 0.8283,+ "ninguno": 0.0364+ },+ "latency_ms": 127.26004200521857+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.8281,+ "probabilities": {+ "ventas": 0.0334,+ "soporte": 0.0337,+ "facturacion": 0.0338,+ "operadora": 0.0346,+ "colgar": 0.8281,+ "ninguno": 0.0364+ },+ "latency_ms": 122.25349998334423+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.8262,+ "probabilities": {+ "ventas": 0.0328,+ "soporte": 0.0334,+ "facturacion": 0.0345,+ "operadora": 0.0361,+ "colgar": 0.037,+ "ninguno": 0.8262+ },+ "latency_ms": 126.90362497232854+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8394,+ "probabilities": {+ "ventas": 0.0308,+ "soporte": 0.0307,+ "facturacion": 0.0321,+ "operadora": 0.0329,+ "colgar": 0.8394,+ "ninguno": 0.0341+ },+ "latency_ms": 123.50112496642396+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "colgar",+ "confidence": 0.4567,+ "probabilities": {+ "ventas": 0.0315,+ "soporte": 0.0312,+ "facturacion": 0.0318,+ "operadora": 0.0328,+ "colgar": 0.4567,+ "ninguno": 0.4159+ },+ "latency_ms": 118.87291597668082+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.6077,+ "probabilities": {+ "ventas": 0.0487,+ "soporte": 0.6077,+ "facturacion": 0.0487,+ "operadora": 0.0501,+ "colgar": 0.1911,+ "ninguno": 0.0536+ },+ "latency_ms": 126.82299996959046+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8359,+ "probabilities": {+ "ventas": 0.0317,+ "soporte": 0.0317,+ "facturacion": 0.0326,+ "operadora": 0.0335,+ "colgar": 0.8359,+ "ninguno": 0.0346+ },+ "latency_ms": 121.66341597912833+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8351,+ "probabilities": {+ "ventas": 0.0324,+ "soporte": 0.0314,+ "facturacion": 0.0332,+ "operadora": 0.0341,+ "colgar": 0.8351,+ "ninguno": 0.0337+ },+ "latency_ms": 121.68979196576402+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8283,+ "probabilities": {+ "ventas": 0.0326,+ "soporte": 0.0319,+ "facturacion": 0.0354,+ "operadora": 0.0353,+ "colgar": 0.8283,+ "ninguno": 0.0365+ },+ "latency_ms": 126.17879098979756+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8408,+ "probabilities": {+ "ventas": 0.0315,+ "soporte": 0.0303,+ "facturacion": 0.0315,+ "operadora": 0.032,+ "colgar": 0.034,+ "ninguno": 0.8408+ },+ "latency_ms": 132.78912496753037+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8388,+ "probabilities": {+ "ventas": 0.0317,+ "soporte": 0.0303,+ "facturacion": 0.0316,+ "operadora": 0.0332,+ "colgar": 0.0343,+ "ninguno": 0.8388+ },+ "latency_ms": 121.9739579828456+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.832,+ "probabilities": {+ "ventas": 0.0332,+ "soporte": 0.0321,+ "facturacion": 0.0332,+ "operadora": 0.0334,+ "colgar": 0.0361,+ "ninguno": 0.832+ },+ "latency_ms": 121.52212497312576+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.831,+ "probabilities": {+ "ventas": 0.0355,+ "soporte": 0.0321,+ "facturacion": 0.032,+ "operadora": 0.034,+ "colgar": 0.0354,+ "ninguno": 0.831+ },+ "latency_ms": 126.59087602514774+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.8182,+ "probabilities": {+ "ventas": 0.0427,+ "soporte": 0.0333,+ "facturacion": 0.0333,+ "operadora": 0.0351,+ "colgar": 0.0374,+ "ninguno": 0.8182+ },+ "latency_ms": 133.45600001048297+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8344,+ "probabilities": {+ "ventas": 0.0333,+ "soporte": 0.0308,+ "facturacion": 0.0325,+ "operadora": 0.0333,+ "colgar": 0.0357,+ "ninguno": 0.8344+ },+ "latency_ms": 125.46783400466666+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8333,+ "probabilities": {+ "ventas": 0.0325,+ "soporte": 0.032,+ "facturacion": 0.0332,+ "operadora": 0.0332,+ "colgar": 0.0358,+ "ninguno": 0.8333+ },+ "latency_ms": 128.8967090076767+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8404,+ "probabilities": {+ "ventas": 0.0315,+ "soporte": 0.0301,+ "facturacion": 0.0312,+ "operadora": 0.0329,+ "colgar": 0.0339,+ "ninguno": 0.8404+ },+ "latency_ms": 124.2461659712717+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8428,+ "probabilities": {+ "ventas": 0.0307,+ "soporte": 0.03,+ "facturacion": 0.0312,+ "operadora": 0.0318,+ "colgar": 0.0335,+ "ninguno": 0.8428+ },+ "latency_ms": 121.30804196931422+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8373,+ "probabilities": {+ "ventas": 0.0339,+ "soporte": 0.0302,+ "facturacion": 0.0313,+ "operadora": 0.0333,+ "colgar": 0.0339,+ "ninguno": 0.8373+ },+ "latency_ms": 121.63358397083357+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.7681,+ "probabilities": {+ "ventas": 0.0836,+ "soporte": 0.0358,+ "facturacion": 0.036,+ "operadora": 0.0373,+ "colgar": 0.0392,+ "ninguno": 0.7681+ },+ "latency_ms": 119.74037502659485+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8448,+ "probabilities": {+ "ventas": 0.0304,+ "soporte": 0.0294,+ "facturacion": 0.0307,+ "operadora": 0.032,+ "colgar": 0.0328,+ "ninguno": 0.8448+ },+ "latency_ms": 124.86079201335087+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8413,+ "probabilities": {+ "ventas": 0.0307,+ "soporte": 0.0307,+ "facturacion": 0.0315,+ "operadora": 0.0324,+ "colgar": 0.0336,+ "ninguno": 0.8413+ },+ "latency_ms": 117.34562501078472+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8411,+ "probabilities": {+ "ventas": 0.0311,+ "soporte": 0.0305,+ "facturacion": 0.0308,+ "operadora": 0.0329,+ "colgar": 0.0335,+ "ninguno": 0.8411+ },+ "latency_ms": 123.11395903816447+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.8262,+ "probabilities": {+ "ventas": 0.0324,+ "soporte": 0.0376,+ "facturacion": 0.0332,+ "operadora": 0.0346,+ "colgar": 0.0361,+ "ninguno": 0.8262+ },+ "latency_ms": 128.379917005077+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ventas",+ "confidence": 0.8131,+ "probabilities": {+ "ventas": 0.8131,+ "soporte": 0.0332,+ "facturacion": 0.0416,+ "operadora": 0.0319,+ "colgar": 0.0337,+ "ninguno": 0.0466+ },+ "latency_ms": 132.8012080048211+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8269,+ "probabilities": {+ "ventas": 0.0332,+ "soporte": 0.0347,+ "facturacion": 0.0329,+ "operadora": 0.0352,+ "colgar": 0.037,+ "ninguno": 0.8269+ },+ "latency_ms": 129.06325003132224+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8239,+ "probabilities": {+ "ventas": 0.0325,+ "soporte": 0.0387,+ "facturacion": 0.0331,+ "operadora": 0.0348,+ "colgar": 0.0369,+ "ninguno": 0.8239+ },+ "latency_ms": 132.1731669595465+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8954,+ "probabilities": {+ "ventas": 0.0206,+ "soporte": 0.02,+ "facturacion": 0.0205,+ "operadora": 0.0218,+ "colgar": 0.0216,+ "ninguno": 0.8954+ },+ "latency_ms": 131.66837499011308+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8617,+ "probabilities": {+ "ventas": 0.0271,+ "soporte": 0.0268,+ "facturacion": 0.0275,+ "operadora": 0.0281,+ "colgar": 0.0287,+ "ninguno": 0.8617+ },+ "latency_ms": 135.40841604117304+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8839,+ "probabilities": {+ "ventas": 0.0228,+ "soporte": 0.0218,+ "facturacion": 0.0231,+ "operadora": 0.0239,+ "colgar": 0.0245,+ "ninguno": 0.8839+ },+ "latency_ms": 152.2044999874197+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8851,+ "probabilities": {+ "ventas": 0.0239,+ "soporte": 0.022,+ "facturacion": 0.0222,+ "operadora": 0.023,+ "colgar": 0.0238,+ "ninguno": 0.8851+ },+ "latency_ms": 127.91733304038644+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8853,+ "probabilities": {+ "ventas": 0.023,+ "soporte": 0.0215,+ "facturacion": 0.0232,+ "operadora": 0.0238,+ "colgar": 0.0232,+ "ninguno": 0.8853+ },+ "latency_ms": 131.1529590166174+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8585,+ "probabilities": {+ "ventas": 0.0276,+ "soporte": 0.0264,+ "facturacion": 0.0284,+ "operadora": 0.0293,+ "colgar": 0.0297,+ "ninguno": 0.8585+ },+ "latency_ms": 135.83441701484844+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8464,+ "probabilities": {+ "ventas": 0.0301,+ "soporte": 0.0304,+ "facturacion": 0.0302,+ "operadora": 0.0315,+ "colgar": 0.0314,+ "ninguno": 0.8464+ },+ "latency_ms": 130.9631670010276+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8391,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.0307,+ "facturacion": 0.0337,+ "operadora": 0.0329,+ "colgar": 0.0325,+ "ninguno": 0.8391+ },+ "latency_ms": 128.77487496007234+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8687,+ "probabilities": {+ "ventas": 0.0264,+ "soporte": 0.0247,+ "facturacion": 0.0261,+ "operadora": 0.0272,+ "colgar": 0.0268,+ "ninguno": 0.8687+ },+ "latency_ms": 124.01258299360052+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8564,+ "probabilities": {+ "ventas": 0.0279,+ "soporte": 0.0271,+ "facturacion": 0.0281,+ "operadora": 0.03,+ "colgar": 0.0305,+ "ninguno": 0.8564+ },+ "latency_ms": 121.96354201296344+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.857,+ "probabilities": {+ "ventas": 0.0282,+ "soporte": 0.0274,+ "facturacion": 0.0282,+ "operadora": 0.0295,+ "colgar": 0.0296,+ "ninguno": 0.857+ },+ "latency_ms": 123.54308401700109+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8553,+ "probabilities": {+ "ventas": 0.0286,+ "soporte": 0.027,+ "facturacion": 0.0286,+ "operadora": 0.0304,+ "colgar": 0.0301,+ "ninguno": 0.8553+ },+ "latency_ms": 120.34929095534608+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8883,+ "probabilities": {+ "ventas": 0.0221,+ "soporte": 0.0208,+ "facturacion": 0.0222,+ "operadora": 0.0233,+ "colgar": 0.0234,+ "ninguno": 0.8883+ },+ "latency_ms": 121.90395896323025+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8435,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.0292,+ "facturacion": 0.0306,+ "operadora": 0.0324,+ "colgar": 0.0333,+ "ninguno": 0.8435+ },+ "latency_ms": 129.6614999882877+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "ventas",+ "confidence": 0.9136,+ "probabilities": {+ "ventas": 0.9136,+ "soporte": 0.0251,+ "facturacion": 0.0134,+ "operadora": 0.0138,+ "colgar": 0.0141,+ "ninguno": 0.0199+ },+ "latency_ms": 125.98587496904656+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.5752,+ "probabilities": {+ "ventas": 0.0432,+ "soporte": 0.5752,+ "facturacion": 0.2543,+ "operadora": 0.0427,+ "colgar": 0.0437,+ "ninguno": 0.0409+ },+ "latency_ms": 132.25979101844132+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.8391,+ "probabilities": {+ "ventas": 0.0659,+ "soporte": 0.0242,+ "facturacion": 0.8391,+ "operadora": 0.0239,+ "colgar": 0.0236,+ "ninguno": 0.0233+ },+ "latency_ms": 129.7019170015119+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "operadora",+ "confidence": 0.8521,+ "probabilities": {+ "ventas": 0.0292,+ "soporte": 0.0301,+ "facturacion": 0.0286,+ "operadora": 0.8521,+ "colgar": 0.0303,+ "ninguno": 0.0297+ },+ "latency_ms": 132.70508300047368+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.8433,+ "probabilities": {+ "ventas": 0.0318,+ "soporte": 0.032,+ "facturacion": 0.8433,+ "operadora": 0.0314,+ "colgar": 0.031,+ "ninguno": 0.0305+ },+ "latency_ms": 139.2062510130927+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "colgar",+ "confidence": 0.8243,+ "probabilities": {+ "ventas": 0.0333,+ "soporte": 0.0335,+ "facturacion": 0.0345,+ "operadora": 0.0348,+ "colgar": 0.8243,+ "ninguno": 0.0395+ },+ "latency_ms": 126.17633299669251+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.8182,+ "probabilities": {+ "ventas": 0.0336,+ "soporte": 0.0402,+ "facturacion": 0.0347,+ "operadora": 0.0364,+ "colgar": 0.0368,+ "ninguno": 0.8182+ },+ "latency_ms": 126.39908294659108+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.7598,+ "probabilities": {+ "ventas": 0.7598,+ "soporte": 0.0442,+ "facturacion": 0.0661,+ "operadora": 0.0438,+ "colgar": 0.0433,+ "ninguno": 0.0428+ },+ "latency_ms": 127.26008397294208+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8177,+ "probabilities": {+ "ventas": 0.0366,+ "soporte": 0.0366,+ "facturacion": 0.8177,+ "operadora": 0.0356,+ "colgar": 0.037,+ "ninguno": 0.0365+ },+ "latency_ms": 126.5348750166595+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8455,+ "probabilities": {+ "ventas": 0.0305,+ "soporte": 0.0306,+ "facturacion": 0.0297,+ "operadora": 0.8455,+ "colgar": 0.0321,+ "ninguno": 0.0315+ },+ "latency_ms": 120.81637501250952+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8365,+ "probabilities": {+ "ventas": 0.0312,+ "soporte": 0.0313,+ "facturacion": 0.0338,+ "operadora": 0.0342,+ "colgar": 0.8365,+ "ninguno": 0.033+ },+ "latency_ms": 120.58341602096334+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8378,+ "probabilities": {+ "ventas": 0.0308,+ "soporte": 0.0324,+ "facturacion": 0.032,+ "operadora": 0.0326,+ "colgar": 0.0344,+ "ninguno": 0.8378+ },+ "latency_ms": 120.04279199754819+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.9066,+ "probabilities": {+ "ventas": 0.0184,+ "soporte": 0.0183,+ "facturacion": 0.0184,+ "operadora": 0.0193,+ "colgar": 0.019,+ "ninguno": 0.9066+ },+ "latency_ms": 126.67445797706023+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8377,+ "probabilities": {+ "ventas": 0.0321,+ "soporte": 0.0299,+ "facturacion": 0.0323,+ "operadora": 0.0337,+ "colgar": 0.0344,+ "ninguno": 0.8377+ },+ "latency_ms": 118.62808401929215+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.8132,+ "probabilities": {+ "ventas": 0.0381,+ "soporte": 0.035,+ "facturacion": 0.039,+ "operadora": 0.0357,+ "colgar": 0.0389,+ "ninguno": 0.8132+ },+ "latency_ms": 122.63112497748807+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.8074,+ "probabilities": {+ "ventas": 0.0391,+ "soporte": 0.0401,+ "facturacion": 0.8074,+ "operadora": 0.0357,+ "colgar": 0.036,+ "ninguno": 0.0417+ },+ "latency_ms": 125.10058301268145+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.4608,+ "probabilities": {+ "ventas": 0.4608,+ "soporte": 0.0219,+ "facturacion": 0.0234,+ "operadora": 0.024,+ "colgar": 0.0246,+ "ninguno": 0.4453+ },+ "latency_ms": 126.1863749823533+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.3034,+ "probabilities": {+ "ventas": 0.3034,+ "soporte": 0.2342,+ "facturacion": 0.1441,+ "operadora": 0.1058,+ "colgar": 0.0936,+ "ninguno": 0.1189+ },+ "latency_ms": 124.73154196050018+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__clinic__es_criteria.jsonnew file mode 100644index 00000000..33854c43--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__clinic__es_criteria.json@@ -0,0 +1,1059 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3400.3444599802606+ },+ "summary": {+ "n": 45,+ "accuracy": 0.9333333333333333,+ "macro_f1": 0.9320305091733665,+ "ece": 0.15706222222222216,+ "mean_confidence": 0.8057244444444447,+ "majority_baseline": 0.28888888888888886,+ "wrong_actions": 3,+ "by_tag": {+ "asr": {+ "n": 5,+ "accuracy": 0.8+ },+ "direct": {+ "n": 6,+ "accuracy": 1.0+ },+ "farewell": {+ "n": 4,+ "accuracy": 1.0+ },+ "hard": {+ "n": 3,+ "accuracy": 1.0+ },+ "hn": {+ "n": 2,+ "accuracy": 1.0+ },+ "human": {+ "n": 4,+ "accuracy": 1.0+ },+ "indirect": {+ "n": 16,+ "accuracy": 0.875+ },+ "negation": {+ "n": 7,+ "accuracy": 1.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 3,+ "accuracy": 0.6666666666666666+ },+ "open": {+ "n": 3,+ "accuracy": 1.0+ },+ "short": {+ "n": 2,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "citas->emergencias": 1,+ "farmacia->citas": 1,+ "ninguno->colgar": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 0.9375,+ "wrong": 2,+ "precision": 0.9375+ },+ {+ "threshold": 0.6,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 0.9375,+ "wrong": 2,+ "precision": 0.9375+ },+ {+ "threshold": 0.7,+ "fast": 31,+ "coverage": 0.6888888888888889,+ "action_recall": 0.9375,+ "wrong": 1,+ "precision": 0.967741935483871+ },+ {+ "threshold": 0.8,+ "fast": 24,+ "coverage": 0.5333333333333333,+ "action_recall": 0.75,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 4,+ "coverage": 0.08888888888888889,+ "action_recall": 0.125,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 119.5667500142008,+ "p95": 137.93862500460818,+ "min": 109.59791700588539+ },+ "borderline": []+ },+ "records": [+ {+ "id": "cl-001",+ "text": "Quiero sacar una cita con el cardiólogo.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8201,+ "probabilities": {+ "citas": 0.8201,+ "laboratorio": 0.033,+ "farmacia": 0.0299,+ "emergencias": 0.0289,+ "recepcion": 0.0293,+ "colgar": 0.0302,+ "ninguno": 0.0287+ },+ "latency_ms": 117.66229197382927+ },+ {+ "id": "cl-002",+ "text": "Necesito cambiar la fecha de mi consulta del jueves.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.7948,+ "probabilities": {+ "citas": 0.7948,+ "laboratorio": 0.0343,+ "farmacia": 0.0367,+ "emergencias": 0.0337,+ "recepcion": 0.0327,+ "colgar": 0.0341,+ "ninguno": 0.0336+ },+ "latency_ms": 119.5667500142008+ },+ {+ "id": "cl-003",+ "text": "Páseme con citas, por favor.",+ "gold": "citas",+ "tags": [+ "direct"+ ],+ "predicted": "citas",+ "confidence": 0.9119,+ "probabilities": {+ "citas": 0.9119,+ "laboratorio": 0.0145,+ "farmacia": 0.0149,+ "emergencias": 0.0151,+ "recepcion": 0.0152,+ "colgar": 0.0145,+ "ninguno": 0.014+ },+ "latency_ms": 120.30650000087917+ },+ {+ "id": "cl-004",+ "text": "Fíjese que quiero apartar una consulta para mi mamá.",+ "gold": "citas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "citas",+ "confidence": 0.7987,+ "probabilities": {+ "citas": 0.7987,+ "laboratorio": 0.0315,+ "farmacia": 0.0351,+ "emergencias": 0.0334,+ "recepcion": 0.033,+ "colgar": 0.0347,+ "ninguno": 0.0336+ },+ "latency_ms": 127.45958298910409+ },+ {+ "id": "cl-005",+ "text": "Tengo que cancelar la cita que tenía mañana con la doctora.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8182,+ "probabilities": {+ "citas": 0.8182,+ "laboratorio": 0.0318,+ "farmacia": 0.0297,+ "emergencias": 0.0297,+ "recepcion": 0.0306,+ "colgar": 0.031,+ "ninguno": 0.0291+ },+ "latency_ms": 129.6942500048317+ },+ {+ "id": "cl-006",+ "text": "quiero agendar con el pediatra para la otra semana",+ "gold": "citas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.4321,+ "probabilities": {+ "citas": 0.0972,+ "laboratorio": 0.1394,+ "farmacia": 0.0705,+ "emergencias": 0.4321,+ "recepcion": 0.0951,+ "colgar": 0.0754,+ "ninguno": 0.0903+ },+ "latency_ms": 121.12124997656792+ },+ {+ "id": "cl-007",+ "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8288,+ "probabilities": {+ "citas": 0.0288,+ "laboratorio": 0.8288,+ "farmacia": 0.0278,+ "emergencias": 0.0287,+ "recepcion": 0.0281,+ "colgar": 0.0293,+ "ninguno": 0.0285+ },+ "latency_ms": 125.61887496849522+ },+ {+ "id": "cl-008",+ "text": "Comuníqueme con el laboratorio.",+ "gold": "laboratorio",+ "tags": [+ "direct"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9097,+ "probabilities": {+ "citas": 0.0152,+ "laboratorio": 0.9097,+ "farmacia": 0.0155,+ "emergencias": 0.0153,+ "recepcion": 0.0148,+ "colgar": 0.0149,+ "ninguno": 0.0146+ },+ "latency_ms": 123.19562496850267+ },+ {+ "id": "cl-009",+ "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8175,+ "probabilities": {+ "citas": 0.0283,+ "laboratorio": 0.8175,+ "farmacia": 0.0299,+ "emergencias": 0.0287,+ "recepcion": 0.0288,+ "colgar": 0.0297,+ "ninguno": 0.0371+ },+ "latency_ms": 137.93862500460818+ },+ {+ "id": "cl-010",+ "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8097,+ "probabilities": {+ "citas": 0.0322,+ "laboratorio": 0.8097,+ "farmacia": 0.0313,+ "emergencias": 0.0322,+ "recepcion": 0.0323,+ "colgar": 0.0326,+ "ninguno": 0.0297+ },+ "latency_ms": 148.27812503790483+ },+ {+ "id": "cl-011",+ "text": "me hicieron un examen de orina y no me han entregado nada",+ "gold": "laboratorio",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8226,+ "probabilities": {+ "citas": 0.0292,+ "laboratorio": 0.8226,+ "farmacia": 0.0292,+ "emergencias": 0.0297,+ "recepcion": 0.0296,+ "colgar": 0.0308,+ "ninguno": 0.0289+ },+ "latency_ms": 124.19316702289507+ },+ {+ "id": "cl-012",+ "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.",+ "gold": "farmacia",+ "tags": [+ "direct"+ ],+ "predicted": "farmacia",+ "confidence": 0.9065,+ "probabilities": {+ "citas": 0.0153,+ "laboratorio": 0.0156,+ "farmacia": 0.9065,+ "emergencias": 0.0159,+ "recepcion": 0.0162,+ "colgar": 0.0158,+ "ninguno": 0.0147+ },+ "latency_ms": 138.88724998105317+ },+ {+ "id": "cl-013",+ "text": "Necesito surtir una receta.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8167,+ "probabilities": {+ "citas": 0.031,+ "laboratorio": 0.0299,+ "farmacia": 0.8167,+ "emergencias": 0.0304,+ "recepcion": 0.0303,+ "colgar": 0.0316,+ "ninguno": 0.0301+ },+ "latency_ms": 114.08354196464643+ },+ {+ "id": "cl-014",+ "text": "Con la farmacia, por favor.",+ "gold": "farmacia",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "farmacia",+ "confidence": 0.8849,+ "probabilities": {+ "citas": 0.019,+ "laboratorio": 0.0184,+ "farmacia": 0.8849,+ "emergencias": 0.0191,+ "recepcion": 0.0183,+ "colgar": 0.02,+ "ninguno": 0.0203+ },+ "latency_ms": 112.79616598039865+ },+ {+ "id": "cl-015",+ "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.6627,+ "probabilities": {+ "citas": 0.6627,+ "laboratorio": 0.0352,+ "farmacia": 0.1635,+ "emergencias": 0.0332,+ "recepcion": 0.0342,+ "colgar": 0.0366,+ "ninguno": 0.0347+ },+ "latency_ms": 116.84237502049655+ },+ {+ "id": "cl-016",+ "text": "Quiero comprar la medicina que me indicó el doctor.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8044,+ "probabilities": {+ "citas": 0.0321,+ "laboratorio": 0.0343,+ "farmacia": 0.8044,+ "emergencias": 0.0323,+ "recepcion": 0.032,+ "colgar": 0.0337,+ "ninguno": 0.0312+ },+ "latency_ms": 121.77329102996737+ },+ {+ "id": "cl-017",+ "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8156,+ "probabilities": {+ "citas": 0.0302,+ "laboratorio": 0.0294,+ "farmacia": 0.0287,+ "emergencias": 0.8156,+ "recepcion": 0.03,+ "colgar": 0.0332,+ "ninguno": 0.0329+ },+ "latency_ms": 124.19137504184619+ },+ {+ "id": "cl-018",+ "text": "Páseme con emergencias, es urgente.",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.9113,+ "probabilities": {+ "citas": 0.0147,+ "laboratorio": 0.0144,+ "farmacia": 0.0143,+ "emergencias": 0.9113,+ "recepcion": 0.0152,+ "colgar": 0.0159,+ "ninguno": 0.0143+ },+ "latency_ms": 124.75695798639208+ },+ {+ "id": "cl-019",+ "text": "Mi hijo se cortó y está sangrando mucho.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8,+ "probabilities": {+ "citas": 0.0326,+ "laboratorio": 0.0312,+ "farmacia": 0.0316,+ "emergencias": 0.8,+ "recepcion": 0.0338,+ "colgar": 0.0361,+ "ninguno": 0.0345+ },+ "latency_ms": 123.3260830049403+ },+ {+ "id": "cl-020",+ "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.81,+ "probabilities": {+ "citas": 0.031,+ "laboratorio": 0.0306,+ "farmacia": 0.0304,+ "emergencias": 0.81,+ "recepcion": 0.0325,+ "colgar": 0.0338,+ "ninguno": 0.0317+ },+ "latency_ms": 120.40654197335243+ },+ {+ "id": "cl-021",+ "text": "necesito una ambulancia mi esposa se cayó y no se puede mover",+ "gold": "emergencias",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8151,+ "probabilities": {+ "citas": 0.0305,+ "laboratorio": 0.0293,+ "farmacia": 0.0297,+ "emergencias": 0.8151,+ "recepcion": 0.0314,+ "colgar": 0.0329,+ "ninguno": 0.0311+ },+ "latency_ms": 124.23991598188877+ },+ {+ "id": "cl-022",+ "text": "Quiero hablar con una persona.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8184,+ "probabilities": {+ "citas": 0.0305,+ "laboratorio": 0.0294,+ "farmacia": 0.029,+ "emergencias": 0.0314,+ "recepcion": 0.8184,+ "colgar": 0.0314,+ "ninguno": 0.0299+ },+ "latency_ms": 111.77037499146536+ },+ {+ "id": "cl-023",+ "text": "Páseme con alguien que me atienda, por favor.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8105,+ "probabilities": {+ "citas": 0.0325,+ "laboratorio": 0.0303,+ "farmacia": 0.03,+ "emergencias": 0.032,+ "recepcion": 0.8105,+ "colgar": 0.0328,+ "ninguno": 0.0319+ },+ "latency_ms": 114.47750002844259+ },+ {+ "id": "cl-024",+ "text": "No quiero hablar con una máquina, comuníqueme con una persona.",+ "gold": "recepcion",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "recepcion",+ "confidence": 0.8332,+ "probabilities": {+ "citas": 0.0275,+ "laboratorio": 0.0276,+ "farmacia": 0.0275,+ "emergencias": 0.0284,+ "recepcion": 0.8332,+ "colgar": 0.0291,+ "ninguno": 0.0268+ },+ "latency_ms": 121.18241598363966+ },+ {+ "id": "cl-025",+ "text": "Con la recepcionista, por favor.",+ "gold": "recepcion",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "recepcion",+ "confidence": 0.8786,+ "probabilities": {+ "citas": 0.0202,+ "laboratorio": 0.0196,+ "farmacia": 0.0196,+ "emergencias": 0.0203,+ "recepcion": 0.8786,+ "colgar": 0.0211,+ "ninguno": 0.0206+ },+ "latency_ms": 113.73558297054842+ },+ {+ "id": "cl-026",+ "text": "Muchas gracias, eso era todo. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.7863,+ "probabilities": {+ "citas": 0.0343,+ "laboratorio": 0.0336,+ "farmacia": 0.0338,+ "emergencias": 0.0375,+ "recepcion": 0.0374,+ "colgar": 0.7863,+ "ninguno": 0.0372+ },+ "latency_ms": 119.67629101127386+ },+ {+ "id": "cl-027",+ "text": "Vaya pues, muy amable, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.7987,+ "probabilities": {+ "citas": 0.0326,+ "laboratorio": 0.0311,+ "farmacia": 0.0318,+ "emergencias": 0.0343,+ "recepcion": 0.0347,+ "colgar": 0.7987,+ "ninguno": 0.0367+ },+ "latency_ms": 114.77612500311807+ },+ {+ "id": "cl-028",+ "text": "Ya no necesito nada más, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8056,+ "probabilities": {+ "citas": 0.0306,+ "laboratorio": 0.0304,+ "farmacia": 0.031,+ "emergencias": 0.0325,+ "recepcion": 0.033,+ "colgar": 0.8056,+ "ninguno": 0.0369+ },+ "latency_ms": 114.32400002377108+ },+ {+ "id": "cl-029",+ "text": "bueno gracias que pase buen dia",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.7782,+ "probabilities": {+ "citas": 0.0354,+ "laboratorio": 0.0351,+ "farmacia": 0.0357,+ "emergencias": 0.0382,+ "recepcion": 0.0386,+ "colgar": 0.7782,+ "ninguno": 0.0388+ },+ "latency_ms": 113.86391700943932+ },+ {+ "id": "cl-030",+ "text": "¿A qué hora abre la clínica?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8327,+ "probabilities": {+ "citas": 0.028,+ "laboratorio": 0.026,+ "farmacia": 0.0267,+ "emergencias": 0.0281,+ "recepcion": 0.0284,+ "colgar": 0.0301,+ "ninguno": 0.8327+ },+ "latency_ms": 117.96820804011077+ },+ {+ "id": "cl-031",+ "text": "¿Dónde están ubicados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8286,+ "probabilities": {+ "citas": 0.0281,+ "laboratorio": 0.0268,+ "farmacia": 0.0277,+ "emergencias": 0.0288,+ "recepcion": 0.0295,+ "colgar": 0.0304,+ "ninguno": 0.8286+ },+ "latency_ms": 113.60341601539403+ },+ {+ "id": "cl-032",+ "text": "¿Atienden los domingos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8177,+ "probabilities": {+ "citas": 0.0303,+ "laboratorio": 0.0285,+ "farmacia": 0.0292,+ "emergencias": 0.031,+ "recepcion": 0.0304,+ "colgar": 0.0329,+ "ninguno": 0.8177+ },+ "latency_ms": 113.67920803604648+ },+ {+ "id": "cl-033",+ "text": "Aló, buenas tardes.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "colgar",+ "confidence": 0.7718,+ "probabilities": {+ "citas": 0.033,+ "laboratorio": 0.0329,+ "farmacia": 0.0339,+ "emergencias": 0.035,+ "recepcion": 0.0342,+ "colgar": 0.7718,+ "ninguno": 0.0592+ },+ "latency_ms": 111.012916022446+ },+ {+ "id": "cl-034",+ "text": "¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8228,+ "probabilities": {+ "citas": 0.029,+ "laboratorio": 0.0277,+ "farmacia": 0.0284,+ "emergencias": 0.0297,+ "recepcion": 0.0307,+ "colgar": 0.0318,+ "ninguno": 0.8228+ },+ "latency_ms": 109.59791700588539+ },+ {+ "id": "cl-035",+ "text": "Un momento, que estoy buscando mi carné.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.7925,+ "probabilities": {+ "citas": 0.035,+ "laboratorio": 0.0329,+ "farmacia": 0.0367,+ "emergencias": 0.0342,+ "recepcion": 0.0336,+ "colgar": 0.0351,+ "ninguno": 0.7925+ },+ "latency_ms": 113.96712594432756+ },+ {+ "id": "cl-036",+ "text": "No quiero una cita, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8399,+ "probabilities": {+ "citas": 0.0258,+ "laboratorio": 0.0256,+ "farmacia": 0.0264,+ "emergencias": 0.0271,+ "recepcion": 0.0271,+ "colgar": 0.0282,+ "ninguno": 0.8399+ },+ "latency_ms": 115.01012498047203+ },+ {+ "id": "cl-037",+ "text": "No me pase con el laboratorio, ya tengo mis resultados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.4479,+ "probabilities": {+ "citas": 0.0223,+ "laboratorio": 0.434,+ "farmacia": 0.0259,+ "emergencias": 0.023,+ "recepcion": 0.0238,+ "colgar": 0.0231,+ "ninguno": 0.4479+ },+ "latency_ms": 114.06720901140943+ },+ {+ "id": "cl-038",+ "text": "No es una emergencia, solo es una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8625,+ "probabilities": {+ "citas": 0.0224,+ "laboratorio": 0.0217,+ "farmacia": 0.0219,+ "emergencias": 0.0233,+ "recepcion": 0.0239,+ "colgar": 0.0243,+ "ninguno": 0.8625+ },+ "latency_ms": 120.70704100187868+ },+ {+ "id": "cl-039",+ "text": "No necesito la farmacia, solo quería preguntar dónde quedan.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8533,+ "probabilities": {+ "citas": 0.0236,+ "laboratorio": 0.0228,+ "farmacia": 0.0239,+ "emergencias": 0.0245,+ "recepcion": 0.0254,+ "colgar": 0.0265,+ "ninguno": 0.8533+ },+ "latency_ms": 116.85758305247873+ },+ {+ "id": "cl-040",+ "text": "No cuelgue, todavía tengo otra duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8355,+ "probabilities": {+ "citas": 0.0265,+ "laboratorio": 0.0258,+ "farmacia": 0.0268,+ "emergencias": 0.0274,+ "recepcion": 0.029,+ "colgar": 0.029,+ "ninguno": 0.8355+ },+ "latency_ms": 118.72166697867215+ },+ {+ "id": "cl-041",+ "text": "No me transfiera con nadie todavía, primero dígame usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8205,+ "probabilities": {+ "citas": 0.0293,+ "laboratorio": 0.0275,+ "farmacia": 0.0284,+ "emergencias": 0.0302,+ "recepcion": 0.0317,+ "colgar": 0.0324,+ "ninguno": 0.8205+ },+ "latency_ms": 119.66441699769348+ },+ {+ "id": "cl-042",+ "text": "no no es urgente no me pase con emergencias",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8251,+ "probabilities": {+ "citas": 0.0305,+ "laboratorio": 0.0273,+ "farmacia": 0.0276,+ "emergencias": 0.0295,+ "recepcion": 0.0296,+ "colgar": 0.0304,+ "ninguno": 0.8251+ },+ "latency_ms": 118.5357499634847+ },+ {+ "id": "cl-043",+ "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.",+ "gold": "citas",+ "tags": [+ "hard"+ ],+ "predicted": "citas",+ "confidence": 0.8188,+ "probabilities": {+ "citas": 0.8188,+ "laboratorio": 0.0393,+ "farmacia": 0.0288,+ "emergencias": 0.0287,+ "recepcion": 0.029,+ "colgar": 0.0291,+ "ninguno": 0.0263+ },+ "latency_ms": 119.37941604992375+ },+ {+ "id": "cl-044",+ "text": "El doctor de emergencias me dejó una receta y quiero comprarla.",+ "gold": "farmacia",+ "tags": [+ "hard"+ ],+ "predicted": "farmacia",+ "confidence": 0.8002,+ "probabilities": {+ "citas": 0.0324,+ "laboratorio": 0.0322,+ "farmacia": 0.8002,+ "emergencias": 0.0364,+ "recepcion": 0.0331,+ "colgar": 0.0332,+ "ninguno": 0.0325+ },+ "latency_ms": 120.68625004030764+ },+ {+ "id": "cl-045",+ "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.",+ "gold": "laboratorio",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.787,+ "probabilities": {+ "citas": 0.031,+ "laboratorio": 0.787,+ "farmacia": 0.0319,+ "emergencias": 0.0305,+ "recepcion": 0.0297,+ "colgar": 0.0322,+ "ninguno": 0.0577+ },+ "latency_ms": 125.11362496297807+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__frustration__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__frustration__es_criteria.jsonnew file mode 100644index 00000000..8865d598--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__frustration__es_criteria.json@@ -0,0 +1,293 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "frustration",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3580.32266900409+ },+ "summary": {+ "n": 9,+ "accuracy": 0.6666666666666666,+ "macro_f1": 0.26666666666666666,+ "ece": 0.10091111111111119,+ "mean_confidence": 0.7675777777777779,+ "majority_baseline": 1.0,+ "wrong_actions": 3,+ "by_tag": {+ "frustration": {+ "n": 9,+ "accuracy": 0.6666666666666666+ },+ "insult": {+ "n": 1,+ "accuracy": 1.0+ },+ "short": {+ "n": 3,+ "accuracy": 1.0+ },+ "swearing": {+ "n": 3,+ "accuracy": 0.3333333333333333+ }+ },+ "confusion": {+ "ninguno->operadora": 2,+ "ninguno->soporte": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 2,+ "coverage": 0.2222222222222222,+ "action_recall": null,+ "wrong": 2,+ "precision": 0.0+ },+ {+ "threshold": 0.6,+ "fast": 2,+ "coverage": 0.2222222222222222,+ "action_recall": null,+ "wrong": 2,+ "precision": 0.0+ },+ {+ "threshold": 0.7,+ "fast": 2,+ "coverage": 0.2222222222222222,+ "action_recall": null,+ "wrong": 2,+ "precision": 0.0+ },+ {+ "threshold": 0.8,+ "fast": 1,+ "coverage": 0.1111111111111111,+ "action_recall": null,+ "wrong": 1,+ "precision": 0.0+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 126.37541600270197,+ "p95": 152.14687504339963,+ "min": 119.20062598073855+ },+ "borderline": []+ },+ "records": [+ {+ "id": "fr-001",+ "text": "te estoy pidiendo que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8471,+ "probabilities": {+ "ventas": 0.0301,+ "soporte": 0.0284,+ "facturacion": 0.0298,+ "operadora": 0.0319,+ "colgar": 0.0326,+ "ninguno": 0.8471+ },+ "latency_ms": 125.57279202155769+ },+ {+ "id": "fr-002",+ "text": "te dije que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.841,+ "probabilities": {+ "ventas": 0.0308,+ "soporte": 0.0313,+ "facturacion": 0.0308,+ "operadora": 0.0328,+ "colgar": 0.0332,+ "ninguno": 0.841+ },+ "latency_ms": 134.408583980985+ },+ {+ "id": "fr-003",+ "text": "no estas entendiendo?",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8468,+ "probabilities": {+ "ventas": 0.0303,+ "soporte": 0.0297,+ "facturacion": 0.0302,+ "operadora": 0.0309,+ "colgar": 0.0321,+ "ninguno": 0.8468+ },+ "latency_ms": 126.33154197828844+ },+ {+ "id": "fr-004",+ "text": "maldita sea te dije que no!",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "ninguno",+ "confidence": 0.8277,+ "probabilities": {+ "ventas": 0.0325,+ "soporte": 0.0374,+ "facturacion": 0.0323,+ "operadora": 0.0344,+ "colgar": 0.0358,+ "ninguno": 0.8277+ },+ "latency_ms": 128.85504099540412+ },+ {+ "id": "fr-005",+ "text": "carajo no entiendo porque repetis lo mismo",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "operadora",+ "confidence": 0.4544,+ "probabilities": {+ "ventas": 0.0379,+ "soporte": 0.0395,+ "facturacion": 0.0382,+ "operadora": 0.4544,+ "colgar": 0.039,+ "ninguno": 0.3909+ },+ "latency_ms": 152.14687504339963+ },+ {+ "id": "fr-006",+ "text": "que tonteras decis",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "predicted": "operadora",+ "confidence": 0.7047,+ "probabilities": {+ "ventas": 0.0487,+ "soporte": 0.0867,+ "facturacion": 0.0453,+ "operadora": 0.7047,+ "colgar": 0.0467,+ "ninguno": 0.068+ },+ "latency_ms": 119.20062598073855+ },+ {+ "id": "fr-007",+ "text": "joder esto no sirve",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "soporte",+ "confidence": 0.8285,+ "probabilities": {+ "ventas": 0.0326,+ "soporte": 0.8285,+ "facturacion": 0.0318,+ "operadora": 0.0348,+ "colgar": 0.0329,+ "ninguno": 0.0393+ },+ "latency_ms": 123.78204200649634+ },+ {+ "id": "fr-008",+ "text": "no me estas respondiendo lo que te pregunte",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "predicted": "ninguno",+ "confidence": 0.8387,+ "probabilities": {+ "ventas": 0.0307,+ "soporte": 0.0333,+ "facturacion": 0.031,+ "operadora": 0.0318,+ "colgar": 0.0345,+ "ninguno": 0.8387+ },+ "latency_ms": 127.58620898239315+ },+ {+ "id": "fr-009",+ "text": "eres demasiado tonto",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "insult"+ ],+ "predicted": "ninguno",+ "confidence": 0.7193,+ "probabilities": {+ "ventas": 0.0444,+ "soporte": 0.0437,+ "facturacion": 0.0439,+ "operadora": 0.1045,+ "colgar": 0.0441,+ "ninguno": 0.7193+ },+ "latency_ms": 126.37541600270197+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__independent_cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__independent_cases__es_criteria.jsonnew file mode 100644index 00000000..58252384--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__independent_cases__es_criteria.json@@ -0,0 +1,703 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3427.0100849680603+ },+ "summary": {+ "n": 31,+ "accuracy": 0.9354838709677419,+ "macro_f1": 0.9017857142857143,+ "ece": 0.1905,+ "mean_confidence": 0.7982483870967743,+ "majority_baseline": 0.45161290322580644,+ "wrong_actions": 2,+ "by_tag": {+ "need-with-no": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "noise": {+ "n": 1,+ "accuracy": 1.0+ },+ "redirected": {+ "n": 4,+ "accuracy": 0.75+ },+ "refused": {+ "n": 13,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "facturacion->operadora": 2+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 16,+ "coverage": 0.5161290322580645,+ "action_recall": 0.8235294117647058,+ "wrong": 2,+ "precision": 0.875+ },+ {+ "threshold": 0.6,+ "fast": 14,+ "coverage": 0.45161290322580644,+ "action_recall": 0.7647058823529411,+ "wrong": 1,+ "precision": 0.9285714285714286+ },+ {+ "threshold": 0.7,+ "fast": 13,+ "coverage": 0.41935483870967744,+ "action_recall": 0.7058823529411765,+ "wrong": 1,+ "precision": 0.9230769230769231+ },+ {+ "threshold": 0.8,+ "fast": 12,+ "coverage": 0.3870967741935484,+ "action_recall": 0.7058823529411765,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 132.41891603684053,+ "p95": 156.57758299494162,+ "min": 121.3633330189623+ },+ "borderline": []+ },+ "records": [+ {+ "id": "ic-001",+ "text": "No, ni me meta al área de ventas que yo estoy llamando por una factura.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "facturacion",+ "confidence": 0.8782,+ "probabilities": {+ "ventas": 0.0263,+ "soporte": 0.0245,+ "facturacion": 0.8782,+ "operadora": 0.0242,+ "colgar": 0.0247,+ "ninguno": 0.0221+ },+ "latency_ms": 139.99029202386737+ },+ {+ "id": "ic-002",+ "text": "Soy cliente, no me conecte con los de contratos, necesito hablar con el soporte técnico.",+ "gold": "soporte",+ "tags": [+ "redirected"+ ],+ "predicted": "soporte",+ "confidence": 0.8829,+ "probabilities": {+ "ventas": 0.0237,+ "soporte": 0.8829,+ "facturacion": 0.0237,+ "operadora": 0.0235,+ "colgar": 0.0234,+ "ninguno": 0.0227+ },+ "latency_ms": 137.3509590048343+ },+ {+ "id": "ic-003",+ "text": "Quiero hablar con alguien del área de cobros, no me saque al departamento comercial.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "operadora",+ "confidence": 0.7984,+ "probabilities": {+ "ventas": 0.0318,+ "soporte": 0.0299,+ "facturacion": 0.0774,+ "operadora": 0.7984,+ "colgar": 0.0324,+ "ninguno": 0.0301+ },+ "latency_ms": 157.48270798940212+ },+ {+ "id": "ic-004",+ "text": "Escúchame bien, no me mande con los de ventas, estoy llamando sobre mi saldo.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "facturacion",+ "confidence": 0.2985,+ "probabilities": {+ "ventas": 0.1266,+ "soporte": 0.1263,+ "facturacion": 0.2985,+ "operadora": 0.1193,+ "colgar": 0.1224,+ "ninguno": 0.2069+ },+ "latency_ms": 148.2220419566147+ },+ {+ "id": "ic-005",+ "text": "Oiga, mira que no me funciona la internet hace tres días",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8404,+ "probabilities": {+ "ventas": 0.0318,+ "soporte": 0.8404,+ "facturacion": 0.0319,+ "operadora": 0.0317,+ "colgar": 0.0323,+ "ninguno": 0.0319+ },+ "latency_ms": 143.53966602357104+ },+ {+ "id": "ic-006",+ "text": "Holaaa, no me llegó la factura y necesito hablar con alguien",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.5078,+ "probabilities": {+ "ventas": 0.0364,+ "soporte": 0.0413,+ "facturacion": 0.3418,+ "operadora": 0.5078,+ "colgar": 0.0365,+ "ninguno": 0.0361+ },+ "latency_ms": 131.68650004081428+ },+ {+ "id": "ic-007",+ "text": "Oiga, yo no quiero hablar con nadie, no me pasen al departamento de soporte técnico, llámame directamente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.852,+ "probabilities": {+ "ventas": 0.0287,+ "soporte": 0.0289,+ "facturacion": 0.0292,+ "operadora": 0.0298,+ "colgar": 0.0315,+ "ninguno": 0.852+ },+ "latency_ms": 156.57758299494162+ },+ {+ "id": "ic-008",+ "text": "No me pongan con soporte, ya sé lo que hace, ¿podés darme mi número?",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8555,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.028,+ "facturacion": 0.0285,+ "operadora": 0.0291,+ "colgar": 0.0312,+ "ninguno": 0.8555+ },+ "latency_ms": 139.38933302415535+ },+ {+ "id": "ic-009",+ "text": "No me manden al área de soporte, quiero que me respondan acá, al cliente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8417,+ "probabilities": {+ "ventas": 0.037,+ "soporte": 0.0289,+ "facturacion": 0.0306,+ "operadora": 0.0301,+ "colgar": 0.0316,+ "ninguno": 0.8417+ },+ "latency_ms": 129.20266698347405+ },+ {+ "id": "ic-010",+ "text": "Mire, no me pongan con el soporte, eso ya lo saben, yo les hablo a ustedes.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8797,+ "probabilities": {+ "ventas": 0.0284,+ "soporte": 0.0218,+ "facturacion": 0.0224,+ "operadora": 0.0235,+ "colgar": 0.024,+ "ninguno": 0.8797+ },+ "latency_ms": 132.68020801478997+ },+ {+ "id": "ic-011",+ "text": "No me pasen con soporte técnico, llámeme directo al celular, no quiero hablar con nadie más.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.848,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.0298,+ "facturacion": 0.0295,+ "operadora": 0.0317,+ "colgar": 0.0316,+ "ninguno": 0.848+ },+ "latency_ms": 133.37479199981317+ },+ {+ "id": "ic-012",+ "text": "Oye, ¿saben por qué nunca me funciona el internet?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8317,+ "probabilities": {+ "ventas": 0.0314,+ "soporte": 0.8317,+ "facturacion": 0.0317,+ "operadora": 0.0326,+ "colgar": 0.033,+ "ninguno": 0.0396+ },+ "latency_ms": 125.9510830277577+ },+ {+ "id": "ic-013",+ "text": "Bueno, tengo un problema que no me deja usar la conexión.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8419,+ "probabilities": {+ "ventas": 0.0319,+ "soporte": 0.8419,+ "facturacion": 0.0317,+ "operadora": 0.0323,+ "colgar": 0.0312,+ "ninguno": 0.031+ },+ "latency_ms": 125.16004202188924+ },+ {+ "id": "ic-014",+ "text": "¿Alguien me ayuda con el servicio porque no funciona?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8476,+ "probabilities": {+ "ventas": 0.0291,+ "soporte": 0.8476,+ "facturacion": 0.0288,+ "operadora": 0.0295,+ "colgar": 0.0302,+ "ninguno": 0.0348+ },+ "latency_ms": 125.43854204704985+ },+ {+ "id": "ic-015",+ "text": "No me funcionó el equipo que me enviaron, por favor arreglenlo.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8435,+ "probabilities": {+ "ventas": 0.0302,+ "soporte": 0.8435,+ "facturacion": 0.0303,+ "operadora": 0.0304,+ "colgar": 0.0307,+ "ninguno": 0.0348+ },+ "latency_ms": 145.80191700952128+ },+ {+ "id": "ic-016",+ "text": "No quiero pasar al de facturación, haganme la atención aquí.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8429,+ "probabilities": {+ "ventas": 0.0351,+ "soporte": 0.0295,+ "facturacion": 0.0302,+ "operadora": 0.0308,+ "colgar": 0.0316,+ "ninguno": 0.8429+ },+ "latency_ms": 129.42008301615715+ },+ {+ "id": "ic-017",+ "text": "Cuidado, no me pasen a facturación, es muy largo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8495,+ "probabilities": {+ "ventas": 0.0296,+ "soporte": 0.0281,+ "facturacion": 0.0296,+ "operadora": 0.0312,+ "colgar": 0.032,+ "ninguno": 0.8495+ },+ "latency_ms": 128.16995801404119+ },+ {+ "id": "ic-018",+ "text": "No me manden a facturación, por favor.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8597,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.0261,+ "facturacion": 0.0274,+ "operadora": 0.0282,+ "colgar": 0.0296,+ "ninguno": 0.8597+ },+ "latency_ms": 130.61920896871015+ },+ {+ "id": "ic-019",+ "text": "Ni se les ocurra pasarme a facturación, no estoy interesada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8512,+ "probabilities": {+ "ventas": 0.0313,+ "soporte": 0.0275,+ "facturacion": 0.0294,+ "operadora": 0.0296,+ "colgar": 0.0311,+ "ninguno": 0.8512+ },+ "latency_ms": 135.09629102190956+ },+ {+ "id": "ic-020",+ "text": "Oiga, estoy llamando por un asunto serio, me está cobrando una mensualidad y no me deja ver la factura ni el detalle del pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8179,+ "probabilities": {+ "ventas": 0.0355,+ "soporte": 0.0387,+ "facturacion": 0.8179,+ "operadora": 0.035,+ "colgar": 0.0365,+ "ninguno": 0.0363+ },+ "latency_ms": 168.36287500336766+ },+ {+ "id": "ic-021",+ "text": "Hola, buenos días, tengo el saldo pendiente y no me está llegando el cobro, necesitan revisar el caso urgente.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.633,+ "probabilities": {+ "ventas": 0.0662,+ "soporte": 0.1068,+ "facturacion": 0.633,+ "operadora": 0.0659,+ "colgar": 0.0644,+ "ninguno": 0.0638+ },+ "latency_ms": 147.45754102477804+ },+ {+ "id": "ic-022",+ "text": "Buenas tardes, disculpen que llame, me hicieron un cobro adicional y no me aparece la factura para validar el pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8281,+ "probabilities": {+ "ventas": 0.0341,+ "soporte": 0.0351,+ "facturacion": 0.8281,+ "operadora": 0.0342,+ "colgar": 0.0344,+ "ninguno": 0.0341+ },+ "latency_ms": 147.9892089846544+ },+ {+ "id": "ic-023",+ "text": "Saludos, llamo para reclamar el saldo que me deben y no puedo generar una orden de pago ni ver el estado del reembolso.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.5194,+ "probabilities": {+ "ventas": 0.0972,+ "soporte": 0.1022,+ "facturacion": 0.5194,+ "operadora": 0.0941,+ "colgar": 0.098,+ "ninguno": 0.0891+ },+ "latency_ms": 134.73979197442532+ },+ {+ "id": "ic-024",+ "text": "¿Sigo en línea?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8426,+ "probabilities": {+ "ventas": 0.0303,+ "soporte": 0.0309,+ "facturacion": 0.0309,+ "operadora": 0.032,+ "colgar": 0.0332,+ "ninguno": 0.8426+ },+ "latency_ms": 121.3633330189623+ },+ {+ "id": "ic-025",+ "text": "No, espera, no me cuelgues, me falta algo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8443,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.0294,+ "facturacion": 0.0304,+ "operadora": 0.0323,+ "colgar": 0.0324,+ "ninguno": 0.8443+ },+ "latency_ms": 130.0600420217961+ },+ {+ "id": "ic-026",+ "text": "No me corten la línea, no se vayan.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8489,+ "probabilities": {+ "ventas": 0.0296,+ "soporte": 0.0289,+ "facturacion": 0.0296,+ "operadora": 0.0301,+ "colgar": 0.0329,+ "ninguno": 0.8489+ },+ "latency_ms": 124.97429101495072+ },+ {+ "id": "ic-027",+ "text": "Ya, no me cuelgues, sigo aquí esperando.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.85,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.0294,+ "facturacion": 0.0295,+ "operadora": 0.0307,+ "colgar": 0.031,+ "ninguno": 0.85+ },+ "latency_ms": 122.82608397072181+ },+ {+ "id": "ic-028",+ "text": "Me quedé en pausa, no me vayan a cortar.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8299,+ "probabilities": {+ "ventas": 0.0336,+ "soporte": 0.0323,+ "facturacion": 0.0334,+ "operadora": 0.0355,+ "colgar": 0.0354,+ "ninguno": 0.8299+ },+ "latency_ms": 123.13504202757031+ },+ {+ "id": "ic-029",+ "text": "Quiero hablar con el humano, por favor, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.826,+ "probabilities": {+ "ventas": 0.0346,+ "soporte": 0.0342,+ "facturacion": 0.0337,+ "operadora": 0.826,+ "colgar": 0.0364,+ "ninguno": 0.0351+ },+ "latency_ms": 131.75887503894046+ },+ {+ "id": "ic-030",+ "text": "¿No hay nadie ahí? No quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8306,+ "probabilities": {+ "ventas": 0.0332,+ "soporte": 0.0347,+ "facturacion": 0.032,+ "operadora": 0.8306,+ "colgar": 0.0361,+ "ninguno": 0.0334+ },+ "latency_ms": 123.55200096499175+ },+ {+ "id": "ic-031",+ "text": "Oiga, quiero hablar con alguien en vivo, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8239,+ "probabilities": {+ "ventas": 0.0352,+ "soporte": 0.0338,+ "facturacion": 0.0348,+ "operadora": 0.8239,+ "colgar": 0.0371,+ "ninguno": 0.0351+ },+ "latency_ms": 132.41891603684053+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__independent_clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__independent_clinic__es_criteria.jsonnew file mode 100644index 00000000..95d9180c--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v4__independent_clinic__es_criteria.json@@ -0,0 +1,515 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3338.6334179667756+ },+ "summary": {+ "n": 20,+ "accuracy": 0.9,+ "macro_f1": 0.8873015873015873,+ "ece": 0.19598000000000015,+ "mean_confidence": 0.8132399999999999,+ "majority_baseline": 0.25,+ "wrong_actions": 0,+ "by_tag": {+ "direct": {+ "n": 1,+ "accuracy": 1.0+ },+ "need-with-no": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "redirected": {+ "n": 2,+ "accuracy": 0.5+ },+ "refused": {+ "n": 4,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "citas->ninguno": 1,+ "emergencias->ninguno": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.6,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.7,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.8,+ "fast": 12,+ "coverage": 0.6,+ "action_recall": 0.75,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 123.60175000503659,+ "p95": 133.41204199241474,+ "min": 110.451333981473+ },+ "borderline": []+ },+ "records": [+ {+ "id": "il-001",+ "text": "No, no, no me pasen a esa caja ni al departamento de turnos.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8355,+ "probabilities": {+ "citas": 0.0268,+ "laboratorio": 0.0261,+ "farmacia": 0.0274,+ "emergencias": 0.0281,+ "recepcion": 0.0276,+ "colgar": 0.0284,+ "ninguno": 0.8355+ },+ "latency_ms": 123.60175000503659+ },+ {+ "id": "il-002",+ "text": "Hola, quería ver si se puede arreglar mi cita porque no puedo ir a la clínica",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8096,+ "probabilities": {+ "citas": 0.8096,+ "laboratorio": 0.0292,+ "farmacia": 0.031,+ "emergencias": 0.0358,+ "recepcion": 0.03,+ "colgar": 0.0321,+ "ninguno": 0.0322+ },+ "latency_ms": 124.64220897527412+ },+ {+ "id": "il-003",+ "text": "Buenas tardes, necesito saber si hago trámite para cambiar o anular la cita ya que nunca me llegó la confirmación",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8148,+ "probabilities": {+ "citas": 0.8148,+ "laboratorio": 0.0296,+ "farmacia": 0.0304,+ "emergencias": 0.0304,+ "recepcion": 0.0299,+ "colgar": 0.0322,+ "ninguno": 0.0327+ },+ "latency_ms": 128.95820901030675+ },+ {+ "id": "il-004",+ "text": "Quisiera pedir ayuda porque no puedo ir a mi consulta médica y quiero cancelarla o cambiarla",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8125,+ "probabilities": {+ "citas": 0.8125,+ "laboratorio": 0.0302,+ "farmacia": 0.0339,+ "emergencias": 0.032,+ "recepcion": 0.0303,+ "colgar": 0.0314,+ "ninguno": 0.0296+ },+ "latency_ms": 119.81758399633691+ },+ {+ "id": "il-005",+ "text": "Oiga, mira, por favor, no la pasen para ahí, a lo del laboratorio, no quiero que me hagan análisis de nada, ni nada de eso.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8224,+ "probabilities": {+ "citas": 0.0288,+ "laboratorio": 0.0288,+ "farmacia": 0.0289,+ "emergencias": 0.0292,+ "recepcion": 0.0306,+ "colgar": 0.0312,+ "ninguno": 0.8224+ },+ "latency_ms": 145.0377919827588+ },+ {+ "id": "il-006",+ "text": "Soy yo, no me pasen al área de laboratorio, por favor, no quiero exámenes ni nada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8269,+ "probabilities": {+ "citas": 0.029,+ "laboratorio": 0.0289,+ "farmacia": 0.0285,+ "emergencias": 0.029,+ "recepcion": 0.0292,+ "colgar": 0.0285,+ "ninguno": 0.8269+ },+ "latency_ms": 122.73979198653251+ },+ {+ "id": "il-007",+ "text": "Necesito que revisen los resultados, por favor, ya no me llegó la información que me mandaron.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.815,+ "probabilities": {+ "citas": 0.0304,+ "laboratorio": 0.815,+ "farmacia": 0.0314,+ "emergencias": 0.0299,+ "recepcion": 0.0305,+ "colgar": 0.0314,+ "ninguno": 0.0315+ },+ "latency_ms": 123.00929200137034+ },+ {+ "id": "il-008",+ "text": "Oigan, urgente: me dijeron que me envíen los exámenes pero no me funciona el sistema.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.7963,+ "probabilities": {+ "citas": 0.0329,+ "laboratorio": 0.7963,+ "farmacia": 0.0326,+ "emergencias": 0.0393,+ "recepcion": 0.0323,+ "colgar": 0.0338,+ "ninguno": 0.0328+ },+ "latency_ms": 127.46187503216788+ },+ {+ "id": "il-009",+ "text": "¿Alguien ahí me puede llamar para explicarme los resultados? No me puedo mover para ir.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8182,+ "probabilities": {+ "citas": 0.0302,+ "laboratorio": 0.8182,+ "farmacia": 0.0288,+ "emergencias": 0.0299,+ "recepcion": 0.0292,+ "colgar": 0.0311,+ "ninguno": 0.0325+ },+ "latency_ms": 122.4299999885261+ },+ {+ "id": "il-010",+ "text": "Quiero que me atiendan con mis exámenes, no me funciona lo que me enviaron ayer.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8483,+ "probabilities": {+ "citas": 0.0252,+ "laboratorio": 0.8483,+ "farmacia": 0.0246,+ "emergencias": 0.0256,+ "recepcion": 0.0254,+ "colgar": 0.0262,+ "ninguno": 0.0247+ },+ "latency_ms": 121.97508302051574+ },+ {+ "id": "il-011",+ "text": "Por favor, necesitan revisar mis análisis, nunca me han dado el resultado que me corresponde.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.823,+ "probabilities": {+ "citas": 0.0299,+ "laboratorio": 0.823,+ "farmacia": 0.0282,+ "emergencias": 0.0302,+ "recepcion": 0.0304,+ "colgar": 0.0302,+ "ninguno": 0.0282+ },+ "latency_ms": 126.1275410070084+ },+ {+ "id": "il-012",+ "text": "Quiero hablar con atención humana, no con la farmacia, por favor.",+ "gold": "recepcion",+ "tags": [+ "redirected"+ ],+ "predicted": "recepcion",+ "confidence": 0.8044,+ "probabilities": {+ "citas": 0.0323,+ "laboratorio": 0.0319,+ "farmacia": 0.0314,+ "emergencias": 0.0336,+ "recepcion": 0.8044,+ "colgar": 0.0342,+ "ninguno": 0.0323+ },+ "latency_ms": 127.33345798915252+ },+ {+ "id": "il-013",+ "text": "Bueno, hola, soy la señora Rodríguez, tengo una inquietud con el medicamento que me dejaron recetado, no me llegó.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.8006,+ "probabilities": {+ "citas": 0.0315,+ "laboratorio": 0.033,+ "farmacia": 0.8006,+ "emergencias": 0.0356,+ "recepcion": 0.0332,+ "colgar": 0.0333,+ "ninguno": 0.0328+ },+ "latency_ms": 131.7299579968676+ },+ {+ "id": "il-014",+ "text": "Bueno, hola, soy el señor de la mesa cuatro, me dejaron recetar unas cosas pero nunca me las dieron.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.8013,+ "probabilities": {+ "citas": 0.0325,+ "laboratorio": 0.0308,+ "farmacia": 0.8013,+ "emergencias": 0.0325,+ "recepcion": 0.0339,+ "colgar": 0.0353,+ "ninguno": 0.0336+ },+ "latency_ms": 131.83412497164682+ },+ {+ "id": "il-015",+ "text": "Oiga, ¿me pueden pasar con el médico de urgencias?",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.8941,+ "probabilities": {+ "citas": 0.0174,+ "laboratorio": 0.0178,+ "farmacia": 0.0169,+ "emergencias": 0.8941,+ "recepcion": 0.0176,+ "colgar": 0.0187,+ "ninguno": 0.0175+ },+ "latency_ms": 119.80004201177508+ },+ {+ "id": "il-016",+ "text": "Escúcheme, yo no quiero ser atendido en la emergencia.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8151,+ "probabilities": {+ "citas": 0.0294,+ "laboratorio": 0.0282,+ "farmacia": 0.0292,+ "emergencias": 0.0359,+ "recepcion": 0.0316,+ "colgar": 0.0306,+ "ninguno": 0.8151+ },+ "latency_ms": 117.92645900277421+ },+ {+ "id": "il-017",+ "text": "Quiero consulta pero no quiero que me pongan en la sala de emergencias.",+ "gold": "citas",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.7445,+ "probabilities": {+ "citas": 0.0421,+ "laboratorio": 0.0362,+ "farmacia": 0.0363,+ "emergencias": 0.0612,+ "recepcion": 0.0436,+ "colgar": 0.0361,+ "ninguno": 0.7445+ },+ "latency_ms": 133.41204199241474+ },+ {+ "id": "il-018",+ "text": "Ayúdeme rápido, por favor, no puedo moverme de la cama",+ "gold": "emergencias",+ "tags": [+ "need-with-no"+ ],+ "predicted": "ninguno",+ "confidence": 0.761,+ "probabilities": {+ "citas": 0.0368,+ "laboratorio": 0.0365,+ "farmacia": 0.0378,+ "emergencias": 0.0455,+ "recepcion": 0.039,+ "colgar": 0.0433,+ "ninguno": 0.761+ },+ "latency_ms": 116.13341700285673+ },+ {+ "id": "il-019",+ "text": "Hable conmigo, no quiero hablar con la grabación.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.7904,+ "probabilities": {+ "citas": 0.0364,+ "laboratorio": 0.0344,+ "farmacia": 0.0337,+ "emergencias": 0.0353,+ "recepcion": 0.7904,+ "colgar": 0.0362,+ "ninguno": 0.0337+ },+ "latency_ms": 110.451333981473+ },+ {+ "id": "il-020",+ "text": "No quiero hablar con el sistema, quiero hablar con el humano.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.8309,+ "probabilities": {+ "citas": 0.0281,+ "laboratorio": 0.0278,+ "farmacia": 0.0273,+ "emergencias": 0.0287,+ "recepcion": 0.8309,+ "colgar": 0.0297,+ "ninguno": 0.0274+ },+ "latency_ms": 112.68858297262341+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__cases__es_criteria.jsonnew file mode 100644index 00000000..1139263a--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__cases__es_criteria.json@@ -0,0 +1,2415 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 5567.442460975144+ },+ "summary": {+ "n": 112,+ "accuracy": 0.875,+ "macro_f1": 0.863383344205262,+ "ece": 0.11423303571428584,+ "mean_confidence": 0.85200625,+ "majority_baseline": 0.3125,+ "wrong_actions": 9,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 1.0+ },+ "direct": {+ "n": 18,+ "accuracy": 0.8333333333333334+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.7692307692307693+ },+ "hard": {+ "n": 6,+ "accuracy": 0.6666666666666666+ },+ "hn": {+ "n": 9,+ "accuracy": 1.0+ },+ "human": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.8666666666666667+ },+ "negation": {+ "n": 15,+ "accuracy": 0.9333333333333333+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.8888888888888888+ },+ "open": {+ "n": 11,+ "accuracy": 1.0+ },+ "short": {+ "n": 5,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "colgar->ninguno": 3,+ "ninguno->colgar": 1,+ "ninguno->operadora": 1,+ "operadora->colgar": 1,+ "soporte->colgar": 1,+ "soporte->ninguno": 1,+ "soporte->operadora": 2,+ "soporte->ventas": 1,+ "ventas->facturacion": 1,+ "ventas->ninguno": 1,+ "ventas->soporte": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 73,+ "coverage": 0.6517857142857143,+ "action_recall": 0.8441558441558441,+ "wrong": 8,+ "precision": 0.8904109589041096+ },+ {+ "threshold": 0.6,+ "fast": 71,+ "coverage": 0.6339285714285714,+ "action_recall": 0.8311688311688312,+ "wrong": 7,+ "precision": 0.9014084507042254+ },+ {+ "threshold": 0.7,+ "fast": 71,+ "coverage": 0.6339285714285714,+ "action_recall": 0.8311688311688312,+ "wrong": 7,+ "precision": 0.9014084507042254+ },+ {+ "threshold": 0.8,+ "fast": 69,+ "coverage": 0.6160714285714286,+ "action_recall": 0.8311688311688312,+ "wrong": 5,+ "precision": 0.927536231884058+ },+ {+ "threshold": 0.9,+ "fast": 11,+ "coverage": 0.09821428571428571,+ "action_recall": 0.11688311688311688,+ "wrong": 2,+ "precision": 0.8181818181818182+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 137.6619579968974,+ "p95": 163.980207988061,+ "min": 121.69295898638666+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "ninguno",+ "confidence": 0.8654+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "facturacion",+ "confidence": 0.863+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ninguno",+ "confidence": 0.8767+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "facturacion",+ "confidence": 0.8675+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.945,+ "probabilities": {+ "ventas": 0.945,+ "soporte": 0.011,+ "facturacion": 0.011,+ "operadora": 0.0112,+ "colgar": 0.0107,+ "ninguno": 0.0111+ },+ "latency_ms": 136.07962598325685+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9436,+ "probabilities": {+ "ventas": 0.9436,+ "soporte": 0.0112,+ "facturacion": 0.0113,+ "operadora": 0.0113,+ "colgar": 0.0109,+ "ninguno": 0.0118+ },+ "latency_ms": 137.56116695003584+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9446,+ "probabilities": {+ "ventas": 0.9446,+ "soporte": 0.0111,+ "facturacion": 0.0112,+ "operadora": 0.0114,+ "colgar": 0.0107,+ "ninguno": 0.0109+ },+ "latency_ms": 135.94320899574086+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.9462,+ "probabilities": {+ "ventas": 0.9462,+ "soporte": 0.0108,+ "facturacion": 0.0108,+ "operadora": 0.011,+ "colgar": 0.0101,+ "ninguno": 0.0111+ },+ "latency_ms": 132.25666602374986+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.8767,+ "probabilities": {+ "ventas": 0.8767,+ "soporte": 0.0234,+ "facturacion": 0.0242,+ "operadora": 0.0255,+ "colgar": 0.0237,+ "ninguno": 0.0266+ },+ "latency_ms": 139.87370795803145+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.4653,+ "probabilities": {+ "ventas": 0.4404,+ "soporte": 0.4653,+ "facturacion": 0.0191,+ "operadora": 0.02,+ "colgar": 0.0188,+ "ninguno": 0.0364+ },+ "latency_ms": 190.29841700103134+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8661,+ "probabilities": {+ "ventas": 0.8661,+ "soporte": 0.0248,+ "facturacion": 0.0258,+ "operadora": 0.0257,+ "colgar": 0.025,+ "ninguno": 0.0326+ },+ "latency_ms": 144.00058303726837+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8397,+ "probabilities": {+ "ventas": 0.8397,+ "soporte": 0.0279,+ "facturacion": 0.042,+ "operadora": 0.0291,+ "colgar": 0.0287,+ "ninguno": 0.0326+ },+ "latency_ms": 155.12574999593198+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8742,+ "probabilities": {+ "ventas": 0.8742,+ "soporte": 0.0233,+ "facturacion": 0.024,+ "operadora": 0.0258,+ "colgar": 0.0241,+ "ninguno": 0.0285+ },+ "latency_ms": 163.980207988061+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8576,+ "probabilities": {+ "ventas": 0.8576,+ "soporte": 0.0272,+ "facturacion": 0.0284,+ "operadora": 0.0281,+ "colgar": 0.0275,+ "ninguno": 0.0313+ },+ "latency_ms": 186.16554199252278+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8274,+ "probabilities": {+ "ventas": 0.8274,+ "soporte": 0.0254,+ "facturacion": 0.0256,+ "operadora": 0.0285,+ "colgar": 0.0251,+ "ninguno": 0.068+ },+ "latency_ms": 197.37579103093594+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.7634,+ "probabilities": {+ "ventas": 0.0719,+ "soporte": 0.0378,+ "facturacion": 0.0501,+ "operadora": 0.0395,+ "colgar": 0.0373,+ "ninguno": 0.7634+ },+ "latency_ms": 153.00808305619285+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8976,+ "probabilities": {+ "ventas": 0.8976,+ "soporte": 0.0203,+ "facturacion": 0.0209,+ "operadora": 0.0204,+ "colgar": 0.0197,+ "ninguno": 0.0211+ },+ "latency_ms": 165.88279197458178+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.875,+ "probabilities": {+ "ventas": 0.875,+ "soporte": 0.0243,+ "facturacion": 0.0251,+ "operadora": 0.0246,+ "colgar": 0.0243,+ "ninguno": 0.0268+ },+ "latency_ms": 148.80029199412093+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8594,+ "probabilities": {+ "ventas": 0.0252,+ "soporte": 0.8594,+ "facturacion": 0.0255,+ "operadora": 0.0373,+ "colgar": 0.0255,+ "ninguno": 0.0272+ },+ "latency_ms": 129.9560419865884+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.871,+ "probabilities": {+ "ventas": 0.0252,+ "soporte": 0.025,+ "facturacion": 0.0252,+ "operadora": 0.871,+ "colgar": 0.0261,+ "ninguno": 0.0275+ },+ "latency_ms": 131.10220798989758+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8801,+ "probabilities": {+ "ventas": 0.0235,+ "soporte": 0.8801,+ "facturacion": 0.023,+ "operadora": 0.0259,+ "colgar": 0.0234,+ "ninguno": 0.0241+ },+ "latency_ms": 151.9169170060195+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.8648,+ "probabilities": {+ "ventas": 0.0265,+ "soporte": 0.0261,+ "facturacion": 0.0268,+ "operadora": 0.8648,+ "colgar": 0.0264,+ "ninguno": 0.0293+ },+ "latency_ms": 149.59287497913465+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8753,+ "probabilities": {+ "ventas": 0.0248,+ "soporte": 0.8753,+ "facturacion": 0.0251,+ "operadora": 0.0244,+ "colgar": 0.0245,+ "ninguno": 0.0258+ },+ "latency_ms": 141.6847090004012+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8144,+ "probabilities": {+ "ventas": 0.0331,+ "soporte": 0.8144,+ "facturacion": 0.0334,+ "operadora": 0.0336,+ "colgar": 0.0331,+ "ninguno": 0.0524+ },+ "latency_ms": 135.16737503232434+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8549,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.8549,+ "facturacion": 0.0282,+ "operadora": 0.0292,+ "colgar": 0.0285,+ "ninguno": 0.0309+ },+ "latency_ms": 131.6563329892233+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8504,+ "probabilities": {+ "ventas": 0.0297,+ "soporte": 0.8504,+ "facturacion": 0.0306,+ "operadora": 0.0286,+ "colgar": 0.0282,+ "ninguno": 0.0325+ },+ "latency_ms": 133.36024997988716+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8545,+ "probabilities": {+ "ventas": 0.0287,+ "soporte": 0.8545,+ "facturacion": 0.0286,+ "operadora": 0.0285,+ "colgar": 0.029,+ "ninguno": 0.0308+ },+ "latency_ms": 137.02237501274794+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.8475,+ "probabilities": {+ "ventas": 0.0296,+ "soporte": 0.8475,+ "facturacion": 0.0295,+ "operadora": 0.0298,+ "colgar": 0.0297,+ "ninguno": 0.034+ },+ "latency_ms": 137.56829197518528+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.7059,+ "probabilities": {+ "ventas": 0.0326,+ "soporte": 0.0353,+ "facturacion": 0.0305,+ "operadora": 0.149,+ "colgar": 0.7059,+ "ninguno": 0.0468+ },+ "latency_ms": 138.71370803099126+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8566,+ "probabilities": {+ "ventas": 0.0294,+ "soporte": 0.8566,+ "facturacion": 0.0277,+ "operadora": 0.0273,+ "colgar": 0.0272,+ "ninguno": 0.0318+ },+ "latency_ms": 132.08883302286267+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8563,+ "probabilities": {+ "ventas": 0.0282,+ "soporte": 0.8563,+ "facturacion": 0.0282,+ "operadora": 0.0277,+ "colgar": 0.0274,+ "ninguno": 0.0322+ },+ "latency_ms": 140.3291670139879+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.6034,+ "probabilities": {+ "ventas": 0.0227,+ "soporte": 0.3021,+ "facturacion": 0.0259,+ "operadora": 0.0222,+ "colgar": 0.0239,+ "ninguno": 0.6034+ },+ "latency_ms": 140.3769999742508+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9417,+ "probabilities": {+ "ventas": 0.0118,+ "soporte": 0.0117,+ "facturacion": 0.9417,+ "operadora": 0.0116,+ "colgar": 0.0113,+ "ninguno": 0.0119+ },+ "latency_ms": 128.7883339682594+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9401,+ "probabilities": {+ "ventas": 0.012,+ "soporte": 0.0119,+ "facturacion": 0.9401,+ "operadora": 0.0119,+ "colgar": 0.0117,+ "ninguno": 0.0124+ },+ "latency_ms": 135.85995900211856+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9446,+ "probabilities": {+ "ventas": 0.0112,+ "soporte": 0.011,+ "facturacion": 0.9446,+ "operadora": 0.0112,+ "colgar": 0.0109,+ "ninguno": 0.0111+ },+ "latency_ms": 136.0942079918459+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.8807,+ "probabilities": {+ "ventas": 0.0237,+ "soporte": 0.0229,+ "facturacion": 0.8807,+ "operadora": 0.0235,+ "colgar": 0.0226,+ "ninguno": 0.0267+ },+ "latency_ms": 132.13695801096037+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9415,+ "probabilities": {+ "ventas": 0.0118,+ "soporte": 0.0115,+ "facturacion": 0.9415,+ "operadora": 0.0116,+ "colgar": 0.0116,+ "ninguno": 0.0121+ },+ "latency_ms": 138.0938749643974+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8571,+ "probabilities": {+ "ventas": 0.0285,+ "soporte": 0.028,+ "facturacion": 0.8571,+ "operadora": 0.0284,+ "colgar": 0.0281,+ "ninguno": 0.0299+ },+ "latency_ms": 175.55991699919105+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8346,+ "probabilities": {+ "ventas": 0.0331,+ "soporte": 0.033,+ "facturacion": 0.8346,+ "operadora": 0.0329,+ "colgar": 0.0324,+ "ninguno": 0.034+ },+ "latency_ms": 142.06562499748543+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8554,+ "probabilities": {+ "ventas": 0.0288,+ "soporte": 0.0283,+ "facturacion": 0.8554,+ "operadora": 0.0287,+ "colgar": 0.0289,+ "ninguno": 0.0299+ },+ "latency_ms": 140.9021660219878+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.851,+ "probabilities": {+ "ventas": 0.03,+ "soporte": 0.0298,+ "facturacion": 0.851,+ "operadora": 0.0297,+ "colgar": 0.0294,+ "ninguno": 0.0302+ },+ "latency_ms": 144.54379200469702+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8557,+ "probabilities": {+ "ventas": 0.0292,+ "soporte": 0.0287,+ "facturacion": 0.8557,+ "operadora": 0.0285,+ "colgar": 0.0286,+ "ninguno": 0.0292+ },+ "latency_ms": 132.66375003149733+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8553,+ "probabilities": {+ "ventas": 0.0289,+ "soporte": 0.029,+ "facturacion": 0.8553,+ "operadora": 0.0284,+ "colgar": 0.0279,+ "ninguno": 0.0305+ },+ "latency_ms": 136.88525097677484+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.829,+ "probabilities": {+ "ventas": 0.0344,+ "soporte": 0.0338,+ "facturacion": 0.829,+ "operadora": 0.0338,+ "colgar": 0.034,+ "ninguno": 0.035+ },+ "latency_ms": 140.16624999931082+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.856,+ "probabilities": {+ "ventas": 0.0296,+ "soporte": 0.0285,+ "facturacion": 0.856,+ "operadora": 0.0283,+ "colgar": 0.0284,+ "ninguno": 0.0293+ },+ "latency_ms": 150.66337498137727+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8522,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.029,+ "facturacion": 0.8522,+ "operadora": 0.0296,+ "colgar": 0.029,+ "ninguno": 0.0306+ },+ "latency_ms": 140.6648749834858+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8648,+ "probabilities": {+ "ventas": 0.0272,+ "soporte": 0.0262,+ "facturacion": 0.0262,+ "operadora": 0.8648,+ "colgar": 0.0273,+ "ninguno": 0.0283+ },+ "latency_ms": 130.61041699256748+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8596,+ "probabilities": {+ "ventas": 0.028,+ "soporte": 0.0269,+ "facturacion": 0.0275,+ "operadora": 0.8596,+ "colgar": 0.0284,+ "ninguno": 0.0296+ },+ "latency_ms": 138.33620899822563+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8628,+ "probabilities": {+ "ventas": 0.0274,+ "soporte": 0.0266,+ "facturacion": 0.0267,+ "operadora": 0.8628,+ "colgar": 0.0278,+ "ninguno": 0.0287+ },+ "latency_ms": 137.6619579968974+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.9373,+ "probabilities": {+ "ventas": 0.0128,+ "soporte": 0.0125,+ "facturacion": 0.0123,+ "operadora": 0.9373,+ "colgar": 0.0123,+ "ninguno": 0.0127+ },+ "latency_ms": 136.23841700609773+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.5631,+ "probabilities": {+ "ventas": 0.0192,+ "soporte": 0.0271,+ "facturacion": 0.019,+ "operadora": 0.3508,+ "colgar": 0.5631,+ "ninguno": 0.0208+ },+ "latency_ms": 145.760707964655+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8622,+ "probabilities": {+ "ventas": 0.0275,+ "soporte": 0.0263,+ "facturacion": 0.0272,+ "operadora": 0.8622,+ "colgar": 0.0276,+ "ninguno": 0.0293+ },+ "latency_ms": 153.47387501969934+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8633,+ "probabilities": {+ "ventas": 0.0271,+ "soporte": 0.0264,+ "facturacion": 0.0268,+ "operadora": 0.8633,+ "colgar": 0.0277,+ "ninguno": 0.0288+ },+ "latency_ms": 161.23254195554182+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.8732,+ "probabilities": {+ "ventas": 0.0253,+ "soporte": 0.0244,+ "facturacion": 0.0248,+ "operadora": 0.8732,+ "colgar": 0.0257,+ "ninguno": 0.0267+ },+ "latency_ms": 145.28433396480978+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.8574,+ "probabilities": {+ "ventas": 0.0282,+ "soporte": 0.0271,+ "facturacion": 0.028,+ "operadora": 0.8574,+ "colgar": 0.0289,+ "ninguno": 0.0304+ },+ "latency_ms": 148.3887920039706+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.8635,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.0266,+ "facturacion": 0.027,+ "operadora": 0.8635,+ "colgar": 0.0275,+ "ninguno": 0.0287+ },+ "latency_ms": 147.3754160106182+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8662,+ "probabilities": {+ "ventas": 0.0268,+ "soporte": 0.0257,+ "facturacion": 0.026,+ "operadora": 0.8662,+ "colgar": 0.0269,+ "ninguno": 0.0284+ },+ "latency_ms": 140.2240419993177+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8489,+ "probabilities": {+ "ventas": 0.0305,+ "soporte": 0.0293,+ "facturacion": 0.0297,+ "operadora": 0.8489,+ "colgar": 0.0303,+ "ninguno": 0.0313+ },+ "latency_ms": 132.36191699979827+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8561,+ "probabilities": {+ "ventas": 0.028,+ "soporte": 0.0276,+ "facturacion": 0.0282,+ "operadora": 0.0297,+ "colgar": 0.8561,+ "ninguno": 0.0305+ },+ "latency_ms": 131.84087502304465+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.868,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.0254,+ "facturacion": 0.0261,+ "operadora": 0.0268,+ "colgar": 0.868,+ "ninguno": 0.0279+ },+ "latency_ms": 141.93091698689386+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8563,+ "probabilities": {+ "ventas": 0.0285,+ "soporte": 0.0274,+ "facturacion": 0.0285,+ "operadora": 0.0291,+ "colgar": 0.8563,+ "ninguno": 0.0302+ },+ "latency_ms": 144.2778329947032+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.857,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.0273,+ "facturacion": 0.0284,+ "operadora": 0.0296,+ "colgar": 0.857,+ "ninguno": 0.03+ },+ "latency_ms": 155.03070800332353+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.8612,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.0266,+ "facturacion": 0.0275,+ "operadora": 0.0282,+ "colgar": 0.8612,+ "ninguno": 0.0298+ },+ "latency_ms": 135.6597500271164+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.8452,+ "probabilities": {+ "ventas": 0.0311,+ "soporte": 0.0304,+ "facturacion": 0.0309,+ "operadora": 0.0313,+ "colgar": 0.0311,+ "ninguno": 0.8452+ },+ "latency_ms": 168.2576250168495+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8636,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.0261,+ "facturacion": 0.027,+ "operadora": 0.0278,+ "colgar": 0.8636,+ "ninguno": 0.0288+ },+ "latency_ms": 140.97383304033428+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "colgar",+ "confidence": 0.8556,+ "probabilities": {+ "ventas": 0.0276,+ "soporte": 0.0271,+ "facturacion": 0.0279,+ "operadora": 0.0281,+ "colgar": 0.8556,+ "ninguno": 0.0338+ },+ "latency_ms": 137.08012498682365+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.8421,+ "probabilities": {+ "ventas": 0.0314,+ "soporte": 0.0316,+ "facturacion": 0.0301,+ "operadora": 0.0314,+ "colgar": 0.0335,+ "ninguno": 0.8421+ },+ "latency_ms": 134.71116701839492+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8607,+ "probabilities": {+ "ventas": 0.027,+ "soporte": 0.0266,+ "facturacion": 0.0276,+ "operadora": 0.0284,+ "colgar": 0.8607,+ "ninguno": 0.0297+ },+ "latency_ms": 133.73195799067616+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.761,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.0288,+ "facturacion": 0.0274,+ "operadora": 0.0295,+ "colgar": 0.125,+ "ninguno": 0.761+ },+ "latency_ms": 132.92937498772517+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8637,+ "probabilities": {+ "ventas": 0.0263,+ "soporte": 0.0262,+ "facturacion": 0.0269,+ "operadora": 0.0276,+ "colgar": 0.8637,+ "ninguno": 0.0293+ },+ "latency_ms": 133.05591698735952+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8812,+ "probabilities": {+ "ventas": 0.0238,+ "soporte": 0.0228,+ "facturacion": 0.0241,+ "operadora": 0.0242,+ "colgar": 0.024,+ "ninguno": 0.8812+ },+ "latency_ms": 131.0335829621181+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8709,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.0256,+ "facturacion": 0.0256,+ "operadora": 0.0264,+ "colgar": 0.0259,+ "ninguno": 0.8709+ },+ "latency_ms": 137.4156249803491+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8779,+ "probabilities": {+ "ventas": 0.0247,+ "soporte": 0.0235,+ "facturacion": 0.0246,+ "operadora": 0.0246,+ "colgar": 0.0247,+ "ninguno": 0.8779+ },+ "latency_ms": 137.74733402533457+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8681,+ "probabilities": {+ "ventas": 0.0269,+ "soporte": 0.0258,+ "facturacion": 0.0262,+ "operadora": 0.0263,+ "colgar": 0.0266,+ "ninguno": 0.8681+ },+ "latency_ms": 138.07229103986174+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.8808,+ "probabilities": {+ "ventas": 0.0239,+ "soporte": 0.0229,+ "facturacion": 0.0239,+ "operadora": 0.0242,+ "colgar": 0.0243,+ "ninguno": 0.8808+ },+ "latency_ms": 139.16916702874005+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8637,+ "probabilities": {+ "ventas": 0.0268,+ "soporte": 0.0262,+ "facturacion": 0.0257,+ "operadora": 0.0307,+ "colgar": 0.0269,+ "ninguno": 0.8637+ },+ "latency_ms": 127.94308399315923+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8753,+ "probabilities": {+ "ventas": 0.0252,+ "soporte": 0.0239,+ "facturacion": 0.0253,+ "operadora": 0.0252,+ "colgar": 0.0252,+ "ninguno": 0.8753+ },+ "latency_ms": 125.19616598729044+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8778,+ "probabilities": {+ "ventas": 0.0246,+ "soporte": 0.0233,+ "facturacion": 0.0247,+ "operadora": 0.0246,+ "colgar": 0.025,+ "ninguno": 0.8778+ },+ "latency_ms": 125.37612504092976+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8776,+ "probabilities": {+ "ventas": 0.0247,+ "soporte": 0.0236,+ "facturacion": 0.0249,+ "operadora": 0.0247,+ "colgar": 0.0246,+ "ninguno": 0.8776+ },+ "latency_ms": 128.32541699754074+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8743,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.025,+ "facturacion": 0.025,+ "operadora": 0.0249,+ "colgar": 0.0252,+ "ninguno": 0.8743+ },+ "latency_ms": 136.04804198257625+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "colgar",+ "confidence": 0.8724,+ "probabilities": {+ "ventas": 0.0249,+ "soporte": 0.0244,+ "facturacion": 0.0253,+ "operadora": 0.0258,+ "colgar": 0.8724,+ "ninguno": 0.0272+ },+ "latency_ms": 132.13670899858698+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8641,+ "probabilities": {+ "ventas": 0.0273,+ "soporte": 0.0272,+ "facturacion": 0.0269,+ "operadora": 0.0276,+ "colgar": 0.0269,+ "ninguno": 0.8641+ },+ "latency_ms": 129.0793750085868+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8432,+ "probabilities": {+ "ventas": 0.0281,+ "soporte": 0.0339,+ "facturacion": 0.027,+ "operadora": 0.0412,+ "colgar": 0.0265,+ "ninguno": 0.8432+ },+ "latency_ms": 136.64433296071365+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8651,+ "probabilities": {+ "ventas": 0.0271,+ "soporte": 0.0268,+ "facturacion": 0.0269,+ "operadora": 0.0274,+ "colgar": 0.0268,+ "ninguno": 0.8651+ },+ "latency_ms": 129.26612596493214+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.858,+ "probabilities": {+ "ventas": 0.0293,+ "soporte": 0.028,+ "facturacion": 0.028,+ "operadora": 0.0287,+ "colgar": 0.028,+ "ninguno": 0.858+ },+ "latency_ms": 136.71691698255017+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.5456,+ "probabilities": {+ "ventas": 0.3769,+ "soporte": 0.0188,+ "facturacion": 0.0212,+ "operadora": 0.019,+ "colgar": 0.0186,+ "ninguno": 0.5456+ },+ "latency_ms": 141.95579197257757+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8705,+ "probabilities": {+ "ventas": 0.026,+ "soporte": 0.0245,+ "facturacion": 0.026,+ "operadora": 0.0261,+ "colgar": 0.0268,+ "ninguno": 0.8705+ },+ "latency_ms": 132.550916983746+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.832,+ "probabilities": {+ "ventas": 0.0287,+ "soporte": 0.0278,+ "facturacion": 0.0279,+ "operadora": 0.0299,+ "colgar": 0.0536,+ "ninguno": 0.832+ },+ "latency_ms": 128.83949995739385+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.9121,+ "probabilities": {+ "ventas": 0.0171,+ "soporte": 0.0175,+ "facturacion": 0.0179,+ "operadora": 0.0178,+ "colgar": 0.0175,+ "ninguno": 0.9121+ },+ "latency_ms": 136.0160419717431+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.7562,+ "probabilities": {+ "ventas": 0.0318,+ "soporte": 0.0336,+ "facturacion": 0.0304,+ "operadora": 0.7562,+ "colgar": 0.0291,+ "ninguno": 0.1188+ },+ "latency_ms": 140.06891701137647+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8938,+ "probabilities": {+ "ventas": 0.0214,+ "soporte": 0.0212,+ "facturacion": 0.0205,+ "operadora": 0.0216,+ "colgar": 0.0216,+ "ninguno": 0.8938+ },+ "latency_ms": 144.02333297766745+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8749,+ "probabilities": {+ "ventas": 0.0258,+ "soporte": 0.024,+ "facturacion": 0.0254,+ "operadora": 0.0256,+ "colgar": 0.0242,+ "ninguno": 0.8749+ },+ "latency_ms": 150.40779201081023+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.9084,+ "probabilities": {+ "ventas": 0.0186,+ "soporte": 0.0183,+ "facturacion": 0.0188,+ "operadora": 0.0182,+ "colgar": 0.0178,+ "ninguno": 0.9084+ },+ "latency_ms": 149.17391596827656+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8885,+ "probabilities": {+ "ventas": 0.0213,+ "soporte": 0.0224,+ "facturacion": 0.0231,+ "operadora": 0.0227,+ "colgar": 0.022,+ "ninguno": 0.8885+ },+ "latency_ms": 141.65804197546095+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8734,+ "probabilities": {+ "ventas": 0.0253,+ "soporte": 0.0252,+ "facturacion": 0.025,+ "operadora": 0.0255,+ "colgar": 0.0256,+ "ninguno": 0.8734+ },+ "latency_ms": 153.5457079880871+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8351,+ "probabilities": {+ "ventas": 0.0328,+ "soporte": 0.0312,+ "facturacion": 0.0346,+ "operadora": 0.0333,+ "colgar": 0.0329,+ "ninguno": 0.8351+ },+ "latency_ms": 161.12666600383818+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8765,+ "probabilities": {+ "ventas": 0.0251,+ "soporte": 0.0242,+ "facturacion": 0.0249,+ "operadora": 0.0245,+ "colgar": 0.0248,+ "ninguno": 0.8765+ },+ "latency_ms": 143.0405419669114+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.873,+ "probabilities": {+ "ventas": 0.0253,+ "soporte": 0.0256,+ "facturacion": 0.0254,+ "operadora": 0.0255,+ "colgar": 0.0252,+ "ninguno": 0.873+ },+ "latency_ms": 136.60820899531245+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8706,+ "probabilities": {+ "ventas": 0.0262,+ "soporte": 0.0254,+ "facturacion": 0.0259,+ "operadora": 0.0262,+ "colgar": 0.0257,+ "ninguno": 0.8706+ },+ "latency_ms": 141.80254196980968+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8577,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.0277,+ "facturacion": 0.0284,+ "operadora": 0.0286,+ "colgar": 0.0285,+ "ninguno": 0.8577+ },+ "latency_ms": 129.43437503417954+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8769,+ "probabilities": {+ "ventas": 0.0249,+ "soporte": 0.0237,+ "facturacion": 0.0245,+ "operadora": 0.0252,+ "colgar": 0.0248,+ "ninguno": 0.8769+ },+ "latency_ms": 148.0694169877097+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8697,+ "probabilities": {+ "ventas": 0.0264,+ "soporte": 0.0252,+ "facturacion": 0.0259,+ "operadora": 0.0264,+ "colgar": 0.0264,+ "ninguno": 0.8697+ },+ "latency_ms": 127.14175001019612+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "ventas",+ "confidence": 0.9086,+ "probabilities": {+ "ventas": 0.9086,+ "soporte": 0.0224,+ "facturacion": 0.0169,+ "operadora": 0.0169,+ "colgar": 0.0166,+ "ninguno": 0.0186+ },+ "latency_ms": 126.09329196857288+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.5169,+ "probabilities": {+ "ventas": 0.0469,+ "soporte": 0.3014,+ "facturacion": 0.5169,+ "operadora": 0.0425,+ "colgar": 0.042,+ "ninguno": 0.0502+ },+ "latency_ms": 140.50883299205452+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.9284,+ "probabilities": {+ "ventas": 0.0146,+ "soporte": 0.0138,+ "facturacion": 0.9284,+ "operadora": 0.0139,+ "colgar": 0.0142,+ "ninguno": 0.015+ },+ "latency_ms": 148.3912089606747+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "operadora",+ "confidence": 0.8683,+ "probabilities": {+ "ventas": 0.0265,+ "soporte": 0.0255,+ "facturacion": 0.026,+ "operadora": 0.8683,+ "colgar": 0.0265,+ "ninguno": 0.0272+ },+ "latency_ms": 137.65816699014977+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.8677,+ "probabilities": {+ "ventas": 0.0265,+ "soporte": 0.0262,+ "facturacion": 0.8677,+ "operadora": 0.0264,+ "colgar": 0.0261,+ "ninguno": 0.027+ },+ "latency_ms": 136.52316702064127+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "colgar",+ "confidence": 0.8597,+ "probabilities": {+ "ventas": 0.0273,+ "soporte": 0.0269,+ "facturacion": 0.0277,+ "operadora": 0.0281,+ "colgar": 0.8597,+ "ninguno": 0.0303+ },+ "latency_ms": 137.74470798671246+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.843,+ "probabilities": {+ "ventas": 0.0291,+ "soporte": 0.843,+ "facturacion": 0.0284,+ "operadora": 0.0282,+ "colgar": 0.0282,+ "ninguno": 0.0431+ },+ "latency_ms": 135.66658296622336+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8526,+ "probabilities": {+ "ventas": 0.8526,+ "soporte": 0.0251,+ "facturacion": 0.0262,+ "operadora": 0.0264,+ "colgar": 0.025,+ "ninguno": 0.0447+ },+ "latency_ms": 160.10791598819196+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.837,+ "probabilities": {+ "ventas": 0.0326,+ "soporte": 0.0317,+ "facturacion": 0.837,+ "operadora": 0.0323,+ "colgar": 0.0325,+ "ninguno": 0.0339+ },+ "latency_ms": 155.7617909857072+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8645,+ "probabilities": {+ "ventas": 0.027,+ "soporte": 0.0263,+ "facturacion": 0.0263,+ "operadora": 0.8645,+ "colgar": 0.0273,+ "ninguno": 0.0285+ },+ "latency_ms": 136.43629098078236+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8605,+ "probabilities": {+ "ventas": 0.0268,+ "soporte": 0.0268,+ "facturacion": 0.0276,+ "operadora": 0.0288,+ "colgar": 0.8605,+ "ninguno": 0.0296+ },+ "latency_ms": 134.56720899557695+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.859,+ "probabilities": {+ "ventas": 0.0281,+ "soporte": 0.0279,+ "facturacion": 0.0279,+ "operadora": 0.0297,+ "colgar": 0.0274,+ "ninguno": 0.859+ },+ "latency_ms": 124.96104097226635+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.9121,+ "probabilities": {+ "ventas": 0.0176,+ "soporte": 0.0171,+ "facturacion": 0.018,+ "operadora": 0.0178,+ "colgar": 0.0174,+ "ninguno": 0.9121+ },+ "latency_ms": 128.8289590156637+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8565,+ "probabilities": {+ "ventas": 0.0281,+ "soporte": 0.0287,+ "facturacion": 0.0277,+ "operadora": 0.0287,+ "colgar": 0.0303,+ "ninguno": 0.8565+ },+ "latency_ms": 122.64112499542534+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.8654,+ "probabilities": {+ "ventas": 0.0274,+ "soporte": 0.0259,+ "facturacion": 0.0275,+ "operadora": 0.0266,+ "colgar": 0.0272,+ "ninguno": 0.8654+ },+ "latency_ms": 131.72683399170637+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.863,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.0267,+ "facturacion": 0.863,+ "operadora": 0.0272,+ "colgar": 0.0263,+ "ninguno": 0.0286+ },+ "latency_ms": 122.30741704115644+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.8767,+ "probabilities": {+ "ventas": 0.0271,+ "soporte": 0.0228,+ "facturacion": 0.0244,+ "operadora": 0.0244,+ "colgar": 0.0246,+ "ninguno": 0.8767+ },+ "latency_ms": 121.69295898638666+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.8675,+ "probabilities": {+ "ventas": 0.0272,+ "soporte": 0.0275,+ "facturacion": 0.8675,+ "operadora": 0.0255,+ "colgar": 0.0248,+ "ninguno": 0.0275+ },+ "latency_ms": 158.5812499979511+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__clinic__es_criteria.jsonnew file mode 100644index 00000000..af316052--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__clinic__es_criteria.json@@ -0,0 +1,1057 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3616.7416269890964+ },+ "summary": {+ "n": 45,+ "accuracy": 0.9777777777777777,+ "macro_f1": 0.9832967032967034,+ "ece": 0.15669111111111125,+ "mean_confidence": 0.8437266666666664,+ "majority_baseline": 0.28888888888888886,+ "wrong_actions": 1,+ "by_tag": {+ "asr": {+ "n": 5,+ "accuracy": 1.0+ },+ "direct": {+ "n": 6,+ "accuracy": 1.0+ },+ "farewell": {+ "n": 4,+ "accuracy": 1.0+ },+ "hard": {+ "n": 3,+ "accuracy": 1.0+ },+ "hn": {+ "n": 2,+ "accuracy": 1.0+ },+ "human": {+ "n": 4,+ "accuracy": 1.0+ },+ "indirect": {+ "n": 16,+ "accuracy": 1.0+ },+ "negation": {+ "n": 7,+ "accuracy": 0.8571428571428571+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 3,+ "accuracy": 1.0+ },+ "open": {+ "n": 3,+ "accuracy": 1.0+ },+ "short": {+ "n": 2,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "ninguno->laboratorio": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 33,+ "coverage": 0.7333333333333333,+ "action_recall": 1.0,+ "wrong": 1,+ "precision": 0.9696969696969697+ },+ {+ "threshold": 0.6,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 1.0,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.7,+ "fast": 31,+ "coverage": 0.6888888888888889,+ "action_recall": 0.96875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.8,+ "fast": 29,+ "coverage": 0.6444444444444445,+ "action_recall": 0.90625,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 6,+ "coverage": 0.13333333333333333,+ "action_recall": 0.1875,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 121.59100000280887,+ "p95": 143.2500000228174,+ "min": 113.6417500092648+ },+ "borderline": []+ },+ "records": [+ {+ "id": "cl-001",+ "text": "Quiero sacar una cita con el cardiólogo.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.7334,+ "probabilities": {+ "citas": 0.7334,+ "laboratorio": 0.1634,+ "farmacia": 0.0212,+ "emergencias": 0.0201,+ "recepcion": 0.0201,+ "colgar": 0.0198,+ "ninguno": 0.0221+ },+ "latency_ms": 124.88645798293874+ },+ {+ "id": "cl-002",+ "text": "Necesito cambiar la fecha de mi consulta del jueves.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8503,+ "probabilities": {+ "citas": 0.8503,+ "laboratorio": 0.0245,+ "farmacia": 0.0247,+ "emergencias": 0.0247,+ "recepcion": 0.0251,+ "colgar": 0.024,+ "ninguno": 0.0266+ },+ "latency_ms": 123.41979204211384+ },+ {+ "id": "cl-003",+ "text": "Páseme con citas, por favor.",+ "gold": "citas",+ "tags": [+ "direct"+ ],+ "predicted": "citas",+ "confidence": 0.9344,+ "probabilities": {+ "citas": 0.9344,+ "laboratorio": 0.0108,+ "farmacia": 0.0108,+ "emergencias": 0.0108,+ "recepcion": 0.0115,+ "colgar": 0.0106,+ "ninguno": 0.0112+ },+ "latency_ms": 128.31266602734104+ },+ {+ "id": "cl-004",+ "text": "Fíjese que quiero apartar una consulta para mi mamá.",+ "gold": "citas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "citas",+ "confidence": 0.8477,+ "probabilities": {+ "citas": 0.8477,+ "laboratorio": 0.0242,+ "farmacia": 0.0244,+ "emergencias": 0.0245,+ "recepcion": 0.0259,+ "colgar": 0.0251,+ "ninguno": 0.0283+ },+ "latency_ms": 123.11316601699218+ },+ {+ "id": "cl-005",+ "text": "Tengo que cancelar la cita que tenía mañana con la doctora.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8403,+ "probabilities": {+ "citas": 0.8403,+ "laboratorio": 0.0266,+ "farmacia": 0.0263,+ "emergencias": 0.0261,+ "recepcion": 0.0265,+ "colgar": 0.0261,+ "ninguno": 0.028+ },+ "latency_ms": 118.02445899229497+ },+ {+ "id": "cl-006",+ "text": "quiero agendar con el pediatra para la otra semana",+ "gold": "citas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.7434,+ "probabilities": {+ "citas": 0.7434,+ "laboratorio": 0.0532,+ "farmacia": 0.0384,+ "emergencias": 0.0404,+ "recepcion": 0.0386,+ "colgar": 0.0368,+ "ninguno": 0.0492+ },+ "latency_ms": 118.1353330030106+ },+ {+ "id": "cl-007",+ "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8485,+ "probabilities": {+ "citas": 0.0262,+ "laboratorio": 0.8485,+ "farmacia": 0.025,+ "emergencias": 0.0249,+ "recepcion": 0.0254,+ "colgar": 0.0246,+ "ninguno": 0.0254+ },+ "latency_ms": 127.9981670086272+ },+ {+ "id": "cl-008",+ "text": "Comuníqueme con el laboratorio.",+ "gold": "laboratorio",+ "tags": [+ "direct"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9338,+ "probabilities": {+ "citas": 0.0112,+ "laboratorio": 0.9338,+ "farmacia": 0.0107,+ "emergencias": 0.0107,+ "recepcion": 0.0112,+ "colgar": 0.0111,+ "ninguno": 0.0114+ },+ "latency_ms": 118.54962498182431+ },+ {+ "id": "cl-009",+ "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8647,+ "probabilities": {+ "citas": 0.0232,+ "laboratorio": 0.8647,+ "farmacia": 0.0218,+ "emergencias": 0.0218,+ "recepcion": 0.0225,+ "colgar": 0.0231,+ "ninguno": 0.023+ },+ "latency_ms": 130.25362498592585+ },+ {+ "id": "cl-010",+ "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8355,+ "probabilities": {+ "citas": 0.0282,+ "laboratorio": 0.8355,+ "farmacia": 0.027,+ "emergencias": 0.027,+ "recepcion": 0.0273,+ "colgar": 0.0271,+ "ninguno": 0.0279+ },+ "latency_ms": 135.30200097011402+ },+ {+ "id": "cl-011",+ "text": "me hicieron un examen de orina y no me han entregado nada",+ "gold": "laboratorio",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8403,+ "probabilities": {+ "citas": 0.0268,+ "laboratorio": 0.8403,+ "farmacia": 0.0249,+ "emergencias": 0.027,+ "recepcion": 0.0265,+ "colgar": 0.0266,+ "ninguno": 0.0279+ },+ "latency_ms": 118.14437503926456+ },+ {+ "id": "cl-012",+ "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.",+ "gold": "farmacia",+ "tags": [+ "direct"+ ],+ "predicted": "farmacia",+ "confidence": 0.9291,+ "probabilities": {+ "citas": 0.0119,+ "laboratorio": 0.0116,+ "farmacia": 0.9291,+ "emergencias": 0.0117,+ "recepcion": 0.0116,+ "colgar": 0.0117,+ "ninguno": 0.0123+ },+ "latency_ms": 128.58308298746124+ },+ {+ "id": "cl-013",+ "text": "Necesito surtir una receta.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.867,+ "probabilities": {+ "citas": 0.0222,+ "laboratorio": 0.0225,+ "farmacia": 0.867,+ "emergencias": 0.022,+ "recepcion": 0.022,+ "colgar": 0.022,+ "ninguno": 0.0224+ },+ "latency_ms": 116.25166703015566+ },+ {+ "id": "cl-014",+ "text": "Con la farmacia, por favor.",+ "gold": "farmacia",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "farmacia",+ "confidence": 0.9334,+ "probabilities": {+ "citas": 0.0114,+ "laboratorio": 0.0108,+ "farmacia": 0.9334,+ "emergencias": 0.0108,+ "recepcion": 0.011,+ "colgar": 0.011,+ "ninguno": 0.0117+ },+ "latency_ms": 114.25641598179936+ },+ {+ "id": "cl-015",+ "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8416,+ "probabilities": {+ "citas": 0.0315,+ "laboratorio": 0.0254,+ "farmacia": 0.8416,+ "emergencias": 0.0244,+ "recepcion": 0.0258,+ "colgar": 0.025,+ "ninguno": 0.0263+ },+ "latency_ms": 120.37691596196964+ },+ {+ "id": "cl-016",+ "text": "Quiero comprar la medicina que me indicó el doctor.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8544,+ "probabilities": {+ "citas": 0.0245,+ "laboratorio": 0.024,+ "farmacia": 0.8544,+ "emergencias": 0.0238,+ "recepcion": 0.0236,+ "colgar": 0.0244,+ "ninguno": 0.0251+ },+ "latency_ms": 116.57341697718948+ },+ {+ "id": "cl-017",+ "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8367,+ "probabilities": {+ "citas": 0.0271,+ "laboratorio": 0.0251,+ "farmacia": 0.0254,+ "emergencias": 0.8367,+ "recepcion": 0.028,+ "colgar": 0.0275,+ "ninguno": 0.0302+ },+ "latency_ms": 128.17591696511954+ },+ {+ "id": "cl-018",+ "text": "Páseme con emergencias, es urgente.",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.9311,+ "probabilities": {+ "citas": 0.0114,+ "laboratorio": 0.0112,+ "farmacia": 0.0111,+ "emergencias": 0.9311,+ "recepcion": 0.0117,+ "colgar": 0.0115,+ "ninguno": 0.012+ },+ "latency_ms": 121.59100000280887+ },+ {+ "id": "cl-019",+ "text": "Mi hijo se cortó y está sangrando mucho.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8268,+ "probabilities": {+ "citas": 0.0289,+ "laboratorio": 0.0285,+ "farmacia": 0.0266,+ "emergencias": 0.8268,+ "recepcion": 0.0289,+ "colgar": 0.0287,+ "ninguno": 0.0316+ },+ "latency_ms": 125.62595802592114+ },+ {+ "id": "cl-020",+ "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8446,+ "probabilities": {+ "citas": 0.0263,+ "laboratorio": 0.0242,+ "farmacia": 0.0244,+ "emergencias": 0.8446,+ "recepcion": 0.0263,+ "colgar": 0.0264,+ "ninguno": 0.0279+ },+ "latency_ms": 127.77420796919614+ },+ {+ "id": "cl-021",+ "text": "necesito una ambulancia mi esposa se cayó y no se puede mover",+ "gold": "emergencias",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8432,+ "probabilities": {+ "citas": 0.0261,+ "laboratorio": 0.0247,+ "farmacia": 0.0254,+ "emergencias": 0.8432,+ "recepcion": 0.0266,+ "colgar": 0.0265,+ "ninguno": 0.0275+ },+ "latency_ms": 143.52029201108962+ },+ {+ "id": "cl-022",+ "text": "Quiero hablar con una persona.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8467,+ "probabilities": {+ "citas": 0.0259,+ "laboratorio": 0.0239,+ "farmacia": 0.0243,+ "emergencias": 0.0252,+ "recepcion": 0.8467,+ "colgar": 0.0265,+ "ninguno": 0.0274+ },+ "latency_ms": 121.99391704052687+ },+ {+ "id": "cl-023",+ "text": "Páseme con alguien que me atienda, por favor.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.8466,+ "probabilities": {+ "citas": 0.0259,+ "laboratorio": 0.0238,+ "farmacia": 0.0242,+ "emergencias": 0.0255,+ "recepcion": 0.8466,+ "colgar": 0.0264,+ "ninguno": 0.0277+ },+ "latency_ms": 118.00662497989833+ },+ {+ "id": "cl-024",+ "text": "No quiero hablar con una máquina, comuníqueme con una persona.",+ "gold": "recepcion",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "recepcion",+ "confidence": 0.8429,+ "probabilities": {+ "citas": 0.0271,+ "laboratorio": 0.0245,+ "farmacia": 0.0245,+ "emergencias": 0.0264,+ "recepcion": 0.8429,+ "colgar": 0.0269,+ "ninguno": 0.0278+ },+ "latency_ms": 119.04433398740366+ },+ {+ "id": "cl-025",+ "text": "Con la recepcionista, por favor.",+ "gold": "recepcion",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "recepcion",+ "confidence": 0.9336,+ "probabilities": {+ "citas": 0.0113,+ "laboratorio": 0.0106,+ "farmacia": 0.0107,+ "emergencias": 0.011,+ "recepcion": 0.9336,+ "colgar": 0.0112,+ "ninguno": 0.0116+ },+ "latency_ms": 116.082499967888+ },+ {+ "id": "cl-026",+ "text": "Muchas gracias, eso era todo. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8365,+ "probabilities": {+ "citas": 0.0268,+ "laboratorio": 0.0262,+ "farmacia": 0.0264,+ "emergencias": 0.0265,+ "recepcion": 0.0279,+ "colgar": 0.8365,+ "ninguno": 0.0298+ },+ "latency_ms": 143.2500000228174+ },+ {+ "id": "cl-027",+ "text": "Vaya pues, muy amable, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8397,+ "probabilities": {+ "citas": 0.0268,+ "laboratorio": 0.0251,+ "farmacia": 0.0255,+ "emergencias": 0.026,+ "recepcion": 0.0275,+ "colgar": 0.8397,+ "ninguno": 0.0294+ },+ "latency_ms": 140.35229198634624+ },+ {+ "id": "cl-028",+ "text": "Ya no necesito nada más, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.842,+ "probabilities": {+ "citas": 0.0265,+ "laboratorio": 0.0244,+ "farmacia": 0.0248,+ "emergencias": 0.0256,+ "recepcion": 0.0278,+ "colgar": 0.842,+ "ninguno": 0.0288+ },+ "latency_ms": 115.83424999844283+ },+ {+ "id": "cl-029",+ "text": "bueno gracias que pase buen dia",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8388,+ "probabilities": {+ "citas": 0.0265,+ "laboratorio": 0.0259,+ "farmacia": 0.0259,+ "emergencias": 0.0261,+ "recepcion": 0.0276,+ "colgar": 0.8388,+ "ninguno": 0.0293+ },+ "latency_ms": 116.13066599238664+ },+ {+ "id": "cl-030",+ "text": "¿A qué hora abre la clínica?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.869,+ "probabilities": {+ "citas": 0.0223,+ "laboratorio": 0.0206,+ "farmacia": 0.0212,+ "emergencias": 0.0222,+ "recepcion": 0.0218,+ "colgar": 0.0229,+ "ninguno": 0.869+ },+ "latency_ms": 117.80075001297519+ },+ {+ "id": "cl-031",+ "text": "¿Dónde están ubicados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8686,+ "probabilities": {+ "citas": 0.0225,+ "laboratorio": 0.0203,+ "farmacia": 0.0211,+ "emergencias": 0.0224,+ "recepcion": 0.0222,+ "colgar": 0.0229,+ "ninguno": 0.8686+ },+ "latency_ms": 114.7089580190368+ },+ {+ "id": "cl-032",+ "text": "¿Atienden los domingos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.8559,+ "probabilities": {+ "citas": 0.0249,+ "laboratorio": 0.022,+ "farmacia": 0.023,+ "emergencias": 0.0246,+ "recepcion": 0.0242,+ "colgar": 0.0254,+ "ninguno": 0.8559+ },+ "latency_ms": 113.6417500092648+ },+ {+ "id": "cl-033",+ "text": "Aló, buenas tardes.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8391,+ "probabilities": {+ "citas": 0.028,+ "laboratorio": 0.0257,+ "farmacia": 0.0254,+ "emergencias": 0.0266,+ "recepcion": 0.0275,+ "colgar": 0.0276,+ "ninguno": 0.8391+ },+ "latency_ms": 113.71295899152756+ },+ {+ "id": "cl-034",+ "text": "¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8483,+ "probabilities": {+ "citas": 0.0268,+ "laboratorio": 0.0238,+ "farmacia": 0.0237,+ "emergencias": 0.025,+ "recepcion": 0.0263,+ "colgar": 0.0261,+ "ninguno": 0.8483+ },+ "latency_ms": 114.7601249977015+ },+ {+ "id": "cl-035",+ "text": "Un momento, que estoy buscando mi carné.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8023,+ "probabilities": {+ "citas": 0.0365,+ "laboratorio": 0.0301,+ "farmacia": 0.0323,+ "emergencias": 0.0293,+ "recepcion": 0.0381,+ "colgar": 0.0313,+ "ninguno": 0.8023+ },+ "latency_ms": 117.44679202092811+ },+ {+ "id": "cl-036",+ "text": "No quiero una cita, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8793,+ "probabilities": {+ "citas": 0.0203,+ "laboratorio": 0.0193,+ "farmacia": 0.0197,+ "emergencias": 0.02,+ "recepcion": 0.0205,+ "colgar": 0.0208,+ "ninguno": 0.8793+ },+ "latency_ms": 116.98695796076208+ },+ {+ "id": "cl-037",+ "text": "No me pase con el laboratorio, ya tengo mis resultados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "laboratorio",+ "confidence": 0.5094,+ "probabilities": {+ "citas": 0.0164,+ "laboratorio": 0.5094,+ "farmacia": 0.0159,+ "emergencias": 0.0154,+ "recepcion": 0.0157,+ "colgar": 0.0152,+ "ninguno": 0.412+ },+ "latency_ms": 133.20141599979252+ },+ {+ "id": "cl-038",+ "text": "No es una emergencia, solo es una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8721,+ "probabilities": {+ "citas": 0.0212,+ "laboratorio": 0.0206,+ "farmacia": 0.021,+ "emergencias": 0.0211,+ "recepcion": 0.0218,+ "colgar": 0.0221,+ "ninguno": 0.8721+ },+ "latency_ms": 117.6206250092946+ },+ {+ "id": "cl-039",+ "text": "No necesito la farmacia, solo quería preguntar dónde quedan.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8893,+ "probabilities": {+ "citas": 0.0194,+ "laboratorio": 0.0178,+ "farmacia": 0.0176,+ "emergencias": 0.0183,+ "recepcion": 0.0186,+ "colgar": 0.019,+ "ninguno": 0.8893+ },+ "latency_ms": 117.19933402491733+ },+ {+ "id": "cl-040",+ "text": "No cuelgue, todavía tengo otra duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8517,+ "probabilities": {+ "citas": 0.0254,+ "laboratorio": 0.024,+ "farmacia": 0.024,+ "emergencias": 0.0249,+ "recepcion": 0.0249,+ "colgar": 0.025,+ "ninguno": 0.8517+ },+ "latency_ms": 124.13616699632257+ },+ {+ "id": "cl-041",+ "text": "No me transfiera con nadie todavía, primero dígame usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8549,+ "probabilities": {+ "citas": 0.0243,+ "laboratorio": 0.0234,+ "farmacia": 0.0238,+ "emergencias": 0.0244,+ "recepcion": 0.0244,+ "colgar": 0.0247,+ "ninguno": 0.8549+ },+ "latency_ms": 145.94700001180172+ },+ {+ "id": "cl-042",+ "text": "no no es urgente no me pase con emergencias",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.8528,+ "probabilities": {+ "citas": 0.0247,+ "laboratorio": 0.0248,+ "farmacia": 0.0238,+ "emergencias": 0.0255,+ "recepcion": 0.0242,+ "colgar": 0.0242,+ "ninguno": 0.8528+ },+ "latency_ms": 125.2102919970639+ },+ {+ "id": "cl-043",+ "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.",+ "gold": "citas",+ "tags": [+ "hard"+ ],+ "predicted": "citas",+ "confidence": 0.6714,+ "probabilities": {+ "citas": 0.6714,+ "laboratorio": 0.2164,+ "farmacia": 0.022,+ "emergencias": 0.0221,+ "recepcion": 0.0226,+ "colgar": 0.0218,+ "ninguno": 0.0237+ },+ "latency_ms": 135.65237500006333+ },+ {+ "id": "cl-044",+ "text": "El doctor de emergencias me dejó una receta y quiero comprarla.",+ "gold": "farmacia",+ "tags": [+ "hard"+ ],+ "predicted": "farmacia",+ "confidence": 0.8441,+ "probabilities": {+ "citas": 0.0259,+ "laboratorio": 0.0258,+ "farmacia": 0.8441,+ "emergencias": 0.0253,+ "recepcion": 0.0257,+ "colgar": 0.0263,+ "ninguno": 0.0268+ },+ "latency_ms": 130.46987500274554+ },+ {+ "id": "cl-045",+ "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.",+ "gold": "laboratorio",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8525,+ "probabilities": {+ "citas": 0.0253,+ "laboratorio": 0.8525,+ "farmacia": 0.0237,+ "emergencias": 0.024,+ "recepcion": 0.0246,+ "colgar": 0.0246,+ "ninguno": 0.0253+ },+ "latency_ms": 122.43912502890453+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__frustration__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__frustration__es_criteria.jsonnew file mode 100644index 00000000..83c2682c--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__frustration__es_criteria.json@@ -0,0 +1,292 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "frustration",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 4121.495169005357+ },+ "summary": {+ "n": 9,+ "accuracy": 0.8888888888888888,+ "macro_f1": 0.47058823529411764,+ "ece": 0.027566666666666628,+ "mean_confidence": 0.8613222222222222,+ "majority_baseline": 1.0,+ "wrong_actions": 1,+ "by_tag": {+ "frustration": {+ "n": 9,+ "accuracy": 0.8888888888888888+ },+ "insult": {+ "n": 1,+ "accuracy": 1.0+ },+ "short": {+ "n": 3,+ "accuracy": 1.0+ },+ "swearing": {+ "n": 3,+ "accuracy": 0.6666666666666666+ }+ },+ "confusion": {+ "ninguno->soporte": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 1,+ "coverage": 0.1111111111111111,+ "action_recall": null,+ "wrong": 1,+ "precision": 0.0+ },+ {+ "threshold": 0.6,+ "fast": 1,+ "coverage": 0.1111111111111111,+ "action_recall": null,+ "wrong": 1,+ "precision": 0.0+ },+ {+ "threshold": 0.7,+ "fast": 1,+ "coverage": 0.1111111111111111,+ "action_recall": null,+ "wrong": 1,+ "precision": 0.0+ },+ {+ "threshold": 0.8,+ "fast": 1,+ "coverage": 0.1111111111111111,+ "action_recall": null,+ "wrong": 1,+ "precision": 0.0+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 138.54645803803578,+ "p95": 171.06633400544524,+ "min": 131.1139589524828+ },+ "borderline": []+ },+ "records": [+ {+ "id": "fr-001",+ "text": "te estoy pidiendo que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8647,+ "probabilities": {+ "ventas": 0.0273,+ "soporte": 0.0272,+ "facturacion": 0.0267,+ "operadora": 0.0274,+ "colgar": 0.0267,+ "ninguno": 0.8647+ },+ "latency_ms": 171.06633400544524+ },+ {+ "id": "fr-002",+ "text": "te dije que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8645,+ "probabilities": {+ "ventas": 0.0273,+ "soporte": 0.0272,+ "facturacion": 0.027,+ "operadora": 0.0275,+ "colgar": 0.0264,+ "ninguno": 0.8645+ },+ "latency_ms": 138.21808400098234+ },+ {+ "id": "fr-003",+ "text": "no estas entendiendo?",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.8656,+ "probabilities": {+ "ventas": 0.0269,+ "soporte": 0.0276,+ "facturacion": 0.0262,+ "operadora": 0.0274,+ "colgar": 0.0263,+ "ninguno": 0.8656+ },+ "latency_ms": 138.54645803803578+ },+ {+ "id": "fr-004",+ "text": "maldita sea te dije que no!",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "ninguno",+ "confidence": 0.8528,+ "probabilities": {+ "ventas": 0.0297,+ "soporte": 0.029,+ "facturacion": 0.0293,+ "operadora": 0.0302,+ "colgar": 0.0289,+ "ninguno": 0.8528+ },+ "latency_ms": 141.21262496337295+ },+ {+ "id": "fr-005",+ "text": "carajo no entiendo porque repetis lo mismo",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "ninguno",+ "confidence": 0.8735,+ "probabilities": {+ "ventas": 0.026,+ "soporte": 0.0245,+ "facturacion": 0.0253,+ "operadora": 0.0254,+ "colgar": 0.0254,+ "ninguno": 0.8735+ },+ "latency_ms": 143.3936250396073+ },+ {+ "id": "fr-006",+ "text": "que tonteras decis",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "predicted": "ninguno",+ "confidence": 0.8633,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.027,+ "facturacion": 0.0272,+ "operadora": 0.0274,+ "colgar": 0.0274,+ "ninguno": 0.8633+ },+ "latency_ms": 136.98129198746756+ },+ {+ "id": "fr-007",+ "text": "joder esto no sirve",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "soporte",+ "confidence": 0.8305,+ "probabilities": {+ "ventas": 0.0291,+ "soporte": 0.8305,+ "facturacion": 0.0284,+ "operadora": 0.0328,+ "colgar": 0.0307,+ "ninguno": 0.0485+ },+ "latency_ms": 131.1139589524828+ },+ {+ "id": "fr-008",+ "text": "no me estas respondiendo lo que te pregunte",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "predicted": "ninguno",+ "confidence": 0.8732,+ "probabilities": {+ "ventas": 0.0253,+ "soporte": 0.0262,+ "facturacion": 0.0247,+ "operadora": 0.0255,+ "colgar": 0.0252,+ "ninguno": 0.8732+ },+ "latency_ms": 156.33191697997972+ },+ {+ "id": "fr-009",+ "text": "eres demasiado tonto",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "insult"+ ],+ "predicted": "ninguno",+ "confidence": 0.8638,+ "probabilities": {+ "ventas": 0.0279,+ "soporte": 0.0258,+ "facturacion": 0.0275,+ "operadora": 0.0274,+ "colgar": 0.0277,+ "ninguno": 0.8638+ },+ "latency_ms": 134.39575000666082+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__independent_cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__independent_cases__es_criteria.jsonnew file mode 100644index 00000000..5c0714fd--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__independent_cases__es_criteria.json@@ -0,0 +1,703 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3879.1803770000115+ },+ "summary": {+ "n": 31,+ "accuracy": 0.967741935483871,+ "macro_f1": 0.974712643678161,+ "ece": 0.10521612903225784,+ "mean_confidence": 0.8625258064516131,+ "majority_baseline": 0.45161290322580644,+ "wrong_actions": 0,+ "by_tag": {+ "need-with-no": {+ "n": 13,+ "accuracy": 1.0+ },+ "noise": {+ "n": 1,+ "accuracy": 1.0+ },+ "redirected": {+ "n": 4,+ "accuracy": 0.75+ },+ "refused": {+ "n": 13,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "facturacion->ninguno": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 16,+ "coverage": 0.5161290322580645,+ "action_recall": 0.9411764705882353,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.6,+ "fast": 16,+ "coverage": 0.5161290322580645,+ "action_recall": 0.9411764705882353,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.7,+ "fast": 16,+ "coverage": 0.5161290322580645,+ "action_recall": 0.9411764705882353,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.8,+ "fast": 16,+ "coverage": 0.5161290322580645,+ "action_recall": 0.9411764705882353,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 1,+ "coverage": 0.03225806451612903,+ "action_recall": 0.058823529411764705,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 144.57083301385865,+ "p95": 158.85499998694286,+ "min": 130.75491698691621+ },+ "borderline": []+ },+ "records": [+ {+ "id": "ic-001",+ "text": "No, ni me meta al área de ventas que yo estoy llamando por una factura.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "ninguno",+ "confidence": 0.8613,+ "probabilities": {+ "ventas": 0.0279,+ "soporte": 0.0277,+ "facturacion": 0.0288,+ "operadora": 0.028,+ "colgar": 0.0263,+ "ninguno": 0.8613+ },+ "latency_ms": 156.92566597135738+ },+ {+ "id": "ic-002",+ "text": "Soy cliente, no me conecte con los de contratos, necesito hablar con el soporte técnico.",+ "gold": "soporte",+ "tags": [+ "redirected"+ ],+ "predicted": "soporte",+ "confidence": 0.869,+ "probabilities": {+ "ventas": 0.0251,+ "soporte": 0.869,+ "facturacion": 0.0252,+ "operadora": 0.0283,+ "colgar": 0.0257,+ "ninguno": 0.0268+ },+ "latency_ms": 146.58941701054573+ },+ {+ "id": "ic-003",+ "text": "Quiero hablar con alguien del área de cobros, no me saque al departamento comercial.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "facturacion",+ "confidence": 0.9382,+ "probabilities": {+ "ventas": 0.0125,+ "soporte": 0.0121,+ "facturacion": 0.9382,+ "operadora": 0.0125,+ "colgar": 0.0122,+ "ninguno": 0.0126+ },+ "latency_ms": 151.82829200057313+ },+ {+ "id": "ic-004",+ "text": "Escúchame bien, no me mande con los de ventas, estoy llamando sobre mi saldo.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "facturacion",+ "confidence": 0.8646,+ "probabilities": {+ "ventas": 0.0275,+ "soporte": 0.027,+ "facturacion": 0.8646,+ "operadora": 0.0268,+ "colgar": 0.0265,+ "ninguno": 0.0276+ },+ "latency_ms": 158.85499998694286+ },+ {+ "id": "ic-005",+ "text": "Oiga, mira que no me funciona la internet hace tres días",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8597,+ "probabilities": {+ "ventas": 0.0284,+ "soporte": 0.8597,+ "facturacion": 0.0277,+ "operadora": 0.0279,+ "colgar": 0.0275,+ "ninguno": 0.0288+ },+ "latency_ms": 139.61025001481175+ },+ {+ "id": "ic-006",+ "text": "Holaaa, no me llegó la factura y necesito hablar con alguien",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8555,+ "probabilities": {+ "ventas": 0.0288,+ "soporte": 0.0283,+ "facturacion": 0.8555,+ "operadora": 0.0295,+ "colgar": 0.0285,+ "ninguno": 0.0294+ },+ "latency_ms": 161.76541696768254+ },+ {+ "id": "ic-007",+ "text": "Oiga, yo no quiero hablar con nadie, no me pasen al departamento de soporte técnico, llámame directamente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8473,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.0306,+ "facturacion": 0.0297,+ "operadora": 0.0308,+ "colgar": 0.0305,+ "ninguno": 0.8473+ },+ "latency_ms": 145.86537599097937+ },+ {+ "id": "ic-008",+ "text": "No me pongan con soporte, ya sé lo que hace, ¿podés darme mi número?",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8675,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.0262,+ "facturacion": 0.0261,+ "operadora": 0.0268,+ "colgar": 0.0267,+ "ninguno": 0.8675+ },+ "latency_ms": 142.2773749800399+ },+ {+ "id": "ic-009",+ "text": "No me manden al área de soporte, quiero que me respondan acá, al cliente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8704,+ "probabilities": {+ "ventas": 0.0278,+ "soporte": 0.0253,+ "facturacion": 0.0257,+ "operadora": 0.0256,+ "colgar": 0.0251,+ "ninguno": 0.8704+ },+ "latency_ms": 136.4926669630222+ },+ {+ "id": "ic-010",+ "text": "Mire, no me pongan con el soporte, eso ya lo saben, yo les hablo a ustedes.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8692,+ "probabilities": {+ "ventas": 0.0266,+ "soporte": 0.0254,+ "facturacion": 0.0267,+ "operadora": 0.0262,+ "colgar": 0.0259,+ "ninguno": 0.8692+ },+ "latency_ms": 135.454417031724+ },+ {+ "id": "ic-011",+ "text": "No me pasen con soporte técnico, llámeme directo al celular, no quiero hablar con nadie más.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8491,+ "probabilities": {+ "ventas": 0.0309,+ "soporte": 0.0297,+ "facturacion": 0.0299,+ "operadora": 0.0306,+ "colgar": 0.0297,+ "ninguno": 0.8491+ },+ "latency_ms": 135.2247089962475+ },+ {+ "id": "ic-012",+ "text": "Oye, ¿saben por qué nunca me funciona el internet?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8679,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.8679,+ "facturacion": 0.0261,+ "operadora": 0.0259,+ "colgar": 0.0262,+ "ninguno": 0.0282+ },+ "latency_ms": 141.8089580256492+ },+ {+ "id": "ic-013",+ "text": "Bueno, tengo un problema que no me deja usar la conexión.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8718,+ "probabilities": {+ "ventas": 0.025,+ "soporte": 0.8718,+ "facturacion": 0.0253,+ "operadora": 0.0251,+ "colgar": 0.025,+ "ninguno": 0.0278+ },+ "latency_ms": 164.7078749956563+ },+ {+ "id": "ic-014",+ "text": "¿Alguien me ayuda con el servicio porque no funciona?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8665,+ "probabilities": {+ "ventas": 0.0261,+ "soporte": 0.8665,+ "facturacion": 0.0262,+ "operadora": 0.0263,+ "colgar": 0.0257,+ "ninguno": 0.0292+ },+ "latency_ms": 157.86945796571672+ },+ {+ "id": "ic-015",+ "text": "No me funcionó el equipo que me enviaron, por favor arreglenlo.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.8575,+ "probabilities": {+ "ventas": 0.0287,+ "soporte": 0.8575,+ "facturacion": 0.0274,+ "operadora": 0.0287,+ "colgar": 0.0266,+ "ninguno": 0.0311+ },+ "latency_ms": 145.19241702510044+ },+ {+ "id": "ic-016",+ "text": "No quiero pasar al de facturación, haganme la atención aquí.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8515,+ "probabilities": {+ "ventas": 0.0314,+ "soporte": 0.0301,+ "facturacion": 0.0275,+ "operadora": 0.032,+ "colgar": 0.0275,+ "ninguno": 0.8515+ },+ "latency_ms": 145.9742920123972+ },+ {+ "id": "ic-017",+ "text": "Cuidado, no me pasen a facturación, es muy largo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8598,+ "probabilities": {+ "ventas": 0.0286,+ "soporte": 0.0294,+ "facturacion": 0.0273,+ "operadora": 0.0274,+ "colgar": 0.0275,+ "ninguno": 0.8598+ },+ "latency_ms": 145.55420802207664+ },+ {+ "id": "ic-018",+ "text": "No me manden a facturación, por favor.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8721,+ "probabilities": {+ "ventas": 0.026,+ "soporte": 0.0254,+ "facturacion": 0.0253,+ "operadora": 0.0258,+ "colgar": 0.0255,+ "ninguno": 0.8721+ },+ "latency_ms": 153.10720802517608+ },+ {+ "id": "ic-019",+ "text": "Ni se les ocurra pasarme a facturación, no estoy interesada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.851,+ "probabilities": {+ "ventas": 0.0304,+ "soporte": 0.0297,+ "facturacion": 0.0293,+ "operadora": 0.0299,+ "colgar": 0.0298,+ "ninguno": 0.851+ },+ "latency_ms": 133.97679099580273+ },+ {+ "id": "ic-020",+ "text": "Oiga, estoy llamando por un asunto serio, me está cobrando una mensualidad y no me deja ver la factura ni el detalle del pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8684,+ "probabilities": {+ "ventas": 0.0259,+ "soporte": 0.0268,+ "facturacion": 0.8684,+ "operadora": 0.0259,+ "colgar": 0.0255,+ "ninguno": 0.0277+ },+ "latency_ms": 152.61691698106006+ },+ {+ "id": "ic-021",+ "text": "Hola, buenos días, tengo el saldo pendiente y no me está llegando el cobro, necesitan revisar el caso urgente.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8485,+ "probabilities": {+ "ventas": 0.0301,+ "soporte": 0.0302,+ "facturacion": 0.8485,+ "operadora": 0.0302,+ "colgar": 0.0299,+ "ninguno": 0.0311+ },+ "latency_ms": 145.4503340064548+ },+ {+ "id": "ic-022",+ "text": "Buenas tardes, disculpen que llame, me hicieron un cobro adicional y no me aparece la factura para validar el pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8518,+ "probabilities": {+ "ventas": 0.0299,+ "soporte": 0.0297,+ "facturacion": 0.8518,+ "operadora": 0.0291,+ "colgar": 0.0292,+ "ninguno": 0.0303+ },+ "latency_ms": 144.57083301385865+ },+ {+ "id": "ic-023",+ "text": "Saludos, llamo para reclamar el saldo que me deben y no puedo generar una orden de pago ni ver el estado del reembolso.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8366,+ "probabilities": {+ "ventas": 0.0323,+ "soporte": 0.0333,+ "facturacion": 0.8366,+ "operadora": 0.0327,+ "colgar": 0.032,+ "ninguno": 0.0331+ },+ "latency_ms": 141.68612501816824+ },+ {+ "id": "ic-024",+ "text": "¿Sigo en línea?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.8542,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.0312,+ "facturacion": 0.0274,+ "operadora": 0.0306,+ "colgar": 0.0275,+ "ninguno": 0.8542+ },+ "latency_ms": 139.18983394978568+ },+ {+ "id": "ic-025",+ "text": "No, espera, no me cuelgues, me falta algo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8683,+ "probabilities": {+ "ventas": 0.0264,+ "soporte": 0.0255,+ "facturacion": 0.0263,+ "operadora": 0.0268,+ "colgar": 0.0267,+ "ninguno": 0.8683+ },+ "latency_ms": 155.69745795801282+ },+ {+ "id": "ic-026",+ "text": "No me corten la línea, no se vayan.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8577,+ "probabilities": {+ "ventas": 0.0291,+ "soporte": 0.0284,+ "facturacion": 0.0283,+ "operadora": 0.0286,+ "colgar": 0.028,+ "ninguno": 0.8577+ },+ "latency_ms": 141.91616704920307+ },+ {+ "id": "ic-027",+ "text": "Ya, no me cuelgues, sigo aquí esperando.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8553,+ "probabilities": {+ "ventas": 0.0289,+ "soporte": 0.0302,+ "facturacion": 0.0286,+ "operadora": 0.0288,+ "colgar": 0.0281,+ "ninguno": 0.8553+ },+ "latency_ms": 139.07391601242125+ },+ {+ "id": "ic-028",+ "text": "Me quedé en pausa, no me vayan a cortar.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8518,+ "probabilities": {+ "ventas": 0.0303,+ "soporte": 0.0296,+ "facturacion": 0.0294,+ "operadora": 0.0296,+ "colgar": 0.0294,+ "ninguno": 0.8518+ },+ "latency_ms": 138.49958404898643+ },+ {+ "id": "ic-029",+ "text": "Quiero hablar con el humano, por favor, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8676,+ "probabilities": {+ "ventas": 0.0263,+ "soporte": 0.0256,+ "facturacion": 0.0259,+ "operadora": 0.8676,+ "colgar": 0.0266,+ "ninguno": 0.0279+ },+ "latency_ms": 142.40866602631286+ },+ {+ "id": "ic-030",+ "text": "¿No hay nadie ahí? No quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8625,+ "probabilities": {+ "ventas": 0.0277,+ "soporte": 0.0266,+ "facturacion": 0.0268,+ "operadora": 0.8625,+ "colgar": 0.0275,+ "ninguno": 0.0289+ },+ "latency_ms": 132.71066697780043+ },+ {+ "id": "ic-031",+ "text": "Oiga, quiero hablar con alguien en vivo, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.8657,+ "probabilities": {+ "ventas": 0.0266,+ "soporte": 0.0257,+ "facturacion": 0.0264,+ "operadora": 0.8657,+ "colgar": 0.0271,+ "ninguno": 0.0285+ },+ "latency_ms": 130.75491698691621+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__independent_clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__independent_clinic__es_criteria.jsonnew file mode 100644index 00000000..7ff49f1e--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-es-phone-v5__independent_clinic__es_criteria.json@@ -0,0 +1,515 @@+{+ "meta": {+ "model": "/model",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3845.452125999145+ },+ "summary": {+ "n": 20,+ "accuracy": 0.9,+ "macro_f1": 0.875,+ "ece": 0.1423450000000001,+ "mean_confidence": 0.8062049999999997,+ "majority_baseline": 0.25,+ "wrong_actions": 1,+ "by_tag": {+ "direct": {+ "n": 1,+ "accuracy": 1.0+ },+ "need-with-no": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "redirected": {+ "n": 2,+ "accuracy": 1.0+ },+ "refused": {+ "n": 4,+ "accuracy": 0.75+ }+ },+ "confusion": {+ "emergencias->ninguno": 1,+ "ninguno->emergencias": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 16,+ "coverage": 0.8,+ "action_recall": 0.9375,+ "wrong": 1,+ "precision": 0.9375+ },+ {+ "threshold": 0.6,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.8125,+ "wrong": 1,+ "precision": 0.9285714285714286+ },+ {+ "threshold": 0.7,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.8125,+ "wrong": 1,+ "precision": 0.9285714285714286+ },+ {+ "threshold": 0.8,+ "fast": 14,+ "coverage": 0.7,+ "action_recall": 0.8125,+ "wrong": 1,+ "precision": 0.9285714285714286+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 142.48641696758568,+ "p95": 163.68433396564797,+ "min": 126.6509999986738+ },+ "borderline": []+ },+ "records": [+ {+ "id": "il-001",+ "text": "No, no, no me pasen a esa caja ni al departamento de turnos.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8323,+ "probabilities": {+ "citas": 0.0293,+ "laboratorio": 0.0266,+ "farmacia": 0.0268,+ "emergencias": 0.0279,+ "recepcion": 0.0282,+ "colgar": 0.0289,+ "ninguno": 0.8323+ },+ "latency_ms": 140.3768750024028+ },+ {+ "id": "il-002",+ "text": "Hola, quería ver si se puede arreglar mi cita porque no puedo ir a la clínica",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8478,+ "probabilities": {+ "citas": 0.8478,+ "laboratorio": 0.0248,+ "farmacia": 0.0251,+ "emergencias": 0.0249,+ "recepcion": 0.0256,+ "colgar": 0.0248,+ "ninguno": 0.027+ },+ "latency_ms": 142.48641696758568+ },+ {+ "id": "il-003",+ "text": "Buenas tardes, necesito saber si hago trámite para cambiar o anular la cita ya que nunca me llegó la confirmación",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8424,+ "probabilities": {+ "citas": 0.8424,+ "laboratorio": 0.0255,+ "farmacia": 0.0256,+ "emergencias": 0.0257,+ "recepcion": 0.0262,+ "colgar": 0.0258,+ "ninguno": 0.0288+ },+ "latency_ms": 144.01820895727724+ },+ {+ "id": "il-004",+ "text": "Quisiera pedir ayuda porque no puedo ir a mi consulta médica y quiero cancelarla o cambiarla",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.8389,+ "probabilities": {+ "citas": 0.8389,+ "laboratorio": 0.026,+ "farmacia": 0.0273,+ "emergencias": 0.0269,+ "recepcion": 0.0268,+ "colgar": 0.0264,+ "ninguno": 0.0276+ },+ "latency_ms": 137.49129202915356+ },+ {+ "id": "il-005",+ "text": "Oiga, mira, por favor, no la pasen para ahí, a lo del laboratorio, no quiero que me hagan análisis de nada, ni nada de eso.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.8279,+ "probabilities": {+ "citas": 0.0296,+ "laboratorio": 0.0283,+ "farmacia": 0.0282,+ "emergencias": 0.0283,+ "recepcion": 0.0285,+ "colgar": 0.0292,+ "ninguno": 0.8279+ },+ "latency_ms": 158.4053750266321+ },+ {+ "id": "il-006",+ "text": "Soy yo, no me pasen al área de laboratorio, por favor, no quiero exámenes ni nada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "ninguno",+ "confidence": 0.848,+ "probabilities": {+ "citas": 0.026,+ "laboratorio": 0.0252,+ "farmacia": 0.0248,+ "emergencias": 0.0255,+ "recepcion": 0.0251,+ "colgar": 0.0254,+ "ninguno": 0.848+ },+ "latency_ms": 173.22212498402223+ },+ {+ "id": "il-007",+ "text": "Necesito que revisen los resultados, por favor, ya no me llegó la información que me mandaron.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.5851,+ "probabilities": {+ "citas": 0.0195,+ "laboratorio": 0.5851,+ "farmacia": 0.0199,+ "emergencias": 0.321,+ "recepcion": 0.018,+ "colgar": 0.0174,+ "ninguno": 0.0192+ },+ "latency_ms": 143.77670898102224+ },+ {+ "id": "il-008",+ "text": "Oigan, urgente: me dijeron que me envíen los exámenes pero no me funciona el sistema.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8821,+ "probabilities": {+ "citas": 0.0199,+ "laboratorio": 0.8821,+ "farmacia": 0.0188,+ "emergencias": 0.0198,+ "recepcion": 0.0198,+ "colgar": 0.0196,+ "ninguno": 0.0199+ },+ "latency_ms": 149.9866250087507+ },+ {+ "id": "il-009",+ "text": "¿Alguien ahí me puede llamar para explicarme los resultados? No me puedo mover para ir.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8586,+ "probabilities": {+ "citas": 0.0242,+ "laboratorio": 0.8586,+ "farmacia": 0.0222,+ "emergencias": 0.0227,+ "recepcion": 0.0239,+ "colgar": 0.0235,+ "ninguno": 0.025+ },+ "latency_ms": 135.2836670121178+ },+ {+ "id": "il-010",+ "text": "Quiero que me atiendan con mis exámenes, no me funciona lo que me enviaron ayer.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8806,+ "probabilities": {+ "citas": 0.0204,+ "laboratorio": 0.8806,+ "farmacia": 0.0197,+ "emergencias": 0.0199,+ "recepcion": 0.0201,+ "colgar": 0.0195,+ "ninguno": 0.0197+ },+ "latency_ms": 163.68433396564797+ },+ {+ "id": "il-011",+ "text": "Por favor, necesitan revisar mis análisis, nunca me han dado el resultado que me corresponde.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8492,+ "probabilities": {+ "citas": 0.0256,+ "laboratorio": 0.8492,+ "farmacia": 0.0247,+ "emergencias": 0.0246,+ "recepcion": 0.0254,+ "colgar": 0.0252,+ "ninguno": 0.0253+ },+ "latency_ms": 148.1796259758994+ },+ {+ "id": "il-012",+ "text": "Quiero hablar con atención humana, no con la farmacia, por favor.",+ "gold": "recepcion",+ "tags": [+ "redirected"+ ],+ "predicted": "recepcion",+ "confidence": 0.8562,+ "probabilities": {+ "citas": 0.0243,+ "laboratorio": 0.0221,+ "farmacia": 0.0227,+ "emergencias": 0.025,+ "recepcion": 0.8562,+ "colgar": 0.0245,+ "ninguno": 0.0252+ },+ "latency_ms": 132.09395797457546+ },+ {+ "id": "il-013",+ "text": "Bueno, hola, soy la señora Rodríguez, tengo una inquietud con el medicamento que me dejaron recetado, no me llegó.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.8401,+ "probabilities": {+ "citas": 0.0267,+ "laboratorio": 0.0269,+ "farmacia": 0.8401,+ "emergencias": 0.0265,+ "recepcion": 0.0262,+ "colgar": 0.0265,+ "ninguno": 0.0272+ },+ "latency_ms": 147.31120801297948+ },+ {+ "id": "il-014",+ "text": "Bueno, hola, soy el señor de la mesa cuatro, me dejaron recetar unas cosas pero nunca me las dieron.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.8357,+ "probabilities": {+ "citas": 0.0274,+ "laboratorio": 0.0288,+ "farmacia": 0.8357,+ "emergencias": 0.027,+ "recepcion": 0.0268,+ "colgar": 0.0268,+ "ninguno": 0.0275+ },+ "latency_ms": 145.24962496943772+ },+ {+ "id": "il-015",+ "text": "Oiga, ¿me pueden pasar con el médico de urgencias?",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.8966,+ "probabilities": {+ "citas": 0.0214,+ "laboratorio": 0.0157,+ "farmacia": 0.0158,+ "emergencias": 0.8966,+ "recepcion": 0.0172,+ "colgar": 0.0163,+ "ninguno": 0.0171+ },+ "latency_ms": 132.99737498164177+ },+ {+ "id": "il-016",+ "text": "Escúcheme, yo no quiero ser atendido en la emergencia.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "emergencias",+ "confidence": 0.8413,+ "probabilities": {+ "citas": 0.0266,+ "laboratorio": 0.0249,+ "farmacia": 0.0251,+ "emergencias": 0.8413,+ "recepcion": 0.0275,+ "colgar": 0.026,+ "ninguno": 0.0286+ },+ "latency_ms": 126.6509999986738+ },+ {+ "id": "il-017",+ "text": "Quiero consulta pero no quiero que me pongan en la sala de emergencias.",+ "gold": "citas",+ "tags": [+ "redirected"+ ],+ "predicted": "citas",+ "confidence": 0.5892,+ "probabilities": {+ "citas": 0.5892,+ "laboratorio": 0.0326,+ "farmacia": 0.0333,+ "emergencias": 0.0332,+ "recepcion": 0.0365,+ "colgar": 0.0335,+ "ninguno": 0.2417+ },+ "latency_ms": 138.8234170153737+ },+ {+ "id": "il-018",+ "text": "Ayúdeme rápido, por favor, no puedo moverme de la cama",+ "gold": "emergencias",+ "tags": [+ "need-with-no"+ ],+ "predicted": "ninguno",+ "confidence": 0.4855,+ "probabilities": {+ "citas": 0.0604,+ "laboratorio": 0.0546,+ "farmacia": 0.0557,+ "emergencias": 0.1593,+ "recepcion": 0.1228,+ "colgar": 0.0616,+ "ninguno": 0.4855+ },+ "latency_ms": 140.48216701485217+ },+ {+ "id": "il-019",+ "text": "Hable conmigo, no quiero hablar con la grabación.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.8369,+ "probabilities": {+ "citas": 0.0278,+ "laboratorio": 0.025,+ "farmacia": 0.0257,+ "emergencias": 0.0283,+ "recepcion": 0.8369,+ "colgar": 0.0274,+ "ninguno": 0.0289+ },+ "latency_ms": 130.1157500129193+ },+ {+ "id": "il-020",+ "text": "No quiero hablar con el sistema, quiero hablar con el humano.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.8497,+ "probabilities": {+ "citas": 0.0254,+ "laboratorio": 0.0237,+ "farmacia": 0.024,+ "emergencias": 0.0249,+ "recepcion": 0.8497,+ "colgar": 0.0256,+ "ninguno": 0.0267+ },+ "latency_ms": 137.87475001299754+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-multilingual__cases__en_criteria.json b/research/benchmarks/es_phone_turns/results/laya-multilingual__cases__en_criteria.jsonnew file mode 100644index 00000000..baf9037b--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-multilingual__cases__en_criteria.json@@ -0,0 +1,2420 @@+{+ "meta": {+ "model": "convaiinnovations/laya-multilingual",+ "subfolder": null,+ "rung": "en_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 5593.500377028249+ },+ "summary": {+ "n": 112,+ "accuracy": 0.5892857142857143,+ "macro_f1": 0.6015530289550788,+ "ece": 0.15062053571428566,+ "mean_confidence": 0.7055330357142856,+ "majority_baseline": 0.3125,+ "wrong_actions": 36,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 0.625+ },+ "direct": {+ "n": 18,+ "accuracy": 0.8333333333333334+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.46153846153846156+ },+ "hard": {+ "n": 6,+ "accuracy": 0.3333333333333333+ },+ "hn": {+ "n": 9,+ "accuracy": 0.5555555555555556+ },+ "human": {+ "n": 13,+ "accuracy": 0.7692307692307693+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.7333333333333333+ },+ "negation": {+ "n": 15,+ "accuracy": 0.2+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.5555555555555556+ },+ "open": {+ "n": 11,+ "accuracy": 0.45454545454545453+ },+ "short": {+ "n": 5,+ "accuracy": 0.6+ }+ },+ "confusion": {+ "colgar->ninguno": 7,+ "colgar->soporte": 1,+ "facturacion->soporte": 2,+ "ninguno->colgar": 3,+ "ninguno->facturacion": 4,+ "ninguno->operadora": 6,+ "ninguno->soporte": 6,+ "ninguno->ventas": 3,+ "operadora->ninguno": 1,+ "operadora->soporte": 3,+ "soporte->colgar": 1,+ "soporte->ninguno": 2,+ "soporte->operadora": 2,+ "ventas->facturacion": 2,+ "ventas->operadora": 2,+ "ventas->soporte": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 74,+ "coverage": 0.6607142857142857,+ "action_recall": 0.6233766233766234,+ "wrong": 26,+ "precision": 0.6486486486486487+ },+ {+ "threshold": 0.6,+ "fast": 65,+ "coverage": 0.5803571428571429,+ "action_recall": 0.5714285714285714,+ "wrong": 21,+ "precision": 0.676923076923077+ },+ {+ "threshold": 0.7,+ "fast": 53,+ "coverage": 0.4732142857142857,+ "action_recall": 0.4675324675324675,+ "wrong": 17,+ "precision": 0.6792452830188679+ },+ {+ "threshold": 0.8,+ "fast": 44,+ "coverage": 0.39285714285714285,+ "action_recall": 0.37662337662337664,+ "wrong": 15,+ "precision": 0.6590909090909091+ },+ {+ "threshold": 0.9,+ "fast": 35,+ "coverage": 0.3125,+ "action_recall": 0.2987012987012987,+ "wrong": 12,+ "precision": 0.6571428571428571+ },+ {+ "threshold": 0.95,+ "fast": 30,+ "coverage": 0.26785714285714285,+ "action_recall": 0.24675324675324675,+ "wrong": 11,+ "precision": 0.6333333333333333+ },+ {+ "threshold": 0.99,+ "fast": 24,+ "coverage": 0.21428571428571427,+ "action_recall": 0.19480519480519481,+ "wrong": 9,+ "precision": 0.625+ }+ ],+ "latency_ms": {+ "p50": 123.5082499915734,+ "p95": 146.54179097851738,+ "min": 114.58083300385624+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "facturacion",+ "confidence": 0.5879+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "operadora",+ "confidence": 0.5529+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ventas",+ "confidence": 0.5256+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "soporte",+ "confidence": 0.3403+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 1.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 129.17804199969396+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 1.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 125.95249997684732+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 1.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 131.9361660280265+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.9989,+ "probabilities": {+ "ventas": 0.9989,+ "soporte": 0.0002,+ "facturacion": 0.0001,+ "operadora": 0.0003,+ "colgar": 0.0002,+ "ninguno": 0.0004+ },+ "latency_ms": 126.05449999682605+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.6276,+ "probabilities": {+ "ventas": 0.1021,+ "soporte": 0.1013,+ "facturacion": 0.0646,+ "operadora": 0.6276,+ "colgar": 0.0278,+ "ninguno": 0.0767+ },+ "latency_ms": 124.60195797029883+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.4858,+ "probabilities": {+ "ventas": 0.4858,+ "soporte": 0.0863,+ "facturacion": 0.081,+ "operadora": 0.3194,+ "colgar": 0.0126,+ "ninguno": 0.0149+ },+ "latency_ms": 123.23041597846895+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8781,+ "probabilities": {+ "ventas": 0.8781,+ "soporte": 0.01,+ "facturacion": 0.026,+ "operadora": 0.016,+ "colgar": 0.0118,+ "ninguno": 0.058+ },+ "latency_ms": 130.05745800910518+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9945,+ "probabilities": {+ "ventas": 0.0006,+ "soporte": 0.0002,+ "facturacion": 0.9945,+ "operadora": 0.0028,+ "colgar": 0.0005,+ "ninguno": 0.0014+ },+ "latency_ms": 131.29133294569328+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.514,+ "probabilities": {+ "ventas": 0.0419,+ "soporte": 0.514,+ "facturacion": 0.0132,+ "operadora": 0.2031,+ "colgar": 0.087,+ "ninguno": 0.1408+ },+ "latency_ms": 150.02762601943687+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.839,+ "probabilities": {+ "ventas": 0.839,+ "soporte": 0.002,+ "facturacion": 0.0376,+ "operadora": 0.063,+ "colgar": 0.0475,+ "ninguno": 0.0109+ },+ "latency_ms": 130.33466698834673+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.5457,+ "probabilities": {+ "ventas": 0.1367,+ "soporte": 0.0436,+ "facturacion": 0.0177,+ "operadora": 0.5457,+ "colgar": 0.1125,+ "ninguno": 0.1439+ },+ "latency_ms": 173.52341703372076+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.7441,+ "probabilities": {+ "ventas": 0.7441,+ "soporte": 0.0088,+ "facturacion": 0.0895,+ "operadora": 0.115,+ "colgar": 0.0157,+ "ninguno": 0.0269+ },+ "latency_ms": 149.15862499037758+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.9867,+ "probabilities": {+ "ventas": 0.9867,+ "soporte": 0.0013,+ "facturacion": 0.0041,+ "operadora": 0.0045,+ "colgar": 0.001,+ "ninguno": 0.0024+ },+ "latency_ms": 145.3952500014566+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8464,+ "probabilities": {+ "ventas": 0.8464,+ "soporte": 0.0515,+ "facturacion": 0.0175,+ "operadora": 0.0485,+ "colgar": 0.0099,+ "ninguno": 0.0262+ },+ "latency_ms": 147.71045796805993+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.909,+ "probabilities": {+ "ventas": 0.0055,+ "soporte": 0.909,+ "facturacion": 0.0038,+ "operadora": 0.0221,+ "colgar": 0.03,+ "ninguno": 0.0296+ },+ "latency_ms": 115.74650002876297+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8887,+ "probabilities": {+ "ventas": 0.004,+ "soporte": 0.8887,+ "facturacion": 0.0021,+ "operadora": 0.0756,+ "colgar": 0.0048,+ "ninguno": 0.0248+ },+ "latency_ms": 117.0663750381209+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.7705,+ "probabilities": {+ "ventas": 0.0235,+ "soporte": 0.7705,+ "facturacion": 0.0121,+ "operadora": 0.0654,+ "colgar": 0.093,+ "ninguno": 0.0354+ },+ "latency_ms": 122.35099996905774+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.3979,+ "probabilities": {+ "ventas": 0.0423,+ "soporte": 0.1192,+ "facturacion": 0.0349,+ "operadora": 0.3003,+ "colgar": 0.1056,+ "ninguno": 0.3979+ },+ "latency_ms": 127.97254102770239+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.9706,+ "probabilities": {+ "ventas": 0.0009,+ "soporte": 0.9706,+ "facturacion": 0.0006,+ "operadora": 0.0034,+ "colgar": 0.0164,+ "ninguno": 0.0081+ },+ "latency_ms": 156.3776670373045+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.6443,+ "probabilities": {+ "ventas": 0.002,+ "soporte": 0.6443,+ "facturacion": 0.002,+ "operadora": 0.161,+ "colgar": 0.0906,+ "ninguno": 0.1+ },+ "latency_ms": 141.28120802342892+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.7702,+ "probabilities": {+ "ventas": 0.0021,+ "soporte": 0.7702,+ "facturacion": 0.002,+ "operadora": 0.1378,+ "colgar": 0.0181,+ "ninguno": 0.0699+ },+ "latency_ms": 143.85724999010563+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.7219,+ "probabilities": {+ "ventas": 0.006,+ "soporte": 0.7219,+ "facturacion": 0.0097,+ "operadora": 0.1354,+ "colgar": 0.0355,+ "ninguno": 0.0916+ },+ "latency_ms": 129.7290829825215+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.4737,+ "probabilities": {+ "ventas": 0.0024,+ "soporte": 0.4275,+ "facturacion": 0.0017,+ "operadora": 0.4737,+ "colgar": 0.0359,+ "ninguno": 0.0589+ },+ "latency_ms": 125.69212500238791+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.5596,+ "probabilities": {+ "ventas": 0.001,+ "soporte": 0.5596,+ "facturacion": 0.0009,+ "operadora": 0.391,+ "colgar": 0.0257,+ "ninguno": 0.0218+ },+ "latency_ms": 124.41687600221485+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.4474,+ "probabilities": {+ "ventas": 0.0023,+ "soporte": 0.2764,+ "facturacion": 0.0021,+ "operadora": 0.1328,+ "colgar": 0.4474,+ "ninguno": 0.1391+ },+ "latency_ms": 126.50700000813231+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.7711,+ "probabilities": {+ "ventas": 0.004,+ "soporte": 0.7711,+ "facturacion": 0.002,+ "operadora": 0.0226,+ "colgar": 0.0914,+ "ninguno": 0.1089+ },+ "latency_ms": 123.5082499915734+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.454,+ "probabilities": {+ "ventas": 0.0017,+ "soporte": 0.4424,+ "facturacion": 0.0014,+ "operadora": 0.454,+ "colgar": 0.0402,+ "ninguno": 0.0604+ },+ "latency_ms": 123.27587499748915+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.6183,+ "probabilities": {+ "ventas": 0.0061,+ "soporte": 0.1059,+ "facturacion": 0.0028,+ "operadora": 0.1779,+ "colgar": 0.0889,+ "ninguno": 0.6183+ },+ "latency_ms": 127.06475000595674+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 1.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 117.52487503690645+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9522,+ "probabilities": {+ "ventas": 0.0007,+ "soporte": 0.0136,+ "facturacion": 0.9522,+ "operadora": 0.0123,+ "colgar": 0.0114,+ "ninguno": 0.0098+ },+ "latency_ms": 114.67529099900275+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 1.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 117.84083303064108+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.6627,+ "probabilities": {+ "ventas": 0.0229,+ "soporte": 0.039,+ "facturacion": 0.6627,+ "operadora": 0.0941,+ "colgar": 0.0421,+ "ninguno": 0.1392+ },+ "latency_ms": 116.92775000119582+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.8588,+ "probabilities": {+ "ventas": 0.0137,+ "soporte": 0.0195,+ "facturacion": 0.8588,+ "operadora": 0.0739,+ "colgar": 0.0062,+ "ninguno": 0.0278+ },+ "latency_ms": 140.98670799285173+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9997,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 0.9997,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0003+ },+ "latency_ms": 139.4271249882877+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 1.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 125.35837502218783+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9997,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 0.9997,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0002+ },+ "latency_ms": 124.9588750069961+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.9999,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0001,+ "facturacion": 0.9999,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 129.868375021033+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9985,+ "probabilities": {+ "ventas": 0.0002,+ "soporte": 0.0005,+ "facturacion": 0.9985,+ "operadora": 0.0002,+ "colgar": 0.0001,+ "ninguno": 0.0006+ },+ "latency_ms": 121.30058300681412+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8874,+ "probabilities": {+ "ventas": 0.0019,+ "soporte": 0.8874,+ "facturacion": 0.0172,+ "operadora": 0.0287,+ "colgar": 0.0319,+ "ninguno": 0.0328+ },+ "latency_ms": 124.99895901419222+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9908,+ "probabilities": {+ "ventas": 0.0002,+ "soporte": 0.0048,+ "facturacion": 0.9908,+ "operadora": 0.0002,+ "colgar": 0.0002,+ "ninguno": 0.0037+ },+ "latency_ms": 121.61104200640693+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.923,+ "probabilities": {+ "ventas": 0.0003,+ "soporte": 0.0709,+ "facturacion": 0.923,+ "operadora": 0.0008,+ "colgar": 0.0004,+ "ninguno": 0.0046+ },+ "latency_ms": 129.10141702741385+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9472,+ "probabilities": {+ "ventas": 0.0013,+ "soporte": 0.0108,+ "facturacion": 0.9472,+ "operadora": 0.016,+ "colgar": 0.0057,+ "ninguno": 0.019+ },+ "latency_ms": 120.48758298624307+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.7988,+ "probabilities": {+ "ventas": 0.0316,+ "soporte": 0.0235,+ "facturacion": 0.0148,+ "operadora": 0.7988,+ "colgar": 0.0131,+ "ninguno": 0.1182+ },+ "latency_ms": 116.02341698016971+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.4981,+ "probabilities": {+ "ventas": 0.0434,+ "soporte": 0.4981,+ "facturacion": 0.0146,+ "operadora": 0.3258,+ "colgar": 0.0515,+ "ninguno": 0.0665+ },+ "latency_ms": 124.55820798641071+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.4146,+ "probabilities": {+ "ventas": 0.0247,+ "soporte": 0.3184,+ "facturacion": 0.0108,+ "operadora": 0.4146,+ "colgar": 0.0257,+ "ninguno": 0.2058+ },+ "latency_ms": 129.2017920059152+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 1.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 119.46374998660758+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.4327,+ "probabilities": {+ "ventas": 0.0225,+ "soporte": 0.1395,+ "facturacion": 0.0223,+ "operadora": 0.115,+ "colgar": 0.2681,+ "ninguno": 0.4327+ },+ "latency_ms": 118.99029201595113+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.5697,+ "probabilities": {+ "ventas": 0.0202,+ "soporte": 0.2778,+ "facturacion": 0.0246,+ "operadora": 0.5697,+ "colgar": 0.0509,+ "ninguno": 0.0568+ },+ "latency_ms": 141.51808299357072+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.6311,+ "probabilities": {+ "ventas": 0.0338,+ "soporte": 0.1936,+ "facturacion": 0.0087,+ "operadora": 0.6311,+ "colgar": 0.0126,+ "ninguno": 0.1202+ },+ "latency_ms": 119.95741701684892+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.459,+ "probabilities": {+ "ventas": 0.059,+ "soporte": 0.2252,+ "facturacion": 0.0257,+ "operadora": 0.459,+ "colgar": 0.0294,+ "ninguno": 0.2016+ },+ "latency_ms": 115.25229195831344+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.373,+ "probabilities": {+ "ventas": 0.0312,+ "soporte": 0.373,+ "facturacion": 0.0182,+ "operadora": 0.2467,+ "colgar": 0.1116,+ "ninguno": 0.2194+ },+ "latency_ms": 139.5257089752704+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.7161,+ "probabilities": {+ "ventas": 0.0105,+ "soporte": 0.1833,+ "facturacion": 0.0047,+ "operadora": 0.7161,+ "colgar": 0.0331,+ "ninguno": 0.0522+ },+ "latency_ms": 122.4467089632526+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.6294,+ "probabilities": {+ "ventas": 0.0051,+ "soporte": 0.2852,+ "facturacion": 0.0051,+ "operadora": 0.6294,+ "colgar": 0.0095,+ "ninguno": 0.0658+ },+ "latency_ms": 122.62229103362188+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.8485,+ "probabilities": {+ "ventas": 0.0021,+ "soporte": 0.0327,+ "facturacion": 0.0017,+ "operadora": 0.8485,+ "colgar": 0.06,+ "ninguno": 0.0551+ },+ "latency_ms": 118.03170799976215+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.4471,+ "probabilities": {+ "ventas": 0.0164,+ "soporte": 0.093,+ "facturacion": 0.0396,+ "operadora": 0.0768,+ "colgar": 0.3271,+ "ninguno": 0.4471+ },+ "latency_ms": 123.09533305233344+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.3116,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.0959,+ "facturacion": 0.1151,+ "operadora": 0.1662,+ "colgar": 0.2822,+ "ninguno": 0.3116+ },+ "latency_ms": 127.61983304517344+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.7125,+ "probabilities": {+ "ventas": 0.0078,+ "soporte": 0.0685,+ "facturacion": 0.007,+ "operadora": 0.0236,+ "colgar": 0.1806,+ "ninguno": 0.7125+ },+ "latency_ms": 125.61637500766665+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.6752,+ "probabilities": {+ "ventas": 0.0095,+ "soporte": 0.034,+ "facturacion": 0.0111,+ "operadora": 0.0378,+ "colgar": 0.6752,+ "ninguno": 0.2324+ },+ "latency_ms": 115.84466701606289+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.9868,+ "probabilities": {+ "ventas": 0.0004,+ "soporte": 0.0042,+ "facturacion": 0.0004,+ "operadora": 0.0021,+ "colgar": 0.9868,+ "ninguno": 0.0061+ },+ "latency_ms": 117.15779104270041+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.5349,+ "probabilities": {+ "ventas": 0.0052,+ "soporte": 0.0552,+ "facturacion": 0.0059,+ "operadora": 0.0244,+ "colgar": 0.5349,+ "ninguno": 0.3745+ },+ "latency_ms": 121.53229099931195+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.9397,+ "probabilities": {+ "ventas": 0.0017,+ "soporte": 0.0178,+ "facturacion": 0.0041,+ "operadora": 0.0086,+ "colgar": 0.9397,+ "ninguno": 0.028+ },+ "latency_ms": 141.03008300298825+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.5198,+ "probabilities": {+ "ventas": 0.0174,+ "soporte": 0.0395,+ "facturacion": 0.0361,+ "operadora": 0.0949,+ "colgar": 0.2922,+ "ninguno": 0.5198+ },+ "latency_ms": 116.71366699738428+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.5727,+ "probabilities": {+ "ventas": 0.0141,+ "soporte": 0.5727,+ "facturacion": 0.018,+ "operadora": 0.233,+ "colgar": 0.0491,+ "ninguno": 0.1131+ },+ "latency_ms": 118.52625000756234+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.4955,+ "probabilities": {+ "ventas": 0.0101,+ "soporte": 0.1588,+ "facturacion": 0.0217,+ "operadora": 0.033,+ "colgar": 0.2809,+ "ninguno": 0.4955+ },+ "latency_ms": 116.46674998337403+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.3872,+ "probabilities": {+ "ventas": 0.013,+ "soporte": 0.0979,+ "facturacion": 0.0165,+ "operadora": 0.2603,+ "colgar": 0.3872,+ "ninguno": 0.2249+ },+ "latency_ms": 118.78154100850224+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.4838,+ "probabilities": {+ "ventas": 0.0147,+ "soporte": 0.0398,+ "facturacion": 0.112,+ "operadora": 0.0423,+ "colgar": 0.4838,+ "ninguno": 0.3075+ },+ "latency_ms": 119.21808298211545+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.3152,+ "probabilities": {+ "ventas": 0.0084,+ "soporte": 0.1065,+ "facturacion": 0.0059,+ "operadora": 0.3056,+ "colgar": 0.2584,+ "ninguno": 0.3152+ },+ "latency_ms": 115.44487503124401+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.8375,+ "probabilities": {+ "ventas": 0.0024,+ "soporte": 0.0156,+ "facturacion": 0.0014,+ "operadora": 0.8375,+ "colgar": 0.0307,+ "ninguno": 0.1124+ },+ "latency_ms": 114.58083300385624+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.4161,+ "probabilities": {+ "ventas": 0.0063,+ "soporte": 0.4161,+ "facturacion": 0.0074,+ "operadora": 0.0442,+ "colgar": 0.1378,+ "ninguno": 0.3883+ },+ "latency_ms": 115.22404197603464+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.4737,+ "probabilities": {+ "ventas": 0.0543,+ "soporte": 0.0583,+ "facturacion": 0.0468,+ "operadora": 0.2482,+ "colgar": 0.1187,+ "ninguno": 0.4737+ },+ "latency_ms": 140.63304098090157+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.7822,+ "probabilities": {+ "ventas": 0.0288,+ "soporte": 0.006,+ "facturacion": 0.0181,+ "operadora": 0.7822,+ "colgar": 0.1039,+ "ninguno": 0.061+ },+ "latency_ms": 121.02491600671783+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.4005,+ "probabilities": {+ "ventas": 0.0289,+ "soporte": 0.0463,+ "facturacion": 0.1127,+ "operadora": 0.2616,+ "colgar": 0.15,+ "ninguno": 0.4005+ },+ "latency_ms": 121.4894590084441+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.3987,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.1012,+ "facturacion": 0.2758,+ "operadora": 0.1522,+ "colgar": 0.0426,+ "ninguno": 0.3987+ },+ "latency_ms": 115.19095802213997+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.9711,+ "probabilities": {+ "ventas": 0.0002,+ "soporte": 0.0008,+ "facturacion": 0.0017,+ "operadora": 0.9711,+ "colgar": 0.0035,+ "ninguno": 0.0226+ },+ "latency_ms": 146.54179097851738+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.71,+ "probabilities": {+ "ventas": 0.0086,+ "soporte": 0.0296,+ "facturacion": 0.0128,+ "operadora": 0.71,+ "colgar": 0.0268,+ "ninguno": 0.2122+ },+ "latency_ms": 140.23583399830386+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.5861,+ "probabilities": {+ "ventas": 0.0078,+ "soporte": 0.0734,+ "facturacion": 0.0074,+ "operadora": 0.0432,+ "colgar": 0.2821,+ "ninguno": 0.5861+ },+ "latency_ms": 116.77512503229082+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "facturacion",+ "confidence": 0.6611,+ "probabilities": {+ "ventas": 0.0129,+ "soporte": 0.0358,+ "facturacion": 0.6611,+ "operadora": 0.0498,+ "colgar": 0.0362,+ "ninguno": 0.2042+ },+ "latency_ms": 129.3747909949161+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.5644,+ "probabilities": {+ "ventas": 0.014,+ "soporte": 0.185,+ "facturacion": 0.0151,+ "operadora": 0.1863,+ "colgar": 0.0352,+ "ninguno": 0.5644+ },+ "latency_ms": 122.13404197245836+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.3641,+ "probabilities": {+ "ventas": 0.0421,+ "soporte": 0.1432,+ "facturacion": 0.0546,+ "operadora": 0.2837,+ "colgar": 0.1122,+ "ninguno": 0.3641+ },+ "latency_ms": 114.9956249864772+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.3332,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.3332,+ "facturacion": 0.0183,+ "operadora": 0.1872,+ "colgar": 0.1281,+ "ninguno": 0.3064+ },+ "latency_ms": 116.28712504170835+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.6742,+ "probabilities": {+ "ventas": 0.0038,+ "soporte": 0.6742,+ "facturacion": 0.0049,+ "operadora": 0.0881,+ "colgar": 0.0468,+ "ninguno": 0.1821+ },+ "latency_ms": 117.46699997456744+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "facturacion",+ "confidence": 0.9996,+ "probabilities": {+ "ventas": 0.0002,+ "soporte": 0.0,+ "facturacion": 0.9996,+ "operadora": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 119.08316699555144+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.6743,+ "probabilities": {+ "ventas": 0.0135,+ "soporte": 0.1342,+ "facturacion": 0.0111,+ "operadora": 0.0998,+ "colgar": 0.067,+ "ninguno": 0.6743+ },+ "latency_ms": 121.58937501953915+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.4233,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.3391,+ "facturacion": 0.0461,+ "operadora": 0.0608,+ "colgar": 0.1051,+ "ninguno": 0.4233+ },+ "latency_ms": 116.06804199982435+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 1.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 127.92370899114758+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 1.0,+ "facturacion": 0.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 121.10512499930337+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "facturacion",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 1.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 120.88229198707268+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.4465,+ "probabilities": {+ "ventas": 0.0084,+ "soporte": 0.3767,+ "facturacion": 0.004,+ "operadora": 0.0464,+ "colgar": 0.1179,+ "ninguno": 0.4465+ },+ "latency_ms": 123.34062496665865+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.9989,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0001,+ "facturacion": 0.0,+ "operadora": 0.9989,+ "colgar": 0.0003,+ "ninguno": 0.0006+ },+ "latency_ms": 125.74454100104049+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.949,+ "probabilities": {+ "ventas": 0.949,+ "soporte": 0.004,+ "facturacion": 0.0074,+ "operadora": 0.0129,+ "colgar": 0.0066,+ "ninguno": 0.0201+ },+ "latency_ms": 154.31658300803974+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.5574,+ "probabilities": {+ "ventas": 0.0015,+ "soporte": 0.5574,+ "facturacion": 0.0018,+ "operadora": 0.3698,+ "colgar": 0.0169,+ "ninguno": 0.0527+ },+ "latency_ms": 139.18320898665115+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "facturacion",+ "confidence": 0.9977,+ "probabilities": {+ "ventas": 0.0001,+ "soporte": 0.0003,+ "facturacion": 0.9977,+ "operadora": 0.0001,+ "colgar": 0.0002,+ "ninguno": 0.0015+ },+ "latency_ms": 123.96054196869954+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.4389,+ "probabilities": {+ "ventas": 0.1077,+ "soporte": 0.0823,+ "facturacion": 0.0395,+ "operadora": 0.268,+ "colgar": 0.0636,+ "ninguno": 0.4389+ },+ "latency_ms": 134.69824998173863+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.3359,+ "probabilities": {+ "ventas": 0.0877,+ "soporte": 0.1874,+ "facturacion": 0.0857,+ "operadora": 0.3359,+ "colgar": 0.0516,+ "ninguno": 0.2517+ },+ "latency_ms": 120.46158302109689+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "colgar",+ "confidence": 0.6236,+ "probabilities": {+ "ventas": 0.0111,+ "soporte": 0.1487,+ "facturacion": 0.0066,+ "operadora": 0.0499,+ "colgar": 0.6236,+ "ninguno": 0.1602+ },+ "latency_ms": 132.97520799096674+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.4056,+ "probabilities": {+ "ventas": 0.0195,+ "soporte": 0.4056,+ "facturacion": 0.0126,+ "operadora": 0.0588,+ "colgar": 0.1642,+ "ninguno": 0.3392+ },+ "latency_ms": 119.01308299275115+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.461,+ "probabilities": {+ "ventas": 0.0244,+ "soporte": 0.1103,+ "facturacion": 0.0425,+ "operadora": 0.2752,+ "colgar": 0.0865,+ "ninguno": 0.461+ },+ "latency_ms": 123.40375001076609+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "colgar",+ "confidence": 0.8104,+ "probabilities": {+ "ventas": 0.0013,+ "soporte": 0.0063,+ "facturacion": 0.0019,+ "operadora": 0.0126,+ "colgar": 0.8104,+ "ninguno": 0.1677+ },+ "latency_ms": 125.40108303073794+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.6749,+ "probabilities": {+ "ventas": 0.0784,+ "soporte": 0.6749,+ "facturacion": 0.0009,+ "operadora": 0.0917,+ "colgar": 0.1328,+ "ninguno": 0.0213+ },+ "latency_ms": 130.37462497595698+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.9713,+ "probabilities": {+ "ventas": 0.0004,+ "soporte": 0.9713,+ "facturacion": 0.0028,+ "operadora": 0.0008,+ "colgar": 0.0105,+ "ninguno": 0.0143+ },+ "latency_ms": 132.90237495675683+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.9996,+ "probabilities": {+ "ventas": 0.0003,+ "soporte": 0.0,+ "facturacion": 0.9996,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 135.36579196806997+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.4383,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.4383,+ "facturacion": 0.0182,+ "operadora": 0.3581,+ "colgar": 0.018,+ "ninguno": 0.1385+ },+ "latency_ms": 141.73391700023785+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 1.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 129.11149999126792+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "ninguno",+ "confidence": 0.5298,+ "probabilities": {+ "ventas": 0.0276,+ "soporte": 0.0314,+ "facturacion": 0.0363,+ "operadora": 0.0152,+ "colgar": 0.3598,+ "ninguno": 0.5298+ },+ "latency_ms": 124.26195800071582+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.6884,+ "probabilities": {+ "ventas": 0.0051,+ "soporte": 0.6884,+ "facturacion": 0.0026,+ "operadora": 0.0655,+ "colgar": 0.1381,+ "ninguno": 0.1004+ },+ "latency_ms": 120.44529197737575+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.5411,+ "probabilities": {+ "ventas": 0.5411,+ "soporte": 0.0345,+ "facturacion": 0.2844,+ "operadora": 0.0547,+ "colgar": 0.0117,+ "ninguno": 0.0737+ },+ "latency_ms": 120.36179099231958+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9963,+ "probabilities": {+ "ventas": 0.0005,+ "soporte": 0.001,+ "facturacion": 0.9963,+ "operadora": 0.0005,+ "colgar": 0.0005,+ "ninguno": 0.0011+ },+ "latency_ms": 122.11683398345485+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.6272,+ "probabilities": {+ "ventas": 0.0251,+ "soporte": 0.1089,+ "facturacion": 0.0259,+ "operadora": 0.6272,+ "colgar": 0.0253,+ "ninguno": 0.1876+ },+ "latency_ms": 120.03774999175221+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.4884,+ "probabilities": {+ "ventas": 0.0188,+ "soporte": 0.0761,+ "facturacion": 0.0483,+ "operadora": 0.081,+ "colgar": 0.2875,+ "ninguno": 0.4884+ },+ "latency_ms": 127.5040420005098+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "colgar",+ "confidence": 0.5642,+ "probabilities": {+ "ventas": 0.0085,+ "soporte": 0.2224,+ "facturacion": 0.0074,+ "operadora": 0.097,+ "colgar": 0.5642,+ "ninguno": 0.1006+ },+ "latency_ms": 120.47199998050928+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 1.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 118.27720800647512+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.3743,+ "probabilities": {+ "ventas": 0.0214,+ "soporte": 0.1861,+ "facturacion": 0.013,+ "operadora": 0.3015,+ "colgar": 0.1037,+ "ninguno": 0.3743+ },+ "latency_ms": 116.14004097646102+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.5879,+ "probabilities": {+ "ventas": 0.0026,+ "soporte": 0.0046,+ "facturacion": 0.5879,+ "operadora": 0.004,+ "colgar": 0.3193,+ "ninguno": 0.0816+ },+ "latency_ms": 122.34445899957791+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "operadora",+ "confidence": 0.5529,+ "probabilities": {+ "ventas": 0.0749,+ "soporte": 0.13,+ "facturacion": 0.1434,+ "operadora": 0.5529,+ "colgar": 0.0675,+ "ninguno": 0.0313+ },+ "latency_ms": 116.96412600576878+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.5256,+ "probabilities": {+ "ventas": 0.5256,+ "soporte": 0.0256,+ "facturacion": 0.1211,+ "operadora": 0.1586,+ "colgar": 0.0338,+ "ninguno": 0.1353+ },+ "latency_ms": 134.0769169619307+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "soporte",+ "confidence": 0.3403,+ "probabilities": {+ "ventas": 0.0276,+ "soporte": 0.3403,+ "facturacion": 0.0881,+ "operadora": 0.1819,+ "colgar": 0.0496,+ "ninguno": 0.3125+ },+ "latency_ms": 129.41454199608415+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-multilingual__cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-multilingual__cases__es_criteria.jsonnew file mode 100644index 00000000..83e473b1--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-multilingual__cases__es_criteria.json@@ -0,0 +1,2421 @@+{+ "meta": {+ "model": "convaiinnovations/laya-multilingual",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 4453.555126965512+ },+ "summary": {+ "n": 112,+ "accuracy": 0.38392857142857145,+ "macro_f1": 0.3659435647294744,+ "ece": 0.2884276785714286,+ "mean_confidence": 0.6640955357142859,+ "majority_baseline": 0.3125,+ "wrong_actions": 64,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 0.25+ },+ "direct": {+ "n": 18,+ "accuracy": 0.7222222222222222+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.0+ },+ "hard": {+ "n": 6,+ "accuracy": 0.3333333333333333+ },+ "hn": {+ "n": 9,+ "accuracy": 0.3333333333333333+ },+ "human": {+ "n": 13,+ "accuracy": 0.6923076923076923+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.5666666666666667+ },+ "negation": {+ "n": 15,+ "accuracy": 0.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 0.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.1111111111111111+ },+ "open": {+ "n": 11,+ "accuracy": 0.18181818181818182+ },+ "short": {+ "n": 5,+ "accuracy": 0.4+ }+ },+ "confusion": {+ "colgar->ninguno": 2,+ "colgar->operadora": 4,+ "colgar->soporte": 8,+ "facturacion->ninguno": 1,+ "facturacion->soporte": 2,+ "ninguno->colgar": 1,+ "ninguno->facturacion": 3,+ "ninguno->operadora": 12,+ "ninguno->soporte": 12,+ "ninguno->ventas": 4,+ "operadora->ninguno": 1,+ "operadora->soporte": 4,+ "soporte->colgar": 2,+ "soporte->operadora": 5,+ "ventas->facturacion": 3,+ "ventas->ninguno": 1,+ "ventas->operadora": 4+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 70,+ "coverage": 0.625,+ "action_recall": 0.5064935064935064,+ "wrong": 31,+ "precision": 0.5571428571428572+ },+ {+ "threshold": 0.6,+ "fast": 60,+ "coverage": 0.5357142857142857,+ "action_recall": 0.4675324675324675,+ "wrong": 24,+ "precision": 0.6+ },+ {+ "threshold": 0.7,+ "fast": 51,+ "coverage": 0.45535714285714285,+ "action_recall": 0.42857142857142855,+ "wrong": 18,+ "precision": 0.6470588235294118+ },+ {+ "threshold": 0.8,+ "fast": 39,+ "coverage": 0.3482142857142857,+ "action_recall": 0.3116883116883117,+ "wrong": 15,+ "precision": 0.6153846153846154+ },+ {+ "threshold": 0.9,+ "fast": 28,+ "coverage": 0.25,+ "action_recall": 0.23376623376623376,+ "wrong": 10,+ "precision": 0.6428571428571429+ },+ {+ "threshold": 0.95,+ "fast": 25,+ "coverage": 0.22321428571428573,+ "action_recall": 0.22077922077922077,+ "wrong": 8,+ "precision": 0.68+ },+ {+ "threshold": 0.99,+ "fast": 21,+ "coverage": 0.1875,+ "action_recall": 0.19480519480519481,+ "wrong": 6,+ "precision": 0.7142857142857143+ }+ ],+ "latency_ms": {+ "p50": 129.76020795758814,+ "p95": 144.87112499773502,+ "min": 116.55116704059765+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "facturacion",+ "confidence": 0.9364+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "ninguno",+ "confidence": 0.6542+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ninguno",+ "confidence": 0.371+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "ninguno",+ "confidence": 0.5955+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.9996,+ "probabilities": {+ "ventas": 0.9996,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0002+ },+ "latency_ms": 140.14679205138236+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 1.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 131.26070803264156+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 1.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 133.94766597775742+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.9962,+ "probabilities": {+ "ventas": 0.9962,+ "soporte": 0.0008,+ "facturacion": 0.0003,+ "operadora": 0.001,+ "colgar": 0.0003,+ "ninguno": 0.0015+ },+ "latency_ms": 130.66049996996298+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.2583,+ "probabilities": {+ "ventas": 0.1588,+ "soporte": 0.1597,+ "facturacion": 0.0627,+ "operadora": 0.2583,+ "colgar": 0.1055,+ "ninguno": 0.2551+ },+ "latency_ms": 142.78033404843882+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.5256,+ "probabilities": {+ "ventas": 0.0848,+ "soporte": 0.2719,+ "facturacion": 0.0369,+ "operadora": 0.5256,+ "colgar": 0.0239,+ "ninguno": 0.0569+ },+ "latency_ms": 143.226083018817+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.7964,+ "probabilities": {+ "ventas": 0.7964,+ "soporte": 0.0239,+ "facturacion": 0.0251,+ "operadora": 0.0231,+ "colgar": 0.0076,+ "ninguno": 0.1238+ },+ "latency_ms": 133.70891695376486+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.518,+ "probabilities": {+ "ventas": 0.0417,+ "soporte": 0.0351,+ "facturacion": 0.518,+ "operadora": 0.1278,+ "colgar": 0.0262,+ "ninguno": 0.2511+ },+ "latency_ms": 134.05941700330004+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.7072,+ "probabilities": {+ "ventas": 0.0443,+ "soporte": 0.0881,+ "facturacion": 0.016,+ "operadora": 0.7072,+ "colgar": 0.0149,+ "ninguno": 0.1295+ },+ "latency_ms": 129.07858297694474+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8455,+ "probabilities": {+ "ventas": 0.8455,+ "soporte": 0.0049,+ "facturacion": 0.0372,+ "operadora": 0.0761,+ "colgar": 0.0151,+ "ninguno": 0.0213+ },+ "latency_ms": 129.76020795758814+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.4892,+ "probabilities": {+ "ventas": 0.0795,+ "soporte": 0.11,+ "facturacion": 0.0189,+ "operadora": 0.4892,+ "colgar": 0.0619,+ "ninguno": 0.2405+ },+ "latency_ms": 136.21983298799023+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.4841,+ "probabilities": {+ "ventas": 0.1635,+ "soporte": 0.0449,+ "facturacion": 0.0285,+ "operadora": 0.2433,+ "colgar": 0.0356,+ "ninguno": 0.4841+ },+ "latency_ms": 134.83283296227455+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.9761,+ "probabilities": {+ "ventas": 0.9761,+ "soporte": 0.0018,+ "facturacion": 0.0021,+ "operadora": 0.0058,+ "colgar": 0.0009,+ "ninguno": 0.0133+ },+ "latency_ms": 132.347209029831+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8921,+ "probabilities": {+ "ventas": 0.8921,+ "soporte": 0.0222,+ "facturacion": 0.0066,+ "operadora": 0.029,+ "colgar": 0.0042,+ "ninguno": 0.0458+ },+ "latency_ms": 142.78670900966972+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.772,+ "probabilities": {+ "ventas": 0.0118,+ "soporte": 0.772,+ "facturacion": 0.0088,+ "operadora": 0.0939,+ "colgar": 0.0362,+ "ninguno": 0.0773+ },+ "latency_ms": 132.424249954056+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.5091,+ "probabilities": {+ "ventas": 0.0152,+ "soporte": 0.3866,+ "facturacion": 0.0121,+ "operadora": 0.5091,+ "colgar": 0.0174,+ "ninguno": 0.0596+ },+ "latency_ms": 119.78679097956046+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8269,+ "probabilities": {+ "ventas": 0.018,+ "soporte": 0.8269,+ "facturacion": 0.0093,+ "operadora": 0.076,+ "colgar": 0.0211,+ "ninguno": 0.0486+ },+ "latency_ms": 122.67812504433095+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.3277,+ "probabilities": {+ "ventas": 0.0731,+ "soporte": 0.2142,+ "facturacion": 0.0282,+ "operadora": 0.3277,+ "colgar": 0.0396,+ "ninguno": 0.3171+ },+ "latency_ms": 122.64458299614489+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.9225,+ "probabilities": {+ "ventas": 0.0019,+ "soporte": 0.9225,+ "facturacion": 0.0013,+ "operadora": 0.0256,+ "colgar": 0.0116,+ "ninguno": 0.037+ },+ "latency_ms": 126.49824999971315+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.4277,+ "probabilities": {+ "ventas": 0.0045,+ "soporte": 0.3135,+ "facturacion": 0.0027,+ "operadora": 0.1144,+ "colgar": 0.4277,+ "ninguno": 0.1372+ },+ "latency_ms": 122.10979196242988+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.655,+ "probabilities": {+ "ventas": 0.0009,+ "soporte": 0.2959,+ "facturacion": 0.0009,+ "operadora": 0.655,+ "colgar": 0.0229,+ "ninguno": 0.0245+ },+ "latency_ms": 125.1926250406541+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.5325,+ "probabilities": {+ "ventas": 0.022,+ "soporte": 0.5325,+ "facturacion": 0.0246,+ "operadora": 0.0762,+ "colgar": 0.0261,+ "ninguno": 0.3185+ },+ "latency_ms": 131.91804196685553+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.7264,+ "probabilities": {+ "ventas": 0.0014,+ "soporte": 0.7264,+ "facturacion": 0.001,+ "operadora": 0.2293,+ "colgar": 0.0081,+ "ninguno": 0.0338+ },+ "latency_ms": 134.5109579851851+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.5801,+ "probabilities": {+ "ventas": 0.0024,+ "soporte": 0.5801,+ "facturacion": 0.0009,+ "operadora": 0.2894,+ "colgar": 0.0816,+ "ninguno": 0.0455+ },+ "latency_ms": 131.18291698629037+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.5113,+ "probabilities": {+ "ventas": 0.004,+ "soporte": 0.199,+ "facturacion": 0.0038,+ "operadora": 0.5113,+ "colgar": 0.1282,+ "ninguno": 0.1538+ },+ "latency_ms": 127.09137500496581+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8732,+ "probabilities": {+ "ventas": 0.0041,+ "soporte": 0.8732,+ "facturacion": 0.001,+ "operadora": 0.0525,+ "colgar": 0.0268,+ "ninguno": 0.0424+ },+ "latency_ms": 124.19062503613532+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.4881,+ "probabilities": {+ "ventas": 0.0024,+ "soporte": 0.4096,+ "facturacion": 0.0016,+ "operadora": 0.4881,+ "colgar": 0.0106,+ "ninguno": 0.0879+ },+ "latency_ms": 132.4602080276236+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.6352,+ "probabilities": {+ "ventas": 0.0081,+ "soporte": 0.6352,+ "facturacion": 0.0028,+ "operadora": 0.0516,+ "colgar": 0.0646,+ "ninguno": 0.2378+ },+ "latency_ms": 124.41716599278152+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 1.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 120.7764579448849+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.8986,+ "probabilities": {+ "ventas": 0.0026,+ "soporte": 0.0274,+ "facturacion": 0.8986,+ "operadora": 0.0532,+ "colgar": 0.0016,+ "ninguno": 0.0167+ },+ "latency_ms": 125.9823750006035+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.9998,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 0.9998,+ "operadora": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 122.72433302132413+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.7097,+ "probabilities": {+ "ventas": 0.0174,+ "soporte": 0.0459,+ "facturacion": 0.7097,+ "operadora": 0.1424,+ "colgar": 0.0115,+ "ninguno": 0.0731+ },+ "latency_ms": 119.34387497603893+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.7577,+ "probabilities": {+ "ventas": 0.0111,+ "soporte": 0.0831,+ "facturacion": 0.7577,+ "operadora": 0.0987,+ "colgar": 0.0045,+ "ninguno": 0.0449+ },+ "latency_ms": 123.46987501950935+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9999,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 0.9999,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 129.91700001293793+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9923,+ "probabilities": {+ "ventas": 0.0007,+ "soporte": 0.0017,+ "facturacion": 0.9923,+ "operadora": 0.0007,+ "colgar": 0.0007,+ "ninguno": 0.004+ },+ "latency_ms": 134.3480829964392+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9998,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0001,+ "facturacion": 0.9998,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 128.67954198736697+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.9959,+ "probabilities": {+ "ventas": 0.0001,+ "soporte": 0.0007,+ "facturacion": 0.9959,+ "operadora": 0.0005,+ "colgar": 0.0001,+ "ninguno": 0.0027+ },+ "latency_ms": 132.56666698725894+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.97,+ "probabilities": {+ "ventas": 0.0017,+ "soporte": 0.0049,+ "facturacion": 0.97,+ "operadora": 0.0056,+ "colgar": 0.0016,+ "ninguno": 0.0162+ },+ "latency_ms": 132.46937497751787+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.8788,+ "probabilities": {+ "ventas": 0.002,+ "soporte": 0.8788,+ "facturacion": 0.0095,+ "operadora": 0.0301,+ "colgar": 0.01,+ "ninguno": 0.0695+ },+ "latency_ms": 135.99054096266627+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.6644,+ "probabilities": {+ "ventas": 0.0038,+ "soporte": 0.2595,+ "facturacion": 0.6644,+ "operadora": 0.0138,+ "colgar": 0.0055,+ "ninguno": 0.0529+ },+ "latency_ms": 129.3417499982752+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9999,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 0.9999,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 145.32491599675268+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.354,+ "probabilities": {+ "ventas": 0.0409,+ "soporte": 0.142,+ "facturacion": 0.1848,+ "operadora": 0.2577,+ "colgar": 0.0206,+ "ninguno": 0.354+ },+ "latency_ms": 137.84087501699105+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.7138,+ "probabilities": {+ "ventas": 0.0632,+ "soporte": 0.0514,+ "facturacion": 0.0464,+ "operadora": 0.7138,+ "colgar": 0.0153,+ "ninguno": 0.11+ },+ "latency_ms": 178.57154202647507+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.7366,+ "probabilities": {+ "ventas": 0.036,+ "soporte": 0.1653,+ "facturacion": 0.0054,+ "operadora": 0.7366,+ "colgar": 0.0139,+ "ninguno": 0.0429+ },+ "latency_ms": 138.58575001358986+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.7411,+ "probabilities": {+ "ventas": 0.0268,+ "soporte": 0.1482,+ "facturacion": 0.0104,+ "operadora": 0.7411,+ "colgar": 0.0054,+ "ninguno": 0.0682+ },+ "latency_ms": 130.46604197006673+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 1.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 144.87112499773502+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.3499,+ "probabilities": {+ "ventas": 0.0278,+ "soporte": 0.2806,+ "facturacion": 0.0289,+ "operadora": 0.2756,+ "colgar": 0.0372,+ "ninguno": 0.3499+ },+ "latency_ms": 119.44637499982491+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.3484,+ "probabilities": {+ "ventas": 0.062,+ "soporte": 0.3484,+ "facturacion": 0.0642,+ "operadora": 0.3425,+ "colgar": 0.0195,+ "ninguno": 0.1635+ },+ "latency_ms": 130.21137501345947+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.7252,+ "probabilities": {+ "ventas": 0.032,+ "soporte": 0.1729,+ "facturacion": 0.0065,+ "operadora": 0.7252,+ "colgar": 0.0081,+ "ninguno": 0.0553+ },+ "latency_ms": 134.76566603640094+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.4663,+ "probabilities": {+ "ventas": 0.1489,+ "soporte": 0.1776,+ "facturacion": 0.0469,+ "operadora": 0.4663,+ "colgar": 0.0118,+ "ninguno": 0.1484+ },+ "latency_ms": 130.1856660284102+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.3421,+ "probabilities": {+ "ventas": 0.0695,+ "soporte": 0.3421,+ "facturacion": 0.023,+ "operadora": 0.3316,+ "colgar": 0.0466,+ "ninguno": 0.1872+ },+ "latency_ms": 140.90679195942357+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "soporte",+ "confidence": 0.4564,+ "probabilities": {+ "ventas": 0.0292,+ "soporte": 0.4564,+ "facturacion": 0.0176,+ "operadora": 0.3651,+ "colgar": 0.0214,+ "ninguno": 0.1103+ },+ "latency_ms": 131.53775100363418+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.6787,+ "probabilities": {+ "ventas": 0.018,+ "soporte": 0.2199,+ "facturacion": 0.0101,+ "operadora": 0.6787,+ "colgar": 0.0062,+ "ninguno": 0.0671+ },+ "latency_ms": 127.28116603102535+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.9912,+ "probabilities": {+ "ventas": 0.0002,+ "soporte": 0.0035,+ "facturacion": 0.0001,+ "operadora": 0.9912,+ "colgar": 0.0005,+ "ninguno": 0.0044+ },+ "latency_ms": 121.68937502428889+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.2932,+ "probabilities": {+ "ventas": 0.0544,+ "soporte": 0.2737,+ "facturacion": 0.0602,+ "operadora": 0.2932,+ "colgar": 0.0606,+ "ninguno": 0.2579+ },+ "latency_ms": 128.59550002031028+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.452,+ "probabilities": {+ "ventas": 0.0219,+ "soporte": 0.307,+ "facturacion": 0.0444,+ "operadora": 0.452,+ "colgar": 0.0362,+ "ninguno": 0.1386+ },+ "latency_ms": 149.8648330452852+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.8294,+ "probabilities": {+ "ventas": 0.0167,+ "soporte": 0.8294,+ "facturacion": 0.0055,+ "operadora": 0.0336,+ "colgar": 0.0182,+ "ninguno": 0.0966+ },+ "latency_ms": 146.86262496979907+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.3585,+ "probabilities": {+ "ventas": 0.0289,+ "soporte": 0.3585,+ "facturacion": 0.0178,+ "operadora": 0.2236,+ "colgar": 0.1051,+ "ninguno": 0.2659+ },+ "latency_ms": 130.66850003087893+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.4985,+ "probabilities": {+ "ventas": 0.0085,+ "soporte": 0.4985,+ "facturacion": 0.0051,+ "operadora": 0.055,+ "colgar": 0.35,+ "ninguno": 0.0829+ },+ "latency_ms": 117.96158296056092+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.4581,+ "probabilities": {+ "ventas": 0.0414,+ "soporte": 0.4581,+ "facturacion": 0.0491,+ "operadora": 0.1194,+ "colgar": 0.0529,+ "ninguno": 0.2791+ },+ "latency_ms": 119.9023750377819+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.4379,+ "probabilities": {+ "ventas": 0.0348,+ "soporte": 0.3012,+ "facturacion": 0.0281,+ "operadora": 0.4379,+ "colgar": 0.0475,+ "ninguno": 0.1505+ },+ "latency_ms": 119.52816596021876+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.5065,+ "probabilities": {+ "ventas": 0.031,+ "soporte": 0.2144,+ "facturacion": 0.0335,+ "operadora": 0.1785,+ "colgar": 0.036,+ "ninguno": 0.5065+ },+ "latency_ms": 116.55116704059765+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.3585,+ "probabilities": {+ "ventas": 0.0271,+ "soporte": 0.3585,+ "facturacion": 0.014,+ "operadora": 0.3043,+ "colgar": 0.0587,+ "ninguno": 0.2374+ },+ "latency_ms": 124.44899999536574+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.5458,+ "probabilities": {+ "ventas": 0.0475,+ "soporte": 0.5458,+ "facturacion": 0.0466,+ "operadora": 0.1435,+ "colgar": 0.046,+ "ninguno": 0.1705+ },+ "latency_ms": 137.84945901716128+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.5485,+ "probabilities": {+ "ventas": 0.0261,+ "soporte": 0.2524,+ "facturacion": 0.0154,+ "operadora": 0.5485,+ "colgar": 0.0558,+ "ninguno": 0.1017+ },+ "latency_ms": 122.56433302536607+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.3196,+ "probabilities": {+ "ventas": 0.0335,+ "soporte": 0.3196,+ "facturacion": 0.076,+ "operadora": 0.2644,+ "colgar": 0.0765,+ "ninguno": 0.23+ },+ "latency_ms": 124.61291602812707+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.679,+ "probabilities": {+ "ventas": 0.0049,+ "soporte": 0.1763,+ "facturacion": 0.0048,+ "operadora": 0.679,+ "colgar": 0.0867,+ "ninguno": 0.0484+ },+ "latency_ms": 122.28849995881319+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.8646,+ "probabilities": {+ "ventas": 0.0037,+ "soporte": 0.0406,+ "facturacion": 0.003,+ "operadora": 0.8646,+ "colgar": 0.0168,+ "ninguno": 0.0712+ },+ "latency_ms": 126.80587498471141+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.627,+ "probabilities": {+ "ventas": 0.0087,+ "soporte": 0.627,+ "facturacion": 0.0109,+ "operadora": 0.1714,+ "colgar": 0.0362,+ "ninguno": 0.1457+ },+ "latency_ms": 128.2821249915287+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.4463,+ "probabilities": {+ "ventas": 0.0208,+ "soporte": 0.1961,+ "facturacion": 0.0408,+ "operadora": 0.2597,+ "colgar": 0.0364,+ "ninguno": 0.4463+ },+ "latency_ms": 123.81866696523502+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.8268,+ "probabilities": {+ "ventas": 0.0975,+ "soporte": 0.0171,+ "facturacion": 0.8268,+ "operadora": 0.0181,+ "colgar": 0.002,+ "ninguno": 0.0385+ },+ "latency_ms": 127.3149999906309+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.7062,+ "probabilities": {+ "ventas": 0.0116,+ "soporte": 0.1368,+ "facturacion": 0.0155,+ "operadora": 0.7062,+ "colgar": 0.01,+ "ninguno": 0.1199+ },+ "latency_ms": 132.46537500526756+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.3442,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.144,+ "facturacion": 0.1536,+ "operadora": 0.3442,+ "colgar": 0.0354,+ "ninguno": 0.2943+ },+ "latency_ms": 117.99808405339718+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.9763,+ "probabilities": {+ "ventas": 0.0007,+ "soporte": 0.0056,+ "facturacion": 0.0046,+ "operadora": 0.9763,+ "colgar": 0.0007,+ "ninguno": 0.012+ },+ "latency_ms": 126.34612602414563+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.731,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.0696,+ "facturacion": 0.0114,+ "operadora": 0.1469,+ "colgar": 0.0154,+ "ninguno": 0.731+ },+ "latency_ms": 118.06624999735504+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.442,+ "probabilities": {+ "ventas": 0.0338,+ "soporte": 0.442,+ "facturacion": 0.0323,+ "operadora": 0.2332,+ "colgar": 0.0446,+ "ninguno": 0.2142+ },+ "latency_ms": 133.63924995064735+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.3348,+ "probabilities": {+ "ventas": 0.034,+ "soporte": 0.2619,+ "facturacion": 0.0883,+ "operadora": 0.2584,+ "colgar": 0.0226,+ "ninguno": 0.3348+ },+ "latency_ms": 140.62474999809638+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.627,+ "probabilities": {+ "ventas": 0.0271,+ "soporte": 0.627,+ "facturacion": 0.023,+ "operadora": 0.179,+ "colgar": 0.0176,+ "ninguno": 0.1263+ },+ "latency_ms": 123.96654195617884+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.4021,+ "probabilities": {+ "ventas": 0.0556,+ "soporte": 0.221,+ "facturacion": 0.0522,+ "operadora": 0.4021,+ "colgar": 0.0625,+ "ninguno": 0.2066+ },+ "latency_ms": 117.81424999935552+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "operadora",+ "confidence": 0.3468,+ "probabilities": {+ "ventas": 0.0317,+ "soporte": 0.3131,+ "facturacion": 0.017,+ "operadora": 0.3468,+ "colgar": 0.0465,+ "ninguno": 0.2449+ },+ "latency_ms": 119.75700099719688+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.5989,+ "probabilities": {+ "ventas": 0.0088,+ "soporte": 0.5989,+ "facturacion": 0.0128,+ "operadora": 0.2479,+ "colgar": 0.0148,+ "ninguno": 0.1169+ },+ "latency_ms": 125.95174997113645+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ventas",+ "confidence": 0.3711,+ "probabilities": {+ "ventas": 0.3711,+ "soporte": 0.0041,+ "facturacion": 0.3162,+ "operadora": 0.0086,+ "colgar": 0.0038,+ "ninguno": 0.2962+ },+ "latency_ms": 144.25075001781806+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.4042,+ "probabilities": {+ "ventas": 0.0491,+ "soporte": 0.4042,+ "facturacion": 0.0129,+ "operadora": 0.3048,+ "colgar": 0.038,+ "ninguno": 0.191+ },+ "latency_ms": 130.33762498525903+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.397,+ "probabilities": {+ "ventas": 0.0427,+ "soporte": 0.397,+ "facturacion": 0.0309,+ "operadora": 0.2674,+ "colgar": 0.0557,+ "ninguno": 0.2063+ },+ "latency_ms": 134.49533301172778+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.9941,+ "probabilities": {+ "ventas": 0.9941,+ "soporte": 0.0005,+ "facturacion": 0.0,+ "operadora": 0.0025,+ "colgar": 0.0007,+ "ninguno": 0.0021+ },+ "latency_ms": 133.35312600247562+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.9921,+ "probabilities": {+ "ventas": 0.0001,+ "soporte": 0.9921,+ "facturacion": 0.0001,+ "operadora": 0.0035,+ "colgar": 0.0007,+ "ninguno": 0.0035+ },+ "latency_ms": 130.56795799639076+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "facturacion",+ "confidence": 0.9974,+ "probabilities": {+ "ventas": 0.0001,+ "soporte": 0.0007,+ "facturacion": 0.9974,+ "operadora": 0.0005,+ "colgar": 0.0002,+ "ninguno": 0.0011+ },+ "latency_ms": 131.26783398911357+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.4598,+ "probabilities": {+ "ventas": 0.0203,+ "soporte": 0.4598,+ "facturacion": 0.0094,+ "operadora": 0.191,+ "colgar": 0.0409,+ "ninguno": 0.2786+ },+ "latency_ms": 128.09233297593892+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 1.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 132.09874997846782+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.9431,+ "probabilities": {+ "ventas": 0.9431,+ "soporte": 0.0121,+ "facturacion": 0.0042,+ "operadora": 0.0182,+ "colgar": 0.0045,+ "ninguno": 0.0179+ },+ "latency_ms": 126.94054195890203+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.8147,+ "probabilities": {+ "ventas": 0.0052,+ "soporte": 0.8147,+ "facturacion": 0.0054,+ "operadora": 0.1067,+ "colgar": 0.0219,+ "ninguno": 0.0461+ },+ "latency_ms": 131.70808396534994+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "facturacion",+ "confidence": 0.9999,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 0.9999,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 144.15091701084748+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.3649,+ "probabilities": {+ "ventas": 0.352,+ "soporte": 0.1057,+ "facturacion": 0.0135,+ "operadora": 0.3649,+ "colgar": 0.0248,+ "ninguno": 0.1391+ },+ "latency_ms": 127.88133299909532+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "soporte",+ "confidence": 0.468,+ "probabilities": {+ "ventas": 0.0214,+ "soporte": 0.468,+ "facturacion": 0.0075,+ "operadora": 0.418,+ "colgar": 0.0178,+ "ninguno": 0.0672+ },+ "latency_ms": 121.98245798936114+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.4048,+ "probabilities": {+ "ventas": 0.0332,+ "soporte": 0.3955,+ "facturacion": 0.0335,+ "operadora": 0.4048,+ "colgar": 0.0271,+ "ninguno": 0.1059+ },+ "latency_ms": 124.07304195221514+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "colgar",+ "confidence": 0.4031,+ "probabilities": {+ "ventas": 0.0119,+ "soporte": 0.2459,+ "facturacion": 0.0068,+ "operadora": 0.1387,+ "colgar": 0.4031,+ "ninguno": 0.1935+ },+ "latency_ms": 123.14066698309034+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.6335,+ "probabilities": {+ "ventas": 0.038,+ "soporte": 0.1485,+ "facturacion": 0.0361,+ "operadora": 0.6335,+ "colgar": 0.0276,+ "ninguno": 0.1164+ },+ "latency_ms": 140.79729100922123+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.4606,+ "probabilities": {+ "ventas": 0.0108,+ "soporte": 0.4606,+ "facturacion": 0.0039,+ "operadora": 0.1329,+ "colgar": 0.0598,+ "ninguno": 0.3321+ },+ "latency_ms": 135.57895802659914+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.8518,+ "probabilities": {+ "ventas": 0.0215,+ "soporte": 0.8518,+ "facturacion": 0.0014,+ "operadora": 0.0639,+ "colgar": 0.0459,+ "ninguno": 0.0155+ },+ "latency_ms": 133.0431669484824+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.9546,+ "probabilities": {+ "ventas": 0.0046,+ "soporte": 0.9546,+ "facturacion": 0.006,+ "operadora": 0.0079,+ "colgar": 0.0015,+ "ninguno": 0.0255+ },+ "latency_ms": 154.42404098575935+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.9219,+ "probabilities": {+ "ventas": 0.0096,+ "soporte": 0.0041,+ "facturacion": 0.9219,+ "operadora": 0.0615,+ "colgar": 0.0004,+ "ninguno": 0.0025+ },+ "latency_ms": 151.78845898481086+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.6076,+ "probabilities": {+ "ventas": 0.1012,+ "soporte": 0.6076,+ "facturacion": 0.0113,+ "operadora": 0.1245,+ "colgar": 0.0115,+ "ninguno": 0.1437+ },+ "latency_ms": 134.72850003745407+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0,+ "facturacion": 1.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 125.87154196808115+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.4022,+ "probabilities": {+ "ventas": 0.0308,+ "soporte": 0.4022,+ "facturacion": 0.0398,+ "operadora": 0.0688,+ "colgar": 0.0748,+ "ninguno": 0.3837+ },+ "latency_ms": 126.72404199838638+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.4232,+ "probabilities": {+ "ventas": 0.0083,+ "soporte": 0.3155,+ "facturacion": 0.0036,+ "operadora": 0.1277,+ "colgar": 0.4232,+ "ninguno": 0.1216+ },+ "latency_ms": 125.33887499012053+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.4063,+ "probabilities": {+ "ventas": 0.1539,+ "soporte": 0.08,+ "facturacion": 0.4063,+ "operadora": 0.136,+ "colgar": 0.0097,+ "ninguno": 0.2141+ },+ "latency_ms": 128.63975000800565+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9994,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0001,+ "facturacion": 0.9994,+ "operadora": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0004+ },+ "latency_ms": 124.43029199494049+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.5785,+ "probabilities": {+ "ventas": 0.0373,+ "soporte": 0.2353,+ "facturacion": 0.0332,+ "operadora": 0.5785,+ "colgar": 0.0174,+ "ninguno": 0.0983+ },+ "latency_ms": 123.15275002038106+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.3236,+ "probabilities": {+ "ventas": 0.0413,+ "soporte": 0.2997,+ "facturacion": 0.0525,+ "operadora": 0.2408,+ "colgar": 0.0422,+ "ninguno": 0.3236+ },+ "latency_ms": 122.05841700779274+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.4812,+ "probabilities": {+ "ventas": 0.0089,+ "soporte": 0.2693,+ "facturacion": 0.0048,+ "operadora": 0.4812,+ "colgar": 0.161,+ "ninguno": 0.0749+ },+ "latency_ms": 122.0327090122737+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 1.0,+ "probabilities": {+ "ventas": 1.0,+ "soporte": 0.0,+ "facturacion": 0.0,+ "operadora": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 124.69058198621497+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.7141,+ "probabilities": {+ "ventas": 0.0264,+ "soporte": 0.7141,+ "facturacion": 0.0151,+ "operadora": 0.145,+ "colgar": 0.0273,+ "ninguno": 0.0721+ },+ "latency_ms": 143.63112504361197+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.9364,+ "probabilities": {+ "ventas": 0.0023,+ "soporte": 0.0015,+ "facturacion": 0.9364,+ "operadora": 0.0009,+ "colgar": 0.0005,+ "ninguno": 0.0584+ },+ "latency_ms": 127.56354198791087+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.6542,+ "probabilities": {+ "ventas": 0.006,+ "soporte": 0.1149,+ "facturacion": 0.0265,+ "operadora": 0.1634,+ "colgar": 0.035,+ "ninguno": 0.6542+ },+ "latency_ms": 124.37695899279788+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.371,+ "probabilities": {+ "ventas": 0.1776,+ "soporte": 0.0551,+ "facturacion": 0.0359,+ "operadora": 0.3329,+ "colgar": 0.0274,+ "ninguno": 0.371+ },+ "latency_ms": 132.41591700352728+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "ninguno",+ "confidence": 0.5955,+ "probabilities": {+ "ventas": 0.0208,+ "soporte": 0.1688,+ "facturacion": 0.0477,+ "operadora": 0.1469,+ "colgar": 0.0202,+ "ninguno": 0.5955+ },+ "latency_ms": 125.68704201839864+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-multilingual__clinic__en_criteria.json b/research/benchmarks/es_phone_turns/results/laya-multilingual__clinic__en_criteria.jsonnew file mode 100644index 00000000..aa3d4b06--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-multilingual__clinic__en_criteria.json@@ -0,0 +1,1074 @@+{+ "meta": {+ "model": "convaiinnovations/laya-multilingual",+ "subfolder": null,+ "rung": "en_criteria",+ "dataset": "clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 4003.912502026651+ },+ "summary": {+ "n": 45,+ "accuracy": 0.4888888888888889,+ "macro_f1": 0.4882886537021875,+ "ece": 0.28253555555555565,+ "mean_confidence": 0.7645488888888892,+ "majority_baseline": 0.28888888888888886,+ "wrong_actions": 20,+ "by_tag": {+ "asr": {+ "n": 5,+ "accuracy": 0.2+ },+ "direct": {+ "n": 6,+ "accuracy": 1.0+ },+ "farewell": {+ "n": 4,+ "accuracy": 0.25+ },+ "hard": {+ "n": 3,+ "accuracy": 0.0+ },+ "hn": {+ "n": 2,+ "accuracy": 0.5+ },+ "human": {+ "n": 4,+ "accuracy": 0.75+ },+ "indirect": {+ "n": 16,+ "accuracy": 0.625+ },+ "negation": {+ "n": 7,+ "accuracy": 0.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 3,+ "accuracy": 0.3333333333333333+ },+ "open": {+ "n": 3,+ "accuracy": 0.6666666666666666+ },+ "short": {+ "n": 2,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "citas->farmacia": 1,+ "citas->laboratorio": 1,+ "citas->ninguno": 1,+ "citas->recepcion": 1,+ "colgar->ninguno": 2,+ "colgar->recepcion": 1,+ "emergencias->colgar": 1,+ "emergencias->recepcion": 1,+ "farmacia->recepcion": 1,+ "laboratorio->citas": 1,+ "laboratorio->emergencias": 1,+ "ninguno->citas": 1,+ "ninguno->colgar": 1,+ "ninguno->emergencias": 2,+ "ninguno->farmacia": 2,+ "ninguno->laboratorio": 1,+ "ninguno->recepcion": 3,+ "recepcion->citas": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 32,+ "coverage": 0.7111111111111111,+ "action_recall": 0.59375,+ "wrong": 13,+ "precision": 0.59375+ },+ {+ "threshold": 0.6,+ "fast": 27,+ "coverage": 0.6,+ "action_recall": 0.53125,+ "wrong": 10,+ "precision": 0.6296296296296297+ },+ {+ "threshold": 0.7,+ "fast": 27,+ "coverage": 0.6,+ "action_recall": 0.53125,+ "wrong": 10,+ "precision": 0.6296296296296297+ },+ {+ "threshold": 0.8,+ "fast": 24,+ "coverage": 0.5333333333333333,+ "action_recall": 0.46875,+ "wrong": 9,+ "precision": 0.625+ },+ {+ "threshold": 0.9,+ "fast": 21,+ "coverage": 0.4666666666666667,+ "action_recall": 0.4375,+ "wrong": 7,+ "precision": 0.6666666666666666+ },+ {+ "threshold": 0.95,+ "fast": 20,+ "coverage": 0.4444444444444444,+ "action_recall": 0.40625,+ "wrong": 7,+ "precision": 0.65+ },+ {+ "threshold": 0.99,+ "fast": 13,+ "coverage": 0.28888888888888886,+ "action_recall": 0.28125,+ "wrong": 4,+ "precision": 0.6923076923076923+ }+ ],+ "latency_ms": {+ "p50": 120.2789589879103,+ "p95": 145.0622080010362,+ "min": 107.85029199905694+ },+ "borderline": []+ },+ "records": [+ {+ "id": "cl-001",+ "text": "Quiero sacar una cita con el cardiólogo.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.436,+ "probabilities": {+ "citas": 0.1256,+ "laboratorio": 0.2552,+ "farmacia": 0.436,+ "emergencias": 0.0198,+ "recepcion": 0.1543,+ "colgar": 0.0011,+ "ninguno": 0.008+ },+ "latency_ms": 137.51520798541605+ },+ {+ "id": "cl-002",+ "text": "Necesito cambiar la fecha de mi consulta del jueves.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.9617,+ "probabilities": {+ "citas": 0.9617,+ "laboratorio": 0.0002,+ "farmacia": 0.0109,+ "emergencias": 0.0003,+ "recepcion": 0.0249,+ "colgar": 0.0002,+ "ninguno": 0.0019+ },+ "latency_ms": 126.89066701568663+ },+ {+ "id": "cl-003",+ "text": "Páseme con citas, por favor.",+ "gold": "citas",+ "tags": [+ "direct"+ ],+ "predicted": "citas",+ "confidence": 1.0,+ "probabilities": {+ "citas": 1.0,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 144.68562504043803+ },+ {+ "id": "cl-004",+ "text": "Fíjese que quiero apartar una consulta para mi mamá.",+ "gold": "citas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "recepcion",+ "confidence": 0.5013,+ "probabilities": {+ "citas": 0.4013,+ "laboratorio": 0.0031,+ "farmacia": 0.0704,+ "emergencias": 0.0136,+ "recepcion": 0.5013,+ "colgar": 0.0016,+ "ninguno": 0.0086+ },+ "latency_ms": 218.0681669851765+ },+ {+ "id": "cl-005",+ "text": "Tengo que cancelar la cita que tenía mañana con la doctora.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 1.0,+ "probabilities": {+ "citas": 1.0,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 129.0314169600606+ },+ {+ "id": "cl-006",+ "text": "quiero agendar con el pediatra para la otra semana",+ "gold": "citas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.3945,+ "probabilities": {+ "citas": 0.3404,+ "laboratorio": 0.0098,+ "farmacia": 0.0242,+ "emergencias": 0.0604,+ "recepcion": 0.1412,+ "colgar": 0.0295,+ "ninguno": 0.3945+ },+ "latency_ms": 153.99058297043666+ },+ {+ "id": "cl-007",+ "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9805,+ "probabilities": {+ "citas": 0.0003,+ "laboratorio": 0.9805,+ "farmacia": 0.0012,+ "emergencias": 0.0005,+ "recepcion": 0.0008,+ "colgar": 0.0015,+ "ninguno": 0.0153+ },+ "latency_ms": 128.8578329840675+ },+ {+ "id": "cl-008",+ "text": "Comuníqueme con el laboratorio.",+ "gold": "laboratorio",+ "tags": [+ "direct"+ ],+ "predicted": "laboratorio",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 1.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 120.2789589879103+ },+ {+ "id": "cl-009",+ "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.5729,+ "probabilities": {+ "citas": 0.0513,+ "laboratorio": 0.5729,+ "farmacia": 0.0047,+ "emergencias": 0.0782,+ "recepcion": 0.1966,+ "colgar": 0.0342,+ "ninguno": 0.0621+ },+ "latency_ms": 135.8407080406323+ },+ {+ "id": "cl-010",+ "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9885,+ "probabilities": {+ "citas": 0.0004,+ "laboratorio": 0.9885,+ "farmacia": 0.0021,+ "emergencias": 0.0029,+ "recepcion": 0.0011,+ "colgar": 0.0005,+ "ninguno": 0.0045+ },+ "latency_ms": 130.0424170331098+ },+ {+ "id": "cl-011",+ "text": "me hicieron un examen de orina y no me han entregado nada",+ "gold": "laboratorio",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.3492,+ "probabilities": {+ "citas": 0.026,+ "laboratorio": 0.2054,+ "farmacia": 0.0229,+ "emergencias": 0.3492,+ "recepcion": 0.1255,+ "colgar": 0.0206,+ "ninguno": 0.2504+ },+ "latency_ms": 115.6990000163205+ },+ {+ "id": "cl-012",+ "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.",+ "gold": "farmacia",+ "tags": [+ "direct"+ ],+ "predicted": "farmacia",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 1.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 120.96037500305101+ },+ {+ "id": "cl-013",+ "text": "Necesito surtir una receta.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.9569,+ "probabilities": {+ "citas": 0.0001,+ "laboratorio": 0.0002,+ "farmacia": 0.9569,+ "emergencias": 0.0,+ "recepcion": 0.0422,+ "colgar": 0.0,+ "ninguno": 0.0006+ },+ "latency_ms": 116.11954198451713+ },+ {+ "id": "cl-014",+ "text": "Con la farmacia, por favor.",+ "gold": "farmacia",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "farmacia",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 1.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 126.64487498113886+ },+ {+ "id": "cl-015",+ "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.9482,+ "probabilities": {+ "citas": 0.0043,+ "laboratorio": 0.0004,+ "farmacia": 0.9482,+ "emergencias": 0.0031,+ "recepcion": 0.0368,+ "colgar": 0.0012,+ "ninguno": 0.0059+ },+ "latency_ms": 114.09358296077698+ },+ {+ "id": "cl-016",+ "text": "Quiero comprar la medicina que me indicó el doctor.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 1.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 135.13524999143556+ },+ {+ "id": "cl-017",+ "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.3205,+ "probabilities": {+ "citas": 0.0718,+ "laboratorio": 0.0035,+ "farmacia": 0.017,+ "emergencias": 0.1485,+ "recepcion": 0.1256,+ "colgar": 0.3205,+ "ninguno": 0.3132+ },+ "latency_ms": 132.79437500750646+ },+ {+ "id": "cl-018",+ "text": "Páseme con emergencias, es urgente.",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.9996,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.0001,+ "emergencias": 0.9996,+ "recepcion": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 109.40429201582447+ },+ {+ "id": "cl-019",+ "text": "Mi hijo se cortó y está sangrando mucho.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.7923,+ "probabilities": {+ "citas": 0.0031,+ "laboratorio": 0.0026,+ "farmacia": 0.0045,+ "emergencias": 0.7923,+ "recepcion": 0.0284,+ "colgar": 0.1059,+ "ninguno": 0.0631+ },+ "latency_ms": 131.49550004163757+ },+ {+ "id": "cl-020",+ "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "recepcion",+ "confidence": 0.3577,+ "probabilities": {+ "citas": 0.1109,+ "laboratorio": 0.0039,+ "farmacia": 0.0183,+ "emergencias": 0.2068,+ "recepcion": 0.3577,+ "colgar": 0.103,+ "ninguno": 0.1995+ },+ "latency_ms": 115.37745903478935+ },+ {+ "id": "cl-021",+ "text": "necesito una ambulancia mi esposa se cayó y no se puede mover",+ "gold": "emergencias",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.9985,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.0011,+ "emergencias": 0.9985,+ "recepcion": 0.0001,+ "colgar": 0.0001,+ "ninguno": 0.0002+ },+ "latency_ms": 135.98816702142358+ },+ {+ "id": "cl-022",+ "text": "Quiero hablar con una persona.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.7688,+ "probabilities": {+ "citas": 0.1214,+ "laboratorio": 0.0023,+ "farmacia": 0.0135,+ "emergencias": 0.0137,+ "recepcion": 0.7688,+ "colgar": 0.006,+ "ninguno": 0.0744+ },+ "latency_ms": 109.11708301864564+ },+ {+ "id": "cl-023",+ "text": "Páseme con alguien que me atienda, por favor.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "citas",+ "confidence": 0.5261,+ "probabilities": {+ "citas": 0.5261,+ "laboratorio": 0.0043,+ "farmacia": 0.052,+ "emergencias": 0.077,+ "recepcion": 0.2275,+ "colgar": 0.0219,+ "ninguno": 0.0911+ },+ "latency_ms": 111.44375003641471+ },+ {+ "id": "cl-024",+ "text": "No quiero hablar con una máquina, comuníqueme con una persona.",+ "gold": "recepcion",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "recepcion",+ "confidence": 0.5773,+ "probabilities": {+ "citas": 0.3466,+ "laboratorio": 0.0025,+ "farmacia": 0.0145,+ "emergencias": 0.01,+ "recepcion": 0.5773,+ "colgar": 0.0092,+ "ninguno": 0.0399+ },+ "latency_ms": 115.19779200898483+ },+ {+ "id": "cl-025",+ "text": "Con la recepcionista, por favor.",+ "gold": "recepcion",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "recepcion",+ "confidence": 0.9998,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.9998,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 115.9652920323424+ },+ {+ "id": "cl-026",+ "text": "Muchas gracias, eso era todo. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.3872,+ "probabilities": {+ "citas": 0.0885,+ "laboratorio": 0.004,+ "farmacia": 0.0135,+ "emergencias": 0.0134,+ "recepcion": 0.114,+ "colgar": 0.3794,+ "ninguno": 0.3872+ },+ "latency_ms": 122.7372910361737+ },+ {+ "id": "cl-027",+ "text": "Vaya pues, muy amable, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.8346,+ "probabilities": {+ "citas": 0.0174,+ "laboratorio": 0.0051,+ "farmacia": 0.0128,+ "emergencias": 0.0138,+ "recepcion": 0.0304,+ "colgar": 0.8346,+ "ninguno": 0.0859+ },+ "latency_ms": 117.8247089846991+ },+ {+ "id": "cl-028",+ "text": "Ya no necesito nada más, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "recepcion",+ "confidence": 0.4097,+ "probabilities": {+ "citas": 0.1538,+ "laboratorio": 0.0024,+ "farmacia": 0.0227,+ "emergencias": 0.0112,+ "recepcion": 0.4097,+ "colgar": 0.0562,+ "ninguno": 0.344+ },+ "latency_ms": 109.27229200024158+ },+ {+ "id": "cl-029",+ "text": "bueno gracias que pase buen dia",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.3991,+ "probabilities": {+ "citas": 0.1692,+ "laboratorio": 0.0035,+ "farmacia": 0.0185,+ "emergencias": 0.0272,+ "recepcion": 0.2189,+ "colgar": 0.1635,+ "ninguno": 0.3991+ },+ "latency_ms": 108.70179202174768+ },+ {+ "id": "cl-030",+ "text": "¿A qué hora abre la clínica?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "recepcion",+ "confidence": 0.9522,+ "probabilities": {+ "citas": 0.0307,+ "laboratorio": 0.0002,+ "farmacia": 0.0026,+ "emergencias": 0.0064,+ "recepcion": 0.9522,+ "colgar": 0.0011,+ "ninguno": 0.0068+ },+ "latency_ms": 108.8992910226807+ },+ {+ "id": "cl-031",+ "text": "¿Dónde están ubicados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.769,+ "probabilities": {+ "citas": 0.0349,+ "laboratorio": 0.0024,+ "farmacia": 0.0107,+ "emergencias": 0.0246,+ "recepcion": 0.136,+ "colgar": 0.0224,+ "ninguno": 0.769+ },+ "latency_ms": 107.85029199905694+ },+ {+ "id": "cl-032",+ "text": "¿Atienden los domingos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.7773,+ "probabilities": {+ "citas": 0.027,+ "laboratorio": 0.0026,+ "farmacia": 0.0165,+ "emergencias": 0.0152,+ "recepcion": 0.065,+ "colgar": 0.0964,+ "ninguno": 0.7773+ },+ "latency_ms": 109.27074996288866+ },+ {+ "id": "cl-033",+ "text": "Aló, buenas tardes.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "recepcion",+ "confidence": 0.378,+ "probabilities": {+ "citas": 0.104,+ "laboratorio": 0.0038,+ "farmacia": 0.0211,+ "emergencias": 0.0222,+ "recepcion": 0.378,+ "colgar": 0.1223,+ "ninguno": 0.3488+ },+ "latency_ms": 133.71158298105001+ },+ {+ "id": "cl-034",+ "text": "¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.595,+ "probabilities": {+ "citas": 0.0349,+ "laboratorio": 0.0015,+ "farmacia": 0.0089,+ "emergencias": 0.0096,+ "recepcion": 0.3341,+ "colgar": 0.016,+ "ninguno": 0.595+ },+ "latency_ms": 118.96545899799094+ },+ {+ "id": "cl-035",+ "text": "Un momento, que estoy buscando mi carné.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "farmacia",+ "confidence": 0.5527,+ "probabilities": {+ "citas": 0.0216,+ "laboratorio": 0.0037,+ "farmacia": 0.5527,+ "emergencias": 0.0182,+ "recepcion": 0.2581,+ "colgar": 0.0154,+ "ninguno": 0.1303+ },+ "latency_ms": 122.51879199175164+ },+ {+ "id": "cl-036",+ "text": "No quiero una cita, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "citas",+ "confidence": 0.9948,+ "probabilities": {+ "citas": 0.9948,+ "laboratorio": 0.0,+ "farmacia": 0.0001,+ "emergencias": 0.0,+ "recepcion": 0.0045,+ "colgar": 0.0,+ "ninguno": 0.0005+ },+ "latency_ms": 145.0622080010362+ },+ {+ "id": "cl-037",+ "text": "No me pase con el laboratorio, ya tengo mis resultados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "laboratorio",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 1.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 128.44479200430214+ },+ {+ "id": "cl-038",+ "text": "No es una emergencia, solo es una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "emergencias",+ "confidence": 0.4832,+ "probabilities": {+ "citas": 0.0856,+ "laboratorio": 0.0026,+ "farmacia": 0.0221,+ "emergencias": 0.4832,+ "recepcion": 0.0882,+ "colgar": 0.0331,+ "ninguno": 0.2852+ },+ "latency_ms": 132.55408400436863+ },+ {+ "id": "cl-039",+ "text": "No necesito la farmacia, solo quería preguntar dónde quedan.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "farmacia",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 1.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 125.26849994901568+ },+ {+ "id": "cl-040",+ "text": "No cuelgue, todavía tengo otra duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "colgar",+ "confidence": 0.8853,+ "probabilities": {+ "citas": 0.0639,+ "laboratorio": 0.0003,+ "farmacia": 0.0021,+ "emergencias": 0.0041,+ "recepcion": 0.0125,+ "colgar": 0.8853,+ "ninguno": 0.0317+ },+ "latency_ms": 115.61195802642033+ },+ {+ "id": "cl-041",+ "text": "No me transfiera con nadie todavía, primero dígame usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "recepcion",+ "confidence": 0.7379,+ "probabilities": {+ "citas": 0.1673,+ "laboratorio": 0.0028,+ "farmacia": 0.0131,+ "emergencias": 0.0052,+ "recepcion": 0.7379,+ "colgar": 0.0119,+ "ninguno": 0.0618+ },+ "latency_ms": 118.28883300768211+ },+ {+ "id": "cl-042",+ "text": "no no es urgente no me pase con emergencias",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "emergencias",+ "confidence": 0.9766,+ "probabilities": {+ "citas": 0.0029,+ "laboratorio": 0.0003,+ "farmacia": 0.0014,+ "emergencias": 0.9766,+ "recepcion": 0.0045,+ "colgar": 0.0027,+ "ninguno": 0.0117+ },+ "latency_ms": 113.77183301374316+ },+ {+ "id": "cl-043",+ "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.",+ "gold": "citas",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 1.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 118.04804200073704+ },+ {+ "id": "cl-044",+ "text": "El doctor de emergencias me dejó una receta y quiero comprarla.",+ "gold": "farmacia",+ "tags": [+ "hard"+ ],+ "predicted": "recepcion",+ "confidence": 0.8561,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.1435,+ "emergencias": 0.0002,+ "recepcion": 0.8561,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 119.01495902566239+ },+ {+ "id": "cl-045",+ "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.",+ "gold": "laboratorio",+ "tags": [+ "hard"+ ],+ "predicted": "citas",+ "confidence": 0.9857,+ "probabilities": {+ "citas": 0.9857,+ "laboratorio": 0.005,+ "farmacia": 0.0009,+ "emergencias": 0.0002,+ "recepcion": 0.0067,+ "colgar": 0.0003,+ "ninguno": 0.0011+ },+ "latency_ms": 119.83899999177083+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-multilingual__clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-multilingual__clinic__es_criteria.jsonnew file mode 100644index 00000000..902b3ecf--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-multilingual__clinic__es_criteria.json@@ -0,0 +1,1071 @@+{+ "meta": {+ "model": "convaiinnovations/laya-multilingual",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 4199.144084996078+ },+ "summary": {+ "n": 45,+ "accuracy": 0.4888888888888889,+ "macro_f1": 0.4584467574295084,+ "ece": 0.27359333333333336,+ "mean_confidence": 0.7407977777777778,+ "majority_baseline": 0.28888888888888886,+ "wrong_actions": 21,+ "by_tag": {+ "asr": {+ "n": 5,+ "accuracy": 0.2+ },+ "direct": {+ "n": 6,+ "accuracy": 1.0+ },+ "farewell": {+ "n": 4,+ "accuracy": 0.0+ },+ "hard": {+ "n": 3,+ "accuracy": 0.0+ },+ "hn": {+ "n": 2,+ "accuracy": 0.0+ },+ "human": {+ "n": 4,+ "accuracy": 1.0+ },+ "indirect": {+ "n": 16,+ "accuracy": 0.6875+ },+ "negation": {+ "n": 7,+ "accuracy": 0.14285714285714285+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 3,+ "accuracy": 0.0+ },+ "open": {+ "n": 3,+ "accuracy": 0.3333333333333333+ },+ "short": {+ "n": 2,+ "accuracy": 0.5+ }+ },+ "confusion": {+ "citas->laboratorio": 1,+ "citas->recepcion": 2,+ "colgar->citas": 1,+ "colgar->ninguno": 1,+ "colgar->recepcion": 2,+ "emergencias->ninguno": 1,+ "farmacia->recepcion": 1,+ "laboratorio->citas": 1,+ "laboratorio->emergencias": 1,+ "laboratorio->farmacia": 1,+ "ninguno->citas": 1,+ "ninguno->emergencias": 2,+ "ninguno->farmacia": 1,+ "ninguno->laboratorio": 1,+ "ninguno->recepcion": 6+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 31,+ "coverage": 0.6888888888888889,+ "action_recall": 0.5625,+ "wrong": 13,+ "precision": 0.5806451612903226+ },+ {+ "threshold": 0.6,+ "fast": 30,+ "coverage": 0.6666666666666666,+ "action_recall": 0.53125,+ "wrong": 13,+ "precision": 0.5666666666666667+ },+ {+ "threshold": 0.7,+ "fast": 28,+ "coverage": 0.6222222222222222,+ "action_recall": 0.5,+ "wrong": 12,+ "precision": 0.5714285714285714+ },+ {+ "threshold": 0.8,+ "fast": 25,+ "coverage": 0.5555555555555556,+ "action_recall": 0.46875,+ "wrong": 10,+ "precision": 0.6+ },+ {+ "threshold": 0.9,+ "fast": 18,+ "coverage": 0.4,+ "action_recall": 0.40625,+ "wrong": 5,+ "precision": 0.7222222222222222+ },+ {+ "threshold": 0.95,+ "fast": 17,+ "coverage": 0.37777777777777777,+ "action_recall": 0.375,+ "wrong": 5,+ "precision": 0.7058823529411765+ },+ {+ "threshold": 0.99,+ "fast": 15,+ "coverage": 0.3333333333333333,+ "action_recall": 0.34375,+ "wrong": 4,+ "precision": 0.7333333333333333+ }+ ],+ "latency_ms": {+ "p50": 126.10187497921288,+ "p95": 142.93837500736117,+ "min": 116.19529098970816+ },+ "borderline": []+ },+ "records": [+ {+ "id": "cl-001",+ "text": "Quiero sacar una cita con el cardiólogo.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.3994,+ "probabilities": {+ "citas": 0.3994,+ "laboratorio": 0.0268,+ "farmacia": 0.1241,+ "emergencias": 0.0485,+ "recepcion": 0.3881,+ "colgar": 0.0009,+ "ninguno": 0.0121+ },+ "latency_ms": 137.70658400608227+ },+ {+ "id": "cl-002",+ "text": "Necesito cambiar la fecha de mi consulta del jueves.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.9788,+ "probabilities": {+ "citas": 0.9788,+ "laboratorio": 0.0001,+ "farmacia": 0.0101,+ "emergencias": 0.0001,+ "recepcion": 0.0094,+ "colgar": 0.0001,+ "ninguno": 0.0014+ },+ "latency_ms": 125.81329204840586+ },+ {+ "id": "cl-003",+ "text": "Páseme con citas, por favor.",+ "gold": "citas",+ "tags": [+ "direct"+ ],+ "predicted": "citas",+ "confidence": 0.9999,+ "probabilities": {+ "citas": 0.9999,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 127.10333301220089+ },+ {+ "id": "cl-004",+ "text": "Fíjese que quiero apartar una consulta para mi mamá.",+ "gold": "citas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "recepcion",+ "confidence": 0.496,+ "probabilities": {+ "citas": 0.3342,+ "laboratorio": 0.003,+ "farmacia": 0.0407,+ "emergencias": 0.0358,+ "recepcion": 0.496,+ "colgar": 0.0079,+ "ninguno": 0.0823+ },+ "latency_ms": 132.44820799445733+ },+ {+ "id": "cl-005",+ "text": "Tengo que cancelar la cita que tenía mañana con la doctora.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.9945,+ "probabilities": {+ "citas": 0.9945,+ "laboratorio": 0.0001,+ "farmacia": 0.0004,+ "emergencias": 0.0006,+ "recepcion": 0.004,+ "colgar": 0.0001,+ "ninguno": 0.0004+ },+ "latency_ms": 126.10187497921288+ },+ {+ "id": "cl-006",+ "text": "quiero agendar con el pediatra para la otra semana",+ "gold": "citas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "recepcion",+ "confidence": 0.3195,+ "probabilities": {+ "citas": 0.1108,+ "laboratorio": 0.0043,+ "farmacia": 0.1026,+ "emergencias": 0.178,+ "recepcion": 0.3195,+ "colgar": 0.0214,+ "ninguno": 0.2634+ },+ "latency_ms": 125.00975001603365+ },+ {+ "id": "cl-007",+ "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9974,+ "probabilities": {+ "citas": 0.0001,+ "laboratorio": 0.9974,+ "farmacia": 0.0008,+ "emergencias": 0.0001,+ "recepcion": 0.0001,+ "colgar": 0.0001,+ "ninguno": 0.0015+ },+ "latency_ms": 140.98837500205263+ },+ {+ "id": "cl-008",+ "text": "Comuníqueme con el laboratorio.",+ "gold": "laboratorio",+ "tags": [+ "direct"+ ],+ "predicted": "laboratorio",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 1.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 134.81662498088554+ },+ {+ "id": "cl-009",+ "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.338,+ "probabilities": {+ "citas": 0.0666,+ "laboratorio": 0.1643,+ "farmacia": 0.338,+ "emergencias": 0.0932,+ "recepcion": 0.1403,+ "colgar": 0.0606,+ "ninguno": 0.1369+ },+ "latency_ms": 136.0189170227386+ },+ {+ "id": "cl-010",+ "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9994,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.9994,+ "farmacia": 0.0001,+ "emergencias": 0.0001,+ "recepcion": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0003+ },+ "latency_ms": 125.99154200870544+ },+ {+ "id": "cl-011",+ "text": "me hicieron un examen de orina y no me han entregado nada",+ "gold": "laboratorio",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8346,+ "probabilities": {+ "citas": 0.0042,+ "laboratorio": 0.0126,+ "farmacia": 0.0111,+ "emergencias": 0.8346,+ "recepcion": 0.068,+ "colgar": 0.0054,+ "ninguno": 0.064+ },+ "latency_ms": 120.26258296100423+ },+ {+ "id": "cl-012",+ "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.",+ "gold": "farmacia",+ "tags": [+ "direct"+ ],+ "predicted": "farmacia",+ "confidence": 0.9999,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.9999,+ "emergencias": 0.0,+ "recepcion": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 124.12341602612287+ },+ {+ "id": "cl-013",+ "text": "Necesito surtir una receta.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.7125,+ "probabilities": {+ "citas": 0.0001,+ "laboratorio": 0.0001,+ "farmacia": 0.7125,+ "emergencias": 0.0004,+ "recepcion": 0.2847,+ "colgar": 0.0001,+ "ninguno": 0.002+ },+ "latency_ms": 116.19529098970816+ },+ {+ "id": "cl-014",+ "text": "Con la farmacia, por favor.",+ "gold": "farmacia",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "farmacia",+ "confidence": 0.9999,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.9999,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 116.42133299028501+ },+ {+ "id": "cl-015",+ "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8282,+ "probabilities": {+ "citas": 0.0607,+ "laboratorio": 0.0006,+ "farmacia": 0.8282,+ "emergencias": 0.0037,+ "recepcion": 0.0809,+ "colgar": 0.0011,+ "ninguno": 0.0249+ },+ "latency_ms": 122.29683302575722+ },+ {+ "id": "cl-016",+ "text": "Quiero comprar la medicina que me indicó el doctor.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.9959,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.9959,+ "emergencias": 0.0,+ "recepcion": 0.0039,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 128.87175002833828+ },+ {+ "id": "cl-017",+ "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "ninguno",+ "confidence": 0.3497,+ "probabilities": {+ "citas": 0.1169,+ "laboratorio": 0.0027,+ "farmacia": 0.0125,+ "emergencias": 0.1304,+ "recepcion": 0.2408,+ "colgar": 0.1471,+ "ninguno": 0.3497+ },+ "latency_ms": 169.3749999976717+ },+ {+ "id": "cl-018",+ "text": "Páseme con emergencias, es urgente.",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.9998,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.9998,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 118.10474999947473+ },+ {+ "id": "cl-019",+ "text": "Mi hijo se cortó y está sangrando mucho.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8798,+ "probabilities": {+ "citas": 0.0022,+ "laboratorio": 0.0008,+ "farmacia": 0.0011,+ "emergencias": 0.8798,+ "recepcion": 0.0166,+ "colgar": 0.0301,+ "ninguno": 0.0694+ },+ "latency_ms": 118.49229200743139+ },+ {+ "id": "cl-020",+ "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.5121,+ "probabilities": {+ "citas": 0.0284,+ "laboratorio": 0.0025,+ "farmacia": 0.0235,+ "emergencias": 0.5121,+ "recepcion": 0.2585,+ "colgar": 0.0348,+ "ninguno": 0.1402+ },+ "latency_ms": 140.45304199680686+ },+ {+ "id": "cl-021",+ "text": "necesito una ambulancia mi esposa se cayó y no se puede mover",+ "gold": "emergencias",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.9947,+ "probabilities": {+ "citas": 0.0001,+ "laboratorio": 0.0001,+ "farmacia": 0.0001,+ "emergencias": 0.9947,+ "recepcion": 0.002,+ "colgar": 0.002,+ "ninguno": 0.0011+ },+ "latency_ms": 176.64912500185892+ },+ {+ "id": "cl-022",+ "text": "Quiero hablar con una persona.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.6063,+ "probabilities": {+ "citas": 0.2746,+ "laboratorio": 0.0026,+ "farmacia": 0.0069,+ "emergencias": 0.0141,+ "recepcion": 0.6063,+ "colgar": 0.0125,+ "ninguno": 0.0831+ },+ "latency_ms": 118.16725000971928+ },+ {+ "id": "cl-023",+ "text": "Páseme con alguien que me atienda, por favor.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.392,+ "probabilities": {+ "citas": 0.2569,+ "laboratorio": 0.0047,+ "farmacia": 0.0139,+ "emergencias": 0.1384,+ "recepcion": 0.392,+ "colgar": 0.0156,+ "ninguno": 0.1785+ },+ "latency_ms": 129.30904200766236+ },+ {+ "id": "cl-024",+ "text": "No quiero hablar con una máquina, comuníqueme con una persona.",+ "gold": "recepcion",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "recepcion",+ "confidence": 0.9105,+ "probabilities": {+ "citas": 0.0448,+ "laboratorio": 0.001,+ "farmacia": 0.0035,+ "emergencias": 0.0039,+ "recepcion": 0.9105,+ "colgar": 0.0079,+ "ninguno": 0.0284+ },+ "latency_ms": 128.5978329833597+ },+ {+ "id": "cl-025",+ "text": "Con la recepcionista, por favor.",+ "gold": "recepcion",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "recepcion",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 1.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 118.54662501718849+ },+ {+ "id": "cl-026",+ "text": "Muchas gracias, eso era todo. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.3672,+ "probabilities": {+ "citas": 0.1282,+ "laboratorio": 0.004,+ "farmacia": 0.0279,+ "emergencias": 0.0322,+ "recepcion": 0.3418,+ "colgar": 0.0986,+ "ninguno": 0.3672+ },+ "latency_ms": 136.356666975189+ },+ {+ "id": "cl-027",+ "text": "Vaya pues, muy amable, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "recepcion",+ "confidence": 0.3724,+ "probabilities": {+ "citas": 0.0247,+ "laboratorio": 0.0069,+ "farmacia": 0.0181,+ "emergencias": 0.2092,+ "recepcion": 0.3724,+ "colgar": 0.0517,+ "ninguno": 0.3169+ },+ "latency_ms": 126.53249996947125+ },+ {+ "id": "cl-028",+ "text": "Ya no necesito nada más, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "recepcion",+ "confidence": 0.4224,+ "probabilities": {+ "citas": 0.1462,+ "laboratorio": 0.0069,+ "farmacia": 0.181,+ "emergencias": 0.0165,+ "recepcion": 0.4224,+ "colgar": 0.0573,+ "ninguno": 0.1698+ },+ "latency_ms": 142.93837500736117+ },+ {+ "id": "cl-029",+ "text": "bueno gracias que pase buen dia",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "citas",+ "confidence": 0.3036,+ "probabilities": {+ "citas": 0.3036,+ "laboratorio": 0.0031,+ "farmacia": 0.034,+ "emergencias": 0.1298,+ "recepcion": 0.2796,+ "colgar": 0.0522,+ "ninguno": 0.1978+ },+ "latency_ms": 118.38425003224984+ },+ {+ "id": "cl-030",+ "text": "¿A qué hora abre la clínica?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "recepcion",+ "confidence": 0.8601,+ "probabilities": {+ "citas": 0.0371,+ "laboratorio": 0.0008,+ "farmacia": 0.0026,+ "emergencias": 0.0567,+ "recepcion": 0.8601,+ "colgar": 0.0023,+ "ninguno": 0.0403+ },+ "latency_ms": 127.33037595171481+ },+ {+ "id": "cl-031",+ "text": "¿Dónde están ubicados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "recepcion",+ "confidence": 0.7185,+ "probabilities": {+ "citas": 0.0482,+ "laboratorio": 0.0007,+ "farmacia": 0.0019,+ "emergencias": 0.0167,+ "recepcion": 0.7185,+ "colgar": 0.0273,+ "ninguno": 0.1866+ },+ "latency_ms": 116.70554097509012+ },+ {+ "id": "cl-032",+ "text": "¿Atienden los domingos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.7678,+ "probabilities": {+ "citas": 0.0752,+ "laboratorio": 0.0009,+ "farmacia": 0.0296,+ "emergencias": 0.0129,+ "recepcion": 0.101,+ "colgar": 0.0125,+ "ninguno": 0.7678+ },+ "latency_ms": 131.3373749726452+ },+ {+ "id": "cl-033",+ "text": "Aló, buenas tardes.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "recepcion",+ "confidence": 0.7007,+ "probabilities": {+ "citas": 0.1737,+ "laboratorio": 0.0013,+ "farmacia": 0.006,+ "emergencias": 0.015,+ "recepcion": 0.7007,+ "colgar": 0.0211,+ "ninguno": 0.0822+ },+ "latency_ms": 123.08883300283924+ },+ {+ "id": "cl-034",+ "text": "¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "recepcion",+ "confidence": 0.8658,+ "probabilities": {+ "citas": 0.0198,+ "laboratorio": 0.0008,+ "farmacia": 0.0021,+ "emergencias": 0.0098,+ "recepcion": 0.8658,+ "colgar": 0.0087,+ "ninguno": 0.093+ },+ "latency_ms": 118.1304170168005+ },+ {+ "id": "cl-035",+ "text": "Un momento, que estoy buscando mi carné.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "recepcion",+ "confidence": 0.4368,+ "probabilities": {+ "citas": 0.0665,+ "laboratorio": 0.0047,+ "farmacia": 0.1396,+ "emergencias": 0.0687,+ "recepcion": 0.4368,+ "colgar": 0.0381,+ "ninguno": 0.2454+ },+ "latency_ms": 133.71912500588223+ },+ {+ "id": "cl-036",+ "text": "No quiero una cita, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "recepcion",+ "confidence": 0.8649,+ "probabilities": {+ "citas": 0.132,+ "laboratorio": 0.0001,+ "farmacia": 0.0001,+ "emergencias": 0.0002,+ "recepcion": 0.8649,+ "colgar": 0.0002,+ "ninguno": 0.0025+ },+ "latency_ms": 117.77666700072587+ },+ {+ "id": "cl-037",+ "text": "No me pase con el laboratorio, ya tengo mis resultados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9998,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.9998,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 125.77220797538757+ },+ {+ "id": "cl-038",+ "text": "No es una emergencia, solo es una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "emergencias",+ "confidence": 0.6228,+ "probabilities": {+ "citas": 0.0455,+ "laboratorio": 0.0024,+ "farmacia": 0.0096,+ "emergencias": 0.6228,+ "recepcion": 0.1231,+ "colgar": 0.0213,+ "ninguno": 0.1753+ },+ "latency_ms": 124.84370899619535+ },+ {+ "id": "cl-039",+ "text": "No necesito la farmacia, solo quería preguntar dónde quedan.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "farmacia",+ "confidence": 0.9999,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.9999,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 125.09320897515863+ },+ {+ "id": "cl-040",+ "text": "No cuelgue, todavía tengo otra duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "citas",+ "confidence": 0.3324,+ "probabilities": {+ "citas": 0.3324,+ "laboratorio": 0.0043,+ "farmacia": 0.0195,+ "emergencias": 0.1199,+ "recepcion": 0.1956,+ "colgar": 0.1102,+ "ninguno": 0.218+ },+ "latency_ms": 129.12195798708126+ },+ {+ "id": "cl-041",+ "text": "No me transfiera con nadie todavía, primero dígame usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.3837,+ "probabilities": {+ "citas": 0.1183,+ "laboratorio": 0.0101,+ "farmacia": 0.0153,+ "emergencias": 0.0474,+ "recepcion": 0.3693,+ "colgar": 0.0558,+ "ninguno": 0.3837+ },+ "latency_ms": 133.97416699444875+ },+ {+ "id": "cl-042",+ "text": "no no es urgente no me pase con emergencias",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "emergencias",+ "confidence": 0.9902,+ "probabilities": {+ "citas": 0.001,+ "laboratorio": 0.0001,+ "farmacia": 0.0002,+ "emergencias": 0.9902,+ "recepcion": 0.0032,+ "colgar": 0.0011,+ "ninguno": 0.0042+ },+ "latency_ms": 126.14954198943451+ },+ {+ "id": "cl-043",+ "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.",+ "gold": "citas",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 1.0,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 1.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 131.53300003614277+ },+ {+ "id": "cl-044",+ "text": "El doctor de emergencias me dejó una receta y quiero comprarla.",+ "gold": "farmacia",+ "tags": [+ "hard"+ ],+ "predicted": "recepcion",+ "confidence": 0.8128,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.1871,+ "emergencias": 0.0001,+ "recepcion": 0.8128,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 121.56087503535673+ },+ {+ "id": "cl-045",+ "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.",+ "gold": "laboratorio",+ "tags": [+ "hard"+ ],+ "predicted": "citas",+ "confidence": 0.9753,+ "probabilities": {+ "citas": 0.9753,+ "laboratorio": 0.0009,+ "farmacia": 0.0008,+ "emergencias": 0.0008,+ "recepcion": 0.0214,+ "colgar": 0.0,+ "ninguno": 0.0008+ },+ "latency_ms": 123.7911669886671+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-multilingual__frustration__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-multilingual__frustration__es_criteria.jsonnew file mode 100644index 00000000..4ba165f8--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-multilingual__frustration__es_criteria.json@@ -0,0 +1,293 @@+{+ "meta": {+ "model": "convaiinnovations/laya-multilingual",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "frustration",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3718.1465020403266+ },+ "summary": {+ "n": 9,+ "accuracy": 0.0,+ "macro_f1": 0.0,+ "ece": 0.46391111111111116,+ "mean_confidence": 0.46391111111111116,+ "majority_baseline": 1.0,+ "wrong_actions": 9,+ "by_tag": {+ "frustration": {+ "n": 9,+ "accuracy": 0.0+ },+ "insult": {+ "n": 1,+ "accuracy": 0.0+ },+ "short": {+ "n": 3,+ "accuracy": 0.0+ },+ "swearing": {+ "n": 3,+ "accuracy": 0.0+ }+ },+ "confusion": {+ "ninguno->operadora": 5,+ "ninguno->soporte": 4+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 3,+ "coverage": 0.3333333333333333,+ "action_recall": null,+ "wrong": 3,+ "precision": 0.0+ },+ {+ "threshold": 0.6,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.7,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.8,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 133.99404101073742,+ "p95": 136.10599999083206,+ "min": 128.6570830270648+ },+ "borderline": []+ },+ "records": [+ {+ "id": "fr-001",+ "text": "te estoy pidiendo que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.4987,+ "probabilities": {+ "ventas": 0.0222,+ "soporte": 0.3117,+ "facturacion": 0.0146,+ "operadora": 0.4987,+ "colgar": 0.0435,+ "ninguno": 0.1093+ },+ "latency_ms": 134.54716705018654+ },+ {+ "id": "fr-002",+ "text": "te dije que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "soporte",+ "confidence": 0.5924,+ "probabilities": {+ "ventas": 0.0086,+ "soporte": 0.5924,+ "facturacion": 0.0083,+ "operadora": 0.233,+ "colgar": 0.0737,+ "ninguno": 0.0839+ },+ "latency_ms": 128.6570830270648+ },+ {+ "id": "fr-003",+ "text": "no estas entendiendo?",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.3693,+ "probabilities": {+ "ventas": 0.0626,+ "soporte": 0.2415,+ "facturacion": 0.0567,+ "operadora": 0.3693,+ "colgar": 0.0341,+ "ninguno": 0.2359+ },+ "latency_ms": 131.69499998912215+ },+ {+ "id": "fr-004",+ "text": "maldita sea te dije que no!",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "soporte",+ "confidence": 0.5581,+ "probabilities": {+ "ventas": 0.0051,+ "soporte": 0.5581,+ "facturacion": 0.005,+ "operadora": 0.253,+ "colgar": 0.1075,+ "ninguno": 0.0713+ },+ "latency_ms": 132.37970898626372+ },+ {+ "id": "fr-005",+ "text": "carajo no entiendo porque repetis lo mismo",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "operadora",+ "confidence": 0.4381,+ "probabilities": {+ "ventas": 0.0581,+ "soporte": 0.1852,+ "facturacion": 0.0215,+ "operadora": 0.4381,+ "colgar": 0.0921,+ "ninguno": 0.205+ },+ "latency_ms": 135.78304200200364+ },+ {+ "id": "fr-006",+ "text": "que tonteras decis",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "predicted": "operadora",+ "confidence": 0.3779,+ "probabilities": {+ "ventas": 0.0934,+ "soporte": 0.2045,+ "facturacion": 0.0533,+ "operadora": 0.3779,+ "colgar": 0.0732,+ "ninguno": 0.1977+ },+ "latency_ms": 136.10599999083206+ },+ {+ "id": "fr-007",+ "text": "joder esto no sirve",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "predicted": "soporte",+ "confidence": 0.5693,+ "probabilities": {+ "ventas": 0.0125,+ "soporte": 0.5693,+ "facturacion": 0.0143,+ "operadora": 0.2526,+ "colgar": 0.0701,+ "ninguno": 0.0812+ },+ "latency_ms": 133.99404101073742+ },+ {+ "id": "fr-008",+ "text": "no me estas respondiendo lo que te pregunte",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "predicted": "soporte",+ "confidence": 0.3732,+ "probabilities": {+ "ventas": 0.0431,+ "soporte": 0.3732,+ "facturacion": 0.0366,+ "operadora": 0.322,+ "colgar": 0.0265,+ "ninguno": 0.1986+ },+ "latency_ms": 134.34633298311383+ },+ {+ "id": "fr-009",+ "text": "eres demasiado tonto",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "insult"+ ],+ "predicted": "operadora",+ "confidence": 0.3982,+ "probabilities": {+ "ventas": 0.0871,+ "soporte": 0.1399,+ "facturacion": 0.0226,+ "operadora": 0.3982,+ "colgar": 0.0981,+ "ninguno": 0.2541+ },+ "latency_ms": 128.84058302734047+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-multilingual__independent_cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-multilingual__independent_cases__es_criteria.jsonnew file mode 100644index 00000000..dd7f88aa--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-multilingual__independent_cases__es_criteria.json@@ -0,0 +1,709 @@+{+ "meta": {+ "model": "convaiinnovations/laya-multilingual",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3800.0286259921268+ },+ "summary": {+ "n": 31,+ "accuracy": 0.41935483870967744,+ "macro_f1": 0.3185964912280702,+ "ece": 0.41071612903225807,+ "mean_confidence": 0.7900774193548384,+ "majority_baseline": 0.45161290322580644,+ "wrong_actions": 18,+ "by_tag": {+ "need-with-no": {+ "n": 13,+ "accuracy": 0.7692307692307693+ },+ "noise": {+ "n": 1,+ "accuracy": 0.0+ },+ "redirected": {+ "n": 4,+ "accuracy": 0.75+ },+ "refused": {+ "n": 13,+ "accuracy": 0.0+ }+ },+ "confusion": {+ "facturacion->soporte": 1,+ "facturacion->ventas": 1,+ "ninguno->facturacion": 4,+ "ninguno->operadora": 4,+ "ninguno->soporte": 6,+ "operadora->soporte": 1,+ "soporte->operadora": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 27,+ "coverage": 0.8709677419354839,+ "action_recall": 0.6470588235294118,+ "wrong": 16,+ "precision": 0.4074074074074074+ },+ {+ "threshold": 0.6,+ "fast": 24,+ "coverage": 0.7741935483870968,+ "action_recall": 0.6470588235294118,+ "wrong": 13,+ "precision": 0.4583333333333333+ },+ {+ "threshold": 0.7,+ "fast": 22,+ "coverage": 0.7096774193548387,+ "action_recall": 0.6470588235294118,+ "wrong": 11,+ "precision": 0.5+ },+ {+ "threshold": 0.8,+ "fast": 17,+ "coverage": 0.5483870967741935,+ "action_recall": 0.47058823529411764,+ "wrong": 9,+ "precision": 0.47058823529411764+ },+ {+ "threshold": 0.9,+ "fast": 13,+ "coverage": 0.41935483870967744,+ "action_recall": 0.29411764705882354,+ "wrong": 8,+ "precision": 0.38461538461538464+ },+ {+ "threshold": 0.95,+ "fast": 11,+ "coverage": 0.3548387096774194,+ "action_recall": 0.23529411764705882,+ "wrong": 7,+ "precision": 0.36363636363636365+ },+ {+ "threshold": 0.99,+ "fast": 6,+ "coverage": 0.1935483870967742,+ "action_recall": 0.11764705882352941,+ "wrong": 4,+ "precision": 0.3333333333333333+ }+ ],+ "latency_ms": {+ "p50": 139.24062601290643,+ "p95": 165.44933296972886,+ "min": 127.17870803317055+ },+ "borderline": []+ },+ "records": [+ {+ "id": "ic-001",+ "text": "No, ni me meta al área de ventas que yo estoy llamando por una factura.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "facturacion",+ "confidence": 0.9961,+ "probabilities": {+ "ventas": 0.0018,+ "soporte": 0.0005,+ "facturacion": 0.9961,+ "operadora": 0.0007,+ "colgar": 0.0002,+ "ninguno": 0.0006+ },+ "latency_ms": 156.19354200316593+ },+ {+ "id": "ic-002",+ "text": "Soy cliente, no me conecte con los de contratos, necesito hablar con el soporte técnico.",+ "gold": "soporte",+ "tags": [+ "redirected"+ ],+ "predicted": "soporte",+ "confidence": 0.7709,+ "probabilities": {+ "ventas": 0.0616,+ "soporte": 0.7709,+ "facturacion": 0.0549,+ "operadora": 0.0408,+ "colgar": 0.0135,+ "ninguno": 0.0584+ },+ "latency_ms": 147.8786250227131+ },+ {+ "id": "ic-003",+ "text": "Quiero hablar con alguien del área de cobros, no me saque al departamento comercial.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "facturacion",+ "confidence": 0.9223,+ "probabilities": {+ "ventas": 0.0088,+ "soporte": 0.0093,+ "facturacion": 0.9223,+ "operadora": 0.0437,+ "colgar": 0.0015,+ "ninguno": 0.0145+ },+ "latency_ms": 146.97570796124637+ },+ {+ "id": "ic-004",+ "text": "Escúchame bien, no me mande con los de ventas, estoy llamando sobre mi saldo.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "predicted": "ventas",+ "confidence": 0.9257,+ "probabilities": {+ "ventas": 0.9257,+ "soporte": 0.0306,+ "facturacion": 0.0018,+ "operadora": 0.0078,+ "colgar": 0.0034,+ "ninguno": 0.0307+ },+ "latency_ms": 156.2982089817524+ },+ {+ "id": "ic-005",+ "text": "Oiga, mira que no me funciona la internet hace tres días",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.7766,+ "probabilities": {+ "ventas": 0.0006,+ "soporte": 0.7766,+ "facturacion": 0.0006,+ "operadora": 0.2006,+ "colgar": 0.0092,+ "ninguno": 0.0124+ },+ "latency_ms": 141.35066600283608+ },+ {+ "id": "ic-006",+ "text": "Holaaa, no me llegó la factura y necesito hablar con alguien",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.9608,+ "probabilities": {+ "ventas": 0.0005,+ "soporte": 0.0213,+ "facturacion": 0.9608,+ "operadora": 0.0052,+ "colgar": 0.0008,+ "ninguno": 0.0113+ },+ "latency_ms": 145.6115419859998+ },+ {+ "id": "ic-007",+ "text": "Oiga, yo no quiero hablar con nadie, no me pasen al departamento de soporte técnico, llámame directamente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "soporte",+ "confidence": 0.8786,+ "probabilities": {+ "ventas": 0.0016,+ "soporte": 0.8786,+ "facturacion": 0.0009,+ "operadora": 0.0376,+ "colgar": 0.0124,+ "ninguno": 0.0689+ },+ "latency_ms": 165.44933296972886+ },+ {+ "id": "ic-008",+ "text": "No me pongan con soporte, ya sé lo que hace, ¿podés darme mi número?",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "operadora",+ "confidence": 0.9777,+ "probabilities": {+ "ventas": 0.0002,+ "soporte": 0.0178,+ "facturacion": 0.0002,+ "operadora": 0.9777,+ "colgar": 0.0003,+ "ninguno": 0.0037+ },+ "latency_ms": 156.2280420330353+ },+ {+ "id": "ic-009",+ "text": "No me manden al área de soporte, quiero que me respondan acá, al cliente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "soporte",+ "confidence": 0.9729,+ "probabilities": {+ "ventas": 0.0015,+ "soporte": 0.9729,+ "facturacion": 0.0012,+ "operadora": 0.0064,+ "colgar": 0.0039,+ "ninguno": 0.0142+ },+ "latency_ms": 133.32149997586384+ },+ {+ "id": "ic-010",+ "text": "Mire, no me pongan con el soporte, eso ya lo saben, yo les hablo a ustedes.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "soporte",+ "confidence": 0.9808,+ "probabilities": {+ "ventas": 0.0013,+ "soporte": 0.9808,+ "facturacion": 0.0003,+ "operadora": 0.0065,+ "colgar": 0.0025,+ "ninguno": 0.0087+ },+ "latency_ms": 139.24062601290643+ },+ {+ "id": "ic-011",+ "text": "No me pasen con soporte técnico, llámeme directo al celular, no quiero hablar con nadie más.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "operadora",+ "confidence": 0.7716,+ "probabilities": {+ "ventas": 0.0015,+ "soporte": 0.1849,+ "facturacion": 0.0006,+ "operadora": 0.7716,+ "colgar": 0.0029,+ "ninguno": 0.0384+ },+ "latency_ms": 138.08762497501448+ },+ {+ "id": "ic-012",+ "text": "Oye, ¿saben por qué nunca me funciona el internet?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.835,+ "probabilities": {+ "ventas": 0.0005,+ "soporte": 0.835,+ "facturacion": 0.0005,+ "operadora": 0.1156,+ "colgar": 0.0391,+ "ninguno": 0.0093+ },+ "latency_ms": 128.94279201282188+ },+ {+ "id": "ic-013",+ "text": "Bueno, tengo un problema que no me deja usar la conexión.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.728,+ "probabilities": {+ "ventas": 0.0007,+ "soporte": 0.728,+ "facturacion": 0.0003,+ "operadora": 0.1013,+ "colgar": 0.1521,+ "ninguno": 0.0176+ },+ "latency_ms": 131.82979199336842+ },+ {+ "id": "ic-014",+ "text": "¿Alguien me ayuda con el servicio porque no funciona?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.826,+ "probabilities": {+ "ventas": 0.0077,+ "soporte": 0.826,+ "facturacion": 0.0109,+ "operadora": 0.0836,+ "colgar": 0.0119,+ "ninguno": 0.0599+ },+ "latency_ms": 187.73325002985075+ },+ {+ "id": "ic-015",+ "text": "No me funcionó el equipo que me enviaron, por favor arreglenlo.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.5953,+ "probabilities": {+ "ventas": 0.0037,+ "soporte": 0.3279,+ "facturacion": 0.0012,+ "operadora": 0.5953,+ "colgar": 0.0145,+ "ninguno": 0.0575+ },+ "latency_ms": 137.12570897769183+ },+ {+ "id": "ic-016",+ "text": "No quiero pasar al de facturación, haganme la atención aquí.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "facturacion",+ "confidence": 0.9903,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.007,+ "facturacion": 0.9903,+ "operadora": 0.0018,+ "colgar": 0.0003,+ "ninguno": 0.0006+ },+ "latency_ms": 131.05370802804828+ },+ {+ "id": "ic-017",+ "text": "Cuidado, no me pasen a facturación, es muy largo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "facturacion",+ "confidence": 0.9993,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0003,+ "facturacion": 0.9993,+ "operadora": 0.0001,+ "colgar": 0.0,+ "ninguno": 0.0003+ },+ "latency_ms": 130.1546249887906+ },+ {+ "id": "ic-018",+ "text": "No me manden a facturación, por favor.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "facturacion",+ "confidence": 0.9985,+ "probabilities": {+ "ventas": 0.0002,+ "soporte": 0.0004,+ "facturacion": 0.9985,+ "operadora": 0.0003,+ "colgar": 0.0001,+ "ninguno": 0.0005+ },+ "latency_ms": 131.01837498834357+ },+ {+ "id": "ic-019",+ "text": "Ni se les ocurra pasarme a facturación, no estoy interesada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "facturacion",+ "confidence": 0.9979,+ "probabilities": {+ "ventas": 0.0,+ "soporte": 0.0007,+ "facturacion": 0.9979,+ "operadora": 0.0004,+ "colgar": 0.0001,+ "ninguno": 0.0009+ },+ "latency_ms": 146.02987503167242+ },+ {+ "id": "ic-020",+ "text": "Oiga, estoy llamando por un asunto serio, me está cobrando una mensualidad y no me deja ver la factura ni el detalle del pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.8115,+ "probabilities": {+ "ventas": 0.0018,+ "soporte": 0.1581,+ "facturacion": 0.8115,+ "operadora": 0.0035,+ "colgar": 0.0037,+ "ninguno": 0.0215+ },+ "latency_ms": 147.06358301918954+ },+ {+ "id": "ic-021",+ "text": "Hola, buenos días, tengo el saldo pendiente y no me está llegando el cobro, necesitan revisar el caso urgente.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.9828,+ "probabilities": {+ "ventas": 0.0001,+ "soporte": 0.0146,+ "facturacion": 0.9828,+ "operadora": 0.0003,+ "colgar": 0.0002,+ "ninguno": 0.0021+ },+ "latency_ms": 155.78550001373515+ },+ {+ "id": "ic-022",+ "text": "Buenas tardes, disculpen que llame, me hicieron un cobro adicional y no me aparece la factura para validar el pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "facturacion",+ "confidence": 0.9914,+ "probabilities": {+ "ventas": 0.0003,+ "soporte": 0.0063,+ "facturacion": 0.9914,+ "operadora": 0.0003,+ "colgar": 0.0003,+ "ninguno": 0.0013+ },+ "latency_ms": 143.20970798144117+ },+ {+ "id": "ic-023",+ "text": "Saludos, llamo para reclamar el saldo que me deben y no puedo generar una orden de pago ni ver el estado del reembolso.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.6432,+ "probabilities": {+ "ventas": 0.023,+ "soporte": 0.6432,+ "facturacion": 0.0248,+ "operadora": 0.0602,+ "colgar": 0.0212,+ "ninguno": 0.2276+ },+ "latency_ms": 141.62533299531788+ },+ {+ "id": "ic-024",+ "text": "¿Sigo en línea?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.5879,+ "probabilities": {+ "ventas": 0.0135,+ "soporte": 0.5879,+ "facturacion": 0.0182,+ "operadora": 0.2478,+ "colgar": 0.031,+ "ninguno": 0.1016+ },+ "latency_ms": 127.17870803317055+ },+ {+ "id": "ic-025",+ "text": "No, espera, no me cuelgues, me falta algo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "operadora",+ "confidence": 0.401,+ "probabilities": {+ "ventas": 0.0271,+ "soporte": 0.3608,+ "facturacion": 0.0256,+ "operadora": 0.401,+ "colgar": 0.098,+ "ninguno": 0.0877+ },+ "latency_ms": 134.0318339644+ },+ {+ "id": "ic-026",+ "text": "No me corten la línea, no se vayan.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "soporte",+ "confidence": 0.7705,+ "probabilities": {+ "ventas": 0.0046,+ "soporte": 0.7705,+ "facturacion": 0.0022,+ "operadora": 0.1079,+ "colgar": 0.0598,+ "ninguno": 0.0551+ },+ "latency_ms": 127.54679197678342+ },+ {+ "id": "ic-027",+ "text": "Ya, no me cuelgues, sigo aquí esperando.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "soporte",+ "confidence": 0.6013,+ "probabilities": {+ "ventas": 0.016,+ "soporte": 0.6013,+ "facturacion": 0.0068,+ "operadora": 0.2039,+ "colgar": 0.0926,+ "ninguno": 0.0794+ },+ "latency_ms": 127.41008400917053+ },+ {+ "id": "ic-028",+ "text": "Me quedé en pausa, no me vayan a cortar.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "operadora",+ "confidence": 0.4223,+ "probabilities": {+ "ventas": 0.0187,+ "soporte": 0.12,+ "facturacion": 0.0039,+ "operadora": 0.4223,+ "colgar": 0.2966,+ "ninguno": 0.1385+ },+ "latency_ms": 135.32291701994836+ },+ {+ "id": "ic-029",+ "text": "Quiero hablar con el humano, por favor, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.4636,+ "probabilities": {+ "ventas": 0.0292,+ "soporte": 0.3296,+ "facturacion": 0.0111,+ "operadora": 0.4636,+ "colgar": 0.0822,+ "ninguno": 0.0843+ },+ "latency_ms": 202.38545798929408+ },+ {+ "id": "ic-030",+ "text": "¿No hay nadie ahí? No quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "soporte",+ "confidence": 0.5325,+ "probabilities": {+ "ventas": 0.0089,+ "soporte": 0.5325,+ "facturacion": 0.0048,+ "operadora": 0.1193,+ "colgar": 0.1948,+ "ninguno": 0.1397+ },+ "latency_ms": 134.57712600938976+ },+ {+ "id": "ic-031",+ "text": "Oiga, quiero hablar con alguien en vivo, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "predicted": "operadora",+ "confidence": 0.3801,+ "probabilities": {+ "ventas": 0.0261,+ "soporte": 0.171,+ "facturacion": 0.0146,+ "operadora": 0.3801,+ "colgar": 0.3213,+ "ninguno": 0.0869+ },+ "latency_ms": 131.98950001969934+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-multilingual__independent_clinic__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-multilingual__independent_clinic__es_criteria.jsonnew file mode 100644index 00000000..ef35d0e2--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-multilingual__independent_clinic__es_criteria.json@@ -0,0 +1,522 @@+{+ "meta": {+ "model": "convaiinnovations/laya-multilingual",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "independent_clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3492.727376986295+ },+ "summary": {+ "n": 20,+ "accuracy": 0.4,+ "macro_f1": 0.32879818594104304,+ "ece": 0.37941500000000006,+ "mean_confidence": 0.779415,+ "majority_baseline": 0.25,+ "wrong_actions": 12,+ "by_tag": {+ "direct": {+ "n": 1,+ "accuracy": 1.0+ },+ "need-with-no": {+ "n": 13,+ "accuracy": 0.5384615384615384+ },+ "redirected": {+ "n": 2,+ "accuracy": 0.0+ },+ "refused": {+ "n": 4,+ "accuracy": 0.0+ }+ },+ "confusion": {+ "citas->emergencias": 2,+ "emergencias->recepcion": 1,+ "laboratorio->farmacia": 2,+ "laboratorio->recepcion": 1,+ "ninguno->emergencias": 1,+ "ninguno->laboratorio": 2,+ "ninguno->recepcion": 1,+ "recepcion->colgar": 1,+ "recepcion->farmacia": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 17,+ "coverage": 0.85,+ "action_recall": 0.5,+ "wrong": 9,+ "precision": 0.47058823529411764+ },+ {+ "threshold": 0.6,+ "fast": 17,+ "coverage": 0.85,+ "action_recall": 0.5,+ "wrong": 9,+ "precision": 0.47058823529411764+ },+ {+ "threshold": 0.7,+ "fast": 13,+ "coverage": 0.65,+ "action_recall": 0.375,+ "wrong": 7,+ "precision": 0.46153846153846156+ },+ {+ "threshold": 0.8,+ "fast": 10,+ "coverage": 0.5,+ "action_recall": 0.3125,+ "wrong": 5,+ "precision": 0.5+ },+ {+ "threshold": 0.9,+ "fast": 8,+ "coverage": 0.4,+ "action_recall": 0.25,+ "wrong": 4,+ "precision": 0.5+ },+ {+ "threshold": 0.95,+ "fast": 8,+ "coverage": 0.4,+ "action_recall": 0.25,+ "wrong": 4,+ "precision": 0.5+ },+ {+ "threshold": 0.99,+ "fast": 6,+ "coverage": 0.3,+ "action_recall": 0.125,+ "wrong": 4,+ "precision": 0.3333333333333333+ }+ ],+ "latency_ms": {+ "p50": 133.5703749791719,+ "p95": 151.2638329877518,+ "min": 119.40720799611881+ },+ "borderline": []+ },+ "records": [+ {+ "id": "il-001",+ "text": "No, no, no me pasen a esa caja ni al departamento de turnos.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "recepcion",+ "confidence": 0.8833,+ "probabilities": {+ "citas": 0.0156,+ "laboratorio": 0.0007,+ "farmacia": 0.0092,+ "emergencias": 0.0122,+ "recepcion": 0.8833,+ "colgar": 0.0456,+ "ninguno": 0.0334+ },+ "latency_ms": 143.4305419679731+ },+ {+ "id": "il-002",+ "text": "Hola, quería ver si se puede arreglar mi cita porque no puedo ir a la clínica",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 1.0,+ "probabilities": {+ "citas": 1.0,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0+ },+ "latency_ms": 143.40054203057662+ },+ {+ "id": "il-003",+ "text": "Buenas tardes, necesito saber si hago trámite para cambiar o anular la cita ya que nunca me llegó la confirmación",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "citas",+ "confidence": 0.9995,+ "probabilities": {+ "citas": 0.9995,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.0,+ "recepcion": 0.0004,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 145.96358401468024+ },+ {+ "id": "il-004",+ "text": "Quisiera pedir ayuda porque no puedo ir a mi consulta médica y quiero cancelarla o cambiarla",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "predicted": "emergencias",+ "confidence": 0.7735,+ "probabilities": {+ "citas": 0.0305,+ "laboratorio": 0.0018,+ "farmacia": 0.0995,+ "emergencias": 0.7735,+ "recepcion": 0.0567,+ "colgar": 0.0019,+ "ninguno": 0.0361+ },+ "latency_ms": 133.5703749791719+ },+ {+ "id": "il-005",+ "text": "Oiga, mira, por favor, no la pasen para ahí, a lo del laboratorio, no quiero que me hagan análisis de nada, ni nada de eso.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9974,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.9974,+ "farmacia": 0.0006,+ "emergencias": 0.0,+ "recepcion": 0.0006,+ "colgar": 0.0001,+ "ninguno": 0.0013+ },+ "latency_ms": 161.25679103424773+ },+ {+ "id": "il-006",+ "text": "Soy yo, no me pasen al área de laboratorio, por favor, no quiero exámenes ni nada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9967,+ "probabilities": {+ "citas": 0.0001,+ "laboratorio": 0.9967,+ "farmacia": 0.0003,+ "emergencias": 0.0002,+ "recepcion": 0.0005,+ "colgar": 0.0003,+ "ninguno": 0.0019+ },+ "latency_ms": 151.2638329877518+ },+ {+ "id": "il-007",+ "text": "Necesito que revisen los resultados, por favor, ya no me llegó la información que me mandaron.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.7162,+ "probabilities": {+ "citas": 0.0311,+ "laboratorio": 0.0715,+ "farmacia": 0.7162,+ "emergencias": 0.0246,+ "recepcion": 0.1409,+ "colgar": 0.0026,+ "ninguno": 0.0132+ },+ "latency_ms": 125.42533304076642+ },+ {+ "id": "il-008",+ "text": "Oigan, urgente: me dijeron que me envíen los exámenes pero no me funciona el sistema.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.9733,+ "probabilities": {+ "citas": 0.0005,+ "laboratorio": 0.9733,+ "farmacia": 0.0001,+ "emergencias": 0.0238,+ "recepcion": 0.0006,+ "colgar": 0.0001,+ "ninguno": 0.0016+ },+ "latency_ms": 138.2453750120476+ },+ {+ "id": "il-009",+ "text": "¿Alguien ahí me puede llamar para explicarme los resultados? No me puedo mover para ir.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.2646,+ "probabilities": {+ "citas": 0.0301,+ "laboratorio": 0.264,+ "farmacia": 0.259,+ "emergencias": 0.1391,+ "recepcion": 0.2646,+ "colgar": 0.0052,+ "ninguno": 0.038+ },+ "latency_ms": 123.89895803062245+ },+ {+ "id": "il-010",+ "text": "Quiero que me atiendan con mis exámenes, no me funciona lo que me enviaron ayer.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "laboratorio",+ "confidence": 0.62,+ "probabilities": {+ "citas": 0.0202,+ "laboratorio": 0.62,+ "farmacia": 0.0118,+ "emergencias": 0.2174,+ "recepcion": 0.08,+ "colgar": 0.002,+ "ninguno": 0.0486+ },+ "latency_ms": 130.71475003380328+ },+ {+ "id": "il-011",+ "text": "Por favor, necesitan revisar mis análisis, nunca me han dado el resultado que me corresponde.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.3483,+ "probabilities": {+ "citas": 0.0368,+ "laboratorio": 0.0891,+ "farmacia": 0.3483,+ "emergencias": 0.0606,+ "recepcion": 0.3344,+ "colgar": 0.0212,+ "ninguno": 0.1096+ },+ "latency_ms": 125.98104099743068+ },+ {+ "id": "il-012",+ "text": "Quiero hablar con atención humana, no con la farmacia, por favor.",+ "gold": "recepcion",+ "tags": [+ "redirected"+ ],+ "predicted": "farmacia",+ "confidence": 0.4619,+ "probabilities": {+ "citas": 0.0388,+ "laboratorio": 0.0053,+ "farmacia": 0.4619,+ "emergencias": 0.0099,+ "recepcion": 0.4031,+ "colgar": 0.0148,+ "ninguno": 0.0662+ },+ "latency_ms": 126.66637502843514+ },+ {+ "id": "il-013",+ "text": "Bueno, hola, soy la señora Rodríguez, tengo una inquietud con el medicamento que me dejaron recetado, no me llegó.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.6495,+ "probabilities": {+ "citas": 0.0024,+ "laboratorio": 0.0002,+ "farmacia": 0.6495,+ "emergencias": 0.212,+ "recepcion": 0.1315,+ "colgar": 0.0019,+ "ninguno": 0.0025+ },+ "latency_ms": 139.3793339957483+ },+ {+ "id": "il-014",+ "text": "Bueno, hola, soy el señor de la mesa cuatro, me dejaron recetar unas cosas pero nunca me las dieron.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "predicted": "farmacia",+ "confidence": 0.9889,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.9889,+ "emergencias": 0.0003,+ "recepcion": 0.0107,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 133.51829099701717+ },+ {+ "id": "il-015",+ "text": "Oiga, ¿me pueden pasar con el médico de urgencias?",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.8343,+ "probabilities": {+ "citas": 0.019,+ "laboratorio": 0.0017,+ "farmacia": 0.013,+ "emergencias": 0.8343,+ "recepcion": 0.1006,+ "colgar": 0.0024,+ "ninguno": 0.029+ },+ "latency_ms": 122.01920803636312+ },+ {+ "id": "il-016",+ "text": "Escúcheme, yo no quiero ser atendido en la emergencia.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "predicted": "emergencias",+ "confidence": 0.9999,+ "probabilities": {+ "citas": 0.0,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.9999,+ "recepcion": 0.0,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 120.43008400360122+ },+ {+ "id": "il-017",+ "text": "Quiero consulta pero no quiero que me pongan en la sala de emergencias.",+ "gold": "citas",+ "tags": [+ "redirected"+ ],+ "predicted": "emergencias",+ "confidence": 0.9992,+ "probabilities": {+ "citas": 0.0001,+ "laboratorio": 0.0,+ "farmacia": 0.0,+ "emergencias": 0.9992,+ "recepcion": 0.0006,+ "colgar": 0.0,+ "ninguno": 0.0001+ },+ "latency_ms": 136.55404199380428+ },+ {+ "id": "il-018",+ "text": "Ayúdeme rápido, por favor, no puedo moverme de la cama",+ "gold": "emergencias",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.6697,+ "probabilities": {+ "citas": 0.0143,+ "laboratorio": 0.0023,+ "farmacia": 0.005,+ "emergencias": 0.1025,+ "recepcion": 0.6697,+ "colgar": 0.1012,+ "ninguno": 0.1051+ },+ "latency_ms": 140.91008401010185+ },+ {+ "id": "il-019",+ "text": "Hable conmigo, no quiero hablar con la grabación.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "colgar",+ "confidence": 0.6342,+ "probabilities": {+ "citas": 0.009,+ "laboratorio": 0.0015,+ "farmacia": 0.0014,+ "emergencias": 0.0191,+ "recepcion": 0.1673,+ "colgar": 0.6342,+ "ninguno": 0.1674+ },+ "latency_ms": 128.52154101710767+ },+ {+ "id": "il-020",+ "text": "No quiero hablar con el sistema, quiero hablar con el humano.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "predicted": "recepcion",+ "confidence": 0.7779,+ "probabilities": {+ "citas": 0.0253,+ "laboratorio": 0.0145,+ "farmacia": 0.0361,+ "emergencias": 0.0281,+ "recepcion": 0.7779,+ "colgar": 0.0257,+ "ninguno": 0.0924+ },+ "latency_ms": 119.40720799611881+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-typed-decisions__cases__en_criteria.json b/research/benchmarks/es_phone_turns/results/laya-typed-decisions__cases__en_criteria.jsonnew file mode 100644index 00000000..358e2f14--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-typed-decisions__cases__en_criteria.json@@ -0,0 +1,2419 @@+{+ "meta": {+ "model": "convaiinnovations/laya-typed-decisions",+ "subfolder": null,+ "rung": "en_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 2547.8518350282684+ },+ "summary": {+ "n": 112,+ "accuracy": 0.6160714285714286,+ "macro_f1": 0.6385224123319362,+ "ece": 0.17787857142857147,+ "mean_confidence": 0.4422803571428572,+ "majority_baseline": 0.3125,+ "wrong_actions": 38,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 0.5+ },+ "direct": {+ "n": 18,+ "accuracy": 0.6111111111111112+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.6923076923076923+ },+ "hard": {+ "n": 6,+ "accuracy": 0.6666666666666666+ },+ "hn": {+ "n": 9,+ "accuracy": 1.0+ },+ "human": {+ "n": 13,+ "accuracy": 0.7692307692307693+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.7333333333333333+ },+ "negation": {+ "n": 15,+ "accuracy": 0.2+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.4444444444444444+ },+ "open": {+ "n": 11,+ "accuracy": 0.6363636363636364+ },+ "short": {+ "n": 5,+ "accuracy": 0.6+ }+ },+ "confusion": {+ "colgar->operadora": 5,+ "facturacion->ninguno": 1,+ "facturacion->soporte": 3,+ "ninguno->colgar": 2,+ "ninguno->facturacion": 1,+ "ninguno->operadora": 15,+ "ninguno->soporte": 2,+ "ninguno->ventas": 1,+ "operadora->ninguno": 3,+ "soporte->colgar": 2,+ "soporte->facturacion": 1,+ "soporte->ninguno": 1,+ "soporte->operadora": 4,+ "soporte->ventas": 1,+ "ventas->facturacion": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 29,+ "coverage": 0.25892857142857145,+ "action_recall": 0.3116883116883117,+ "wrong": 5,+ "precision": 0.8275862068965517+ },+ {+ "threshold": 0.6,+ "fast": 16,+ "coverage": 0.14285714285714285,+ "action_recall": 0.18181818181818182,+ "wrong": 2,+ "precision": 0.875+ },+ {+ "threshold": 0.7,+ "fast": 5,+ "coverage": 0.044642857142857144,+ "action_recall": 0.06493506493506493,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.8,+ "fast": 2,+ "coverage": 0.017857142857142856,+ "action_recall": 0.025974025974025976,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 381.0907080187462,+ "p95": 426.9573339843191,+ "min": 343.1448339833878+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "facturacion",+ "confidence": 0.5393+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "colgar",+ "confidence": 0.3354+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ventas",+ "confidence": 0.7313+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "ventas",+ "confidence": 0.2716+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.4538,+ "probabilities": {+ "ventas": 0.4538,+ "soporte": 0.0383,+ "facturacion": 0.0304,+ "operadora": 0.1734,+ "colgar": 0.0316,+ "ninguno": 0.2724+ },+ "latency_ms": 399.7690840042196+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.3919,+ "probabilities": {+ "ventas": 0.3919,+ "soporte": 0.0582,+ "facturacion": 0.0446,+ "operadora": 0.1862,+ "colgar": 0.0694,+ "ninguno": 0.2498+ },+ "latency_ms": 374.2414580192417+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.3771,+ "probabilities": {+ "ventas": 0.3771,+ "soporte": 0.0501,+ "facturacion": 0.0435,+ "operadora": 0.3104,+ "colgar": 0.0284,+ "ninguno": 0.1905+ },+ "latency_ms": 377.0979590481147+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.479,+ "probabilities": {+ "ventas": 0.479,+ "soporte": 0.0473,+ "facturacion": 0.1002,+ "operadora": 0.1505,+ "colgar": 0.042,+ "ninguno": 0.1809+ },+ "latency_ms": 356.22112499549985+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.3138,+ "probabilities": {+ "ventas": 0.3138,+ "soporte": 0.1241,+ "facturacion": 0.0444,+ "operadora": 0.236,+ "colgar": 0.0472,+ "ninguno": 0.2344+ },+ "latency_ms": 406.6981259966269+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.4911,+ "probabilities": {+ "ventas": 0.4911,+ "soporte": 0.0551,+ "facturacion": 0.0791,+ "operadora": 0.1722,+ "colgar": 0.0408,+ "ninguno": 0.1617+ },+ "latency_ms": 426.9573339843191+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.6598,+ "probabilities": {+ "ventas": 0.6598,+ "soporte": 0.0321,+ "facturacion": 0.0251,+ "operadora": 0.1087,+ "colgar": 0.0285,+ "ninguno": 0.1458+ },+ "latency_ms": 378.7281669792719+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.3556,+ "probabilities": {+ "ventas": 0.1507,+ "soporte": 0.1825,+ "facturacion": 0.3556,+ "operadora": 0.124,+ "colgar": 0.037,+ "ninguno": 0.1502+ },+ "latency_ms": 387.30358303291723+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.5777,+ "probabilities": {+ "ventas": 0.5777,+ "soporte": 0.0285,+ "facturacion": 0.0133,+ "operadora": 0.1628,+ "colgar": 0.0369,+ "ninguno": 0.1809+ },+ "latency_ms": 481.63695802213624+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.514,+ "probabilities": {+ "ventas": 0.514,+ "soporte": 0.0345,+ "facturacion": 0.0203,+ "operadora": 0.1425,+ "colgar": 0.0778,+ "ninguno": 0.2107+ },+ "latency_ms": 369.1535000107251+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.4545,+ "probabilities": {+ "ventas": 0.4545,+ "soporte": 0.0642,+ "facturacion": 0.0162,+ "operadora": 0.2209,+ "colgar": 0.0691,+ "ninguno": 0.1752+ },+ "latency_ms": 444.308916979935+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.4061,+ "probabilities": {+ "ventas": 0.4061,+ "soporte": 0.0958,+ "facturacion": 0.0507,+ "operadora": 0.1837,+ "colgar": 0.0561,+ "ninguno": 0.2075+ },+ "latency_ms": 375.4268750199117+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.6319,+ "probabilities": {+ "ventas": 0.6319,+ "soporte": 0.0261,+ "facturacion": 0.0978,+ "operadora": 0.0821,+ "colgar": 0.0404,+ "ninguno": 0.1217+ },+ "latency_ms": 382.919083989691+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.4407,+ "probabilities": {+ "ventas": 0.4407,+ "soporte": 0.0902,+ "facturacion": 0.0137,+ "operadora": 0.2096,+ "colgar": 0.0295,+ "ninguno": 0.2162+ },+ "latency_ms": 379.2729589622468+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.392,+ "probabilities": {+ "ventas": 0.0495,+ "soporte": 0.1836,+ "facturacion": 0.0207,+ "operadora": 0.392,+ "colgar": 0.0823,+ "ninguno": 0.2719+ },+ "latency_ms": 353.96412503905594+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.5609,+ "probabilities": {+ "ventas": 0.0324,+ "soporte": 0.2265,+ "facturacion": 0.0181,+ "operadora": 0.5609,+ "colgar": 0.02,+ "ninguno": 0.1421+ },+ "latency_ms": 375.5183329922147+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.3409,+ "probabilities": {+ "ventas": 0.0534,+ "soporte": 0.3187,+ "facturacion": 0.0153,+ "operadora": 0.3409,+ "colgar": 0.0495,+ "ninguno": 0.2222+ },+ "latency_ms": 357.8762920224108+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.336,+ "probabilities": {+ "ventas": 0.0976,+ "soporte": 0.1437,+ "facturacion": 0.0323,+ "operadora": 0.2461,+ "colgar": 0.1444,+ "ninguno": 0.336+ },+ "latency_ms": 359.16724998969585+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.8873,+ "probabilities": {+ "ventas": 0.0067,+ "soporte": 0.8873,+ "facturacion": 0.0068,+ "operadora": 0.0411,+ "colgar": 0.0076,+ "ninguno": 0.0506+ },+ "latency_ms": 351.25383298145607+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.3206,+ "probabilities": {+ "ventas": 0.0257,+ "soporte": 0.1225,+ "facturacion": 0.0123,+ "operadora": 0.3074,+ "colgar": 0.3206,+ "ninguno": 0.2115+ },+ "latency_ms": 353.7075830390677+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.5402,+ "probabilities": {+ "ventas": 0.0195,+ "soporte": 0.5402,+ "facturacion": 0.0099,+ "operadora": 0.3157,+ "colgar": 0.0279,+ "ninguno": 0.0868+ },+ "latency_ms": 383.8127499911934+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.2623,+ "probabilities": {+ "ventas": 0.2623,+ "soporte": 0.1652,+ "facturacion": 0.107,+ "operadora": 0.2023,+ "colgar": 0.1032,+ "ninguno": 0.1601+ },+ "latency_ms": 373.3497500070371+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.6226,+ "probabilities": {+ "ventas": 0.0184,+ "soporte": 0.6226,+ "facturacion": 0.0162,+ "operadora": 0.239,+ "colgar": 0.0304,+ "ninguno": 0.0734+ },+ "latency_ms": 371.36091699358076+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.6135,+ "probabilities": {+ "ventas": 0.0267,+ "soporte": 0.6135,+ "facturacion": 0.0148,+ "operadora": 0.23,+ "colgar": 0.0328,+ "ninguno": 0.0823+ },+ "latency_ms": 371.6890420182608+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.5812,+ "probabilities": {+ "ventas": 0.0209,+ "soporte": 0.5812,+ "facturacion": 0.0119,+ "operadora": 0.2163,+ "colgar": 0.0239,+ "ninguno": 0.1458+ },+ "latency_ms": 394.9657090124674+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.4091,+ "probabilities": {+ "ventas": 0.0307,+ "soporte": 0.4091,+ "facturacion": 0.0155,+ "operadora": 0.2774,+ "colgar": 0.0569,+ "ninguno": 0.2103+ },+ "latency_ms": 406.51220799190924+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.2893,+ "probabilities": {+ "ventas": 0.0591,+ "soporte": 0.2563,+ "facturacion": 0.027,+ "operadora": 0.2893,+ "colgar": 0.1063,+ "ninguno": 0.262+ },+ "latency_ms": 411.3013750175014+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.5293,+ "probabilities": {+ "ventas": 0.0581,+ "soporte": 0.1938,+ "facturacion": 0.5293,+ "operadora": 0.0973,+ "colgar": 0.0334,+ "ninguno": 0.0881+ },+ "latency_ms": 391.04370796121657+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.4354,+ "probabilities": {+ "ventas": 0.0891,+ "soporte": 0.0635,+ "facturacion": 0.4354,+ "operadora": 0.2139,+ "colgar": 0.0459,+ "ninguno": 0.1523+ },+ "latency_ms": 351.22504201717675+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.2971,+ "probabilities": {+ "ventas": 0.0534,+ "soporte": 0.2178,+ "facturacion": 0.2638,+ "operadora": 0.1334,+ "colgar": 0.0346,+ "ninguno": 0.2971+ },+ "latency_ms": 396.3095000362955+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.4167,+ "probabilities": {+ "ventas": 0.0689,+ "soporte": 0.0486,+ "facturacion": 0.4167,+ "operadora": 0.2887,+ "colgar": 0.0238,+ "ninguno": 0.1533+ },+ "latency_ms": 395.8265839610249+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.3538,+ "probabilities": {+ "ventas": 0.1051,+ "soporte": 0.0821,+ "facturacion": 0.3538,+ "operadora": 0.2288,+ "colgar": 0.0621,+ "ninguno": 0.168+ },+ "latency_ms": 388.6012500151992+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.3542,+ "probabilities": {+ "ventas": 0.0861,+ "soporte": 0.0637,+ "facturacion": 0.3542,+ "operadora": 0.2094,+ "colgar": 0.073,+ "ninguno": 0.2135+ },+ "latency_ms": 372.81541601987556+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.5566,+ "probabilities": {+ "ventas": 0.1188,+ "soporte": 0.0872,+ "facturacion": 0.5566,+ "operadora": 0.1014,+ "colgar": 0.0531,+ "ninguno": 0.0829+ },+ "latency_ms": 383.7799999746494+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.6197,+ "probabilities": {+ "ventas": 0.0435,+ "soporte": 0.1442,+ "facturacion": 0.6197,+ "operadora": 0.0961,+ "colgar": 0.0244,+ "ninguno": 0.072+ },+ "latency_ms": 377.4064580211416+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.7309,+ "probabilities": {+ "ventas": 0.0622,+ "soporte": 0.0201,+ "facturacion": 0.7309,+ "operadora": 0.0465,+ "colgar": 0.0434,+ "ninguno": 0.0969+ },+ "latency_ms": 370.51516701467335+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.7335,+ "probabilities": {+ "ventas": 0.0447,+ "soporte": 0.0743,+ "facturacion": 0.7335,+ "operadora": 0.0778,+ "colgar": 0.0094,+ "ninguno": 0.0603+ },+ "latency_ms": 403.33162498427555+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.6328,+ "probabilities": {+ "ventas": 0.1201,+ "soporte": 0.1233,+ "facturacion": 0.6328,+ "operadora": 0.0723,+ "colgar": 0.0067,+ "ninguno": 0.0447+ },+ "latency_ms": 380.5349160102196+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.4761,+ "probabilities": {+ "ventas": 0.1538,+ "soporte": 0.4761,+ "facturacion": 0.0587,+ "operadora": 0.1584,+ "colgar": 0.0505,+ "ninguno": 0.1025+ },+ "latency_ms": 392.32716703554615+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.3688,+ "probabilities": {+ "ventas": 0.032,+ "soporte": 0.3688,+ "facturacion": 0.3395,+ "operadora": 0.1547,+ "colgar": 0.0212,+ "ninguno": 0.0838+ },+ "latency_ms": 380.99924998823553+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.6715,+ "probabilities": {+ "ventas": 0.009,+ "soporte": 0.1614,+ "facturacion": 0.6715,+ "operadora": 0.0779,+ "colgar": 0.0081,+ "ninguno": 0.0722+ },+ "latency_ms": 405.6876669637859+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.5453,+ "probabilities": {+ "ventas": 0.1641,+ "soporte": 0.0678,+ "facturacion": 0.5453,+ "operadora": 0.0913,+ "colgar": 0.0404,+ "ninguno": 0.0912+ },+ "latency_ms": 381.63537497166544+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.5478,+ "probabilities": {+ "ventas": 0.0279,+ "soporte": 0.0752,+ "facturacion": 0.016,+ "operadora": 0.5478,+ "colgar": 0.0523,+ "ninguno": 0.2807+ },+ "latency_ms": 365.2977920137346+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.4155,+ "probabilities": {+ "ventas": 0.0551,+ "soporte": 0.1198,+ "facturacion": 0.0194,+ "operadora": 0.4155,+ "colgar": 0.0692,+ "ninguno": 0.321+ },+ "latency_ms": 373.4199579921551+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.4322,+ "probabilities": {+ "ventas": 0.0551,+ "soporte": 0.0692,+ "facturacion": 0.0296,+ "operadora": 0.4322,+ "colgar": 0.0831,+ "ninguno": 0.3309+ },+ "latency_ms": 385.4856669786386+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.5058,+ "probabilities": {+ "ventas": 0.0636,+ "soporte": 0.0719,+ "facturacion": 0.017,+ "operadora": 0.5058,+ "colgar": 0.0531,+ "ninguno": 0.2886+ },+ "latency_ms": 356.7530839936808+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.2772,+ "probabilities": {+ "ventas": 0.1007,+ "soporte": 0.0949,+ "facturacion": 0.1629,+ "operadora": 0.2303,+ "colgar": 0.134,+ "ninguno": 0.2772+ },+ "latency_ms": 366.2724170135334+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.3852,+ "probabilities": {+ "ventas": 0.1166,+ "soporte": 0.0854,+ "facturacion": 0.0249,+ "operadora": 0.3852,+ "colgar": 0.0733,+ "ninguno": 0.3147+ },+ "latency_ms": 355.3748750127852+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.425,+ "probabilities": {+ "ventas": 0.1183,+ "soporte": 0.0917,+ "facturacion": 0.0222,+ "operadora": 0.425,+ "colgar": 0.055,+ "ninguno": 0.2878+ },+ "latency_ms": 362.02483403030783+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.4201,+ "probabilities": {+ "ventas": 0.0688,+ "soporte": 0.0726,+ "facturacion": 0.023,+ "operadora": 0.3007,+ "colgar": 0.1148,+ "ninguno": 0.4201+ },+ "latency_ms": 363.5413749725558+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.3621,+ "probabilities": {+ "ventas": 0.0525,+ "soporte": 0.1505,+ "facturacion": 0.0162,+ "operadora": 0.3621,+ "colgar": 0.0758,+ "ninguno": 0.3429+ },+ "latency_ms": 386.6345420246944+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.5842,+ "probabilities": {+ "ventas": 0.0336,+ "soporte": 0.056,+ "facturacion": 0.0139,+ "operadora": 0.5842,+ "colgar": 0.0386,+ "ninguno": 0.2736+ },+ "latency_ms": 400.4311669850722+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "ninguno",+ "confidence": 0.3837,+ "probabilities": {+ "ventas": 0.1016,+ "soporte": 0.2114,+ "facturacion": 0.0213,+ "operadora": 0.2196,+ "colgar": 0.0624,+ "ninguno": 0.3837+ },+ "latency_ms": 398.29137502238154+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.405,+ "probabilities": {+ "ventas": 0.0452,+ "soporte": 0.0815,+ "facturacion": 0.0314,+ "operadora": 0.405,+ "colgar": 0.1089,+ "ninguno": 0.3279+ },+ "latency_ms": 367.368416977115+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.3792,+ "probabilities": {+ "ventas": 0.0381,+ "soporte": 0.0957,+ "facturacion": 0.0313,+ "operadora": 0.1708,+ "colgar": 0.3792,+ "ninguno": 0.2849+ },+ "latency_ms": 363.94599999766797+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8097,+ "probabilities": {+ "ventas": 0.0156,+ "soporte": 0.0115,+ "facturacion": 0.0093,+ "operadora": 0.1091,+ "colgar": 0.8097,+ "ninguno": 0.0448+ },+ "latency_ms": 382.6640010229312+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.3494,+ "probabilities": {+ "ventas": 0.0455,+ "soporte": 0.0972,+ "facturacion": 0.0158,+ "operadora": 0.2157,+ "colgar": 0.3494,+ "ninguno": 0.2764+ },+ "latency_ms": 403.8321250118315+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.3233,+ "probabilities": {+ "ventas": 0.0607,+ "soporte": 0.0644,+ "facturacion": 0.023,+ "operadora": 0.2744,+ "colgar": 0.3233,+ "ninguno": 0.2542+ },+ "latency_ms": 369.7837920044549+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.32,+ "probabilities": {+ "ventas": 0.0877,+ "soporte": 0.07,+ "facturacion": 0.0278,+ "operadora": 0.32,+ "colgar": 0.3017,+ "ninguno": 0.1927+ },+ "latency_ms": 372.29508301243186+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.4624,+ "probabilities": {+ "ventas": 0.0158,+ "soporte": 0.0594,+ "facturacion": 0.0112,+ "operadora": 0.4624,+ "colgar": 0.2307,+ "ninguno": 0.2205+ },+ "latency_ms": 369.5091260015033+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.6553,+ "probabilities": {+ "ventas": 0.0303,+ "soporte": 0.0253,+ "facturacion": 0.0139,+ "operadora": 0.1357,+ "colgar": 0.6553,+ "ninguno": 0.1395+ },+ "latency_ms": 368.56674996670336+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "colgar",+ "confidence": 0.3755,+ "probabilities": {+ "ventas": 0.0394,+ "soporte": 0.0555,+ "facturacion": 0.03,+ "operadora": 0.242,+ "colgar": 0.3755,+ "ninguno": 0.2576+ },+ "latency_ms": 351.06654197443277+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.4291,+ "probabilities": {+ "ventas": 0.06,+ "soporte": 0.124,+ "facturacion": 0.0243,+ "operadora": 0.4291,+ "colgar": 0.1038,+ "ninguno": 0.2588+ },+ "latency_ms": 365.1231660041958+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.348,+ "probabilities": {+ "ventas": 0.0405,+ "soporte": 0.1091,+ "facturacion": 0.0188,+ "operadora": 0.2524,+ "colgar": 0.348,+ "ninguno": 0.2312+ },+ "latency_ms": 377.1459169802256+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.4342,+ "probabilities": {+ "ventas": 0.0261,+ "soporte": 0.0734,+ "facturacion": 0.0144,+ "operadora": 0.1593,+ "colgar": 0.4342,+ "ninguno": 0.2928+ },+ "latency_ms": 385.64658403629437+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.3264,+ "probabilities": {+ "ventas": 0.0566,+ "soporte": 0.0564,+ "facturacion": 0.0478,+ "operadora": 0.2147,+ "colgar": 0.3264,+ "ninguno": 0.2981+ },+ "latency_ms": 373.37337498320267+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.3243,+ "probabilities": {+ "ventas": 0.043,+ "soporte": 0.056,+ "facturacion": 0.0228,+ "operadora": 0.2893,+ "colgar": 0.2646,+ "ninguno": 0.3243+ },+ "latency_ms": 360.10258400347084+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.4756,+ "probabilities": {+ "ventas": 0.039,+ "soporte": 0.0977,+ "facturacion": 0.0288,+ "operadora": 0.2345,+ "colgar": 0.1244,+ "ninguno": 0.4756+ },+ "latency_ms": 374.58329199580476+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.3376,+ "probabilities": {+ "ventas": 0.0312,+ "soporte": 0.284,+ "facturacion": 0.0457,+ "operadora": 0.3376,+ "colgar": 0.053,+ "ninguno": 0.2484+ },+ "latency_ms": 382.96725100371987+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.3891,+ "probabilities": {+ "ventas": 0.1145,+ "soporte": 0.0929,+ "facturacion": 0.1162,+ "operadora": 0.1843,+ "colgar": 0.103,+ "ninguno": 0.3891+ },+ "latency_ms": 410.36899999016896+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.4353,+ "probabilities": {+ "ventas": 0.0504,+ "soporte": 0.1071,+ "facturacion": 0.0368,+ "operadora": 0.2341,+ "colgar": 0.1363,+ "ninguno": 0.4353+ },+ "latency_ms": 417.780626041349+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.3504,+ "probabilities": {+ "ventas": 0.0638,+ "soporte": 0.1067,+ "facturacion": 0.0283,+ "operadora": 0.3504,+ "colgar": 0.1112,+ "ninguno": 0.3396+ },+ "latency_ms": 408.3964999881573+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.337,+ "probabilities": {+ "ventas": 0.0853,+ "soporte": 0.1111,+ "facturacion": 0.2928,+ "operadora": 0.1261,+ "colgar": 0.0476,+ "ninguno": 0.337+ },+ "latency_ms": 403.63600000273436+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.3893,+ "probabilities": {+ "ventas": 0.0294,+ "soporte": 0.3893,+ "facturacion": 0.0225,+ "operadora": 0.2803,+ "colgar": 0.0906,+ "ninguno": 0.1878+ },+ "latency_ms": 377.6967920130119+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.4395,+ "probabilities": {+ "ventas": 0.0537,+ "soporte": 0.052,+ "facturacion": 0.0359,+ "operadora": 0.3219,+ "colgar": 0.0971,+ "ninguno": 0.4395+ },+ "latency_ms": 397.58508396334946+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.3749,+ "probabilities": {+ "ventas": 0.1861,+ "soporte": 0.1026,+ "facturacion": 0.0247,+ "operadora": 0.202,+ "colgar": 0.1097,+ "ninguno": 0.3749+ },+ "latency_ms": 402.91666699340567+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "colgar",+ "confidence": 0.356,+ "probabilities": {+ "ventas": 0.0442,+ "soporte": 0.0627,+ "facturacion": 0.0206,+ "operadora": 0.2499,+ "colgar": 0.356,+ "ninguno": 0.2666+ },+ "latency_ms": 358.0453330068849+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.398,+ "probabilities": {+ "ventas": 0.0473,+ "soporte": 0.0664,+ "facturacion": 0.0201,+ "operadora": 0.3422,+ "colgar": 0.1259,+ "ninguno": 0.398+ },+ "latency_ms": 396.9981250120327+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.3423,+ "probabilities": {+ "ventas": 0.062,+ "soporte": 0.062,+ "facturacion": 0.0292,+ "operadora": 0.3188,+ "colgar": 0.1858,+ "ninguno": 0.3423+ },+ "latency_ms": 404.46495899232104+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "operadora",+ "confidence": 0.3485,+ "probabilities": {+ "ventas": 0.0482,+ "soporte": 0.0614,+ "facturacion": 0.022,+ "operadora": 0.3485,+ "colgar": 0.2148,+ "ninguno": 0.3051+ },+ "latency_ms": 392.3943340196274+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.328,+ "probabilities": {+ "ventas": 0.1189,+ "soporte": 0.1378,+ "facturacion": 0.0431,+ "operadora": 0.288,+ "colgar": 0.0842,+ "ninguno": 0.328+ },+ "latency_ms": 374.8252079822123+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "operadora",+ "confidence": 0.3974,+ "probabilities": {+ "ventas": 0.1056,+ "soporte": 0.0666,+ "facturacion": 0.0686,+ "operadora": 0.3974,+ "colgar": 0.0936,+ "ninguno": 0.2682+ },+ "latency_ms": 412.15187503257766+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "operadora",+ "confidence": 0.4293,+ "probabilities": {+ "ventas": 0.0422,+ "soporte": 0.1578,+ "facturacion": 0.0212,+ "operadora": 0.4293,+ "colgar": 0.1058,+ "ninguno": 0.2437+ },+ "latency_ms": 393.46770796692+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "operadora",+ "confidence": 0.3929,+ "probabilities": {+ "ventas": 0.0712,+ "soporte": 0.075,+ "facturacion": 0.0315,+ "operadora": 0.3929,+ "colgar": 0.0878,+ "ninguno": 0.3415+ },+ "latency_ms": 363.7040000176057+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.4156,+ "probabilities": {+ "ventas": 0.1204,+ "soporte": 0.0344,+ "facturacion": 0.0184,+ "operadora": 0.4156,+ "colgar": 0.0889,+ "ninguno": 0.3222+ },+ "latency_ms": 397.982875991147+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.3925,+ "probabilities": {+ "ventas": 0.0216,+ "soporte": 0.1465,+ "facturacion": 0.0133,+ "operadora": 0.3925,+ "colgar": 0.2579,+ "ninguno": 0.1682+ },+ "latency_ms": 408.2248750491999+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.3606,+ "probabilities": {+ "ventas": 0.1176,+ "soporte": 0.045,+ "facturacion": 0.0737,+ "operadora": 0.3606,+ "colgar": 0.0816,+ "ninguno": 0.3216+ },+ "latency_ms": 429.41308399895206+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.3577,+ "probabilities": {+ "ventas": 0.0426,+ "soporte": 0.195,+ "facturacion": 0.0191,+ "operadora": 0.3577,+ "colgar": 0.0932,+ "ninguno": 0.2924+ },+ "latency_ms": 409.96404201723635+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.6123,+ "probabilities": {+ "ventas": 0.0437,+ "soporte": 0.0398,+ "facturacion": 0.0176,+ "operadora": 0.6123,+ "colgar": 0.0844,+ "ninguno": 0.2021+ },+ "latency_ms": 385.0792089942843+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.3234,+ "probabilities": {+ "ventas": 0.2522,+ "soporte": 0.035,+ "facturacion": 0.02,+ "operadora": 0.2379,+ "colgar": 0.1315,+ "ninguno": 0.3234+ },+ "latency_ms": 391.22295897686854+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.5577,+ "probabilities": {+ "ventas": 0.0207,+ "soporte": 0.0922,+ "facturacion": 0.0082,+ "operadora": 0.5577,+ "colgar": 0.0788,+ "ninguno": 0.2424+ },+ "latency_ms": 430.5604170076549+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "facturacion",+ "confidence": 0.438,+ "probabilities": {+ "ventas": 0.0294,+ "soporte": 0.0853,+ "facturacion": 0.438,+ "operadora": 0.0848,+ "colgar": 0.1926,+ "ninguno": 0.1699+ },+ "latency_ms": 425.723708991427+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.3898,+ "probabilities": {+ "ventas": 0.3898,+ "soporte": 0.0189,+ "facturacion": 0.033,+ "operadora": 0.1923,+ "colgar": 0.1873,+ "ninguno": 0.1787+ },+ "latency_ms": 386.11899997340515+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.4867,+ "probabilities": {+ "ventas": 0.0633,+ "soporte": 0.0552,+ "facturacion": 0.023,+ "operadora": 0.4867,+ "colgar": 0.138,+ "ninguno": 0.2337+ },+ "latency_ms": 352.50795900356025+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.3426,+ "probabilities": {+ "ventas": 0.0552,+ "soporte": 0.3426,+ "facturacion": 0.0337,+ "operadora": 0.292,+ "colgar": 0.0653,+ "ninguno": 0.2113+ },+ "latency_ms": 381.0907080187462+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "colgar",+ "confidence": 0.4585,+ "probabilities": {+ "ventas": 0.0235,+ "soporte": 0.0341,+ "facturacion": 0.0127,+ "operadora": 0.3071,+ "colgar": 0.4585,+ "ninguno": 0.1641+ },+ "latency_ms": 384.50275000650436+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.2846,+ "probabilities": {+ "ventas": 0.0424,+ "soporte": 0.1842,+ "facturacion": 0.0254,+ "operadora": 0.2463,+ "colgar": 0.2171,+ "ninguno": 0.2846+ },+ "latency_ms": 360.3106249938719+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.2552,+ "probabilities": {+ "ventas": 0.0897,+ "soporte": 0.2353,+ "facturacion": 0.0351,+ "operadora": 0.1764,+ "colgar": 0.2083,+ "ninguno": 0.2552+ },+ "latency_ms": 386.72154204687104+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.6862,+ "probabilities": {+ "ventas": 0.0828,+ "soporte": 0.6862,+ "facturacion": 0.0111,+ "operadora": 0.1401,+ "colgar": 0.0247,+ "ninguno": 0.0551+ },+ "latency_ms": 371.72875000396743+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.6229,+ "probabilities": {+ "ventas": 0.0202,+ "soporte": 0.6229,+ "facturacion": 0.1537,+ "operadora": 0.1196,+ "colgar": 0.0481,+ "ninguno": 0.0355+ },+ "latency_ms": 389.9351669824682+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "ventas",+ "confidence": 0.3916,+ "probabilities": {+ "ventas": 0.3916,+ "soporte": 0.0454,+ "facturacion": 0.281,+ "operadora": 0.1124,+ "colgar": 0.0499,+ "ninguno": 0.1196+ },+ "latency_ms": 438.959666993469+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "operadora",+ "confidence": 0.3571,+ "probabilities": {+ "ventas": 0.1247,+ "soporte": 0.1638,+ "facturacion": 0.0225,+ "operadora": 0.3571,+ "colgar": 0.0786,+ "ninguno": 0.2532+ },+ "latency_ms": 427.4357500253245+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.7592,+ "probabilities": {+ "ventas": 0.0174,+ "soporte": 0.09,+ "facturacion": 0.7592,+ "operadora": 0.0413,+ "colgar": 0.0304,+ "ninguno": 0.0617+ },+ "latency_ms": 380.68379199830815+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "operadora",+ "confidence": 0.2743,+ "probabilities": {+ "ventas": 0.2242,+ "soporte": 0.062,+ "facturacion": 0.0547,+ "operadora": 0.2743,+ "colgar": 0.2091,+ "ninguno": 0.1757+ },+ "latency_ms": 423.11229201732203+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.3304,+ "probabilities": {+ "ventas": 0.0472,+ "soporte": 0.2389,+ "facturacion": 0.0172,+ "operadora": 0.2463,+ "colgar": 0.3304,+ "ninguno": 0.12+ },+ "latency_ms": 396.15145802963525+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.5093,+ "probabilities": {+ "ventas": 0.5093,+ "soporte": 0.0348,+ "facturacion": 0.0376,+ "operadora": 0.132,+ "colgar": 0.0612,+ "ninguno": 0.225+ },+ "latency_ms": 419.873958977405+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.4575,+ "probabilities": {+ "ventas": 0.1449,+ "soporte": 0.0323,+ "facturacion": 0.4575,+ "operadora": 0.1628,+ "colgar": 0.0586,+ "ninguno": 0.1438+ },+ "latency_ms": 364.3033750122413+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.4498,+ "probabilities": {+ "ventas": 0.0683,+ "soporte": 0.0946,+ "facturacion": 0.019,+ "operadora": 0.4498,+ "colgar": 0.07,+ "ninguno": 0.2983+ },+ "latency_ms": 343.1448339833878+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.2889,+ "probabilities": {+ "ventas": 0.0442,+ "soporte": 0.0915,+ "facturacion": 0.0247,+ "operadora": 0.2889,+ "colgar": 0.279,+ "ninguno": 0.2717+ },+ "latency_ms": 370.8971249870956+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.3588,+ "probabilities": {+ "ventas": 0.0587,+ "soporte": 0.0665,+ "facturacion": 0.025,+ "operadora": 0.3588,+ "colgar": 0.1846,+ "ninguno": 0.3064+ },+ "latency_ms": 367.6811259938404+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.3888,+ "probabilities": {+ "ventas": 0.1371,+ "soporte": 0.0748,+ "facturacion": 0.0209,+ "operadora": 0.3888,+ "colgar": 0.0725,+ "ninguno": 0.3058+ },+ "latency_ms": 355.43674998916686+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.3591,+ "probabilities": {+ "ventas": 0.0609,+ "soporte": 0.082,+ "facturacion": 0.0268,+ "operadora": 0.3514,+ "colgar": 0.1199,+ "ninguno": 0.3591+ },+ "latency_ms": 374.98966697603464+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.5393,+ "probabilities": {+ "ventas": 0.1856,+ "soporte": 0.0696,+ "facturacion": 0.5393,+ "operadora": 0.0681,+ "colgar": 0.0218,+ "ninguno": 0.1156+ },+ "latency_ms": 359.96195796178654+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "colgar",+ "confidence": 0.3354,+ "probabilities": {+ "ventas": 0.2177,+ "soporte": 0.064,+ "facturacion": 0.022,+ "operadora": 0.2227,+ "colgar": 0.3354,+ "ninguno": 0.1382+ },+ "latency_ms": 344.93591700447723+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.7313,+ "probabilities": {+ "ventas": 0.7313,+ "soporte": 0.0249,+ "facturacion": 0.0153,+ "operadora": 0.0638,+ "colgar": 0.026,+ "ninguno": 0.1388+ },+ "latency_ms": 351.87616699840873+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.2716,+ "probabilities": {+ "ventas": 0.2716,+ "soporte": 0.1638,+ "facturacion": 0.2564,+ "operadora": 0.1398,+ "colgar": 0.0334,+ "ninguno": 0.135+ },+ "latency_ms": 382.3850409826264+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-typed-decisions__cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya-typed-decisions__cases__es_criteria.jsonnew file mode 100644index 00000000..7da74823--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-typed-decisions__cases__es_criteria.json@@ -0,0 +1,2418 @@+{+ "meta": {+ "model": "convaiinnovations/laya-typed-decisions",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 2700.5430429708213+ },+ "summary": {+ "n": 112,+ "accuracy": 0.38392857142857145,+ "macro_f1": 0.4096968740547862,+ "ece": 0.1272196428571429,+ "mean_confidence": 0.33459642857142846,+ "majority_baseline": 0.3125,+ "wrong_actions": 67,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 0.375+ },+ "direct": {+ "n": 18,+ "accuracy": 0.8888888888888888+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.15384615384615385+ },+ "hard": {+ "n": 6,+ "accuracy": 0.3333333333333333+ },+ "hn": {+ "n": 9,+ "accuracy": 0.3333333333333333+ },+ "human": {+ "n": 13,+ "accuracy": 0.15384615384615385+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.6+ },+ "negation": {+ "n": 15,+ "accuracy": 0.3333333333333333+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.0+ },+ "open": {+ "n": 11,+ "accuracy": 0.0+ },+ "short": {+ "n": 5,+ "accuracy": 0.4+ }+ },+ "confusion": {+ "colgar->ninguno": 2,+ "colgar->operadora": 1,+ "colgar->soporte": 9,+ "facturacion->soporte": 2,+ "ninguno->colgar": 3,+ "ninguno->facturacion": 2,+ "ninguno->operadora": 5,+ "ninguno->soporte": 20,+ "operadora->colgar": 1,+ "operadora->soporte": 11,+ "soporte->colgar": 4,+ "soporte->operadora": 3,+ "soporte->ventas": 1,+ "ventas->soporte": 5+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 10,+ "coverage": 0.08928571428571429,+ "action_recall": 0.11688311688311688,+ "wrong": 1,+ "precision": 0.9+ },+ {+ "threshold": 0.6,+ "fast": 2,+ "coverage": 0.017857142857142856,+ "action_recall": 0.025974025974025976,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.7,+ "fast": 2,+ "coverage": 0.017857142857142856,+ "action_recall": 0.025974025974025976,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.8,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 452.3732510278933,+ "p95": 520.0680420384742,+ "min": 404.08087498508394+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "ventas",+ "confidence": 0.3305+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "colgar",+ "confidence": 0.4666+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ventas",+ "confidence": 0.5798+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "soporte",+ "confidence": 0.2177+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.4879,+ "probabilities": {+ "ventas": 0.4879,+ "soporte": 0.1477,+ "facturacion": 0.0636,+ "operadora": 0.0679,+ "colgar": 0.0922,+ "ninguno": 0.1407+ },+ "latency_ms": 448.08395800646394+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.4498,+ "probabilities": {+ "ventas": 0.4498,+ "soporte": 0.151,+ "facturacion": 0.1106,+ "operadora": 0.0844,+ "colgar": 0.1064,+ "ninguno": 0.0979+ },+ "latency_ms": 445.2755839447491+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.4502,+ "probabilities": {+ "ventas": 0.4502,+ "soporte": 0.1535,+ "facturacion": 0.1028,+ "operadora": 0.133,+ "colgar": 0.0776,+ "ninguno": 0.0829+ },+ "latency_ms": 453.4522920148447+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.2435,+ "probabilities": {+ "ventas": 0.2435,+ "soporte": 0.1883,+ "facturacion": 0.1503,+ "operadora": 0.1128,+ "colgar": 0.1539,+ "ninguno": 0.1511+ },+ "latency_ms": 417.6640419755131+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.2654,+ "probabilities": {+ "ventas": 0.2287,+ "soporte": 0.2654,+ "facturacion": 0.1125,+ "operadora": 0.0682,+ "colgar": 0.1465,+ "ninguno": 0.1787+ },+ "latency_ms": 462.29887602385134+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.2524,+ "probabilities": {+ "ventas": 0.1857,+ "soporte": 0.2524,+ "facturacion": 0.1141,+ "operadora": 0.1279,+ "colgar": 0.1714,+ "ninguno": 0.1485+ },+ "latency_ms": 430.59283297043294+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.543,+ "probabilities": {+ "ventas": 0.543,+ "soporte": 0.1249,+ "facturacion": 0.0657,+ "operadora": 0.0541,+ "colgar": 0.0872,+ "ninguno": 0.1251+ },+ "latency_ms": 475.8554170257412+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.4516,+ "probabilities": {+ "ventas": 0.4516,+ "soporte": 0.172,+ "facturacion": 0.132,+ "operadora": 0.0428,+ "colgar": 0.0933,+ "ninguno": 0.1084+ },+ "latency_ms": 467.002457997296+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.4561,+ "probabilities": {+ "ventas": 0.4561,+ "soporte": 0.1275,+ "facturacion": 0.084,+ "operadora": 0.1378,+ "colgar": 0.079,+ "ninguno": 0.1157+ },+ "latency_ms": 460.85804200265557+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.5164,+ "probabilities": {+ "ventas": 0.5164,+ "soporte": 0.137,+ "facturacion": 0.0926,+ "operadora": 0.0572,+ "colgar": 0.0988,+ "ninguno": 0.0979+ },+ "latency_ms": 489.24720904324204+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.3407,+ "probabilities": {+ "ventas": 0.3407,+ "soporte": 0.179,+ "facturacion": 0.2169,+ "operadora": 0.0681,+ "colgar": 0.0884,+ "ninguno": 0.1069+ },+ "latency_ms": 471.0022499784827+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.2382,+ "probabilities": {+ "ventas": 0.2183,+ "soporte": 0.2382,+ "facturacion": 0.1542,+ "operadora": 0.0887,+ "colgar": 0.158,+ "ninguno": 0.1427+ },+ "latency_ms": 447.0213330350816+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.5355,+ "probabilities": {+ "ventas": 0.5355,+ "soporte": 0.1298,+ "facturacion": 0.1203,+ "operadora": 0.0435,+ "colgar": 0.0723,+ "ninguno": 0.0985+ },+ "latency_ms": 449.1033749654889+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.2447,+ "probabilities": {+ "ventas": 0.2092,+ "soporte": 0.2447,+ "facturacion": 0.1124,+ "operadora": 0.1322,+ "colgar": 0.1609,+ "ninguno": 0.1405+ },+ "latency_ms": 466.3070419919677+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.3807,+ "probabilities": {+ "ventas": 0.0767,+ "soporte": 0.3807,+ "facturacion": 0.0896,+ "operadora": 0.1678,+ "colgar": 0.1627,+ "ninguno": 0.1225+ },+ "latency_ms": 421.0913749993779+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.3599,+ "probabilities": {+ "ventas": 0.067,+ "soporte": 0.3599,+ "facturacion": 0.0757,+ "operadora": 0.247,+ "colgar": 0.1005,+ "ninguno": 0.1499+ },+ "latency_ms": 423.6434170161374+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.4255,+ "probabilities": {+ "ventas": 0.0864,+ "soporte": 0.4255,+ "facturacion": 0.0588,+ "operadora": 0.1385,+ "colgar": 0.1441,+ "ninguno": 0.1468+ },+ "latency_ms": 425.32358400058+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.3127,+ "probabilities": {+ "ventas": 0.1412,+ "soporte": 0.3127,+ "facturacion": 0.0772,+ "operadora": 0.1573,+ "colgar": 0.1455,+ "ninguno": 0.166+ },+ "latency_ms": 498.136791982688+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.7504,+ "probabilities": {+ "ventas": 0.0139,+ "soporte": 0.7504,+ "facturacion": 0.0144,+ "operadora": 0.0594,+ "colgar": 0.0806,+ "ninguno": 0.0814+ },+ "latency_ms": 463.8170420075767+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.3427,+ "probabilities": {+ "ventas": 0.0602,+ "soporte": 0.1253,+ "facturacion": 0.0596,+ "operadora": 0.2548,+ "colgar": 0.3427,+ "ninguno": 0.1574+ },+ "latency_ms": 452.54145900253206+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.3507,+ "probabilities": {+ "ventas": 0.0726,+ "soporte": 0.1514,+ "facturacion": 0.0593,+ "operadora": 0.3507,+ "colgar": 0.1976,+ "ninguno": 0.1685+ },+ "latency_ms": 439.9724579998292+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.3435,+ "probabilities": {+ "ventas": 0.1562,+ "soporte": 0.3435,+ "facturacion": 0.1123,+ "operadora": 0.1187,+ "colgar": 0.1407,+ "ninguno": 0.1285+ },+ "latency_ms": 446.01041701389477+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.2459,+ "probabilities": {+ "ventas": 0.0795,+ "soporte": 0.2191,+ "facturacion": 0.0957,+ "operadora": 0.2459,+ "colgar": 0.1969,+ "ninguno": 0.1629+ },+ "latency_ms": 466.1167089943774+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.2346,+ "probabilities": {+ "ventas": 0.0863,+ "soporte": 0.2207,+ "facturacion": 0.0758,+ "operadora": 0.2039,+ "colgar": 0.2346,+ "ninguno": 0.1788+ },+ "latency_ms": 465.84324998548254+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.3336,+ "probabilities": {+ "ventas": 0.0748,+ "soporte": 0.1714,+ "facturacion": 0.0487,+ "operadora": 0.1902,+ "colgar": 0.3336,+ "ninguno": 0.1813+ },+ "latency_ms": 445.56612498126924+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.435,+ "probabilities": {+ "ventas": 0.0299,+ "soporte": 0.2048,+ "facturacion": 0.0387,+ "operadora": 0.435,+ "colgar": 0.1683,+ "ninguno": 0.1233+ },+ "latency_ms": 458.80916697205976+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.3255,+ "probabilities": {+ "ventas": 0.1218,+ "soporte": 0.3255,+ "facturacion": 0.0805,+ "operadora": 0.1315,+ "colgar": 0.1743,+ "ninguno": 0.1663+ },+ "latency_ms": 499.226626008749+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.2463,+ "probabilities": {+ "ventas": 0.2463,+ "soporte": 0.1833,+ "facturacion": 0.1717,+ "operadora": 0.1283,+ "colgar": 0.146,+ "ninguno": 0.1243+ },+ "latency_ms": 432.5240840553306+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.4681,+ "probabilities": {+ "ventas": 0.0924,+ "soporte": 0.1439,+ "facturacion": 0.4681,+ "operadora": 0.0797,+ "colgar": 0.1192,+ "ninguno": 0.0968+ },+ "latency_ms": 422.77191701577976+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.3921,+ "probabilities": {+ "ventas": 0.054,+ "soporte": 0.2763,+ "facturacion": 0.3921,+ "operadora": 0.0458,+ "colgar": 0.0947,+ "ninguno": 0.1371+ },+ "latency_ms": 478.0337080010213+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.372,+ "probabilities": {+ "ventas": 0.075,+ "soporte": 0.2296,+ "facturacion": 0.372,+ "operadora": 0.1573,+ "colgar": 0.0629,+ "ninguno": 0.1031+ },+ "latency_ms": 512.5472499639727+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.413,+ "probabilities": {+ "ventas": 0.1288,+ "soporte": 0.1653,+ "facturacion": 0.413,+ "operadora": 0.0766,+ "colgar": 0.1035,+ "ninguno": 0.1128+ },+ "latency_ms": 445.48258400755003+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.2625,+ "probabilities": {+ "ventas": 0.1867,+ "soporte": 0.1983,+ "facturacion": 0.2625,+ "operadora": 0.0856,+ "colgar": 0.1427,+ "ninguno": 0.1242+ },+ "latency_ms": 443.8823340460658+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.5207,+ "probabilities": {+ "ventas": 0.081,+ "soporte": 0.1637,+ "facturacion": 0.5207,+ "operadora": 0.0463,+ "colgar": 0.1053,+ "ninguno": 0.083+ },+ "latency_ms": 460.59649996459484+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.4481,+ "probabilities": {+ "ventas": 0.1034,+ "soporte": 0.1789,+ "facturacion": 0.4481,+ "operadora": 0.0602,+ "colgar": 0.1146,+ "ninguno": 0.0948+ },+ "latency_ms": 439.7291250061244+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.5474,+ "probabilities": {+ "ventas": 0.121,+ "soporte": 0.1228,+ "facturacion": 0.5474,+ "operadora": 0.0215,+ "colgar": 0.0824,+ "ninguno": 0.1048+ },+ "latency_ms": 467.48112502973527+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.5131,+ "probabilities": {+ "ventas": 0.1118,+ "soporte": 0.1336,+ "facturacion": 0.5131,+ "operadora": 0.066,+ "colgar": 0.0937,+ "ninguno": 0.0818+ },+ "latency_ms": 458.9600420440547+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.3809,+ "probabilities": {+ "ventas": 0.0516,+ "soporte": 0.226,+ "facturacion": 0.3809,+ "operadora": 0.0725,+ "colgar": 0.1627,+ "ninguno": 0.1064+ },+ "latency_ms": 439.1271250206046+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.2125,+ "probabilities": {+ "ventas": 0.1521,+ "soporte": 0.2125,+ "facturacion": 0.1635,+ "operadora": 0.143,+ "colgar": 0.1874,+ "ninguno": 0.1416+ },+ "latency_ms": 451.56974997371435+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.2506,+ "probabilities": {+ "ventas": 0.0934,+ "soporte": 0.1589,+ "facturacion": 0.2506,+ "operadora": 0.1412,+ "colgar": 0.2362,+ "ninguno": 0.1197+ },+ "latency_ms": 496.3945419876836+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.5405,+ "probabilities": {+ "ventas": 0.0414,+ "soporte": 0.1694,+ "facturacion": 0.5405,+ "operadora": 0.0674,+ "colgar": 0.0961,+ "ninguno": 0.0851+ },+ "latency_ms": 482.2066249907948+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.3416,+ "probabilities": {+ "ventas": 0.2091,+ "soporte": 0.1408,+ "facturacion": 0.3416,+ "operadora": 0.069,+ "colgar": 0.127,+ "ninguno": 0.1125+ },+ "latency_ms": 446.0896259988658+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.2736,+ "probabilities": {+ "ventas": 0.0798,+ "soporte": 0.2736,+ "facturacion": 0.0459,+ "operadora": 0.2261,+ "colgar": 0.1446,+ "ninguno": 0.2301+ },+ "latency_ms": 431.9060419802554+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.4386,+ "probabilities": {+ "ventas": 0.1051,+ "soporte": 0.4386,+ "facturacion": 0.0678,+ "operadora": 0.1315,+ "colgar": 0.1051,+ "ninguno": 0.1519+ },+ "latency_ms": 462.77183399070054+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.3117,+ "probabilities": {+ "ventas": 0.1194,+ "soporte": 0.3117,+ "facturacion": 0.0779,+ "operadora": 0.176,+ "colgar": 0.1337,+ "ninguno": 0.1812+ },+ "latency_ms": 514.1624169773422+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.4979,+ "probabilities": {+ "ventas": 0.0791,+ "soporte": 0.1741,+ "facturacion": 0.0452,+ "operadora": 0.4979,+ "colgar": 0.0958,+ "ninguno": 0.1079+ },+ "latency_ms": 438.8485419913195+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.2434,+ "probabilities": {+ "ventas": 0.18,+ "soporte": 0.2434,+ "facturacion": 0.1515,+ "operadora": 0.1324,+ "colgar": 0.1485,+ "ninguno": 0.1442+ },+ "latency_ms": 447.78383296215907+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.408,+ "probabilities": {+ "ventas": 0.1023,+ "soporte": 0.408,+ "facturacion": 0.0827,+ "operadora": 0.135,+ "colgar": 0.129,+ "ninguno": 0.1429+ },+ "latency_ms": 418.7921670381911+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.3358,+ "probabilities": {+ "ventas": 0.1239,+ "soporte": 0.3358,+ "facturacion": 0.0976,+ "operadora": 0.1227,+ "colgar": 0.1263,+ "ninguno": 0.1937+ },+ "latency_ms": 435.7262499979697+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "soporte",+ "confidence": 0.2957,+ "probabilities": {+ "ventas": 0.0974,+ "soporte": 0.2957,+ "facturacion": 0.0714,+ "operadora": 0.238,+ "colgar": 0.1344,+ "ninguno": 0.1629+ },+ "latency_ms": 417.33912500785664+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.5019,+ "probabilities": {+ "ventas": 0.0687,+ "soporte": 0.5019,+ "facturacion": 0.0418,+ "operadora": 0.1285,+ "colgar": 0.1275,+ "ninguno": 0.1317+ },+ "latency_ms": 438.2353749824688+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.3286,+ "probabilities": {+ "ventas": 0.0658,+ "soporte": 0.1648,+ "facturacion": 0.0446,+ "operadora": 0.3286,+ "colgar": 0.1857,+ "ninguno": 0.2106+ },+ "latency_ms": 432.8343329834752+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.4629,+ "probabilities": {+ "ventas": 0.1138,+ "soporte": 0.4629,+ "facturacion": 0.0683,+ "operadora": 0.1176,+ "colgar": 0.1056,+ "ninguno": 0.1319+ },+ "latency_ms": 410.6691249762662+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.2771,+ "probabilities": {+ "ventas": 0.1206,+ "soporte": 0.2771,+ "facturacion": 0.118,+ "operadora": 0.1574,+ "colgar": 0.1703,+ "ninguno": 0.1565+ },+ "latency_ms": 445.8142499788664+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.3114,+ "probabilities": {+ "ventas": 0.1164,+ "soporte": 0.3114,+ "facturacion": 0.0727,+ "operadora": 0.1066,+ "colgar": 0.1722,+ "ninguno": 0.2206+ },+ "latency_ms": 431.8143750424497+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.2978,+ "probabilities": {+ "ventas": 0.0766,+ "soporte": 0.1784,+ "facturacion": 0.0511,+ "operadora": 0.1146,+ "colgar": 0.2978,+ "ninguno": 0.2814+ },+ "latency_ms": 484.1402919846587+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.3904,+ "probabilities": {+ "ventas": 0.0649,+ "soporte": 0.3904,+ "facturacion": 0.0468,+ "operadora": 0.1434,+ "colgar": 0.1493,+ "ninguno": 0.2053+ },+ "latency_ms": 438.0659169983119+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.2838,+ "probabilities": {+ "ventas": 0.1102,+ "soporte": 0.2838,+ "facturacion": 0.0987,+ "operadora": 0.1564,+ "colgar": 0.1701,+ "ninguno": 0.1808+ },+ "latency_ms": 438.69208300020546+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.2942,+ "probabilities": {+ "ventas": 0.1102,+ "soporte": 0.2744,+ "facturacion": 0.0781,+ "operadora": 0.1276,+ "colgar": 0.2942,+ "ninguno": 0.1156+ },+ "latency_ms": 405.2276249858551+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.244,+ "probabilities": {+ "ventas": 0.0527,+ "soporte": 0.2328,+ "facturacion": 0.033,+ "operadora": 0.244,+ "colgar": 0.1954,+ "ninguno": 0.242+ },+ "latency_ms": 425.62962498050183+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.3496,+ "probabilities": {+ "ventas": 0.1232,+ "soporte": 0.3496,+ "facturacion": 0.103,+ "operadora": 0.0982,+ "colgar": 0.1427,+ "ninguno": 0.1832+ },+ "latency_ms": 444.1669170046225+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.2943,+ "probabilities": {+ "ventas": 0.0849,+ "soporte": 0.147,+ "facturacion": 0.0713,+ "operadora": 0.1385,+ "colgar": 0.2641,+ "ninguno": 0.2943+ },+ "latency_ms": 467.547876003664+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.2492,+ "probabilities": {+ "ventas": 0.126,+ "soporte": 0.2492,+ "facturacion": 0.1179,+ "operadora": 0.2054,+ "colgar": 0.1647,+ "ninguno": 0.1368+ },+ "latency_ms": 459.694541990757+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.4007,+ "probabilities": {+ "ventas": 0.0707,+ "soporte": 0.4007,+ "facturacion": 0.0665,+ "operadora": 0.1776,+ "colgar": 0.1596,+ "ninguno": 0.1249+ },+ "latency_ms": 448.7558339606039+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "ninguno",+ "confidence": 0.2733,+ "probabilities": {+ "ventas": 0.0773,+ "soporte": 0.2512,+ "facturacion": 0.0559,+ "operadora": 0.1504,+ "colgar": 0.1918,+ "ninguno": 0.2733+ },+ "latency_ms": 433.54375095805153+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.2441,+ "probabilities": {+ "ventas": 0.1464,+ "soporte": 0.2441,+ "facturacion": 0.1882,+ "operadora": 0.0737,+ "colgar": 0.1558,+ "ninguno": 0.1918+ },+ "latency_ms": 426.16920795990154+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2361,+ "probabilities": {+ "ventas": 0.1124,+ "soporte": 0.2361,+ "facturacion": 0.1232,+ "operadora": 0.1701,+ "colgar": 0.1836,+ "ninguno": 0.1746+ },+ "latency_ms": 423.66920795757324+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2073,+ "probabilities": {+ "ventas": 0.2067,+ "soporte": 0.2073,+ "facturacion": 0.1285,+ "operadora": 0.1222,+ "colgar": 0.1519,+ "ninguno": 0.1834+ },+ "latency_ms": 433.65054205060005+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2489,+ "probabilities": {+ "ventas": 0.0818,+ "soporte": 0.2489,+ "facturacion": 0.1866,+ "operadora": 0.2002,+ "colgar": 0.1568,+ "ninguno": 0.1258+ },+ "latency_ms": 447.3648749990389+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2812,+ "probabilities": {+ "ventas": 0.1224,+ "soporte": 0.2812,+ "facturacion": 0.1208,+ "operadora": 0.1639,+ "colgar": 0.1499,+ "ninguno": 0.1617+ },+ "latency_ms": 452.3732510278933+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.2652,+ "probabilities": {+ "ventas": 0.0822,+ "soporte": 0.253,+ "facturacion": 0.1122,+ "operadora": 0.2652,+ "colgar": 0.1247,+ "ninguno": 0.1627+ },+ "latency_ms": 444.7782499482855+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2812,+ "probabilities": {+ "ventas": 0.1118,+ "soporte": 0.2812,+ "facturacion": 0.1113,+ "operadora": 0.157,+ "colgar": 0.1685,+ "ninguno": 0.1701+ },+ "latency_ms": 452.5195009773597+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2515,+ "probabilities": {+ "ventas": 0.1577,+ "soporte": 0.2515,+ "facturacion": 0.224,+ "operadora": 0.0962,+ "colgar": 0.1411,+ "ninguno": 0.1295+ },+ "latency_ms": 647.7614999748766+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2072,+ "probabilities": {+ "ventas": 0.1012,+ "soporte": 0.2072,+ "facturacion": 0.1458,+ "operadora": 0.2028,+ "colgar": 0.1912,+ "ninguno": 0.1517+ },+ "latency_ms": 449.4290419970639+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2696,+ "probabilities": {+ "ventas": 0.0817,+ "soporte": 0.2696,+ "facturacion": 0.0728,+ "operadora": 0.2467,+ "colgar": 0.1754,+ "ninguno": 0.1538+ },+ "latency_ms": 447.311041993089+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2201,+ "probabilities": {+ "ventas": 0.1392,+ "soporte": 0.2201,+ "facturacion": 0.119,+ "operadora": 0.1458,+ "colgar": 0.2064,+ "ninguno": 0.1696+ },+ "latency_ms": 450.3254590090364+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.2524,+ "probabilities": {+ "ventas": 0.1157,+ "soporte": 0.2524,+ "facturacion": 0.1205,+ "operadora": 0.1543,+ "colgar": 0.1873,+ "ninguno": 0.1698+ },+ "latency_ms": 463.1345839588903+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "operadora",+ "confidence": 0.2812,+ "probabilities": {+ "ventas": 0.0838,+ "soporte": 0.2444,+ "facturacion": 0.0776,+ "operadora": 0.2812,+ "colgar": 0.1685,+ "ninguno": 0.1445+ },+ "latency_ms": 442.84179201349616+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "soporte",+ "confidence": 0.2277,+ "probabilities": {+ "ventas": 0.1194,+ "soporte": 0.2277,+ "facturacion": 0.1226,+ "operadora": 0.1583,+ "colgar": 0.187,+ "ninguno": 0.1851+ },+ "latency_ms": 404.08087498508394+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "colgar",+ "confidence": 0.2418,+ "probabilities": {+ "ventas": 0.0952,+ "soporte": 0.2285,+ "facturacion": 0.0716,+ "operadora": 0.2178,+ "colgar": 0.2418,+ "ninguno": 0.1451+ },+ "latency_ms": 416.96695797145367+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.2848,+ "probabilities": {+ "ventas": 0.1336,+ "soporte": 0.2848,+ "facturacion": 0.112,+ "operadora": 0.1491,+ "colgar": 0.1651,+ "ninguno": 0.1553+ },+ "latency_ms": 452.5216670008376+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "colgar",+ "confidence": 0.2297,+ "probabilities": {+ "ventas": 0.1197,+ "soporte": 0.1782,+ "facturacion": 0.1433,+ "operadora": 0.1962,+ "colgar": 0.2297,+ "ninguno": 0.1328+ },+ "latency_ms": 447.7087089908309+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.2505,+ "probabilities": {+ "ventas": 0.0946,+ "soporte": 0.2505,+ "facturacion": 0.1031,+ "operadora": 0.2301,+ "colgar": 0.1775,+ "ninguno": 0.1442+ },+ "latency_ms": 445.42349997209385+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.2468,+ "probabilities": {+ "ventas": 0.1169,+ "soporte": 0.2468,+ "facturacion": 0.1184,+ "operadora": 0.1754,+ "colgar": 0.1855,+ "ninguno": 0.1571+ },+ "latency_ms": 437.9659999976866+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "colgar",+ "confidence": 0.2268,+ "probabilities": {+ "ventas": 0.146,+ "soporte": 0.1528,+ "facturacion": 0.0771,+ "operadora": 0.2101,+ "colgar": 0.2268,+ "ninguno": 0.1873+ },+ "latency_ms": 466.28604200668633+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.3042,+ "probabilities": {+ "ventas": 0.044,+ "soporte": 0.3042,+ "facturacion": 0.0368,+ "operadora": 0.1968,+ "colgar": 0.2447,+ "ninguno": 0.1734+ },+ "latency_ms": 520.0680420384742+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "facturacion",+ "confidence": 0.2659,+ "probabilities": {+ "ventas": 0.0782,+ "soporte": 0.1609,+ "facturacion": 0.2659,+ "operadora": 0.1206,+ "colgar": 0.1832,+ "ninguno": 0.1913+ },+ "latency_ms": 484.08295901026577+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.2727,+ "probabilities": {+ "ventas": 0.0646,+ "soporte": 0.1438,+ "facturacion": 0.0579,+ "operadora": 0.2189,+ "colgar": 0.2421,+ "ninguno": 0.2727+ },+ "latency_ms": 456.4499590196647+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.4797,+ "probabilities": {+ "ventas": 0.0699,+ "soporte": 0.1645,+ "facturacion": 0.0413,+ "operadora": 0.4797,+ "colgar": 0.1179,+ "ninguno": 0.1267+ },+ "latency_ms": 448.4533329959959+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.2486,+ "probabilities": {+ "ventas": 0.0992,+ "soporte": 0.182,+ "facturacion": 0.0841,+ "operadora": 0.2486,+ "colgar": 0.2287,+ "ninguno": 0.1574+ },+ "latency_ms": 451.12987502943724+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.3149,+ "probabilities": {+ "ventas": 0.0394,+ "soporte": 0.1903,+ "facturacion": 0.0223,+ "operadora": 0.2713,+ "colgar": 0.1617,+ "ninguno": 0.3149+ },+ "latency_ms": 458.27787497546524+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "facturacion",+ "confidence": 0.3618,+ "probabilities": {+ "ventas": 0.1008,+ "soporte": 0.1246,+ "facturacion": 0.3618,+ "operadora": 0.1008,+ "colgar": 0.1605,+ "ninguno": 0.1515+ },+ "latency_ms": 438.3987500332296+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.2921,+ "probabilities": {+ "ventas": 0.1363,+ "soporte": 0.1077,+ "facturacion": 0.0837,+ "operadora": 0.1448,+ "colgar": 0.2355,+ "ninguno": 0.2921+ },+ "latency_ms": 440.36708399653435+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.2366,+ "probabilities": {+ "ventas": 0.1102,+ "soporte": 0.1971,+ "facturacion": 0.1006,+ "operadora": 0.1395,+ "colgar": 0.216,+ "ninguno": 0.2366+ },+ "latency_ms": 498.00695799058303+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.2337,+ "probabilities": {+ "ventas": 0.1066,+ "soporte": 0.2337,+ "facturacion": 0.1252,+ "operadora": 0.1004,+ "colgar": 0.2192,+ "ninguno": 0.215+ },+ "latency_ms": 639.8343759938143+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.2835,+ "probabilities": {+ "ventas": 0.0621,+ "soporte": 0.2018,+ "facturacion": 0.0764,+ "operadora": 0.2835,+ "colgar": 0.221,+ "ninguno": 0.1551+ },+ "latency_ms": 577.6856670272537+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.2828,+ "probabilities": {+ "ventas": 0.0724,+ "soporte": 0.2828,+ "facturacion": 0.0636,+ "operadora": 0.212,+ "colgar": 0.218,+ "ninguno": 0.1512+ },+ "latency_ms": 571.5137919760309+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.3711,+ "probabilities": {+ "ventas": 0.0716,+ "soporte": 0.3711,+ "facturacion": 0.0699,+ "operadora": 0.0823,+ "colgar": 0.1479,+ "ninguno": 0.2573+ },+ "latency_ms": 528.4507499891333+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.2243,+ "probabilities": {+ "ventas": 0.2119,+ "soporte": 0.2243,+ "facturacion": 0.0831,+ "operadora": 0.1165,+ "colgar": 0.2181,+ "ninguno": 0.146+ },+ "latency_ms": 451.4806260121986+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.2982,+ "probabilities": {+ "ventas": 0.0412,+ "soporte": 0.2982,+ "facturacion": 0.2341,+ "operadora": 0.0899,+ "colgar": 0.204,+ "ninguno": 0.1326+ },+ "latency_ms": 473.97212497889996+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.2985,+ "probabilities": {+ "ventas": 0.1625,+ "soporte": 0.2985,+ "facturacion": 0.1961,+ "operadora": 0.1038,+ "colgar": 0.1112,+ "ninguno": 0.1279+ },+ "latency_ms": 465.55999998236075+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "colgar",+ "confidence": 0.2354,+ "probabilities": {+ "ventas": 0.1186,+ "soporte": 0.2051,+ "facturacion": 0.0392,+ "operadora": 0.1919,+ "colgar": 0.2354,+ "ninguno": 0.2098+ },+ "latency_ms": 489.3048760131933+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.7595,+ "probabilities": {+ "ventas": 0.0435,+ "soporte": 0.0793,+ "facturacion": 0.7595,+ "operadora": 0.018,+ "colgar": 0.044,+ "ninguno": 0.0558+ },+ "latency_ms": 462.29154197499156+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.3418,+ "probabilities": {+ "ventas": 0.0504,+ "soporte": 0.3418,+ "facturacion": 0.0445,+ "operadora": 0.2493,+ "colgar": 0.1769,+ "ninguno": 0.1372+ },+ "latency_ms": 466.7167509905994+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.4355,+ "probabilities": {+ "ventas": 0.0546,+ "soporte": 0.0883,+ "facturacion": 0.081,+ "operadora": 0.21,+ "colgar": 0.4355,+ "ninguno": 0.1306+ },+ "latency_ms": 487.828208017163+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.2726,+ "probabilities": {+ "ventas": 0.2726,+ "soporte": 0.2283,+ "facturacion": 0.1363,+ "operadora": 0.0809,+ "colgar": 0.127,+ "ninguno": 0.1549+ },+ "latency_ms": 490.03204196924344+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.4782,+ "probabilities": {+ "ventas": 0.1845,+ "soporte": 0.1105,+ "facturacion": 0.4782,+ "operadora": 0.0576,+ "colgar": 0.0907,+ "ninguno": 0.0785+ },+ "latency_ms": 461.2992500187829+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.271,+ "probabilities": {+ "ventas": 0.1129,+ "soporte": 0.271,+ "facturacion": 0.103,+ "operadora": 0.2191,+ "colgar": 0.1513,+ "ninguno": 0.1428+ },+ "latency_ms": 491.6151249781251+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.2657,+ "probabilities": {+ "ventas": 0.111,+ "soporte": 0.2657,+ "facturacion": 0.0939,+ "operadora": 0.1422,+ "colgar": 0.1999,+ "ninguno": 0.1872+ },+ "latency_ms": 463.82574999006465+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2285,+ "probabilities": {+ "ventas": 0.1265,+ "soporte": 0.2285,+ "facturacion": 0.1408,+ "operadora": 0.1688,+ "colgar": 0.1631,+ "ninguno": 0.1724+ },+ "latency_ms": 483.1142920302227+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.2261,+ "probabilities": {+ "ventas": 0.1953,+ "soporte": 0.1912,+ "facturacion": 0.0903,+ "operadora": 0.1413,+ "colgar": 0.1557,+ "ninguno": 0.2261+ },+ "latency_ms": 648.9622499793768+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.2484,+ "probabilities": {+ "ventas": 0.111,+ "soporte": 0.2484,+ "facturacion": 0.1052,+ "operadora": 0.2274,+ "colgar": 0.1583,+ "ninguno": 0.1497+ },+ "latency_ms": 434.6504170098342+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.3305,+ "probabilities": {+ "ventas": 0.3305,+ "soporte": 0.1931,+ "facturacion": 0.1898,+ "operadora": 0.069,+ "colgar": 0.0944,+ "ninguno": 0.1232+ },+ "latency_ms": 462.2982920263894+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "colgar",+ "confidence": 0.4666,+ "probabilities": {+ "ventas": 0.1345,+ "soporte": 0.0732,+ "facturacion": 0.0855,+ "operadora": 0.1381,+ "colgar": 0.4666,+ "ninguno": 0.1021+ },+ "latency_ms": 466.37779200682417+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.5798,+ "probabilities": {+ "ventas": 0.5798,+ "soporte": 0.1012,+ "facturacion": 0.1041,+ "operadora": 0.0491,+ "colgar": 0.0637,+ "ninguno": 0.102+ },+ "latency_ms": 510.2471670252271+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "soporte",+ "confidence": 0.2177,+ "probabilities": {+ "ventas": 0.1904,+ "soporte": 0.2177,+ "facturacion": 0.1407,+ "operadora": 0.1068,+ "colgar": 0.1654,+ "ninguno": 0.1789+ },+ "latency_ms": 466.76791697973385+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya-typed-decisions__clinic__en_criteria.json b/research/benchmarks/es_phone_turns/results/laya-typed-decisions__clinic__en_criteria.jsonnew file mode 100644index 00000000..a2190384--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya-typed-decisions__clinic__en_criteria.json@@ -0,0 +1,1066 @@+{+ "meta": {+ "model": "convaiinnovations/laya-typed-decisions",+ "subfolder": null,+ "rung": "en_criteria",+ "dataset": "clinic",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 2343.6448349966668+ },+ "summary": {+ "n": 45,+ "accuracy": 0.6444444444444445,+ "macro_f1": 0.6740672026386312,+ "ece": 0.16505999999999998,+ "mean_confidence": 0.48589111111111116,+ "majority_baseline": 0.28888888888888886,+ "wrong_actions": 16,+ "by_tag": {+ "asr": {+ "n": 5,+ "accuracy": 0.6+ },+ "direct": {+ "n": 6,+ "accuracy": 0.6666666666666666+ },+ "farewell": {+ "n": 4,+ "accuracy": 0.75+ },+ "hard": {+ "n": 3,+ "accuracy": 0.6666666666666666+ },+ "hn": {+ "n": 2,+ "accuracy": 0.5+ },+ "human": {+ "n": 4,+ "accuracy": 1.0+ },+ "indirect": {+ "n": 16,+ "accuracy": 0.75+ },+ "negation": {+ "n": 7,+ "accuracy": 0.2857142857142857+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 3,+ "accuracy": 0.3333333333333333+ },+ "open": {+ "n": 3,+ "accuracy": 0.6666666666666666+ },+ "short": {+ "n": 2,+ "accuracy": 0.5+ }+ },+ "confusion": {+ "citas->laboratorio": 1,+ "citas->recepcion": 1,+ "colgar->recepcion": 1,+ "farmacia->citas": 1,+ "farmacia->recepcion": 1,+ "laboratorio->citas": 3,+ "ninguno->citas": 2,+ "ninguno->emergencias": 2,+ "ninguno->laboratorio": 1,+ "ninguno->recepcion": 3+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 17,+ "coverage": 0.37777777777777777,+ "action_recall": 0.46875,+ "wrong": 2,+ "precision": 0.8823529411764706+ },+ {+ "threshold": 0.6,+ "fast": 12,+ "coverage": 0.26666666666666666,+ "action_recall": 0.34375,+ "wrong": 1,+ "precision": 0.9166666666666666+ },+ {+ "threshold": 0.7,+ "fast": 10,+ "coverage": 0.2222222222222222,+ "action_recall": 0.28125,+ "wrong": 1,+ "precision": 0.9+ },+ {+ "threshold": 0.8,+ "fast": 7,+ "coverage": 0.15555555555555556,+ "action_recall": 0.1875,+ "wrong": 1,+ "precision": 0.8571428571428571+ },+ {+ "threshold": 0.9,+ "fast": 1,+ "coverage": 0.022222222222222223,+ "action_recall": 0.03125,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 363.0109580117278,+ "p95": 401.72879199963063,+ "min": 331.13329199841246+ },+ "borderline": []+ },+ "records": [+ {+ "id": "cl-001",+ "text": "Quiero sacar una cita con el cardiólogo.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.7135,+ "probabilities": {+ "citas": 0.7135,+ "laboratorio": 0.0207,+ "farmacia": 0.019,+ "emergencias": 0.0261,+ "recepcion": 0.099,+ "colgar": 0.0212,+ "ninguno": 0.1005+ },+ "latency_ms": 436.523332959041+ },+ {+ "id": "cl-002",+ "text": "Necesito cambiar la fecha de mi consulta del jueves.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.7199,+ "probabilities": {+ "citas": 0.7199,+ "laboratorio": 0.0231,+ "farmacia": 0.0209,+ "emergencias": 0.0175,+ "recepcion": 0.0743,+ "colgar": 0.038,+ "ninguno": 0.1062+ },+ "latency_ms": 367.9785419953987+ },+ {+ "id": "cl-003",+ "text": "Páseme con citas, por favor.",+ "gold": "citas",+ "tags": [+ "direct"+ ],+ "predicted": "citas",+ "confidence": 0.4089,+ "probabilities": {+ "citas": 0.4089,+ "laboratorio": 0.013,+ "farmacia": 0.0211,+ "emergencias": 0.0275,+ "recepcion": 0.2567,+ "colgar": 0.0418,+ "ninguno": 0.2311+ },+ "latency_ms": 335.5318329995498+ },+ {+ "id": "cl-004",+ "text": "Fíjese que quiero apartar una consulta para mi mamá.",+ "gold": "citas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "recepcion",+ "confidence": 0.3623,+ "probabilities": {+ "citas": 0.3399,+ "laboratorio": 0.0214,+ "farmacia": 0.0133,+ "emergencias": 0.0252,+ "recepcion": 0.3623,+ "colgar": 0.0504,+ "ninguno": 0.1875+ },+ "latency_ms": 348.01137394970283+ },+ {+ "id": "cl-005",+ "text": "Tengo que cancelar la cita que tenía mañana con la doctora.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.8407,+ "probabilities": {+ "citas": 0.8407,+ "laboratorio": 0.0075,+ "farmacia": 0.0102,+ "emergencias": 0.0097,+ "recepcion": 0.0401,+ "colgar": 0.0228,+ "ninguno": 0.0689+ },+ "latency_ms": 370.54250098299235+ },+ {+ "id": "cl-006",+ "text": "quiero agendar con el pediatra para la otra semana",+ "gold": "citas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.4362,+ "probabilities": {+ "citas": 0.4362,+ "laboratorio": 0.0184,+ "farmacia": 0.043,+ "emergencias": 0.0226,+ "recepcion": 0.1581,+ "colgar": 0.1424,+ "ninguno": 0.1793+ },+ "latency_ms": 400.8845000062138+ },+ {+ "id": "cl-007",+ "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.6585,+ "probabilities": {+ "citas": 0.0533,+ "laboratorio": 0.6585,+ "farmacia": 0.0589,+ "emergencias": 0.0611,+ "recepcion": 0.0739,+ "colgar": 0.0163,+ "ninguno": 0.078+ },+ "latency_ms": 377.14570900425315+ },+ {+ "id": "cl-008",+ "text": "Comuníqueme con el laboratorio.",+ "gold": "laboratorio",+ "tags": [+ "direct"+ ],+ "predicted": "citas",+ "confidence": 0.254,+ "probabilities": {+ "citas": 0.254,+ "laboratorio": 0.2057,+ "farmacia": 0.0193,+ "emergencias": 0.0622,+ "recepcion": 0.1693,+ "colgar": 0.0805,+ "ninguno": 0.209+ },+ "latency_ms": 359.3012500205077+ },+ {+ "id": "cl-009",+ "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.3422,+ "probabilities": {+ "citas": 0.3422,+ "laboratorio": 0.1141,+ "farmacia": 0.0473,+ "emergencias": 0.0202,+ "recepcion": 0.2056,+ "colgar": 0.026,+ "ninguno": 0.2445+ },+ "latency_ms": 389.28054203279316+ },+ {+ "id": "cl-010",+ "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "predicted": "laboratorio",+ "confidence": 0.68,+ "probabilities": {+ "citas": 0.0852,+ "laboratorio": 0.68,+ "farmacia": 0.0387,+ "emergencias": 0.0249,+ "recepcion": 0.054,+ "colgar": 0.0271,+ "ninguno": 0.0899+ },+ "latency_ms": 363.0109580117278+ },+ {+ "id": "cl-011",+ "text": "me hicieron un examen de orina y no me han entregado nada",+ "gold": "laboratorio",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.2302,+ "probabilities": {+ "citas": 0.2302,+ "laboratorio": 0.1937,+ "farmacia": 0.0503,+ "emergencias": 0.2141,+ "recepcion": 0.1261,+ "colgar": 0.0815,+ "ninguno": 0.1041+ },+ "latency_ms": 360.1662080036476+ },+ {+ "id": "cl-012",+ "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.",+ "gold": "farmacia",+ "tags": [+ "direct"+ ],+ "predicted": "farmacia",+ "confidence": 0.8269,+ "probabilities": {+ "citas": 0.0245,+ "laboratorio": 0.0221,+ "farmacia": 0.8269,+ "emergencias": 0.0091,+ "recepcion": 0.0622,+ "colgar": 0.0093,+ "ninguno": 0.0459+ },+ "latency_ms": 399.1541659925133+ },+ {+ "id": "cl-013",+ "text": "Necesito surtir una receta.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "citas",+ "confidence": 0.2991,+ "probabilities": {+ "citas": 0.2991,+ "laboratorio": 0.1077,+ "farmacia": 0.2158,+ "emergencias": 0.0488,+ "recepcion": 0.1591,+ "colgar": 0.0504,+ "ninguno": 0.1191+ },+ "latency_ms": 335.90545802144334+ },+ {+ "id": "cl-014",+ "text": "Con la farmacia, por favor.",+ "gold": "farmacia",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "recepcion",+ "confidence": 0.2511,+ "probabilities": {+ "citas": 0.1897,+ "laboratorio": 0.0217,+ "farmacia": 0.1317,+ "emergencias": 0.0437,+ "recepcion": 0.2511,+ "colgar": 0.1217,+ "ninguno": 0.2403+ },+ "latency_ms": 338.6492499848828+ },+ {+ "id": "cl-015",+ "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.512,+ "probabilities": {+ "citas": 0.1331,+ "laboratorio": 0.1219,+ "farmacia": 0.512,+ "emergencias": 0.0199,+ "recepcion": 0.0832,+ "colgar": 0.0199,+ "ninguno": 0.11+ },+ "latency_ms": 370.4039169824682+ },+ {+ "id": "cl-016",+ "text": "Quiero comprar la medicina que me indicó el doctor.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "predicted": "farmacia",+ "confidence": 0.8595,+ "probabilities": {+ "citas": 0.0409,+ "laboratorio": 0.0077,+ "farmacia": 0.8595,+ "emergencias": 0.0067,+ "recepcion": 0.0243,+ "colgar": 0.0089,+ "ninguno": 0.0521+ },+ "latency_ms": 366.5239999536425+ },+ {+ "id": "cl-017",+ "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.4794,+ "probabilities": {+ "citas": 0.1398,+ "laboratorio": 0.0106,+ "farmacia": 0.0185,+ "emergencias": 0.4794,+ "recepcion": 0.1885,+ "colgar": 0.0738,+ "ninguno": 0.0895+ },+ "latency_ms": 394.6599999908358+ },+ {+ "id": "cl-018",+ "text": "Páseme con emergencias, es urgente.",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "predicted": "emergencias",+ "confidence": 0.8469,+ "probabilities": {+ "citas": 0.0449,+ "laboratorio": 0.0092,+ "farmacia": 0.0148,+ "emergencias": 0.8469,+ "recepcion": 0.0352,+ "colgar": 0.0082,+ "ninguno": 0.0408+ },+ "latency_ms": 366.12712498754263+ },+ {+ "id": "cl-019",+ "text": "Mi hijo se cortó y está sangrando mucho.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.9093,+ "probabilities": {+ "citas": 0.0196,+ "laboratorio": 0.009,+ "farmacia": 0.0074,+ "emergencias": 0.9093,+ "recepcion": 0.0225,+ "colgar": 0.0112,+ "ninguno": 0.0209+ },+ "latency_ms": 404.68908299226314+ },+ {+ "id": "cl-020",+ "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.8977,+ "probabilities": {+ "citas": 0.0162,+ "laboratorio": 0.0351,+ "farmacia": 0.0109,+ "emergencias": 0.8977,+ "recepcion": 0.0112,+ "colgar": 0.0064,+ "ninguno": 0.0224+ },+ "latency_ms": 401.72879199963063+ },+ {+ "id": "cl-021",+ "text": "necesito una ambulancia mi esposa se cayó y no se puede mover",+ "gold": "emergencias",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "emergencias",+ "confidence": 0.2765,+ "probabilities": {+ "citas": 0.2067,+ "laboratorio": 0.0235,+ "farmacia": 0.0227,+ "emergencias": 0.2765,+ "recepcion": 0.2267,+ "colgar": 0.0935,+ "ninguno": 0.1504+ },+ "latency_ms": 371.9845419982448+ },+ {+ "id": "cl-022",+ "text": "Quiero hablar con una persona.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.5164,+ "probabilities": {+ "citas": 0.1475,+ "laboratorio": 0.0097,+ "farmacia": 0.0152,+ "emergencias": 0.0149,+ "recepcion": 0.5164,+ "colgar": 0.0572,+ "ninguno": 0.239+ },+ "latency_ms": 341.13470901502296+ },+ {+ "id": "cl-023",+ "text": "Páseme con alguien que me atienda, por favor.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "predicted": "recepcion",+ "confidence": 0.3497,+ "probabilities": {+ "citas": 0.2166,+ "laboratorio": 0.0109,+ "farmacia": 0.0204,+ "emergencias": 0.0443,+ "recepcion": 0.3497,+ "colgar": 0.0444,+ "ninguno": 0.3138+ },+ "latency_ms": 367.19862499739975+ },+ {+ "id": "cl-024",+ "text": "No quiero hablar con una máquina, comuníqueme con una persona.",+ "gold": "recepcion",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "recepcion",+ "confidence": 0.428,+ "probabilities": {+ "citas": 0.1727,+ "laboratorio": 0.0131,+ "farmacia": 0.0198,+ "emergencias": 0.025,+ "recepcion": 0.428,+ "colgar": 0.0807,+ "ninguno": 0.2607+ },+ "latency_ms": 365.69987499387935+ },+ {+ "id": "cl-025",+ "text": "Con la recepcionista, por favor.",+ "gold": "recepcion",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "recepcion",+ "confidence": 0.4311,+ "probabilities": {+ "citas": 0.1701,+ "laboratorio": 0.0134,+ "farmacia": 0.022,+ "emergencias": 0.0428,+ "recepcion": 0.4311,+ "colgar": 0.1083,+ "ninguno": 0.2122+ },+ "latency_ms": 340.65170801477507+ },+ {+ "id": "cl-026",+ "text": "Muchas gracias, eso era todo. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "recepcion",+ "confidence": 0.291,+ "probabilities": {+ "citas": 0.0764,+ "laboratorio": 0.0526,+ "farmacia": 0.0365,+ "emergencias": 0.043,+ "recepcion": 0.291,+ "colgar": 0.2896,+ "ninguno": 0.2109+ },+ "latency_ms": 333.8374170125462+ },+ {+ "id": "cl-027",+ "text": "Vaya pues, muy amable, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.4878,+ "probabilities": {+ "citas": 0.044,+ "laboratorio": 0.0118,+ "farmacia": 0.0164,+ "emergencias": 0.0203,+ "recepcion": 0.2428,+ "colgar": 0.4878,+ "ninguno": 0.1769+ },+ "latency_ms": 357.38916601985693+ },+ {+ "id": "cl-028",+ "text": "Ya no necesito nada más, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.528,+ "probabilities": {+ "citas": 0.055,+ "laboratorio": 0.011,+ "farmacia": 0.0168,+ "emergencias": 0.0158,+ "recepcion": 0.2806,+ "colgar": 0.528,+ "ninguno": 0.0928+ },+ "latency_ms": 331.13329199841246+ },+ {+ "id": "cl-029",+ "text": "bueno gracias que pase buen dia",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.3359,+ "probabilities": {+ "citas": 0.08,+ "laboratorio": 0.0166,+ "farmacia": 0.0253,+ "emergencias": 0.0287,+ "recepcion": 0.2589,+ "colgar": 0.3359,+ "ninguno": 0.2547+ },+ "latency_ms": 337.79995900113136+ },+ {+ "id": "cl-030",+ "text": "¿A qué hora abre la clínica?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "emergencias",+ "confidence": 0.4197,+ "probabilities": {+ "citas": 0.2466,+ "laboratorio": 0.0198,+ "farmacia": 0.0161,+ "emergencias": 0.4197,+ "recepcion": 0.0701,+ "colgar": 0.0363,+ "ninguno": 0.1914+ },+ "latency_ms": 342.536874988582+ },+ {+ "id": "cl-031",+ "text": "¿Dónde están ubicados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.4603,+ "probabilities": {+ "citas": 0.0923,+ "laboratorio": 0.0155,+ "farmacia": 0.0179,+ "emergencias": 0.1595,+ "recepcion": 0.1448,+ "colgar": 0.1097,+ "ninguno": 0.4603+ },+ "latency_ms": 339.466082979925+ },+ {+ "id": "cl-032",+ "text": "¿Atienden los domingos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.2447,+ "probabilities": {+ "citas": 0.1724,+ "laboratorio": 0.0215,+ "farmacia": 0.0226,+ "emergencias": 0.1386,+ "recepcion": 0.1628,+ "colgar": 0.2373,+ "ninguno": 0.2447+ },+ "latency_ms": 338.92858400940895+ },+ {+ "id": "cl-033",+ "text": "Aló, buenas tardes.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "citas",+ "confidence": 0.2646,+ "probabilities": {+ "citas": 0.2646,+ "laboratorio": 0.0203,+ "farmacia": 0.0233,+ "emergencias": 0.0456,+ "recepcion": 0.2189,+ "colgar": 0.2092,+ "ninguno": 0.218+ },+ "latency_ms": 335.823374975007+ },+ {+ "id": "cl-034",+ "text": "¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.3357,+ "probabilities": {+ "citas": 0.174,+ "laboratorio": 0.0198,+ "farmacia": 0.028,+ "emergencias": 0.0429,+ "recepcion": 0.3065,+ "colgar": 0.0931,+ "ninguno": 0.3357+ },+ "latency_ms": 369.33562596095726+ },+ {+ "id": "cl-035",+ "text": "Un momento, que estoy buscando mi carné.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "recepcion",+ "confidence": 0.296,+ "probabilities": {+ "citas": 0.1298,+ "laboratorio": 0.0217,+ "farmacia": 0.026,+ "emergencias": 0.067,+ "recepcion": 0.296,+ "colgar": 0.2219,+ "ninguno": 0.2376+ },+ "latency_ms": 353.871250001248+ },+ {+ "id": "cl-036",+ "text": "No quiero una cita, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "recepcion",+ "confidence": 0.3979,+ "probabilities": {+ "citas": 0.2009,+ "laboratorio": 0.019,+ "farmacia": 0.0138,+ "emergencias": 0.0938,+ "recepcion": 0.3979,+ "colgar": 0.1108,+ "ninguno": 0.1637+ },+ "latency_ms": 362.76908399304375+ },+ {+ "id": "cl-037",+ "text": "No me pase con el laboratorio, ya tengo mis resultados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "laboratorio",+ "confidence": 0.8747,+ "probabilities": {+ "citas": 0.0356,+ "laboratorio": 0.8747,+ "farmacia": 0.0142,+ "emergencias": 0.0104,+ "recepcion": 0.0204,+ "colgar": 0.0102,+ "ninguno": 0.0346+ },+ "latency_ms": 354.1108749923296+ },+ {+ "id": "cl-038",+ "text": "No es una emergencia, solo es una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "recepcion",+ "confidence": 0.3032,+ "probabilities": {+ "citas": 0.2267,+ "laboratorio": 0.0182,+ "farmacia": 0.0235,+ "emergencias": 0.0638,+ "recepcion": 0.3032,+ "colgar": 0.109,+ "ninguno": 0.2555+ },+ "latency_ms": 356.2425840063952+ },+ {+ "id": "cl-039",+ "text": "No necesito la farmacia, solo quería preguntar dónde quedan.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.2994,+ "probabilities": {+ "citas": 0.2344,+ "laboratorio": 0.0191,+ "farmacia": 0.0759,+ "emergencias": 0.0204,+ "recepcion": 0.1768,+ "colgar": 0.174,+ "ninguno": 0.2994+ },+ "latency_ms": 384.5407500048168+ },+ {+ "id": "cl-040",+ "text": "No cuelgue, todavía tengo otra duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "citas",+ "confidence": 0.266,+ "probabilities": {+ "citas": 0.266,+ "laboratorio": 0.0333,+ "farmacia": 0.0227,+ "emergencias": 0.0874,+ "recepcion": 0.2654,+ "colgar": 0.1016,+ "ninguno": 0.2236+ },+ "latency_ms": 369.5023750187829+ },+ {+ "id": "cl-041",+ "text": "No me transfiera con nadie todavía, primero dígame usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.3242,+ "probabilities": {+ "citas": 0.1367,+ "laboratorio": 0.016,+ "farmacia": 0.022,+ "emergencias": 0.0438,+ "recepcion": 0.2885,+ "colgar": 0.1689,+ "ninguno": 0.3242+ },+ "latency_ms": 361.75737500889227+ },+ {+ "id": "cl-042",+ "text": "no no es urgente no me pase con emergencias",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "emergencias",+ "confidence": 0.3786,+ "probabilities": {+ "citas": 0.1916,+ "laboratorio": 0.0127,+ "farmacia": 0.0186,+ "emergencias": 0.3786,+ "recepcion": 0.1897,+ "colgar": 0.0452,+ "ninguno": 0.1637+ },+ "latency_ms": 345.53941700141877+ },+ {+ "id": "cl-043",+ "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.",+ "gold": "citas",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.5825,+ "probabilities": {+ "citas": 0.2926,+ "laboratorio": 0.5825,+ "farmacia": 0.0122,+ "emergencias": 0.0271,+ "recepcion": 0.0217,+ "colgar": 0.0082,+ "ninguno": 0.0557+ },+ "latency_ms": 384.9291249644011+ },+ {+ "id": "cl-044",+ "text": "El doctor de emergencias me dejó una receta y quiero comprarla.",+ "gold": "farmacia",+ "tags": [+ "hard"+ ],+ "predicted": "farmacia",+ "confidence": 0.5036,+ "probabilities": {+ "citas": 0.0748,+ "laboratorio": 0.0146,+ "farmacia": 0.5036,+ "emergencias": 0.2295,+ "recepcion": 0.077,+ "colgar": 0.0232,+ "ninguno": 0.0773+ },+ "latency_ms": 368.31666697980836+ },+ {+ "id": "cl-045",+ "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.",+ "gold": "laboratorio",+ "tags": [+ "hard"+ ],+ "predicted": "laboratorio",+ "confidence": 0.7413,+ "probabilities": {+ "citas": 0.0352,+ "laboratorio": 0.7413,+ "farmacia": 0.0206,+ "emergencias": 0.0093,+ "recepcion": 0.0608,+ "colgar": 0.0326,+ "ninguno": 0.1003+ },+ "latency_ms": 374.9807080021128+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya__cases__en_criteria.json b/research/benchmarks/es_phone_turns/results/laya__cases__en_criteria.jsonnew file mode 100644index 00000000..4edcdbe6--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya__cases__en_criteria.json@@ -0,0 +1,2418 @@+{+ "meta": {+ "model": "convaiinnovations/laya",+ "subfolder": null,+ "rung": "en_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 2163.256209983956+ },+ "summary": {+ "n": 112,+ "accuracy": 0.6339285714285714,+ "macro_f1": 0.6332574909471128,+ "ece": 0.20257410714285717,+ "mean_confidence": 0.5591294642857142,+ "majority_baseline": 0.3125,+ "wrong_actions": 35,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 0.875+ },+ "direct": {+ "n": 18,+ "accuracy": 0.5+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "hard": {+ "n": 6,+ "accuracy": 0.5+ },+ "hn": {+ "n": 9,+ "accuracy": 1.0+ },+ "human": {+ "n": 13,+ "accuracy": 0.6923076923076923+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.6666666666666666+ },+ "negation": {+ "n": 15,+ "accuracy": 0.5333333333333333+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.6666666666666666+ },+ "open": {+ "n": 11,+ "accuracy": 0.5454545454545454+ },+ "short": {+ "n": 5,+ "accuracy": 0.6+ }+ },+ "confusion": {+ "colgar->operadora": 1,+ "facturacion->ninguno": 1,+ "facturacion->operadora": 1,+ "facturacion->soporte": 2,+ "ninguno->colgar": 3,+ "ninguno->facturacion": 1,+ "ninguno->operadora": 10,+ "ninguno->ventas": 1,+ "operadora->ninguno": 5,+ "soporte->colgar": 3,+ "soporte->facturacion": 1,+ "soporte->operadora": 8,+ "ventas->facturacion": 2,+ "ventas->operadora": 2+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 53,+ "coverage": 0.4732142857142857,+ "action_recall": 0.44155844155844154,+ "wrong": 19,+ "precision": 0.6415094339622641+ },+ {+ "threshold": 0.6,+ "fast": 41,+ "coverage": 0.36607142857142855,+ "action_recall": 0.33766233766233766,+ "wrong": 15,+ "precision": 0.6341463414634146+ },+ {+ "threshold": 0.7,+ "fast": 28,+ "coverage": 0.25,+ "action_recall": 0.24675324675324675,+ "wrong": 9,+ "precision": 0.6785714285714286+ },+ {+ "threshold": 0.8,+ "fast": 15,+ "coverage": 0.13392857142857142,+ "action_recall": 0.18181818181818182,+ "wrong": 1,+ "precision": 0.9333333333333333+ },+ {+ "threshold": 0.9,+ "fast": 9,+ "coverage": 0.08035714285714286,+ "action_recall": 0.1038961038961039,+ "wrong": 1,+ "precision": 0.8888888888888888+ },+ {+ "threshold": 0.95,+ "fast": 7,+ "coverage": 0.0625,+ "action_recall": 0.09090909090909091,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.99,+ "fast": 2,+ "coverage": 0.017857142857142856,+ "action_recall": 0.025974025974025976,+ "wrong": 0,+ "precision": 1.0+ }+ ],+ "latency_ms": {+ "p50": 374.0414580097422,+ "p95": 413.98437501629815,+ "min": 332.39129203138873+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "facturacion",+ "confidence": 0.9328+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "colgar",+ "confidence": 0.5268+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ventas",+ "confidence": 0.9564+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "facturacion",+ "confidence": 0.4501+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.5581,+ "probabilities": {+ "ventas": 0.5581,+ "soporte": 0.0194,+ "facturacion": 0.0626,+ "operadora": 0.1294,+ "colgar": 0.0393,+ "ninguno": 0.1912+ },+ "latency_ms": 391.8517080019228+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.4383,+ "probabilities": {+ "ventas": 0.4383,+ "soporte": 0.0326,+ "facturacion": 0.0656,+ "operadora": 0.1279,+ "colgar": 0.0964,+ "ninguno": 0.2392+ },+ "latency_ms": 369.1455000080168+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.6207,+ "probabilities": {+ "ventas": 0.1821,+ "soporte": 0.0296,+ "facturacion": 0.0488,+ "operadora": 0.6207,+ "colgar": 0.0246,+ "ninguno": 0.0943+ },+ "latency_ms": 381.1727080028504+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.4161,+ "probabilities": {+ "ventas": 0.4161,+ "soporte": 0.0286,+ "facturacion": 0.1821,+ "operadora": 0.1526,+ "colgar": 0.0745,+ "ninguno": 0.146+ },+ "latency_ms": 355.80354201374575+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.4289,+ "probabilities": {+ "ventas": 0.1765,+ "soporte": 0.0709,+ "facturacion": 0.0405,+ "operadora": 0.4289,+ "colgar": 0.0735,+ "ninguno": 0.2097+ },+ "latency_ms": 375.5077500245534+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.6129,+ "probabilities": {+ "ventas": 0.6129,+ "soporte": 0.0156,+ "facturacion": 0.1302,+ "operadora": 0.1676,+ "colgar": 0.0165,+ "ninguno": 0.0571+ },+ "latency_ms": 346.39154199976474+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.8695,+ "probabilities": {+ "ventas": 0.8695,+ "soporte": 0.0077,+ "facturacion": 0.0248,+ "operadora": 0.0447,+ "colgar": 0.0101,+ "ninguno": 0.0432+ },+ "latency_ms": 348.74220797792077+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.7469,+ "probabilities": {+ "ventas": 0.0755,+ "soporte": 0.0252,+ "facturacion": 0.7469,+ "operadora": 0.0589,+ "colgar": 0.0264,+ "ninguno": 0.067+ },+ "latency_ms": 375.64591702539474+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.7244,+ "probabilities": {+ "ventas": 0.7244,+ "soporte": 0.0102,+ "facturacion": 0.0048,+ "operadora": 0.1267,+ "colgar": 0.0294,+ "ninguno": 0.1045+ },+ "latency_ms": 374.8645830200985+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.4149,+ "probabilities": {+ "ventas": 0.4149,+ "soporte": 0.0351,+ "facturacion": 0.0302,+ "operadora": 0.1702,+ "colgar": 0.1092,+ "ninguno": 0.2405+ },+ "latency_ms": 344.8205000022426+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.39,+ "probabilities": {+ "ventas": 0.39,+ "soporte": 0.023,+ "facturacion": 0.0508,+ "operadora": 0.3584,+ "colgar": 0.0854,+ "ninguno": 0.0924+ },+ "latency_ms": 383.62650002818555+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.3194,+ "probabilities": {+ "ventas": 0.3194,+ "soporte": 0.0658,+ "facturacion": 0.0683,+ "operadora": 0.1915,+ "colgar": 0.1037,+ "ninguno": 0.2513+ },+ "latency_ms": 370.695625024382+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8981,+ "probabilities": {+ "ventas": 0.8981,+ "soporte": 0.004,+ "facturacion": 0.0225,+ "operadora": 0.0355,+ "colgar": 0.0153,+ "ninguno": 0.0245+ },+ "latency_ms": 386.3446670002304+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.3729,+ "probabilities": {+ "ventas": 0.3729,+ "soporte": 0.1066,+ "facturacion": 0.0176,+ "operadora": 0.2894,+ "colgar": 0.0379,+ "ninguno": 0.1755+ },+ "latency_ms": 374.95912495069206+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.5581,+ "probabilities": {+ "ventas": 0.0402,+ "soporte": 0.0866,+ "facturacion": 0.0221,+ "operadora": 0.5581,+ "colgar": 0.081,+ "ninguno": 0.2119+ },+ "latency_ms": 353.30416704528034+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.9341,+ "probabilities": {+ "ventas": 0.007,+ "soporte": 0.0267,+ "facturacion": 0.0033,+ "operadora": 0.9341,+ "colgar": 0.0044,+ "ninguno": 0.0245+ },+ "latency_ms": 380.61349996132776+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.703,+ "probabilities": {+ "ventas": 0.0229,+ "soporte": 0.1104,+ "facturacion": 0.0065,+ "operadora": 0.703,+ "colgar": 0.0437,+ "ninguno": 0.1135+ },+ "latency_ms": 345.9388749906793+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.3592,+ "probabilities": {+ "ventas": 0.0617,+ "soporte": 0.0556,+ "facturacion": 0.0366,+ "operadora": 0.3592,+ "colgar": 0.1606,+ "ninguno": 0.3263+ },+ "latency_ms": 385.5957090272568+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.997,+ "probabilities": {+ "ventas": 0.0001,+ "soporte": 0.997,+ "facturacion": 0.0001,+ "operadora": 0.0017,+ "colgar": 0.0001,+ "ninguno": 0.0011+ },+ "latency_ms": 350.98645801190287+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.5004,+ "probabilities": {+ "ventas": 0.0444,+ "soporte": 0.0487,+ "facturacion": 0.0181,+ "operadora": 0.13,+ "colgar": 0.5004,+ "ninguno": 0.2584+ },+ "latency_ms": 350.04220897099003+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.4862,+ "probabilities": {+ "ventas": 0.0173,+ "soporte": 0.3315,+ "facturacion": 0.0085,+ "operadora": 0.4862,+ "colgar": 0.0333,+ "ninguno": 0.1233+ },+ "latency_ms": 358.18754095816985+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.7328,+ "probabilities": {+ "ventas": 0.0336,+ "soporte": 0.0218,+ "facturacion": 0.0211,+ "operadora": 0.1516,+ "colgar": 0.7328,+ "ninguno": 0.039+ },+ "latency_ms": 369.4530840148218+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.4618,+ "probabilities": {+ "ventas": 0.0288,+ "soporte": 0.1744,+ "facturacion": 0.0224,+ "operadora": 0.4618,+ "colgar": 0.1009,+ "ninguno": 0.2117+ },+ "latency_ms": 364.0289169852622+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.4524,+ "probabilities": {+ "ventas": 0.0142,+ "soporte": 0.4524,+ "facturacion": 0.0082,+ "operadora": 0.3621,+ "colgar": 0.0387,+ "ninguno": 0.1244+ },+ "latency_ms": 366.86795903369784+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.4732,+ "probabilities": {+ "ventas": 0.0141,+ "soporte": 0.4732,+ "facturacion": 0.0069,+ "operadora": 0.2553,+ "colgar": 0.042,+ "ninguno": 0.2086+ },+ "latency_ms": 376.6238340176642+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.3366,+ "probabilities": {+ "ventas": 0.0313,+ "soporte": 0.2529,+ "facturacion": 0.0149,+ "operadora": 0.3366,+ "colgar": 0.0531,+ "ninguno": 0.3113+ },+ "latency_ms": 370.9825000260025+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.3626,+ "probabilities": {+ "ventas": 0.0533,+ "soporte": 0.105,+ "facturacion": 0.0305,+ "operadora": 0.3626,+ "colgar": 0.1875,+ "ninguno": 0.261+ },+ "latency_ms": 413.1301669985987+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.7851,+ "probabilities": {+ "ventas": 0.0126,+ "soporte": 0.0471,+ "facturacion": 0.7851,+ "operadora": 0.081,+ "colgar": 0.0206,+ "ninguno": 0.0536+ },+ "latency_ms": 351.1894170078449+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.6503,+ "probabilities": {+ "ventas": 0.0296,+ "soporte": 0.0177,+ "facturacion": 0.6503,+ "operadora": 0.1923,+ "colgar": 0.0352,+ "ninguno": 0.0749+ },+ "latency_ms": 332.39129203138873+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.3053,+ "probabilities": {+ "ventas": 0.1475,+ "soporte": 0.1076,+ "facturacion": 0.1669,+ "operadora": 0.2154,+ "colgar": 0.0573,+ "ninguno": 0.3053+ },+ "latency_ms": 352.35837497748435+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.6274,+ "probabilities": {+ "ventas": 0.0353,+ "soporte": 0.0131,+ "facturacion": 0.6274,+ "operadora": 0.2525,+ "colgar": 0.0136,+ "ninguno": 0.0582+ },+ "latency_ms": 372.3908750107512+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.4644,+ "probabilities": {+ "ventas": 0.0639,+ "soporte": 0.0303,+ "facturacion": 0.4644,+ "operadora": 0.2363,+ "colgar": 0.0866,+ "ninguno": 0.1184+ },+ "latency_ms": 376.9690420012921+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.2795,+ "probabilities": {+ "ventas": 0.0871,+ "soporte": 0.0441,+ "facturacion": 0.2657,+ "operadora": 0.2795,+ "colgar": 0.1079,+ "ninguno": 0.2156+ },+ "latency_ms": 362.4972919933498+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.5541,+ "probabilities": {+ "ventas": 0.0856,+ "soporte": 0.0181,+ "facturacion": 0.5541,+ "operadora": 0.1487,+ "colgar": 0.0719,+ "ninguno": 0.1217+ },+ "latency_ms": 362.74945904733613+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9785,+ "probabilities": {+ "ventas": 0.0015,+ "soporte": 0.0012,+ "facturacion": 0.9785,+ "operadora": 0.0103,+ "colgar": 0.0027,+ "ninguno": 0.0057+ },+ "latency_ms": 398.54124997509643+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8497,+ "probabilities": {+ "ventas": 0.0305,+ "soporte": 0.0069,+ "facturacion": 0.8497,+ "operadora": 0.0414,+ "colgar": 0.0287,+ "ninguno": 0.0428+ },+ "latency_ms": 382.6467089820653+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.9738,+ "probabilities": {+ "ventas": 0.0026,+ "soporte": 0.0021,+ "facturacion": 0.9738,+ "operadora": 0.0104,+ "colgar": 0.0015,+ "ninguno": 0.0095+ },+ "latency_ms": 391.77404198562726+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9671,+ "probabilities": {+ "ventas": 0.0151,+ "soporte": 0.002,+ "facturacion": 0.9671,+ "operadora": 0.0104,+ "colgar": 0.0013,+ "ninguno": 0.0041+ },+ "latency_ms": 381.81233301293105+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.2885,+ "probabilities": {+ "ventas": 0.1078,+ "soporte": 0.2885,+ "facturacion": 0.0693,+ "operadora": 0.2259,+ "colgar": 0.1162,+ "ninguno": 0.1923+ },+ "latency_ms": 371.15670897765085+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.3842,+ "probabilities": {+ "ventas": 0.0359,+ "soporte": 0.1176,+ "facturacion": 0.3842,+ "operadora": 0.2284,+ "colgar": 0.0781,+ "ninguno": 0.1559+ },+ "latency_ms": 413.98437501629815+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.9503,+ "probabilities": {+ "ventas": 0.0015,+ "soporte": 0.01,+ "facturacion": 0.9503,+ "operadora": 0.0199,+ "colgar": 0.0035,+ "ninguno": 0.0148+ },+ "latency_ms": 386.28254196373746+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.8254,+ "probabilities": {+ "ventas": 0.0665,+ "soporte": 0.0097,+ "facturacion": 0.8254,+ "operadora": 0.0412,+ "colgar": 0.0263,+ "ninguno": 0.031+ },+ "latency_ms": 364.36000000685453+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.6393,+ "probabilities": {+ "ventas": 0.0295,+ "soporte": 0.0544,+ "facturacion": 0.0116,+ "operadora": 0.6393,+ "colgar": 0.0594,+ "ninguno": 0.2057+ },+ "latency_ms": 356.9403340225108+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.6825,+ "probabilities": {+ "ventas": 0.0189,+ "soporte": 0.0337,+ "facturacion": 0.0091,+ "operadora": 0.6825,+ "colgar": 0.05,+ "ninguno": 0.2058+ },+ "latency_ms": 357.2666249820031+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "ninguno",+ "confidence": 0.4401,+ "probabilities": {+ "ventas": 0.0466,+ "soporte": 0.0473,+ "facturacion": 0.0186,+ "operadora": 0.4003,+ "colgar": 0.0471,+ "ninguno": 0.4401+ },+ "latency_ms": 424.88683405099437+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.7779,+ "probabilities": {+ "ventas": 0.02,+ "soporte": 0.0256,+ "facturacion": 0.0134,+ "operadora": 0.7779,+ "colgar": 0.044,+ "ninguno": 0.1192+ },+ "latency_ms": 379.723040969111+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "ninguno",+ "confidence": 0.3201,+ "probabilities": {+ "ventas": 0.0812,+ "soporte": 0.0408,+ "facturacion": 0.0822,+ "operadora": 0.2748,+ "colgar": 0.2008,+ "ninguno": 0.3201+ },+ "latency_ms": 378.3723340020515+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.5205,+ "probabilities": {+ "ventas": 0.0788,+ "soporte": 0.045,+ "facturacion": 0.0201,+ "operadora": 0.5205,+ "colgar": 0.0796,+ "ninguno": 0.2561+ },+ "latency_ms": 390.8529590116814+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.6663,+ "probabilities": {+ "ventas": 0.0624,+ "soporte": 0.038,+ "facturacion": 0.0208,+ "operadora": 0.6663,+ "colgar": 0.0497,+ "ninguno": 0.1628+ },+ "latency_ms": 375.4713329835795+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.5181,+ "probabilities": {+ "ventas": 0.0519,+ "soporte": 0.041,+ "facturacion": 0.019,+ "operadora": 0.2722,+ "colgar": 0.0978,+ "ninguno": 0.5181+ },+ "latency_ms": 367.26095899939537+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.4621,+ "probabilities": {+ "ventas": 0.0466,+ "soporte": 0.0961,+ "facturacion": 0.02,+ "operadora": 0.4621,+ "colgar": 0.1273,+ "ninguno": 0.248+ },+ "latency_ms": 405.7537909829989+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.5523,+ "probabilities": {+ "ventas": 0.0127,+ "soporte": 0.0192,+ "facturacion": 0.0071,+ "operadora": 0.5523,+ "colgar": 0.011,+ "ninguno": 0.3977+ },+ "latency_ms": 375.2713750000112+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "ninguno",+ "confidence": 0.3588,+ "probabilities": {+ "ventas": 0.0943,+ "soporte": 0.136,+ "facturacion": 0.0201,+ "operadora": 0.2741,+ "colgar": 0.1168,+ "ninguno": 0.3588+ },+ "latency_ms": 346.6659999685362+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.488,+ "probabilities": {+ "ventas": 0.0493,+ "soporte": 0.0659,+ "facturacion": 0.039,+ "operadora": 0.488,+ "colgar": 0.1192,+ "ninguno": 0.2385+ },+ "latency_ms": 381.6182499867864+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.6415,+ "probabilities": {+ "ventas": 0.0298,+ "soporte": 0.0456,+ "facturacion": 0.0189,+ "operadora": 0.0886,+ "colgar": 0.6415,+ "ninguno": 0.1756+ },+ "latency_ms": 358.1794159836136+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.9959,+ "probabilities": {+ "ventas": 0.0004,+ "soporte": 0.0003,+ "facturacion": 0.0002,+ "operadora": 0.0012,+ "colgar": 0.9959,+ "ninguno": 0.002+ },+ "latency_ms": 365.3188750031404+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.4682,+ "probabilities": {+ "ventas": 0.0597,+ "soporte": 0.0738,+ "facturacion": 0.0248,+ "operadora": 0.1393,+ "colgar": 0.4682,+ "ninguno": 0.2342+ },+ "latency_ms": 376.02925003739074+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.5864,+ "probabilities": {+ "ventas": 0.0493,+ "soporte": 0.0395,+ "facturacion": 0.0205,+ "operadora": 0.1256,+ "colgar": 0.5864,+ "ninguno": 0.1787+ },+ "latency_ms": 379.69249999150634+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.5811,+ "probabilities": {+ "ventas": 0.0281,+ "soporte": 0.027,+ "facturacion": 0.0085,+ "operadora": 0.3207,+ "colgar": 0.5811,+ "ninguno": 0.0346+ },+ "latency_ms": 377.97179201152176+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.4071,+ "probabilities": {+ "ventas": 0.0379,+ "soporte": 0.0818,+ "facturacion": 0.0231,+ "operadora": 0.2374,+ "colgar": 0.4071,+ "ninguno": 0.2126+ },+ "latency_ms": 374.0414580097422+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.9865,+ "probabilities": {+ "ventas": 0.0014,+ "soporte": 0.0009,+ "facturacion": 0.0005,+ "operadora": 0.0054,+ "colgar": 0.9865,+ "ninguno": 0.0053+ },+ "latency_ms": 408.08829199522734+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "colgar",+ "confidence": 0.3869,+ "probabilities": {+ "ventas": 0.0748,+ "soporte": 0.0541,+ "facturacion": 0.0358,+ "operadora": 0.1869,+ "colgar": 0.3869,+ "ninguno": 0.2615+ },+ "latency_ms": 403.47650001058355+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.4475,+ "probabilities": {+ "ventas": 0.0536,+ "soporte": 0.0508,+ "facturacion": 0.0241,+ "operadora": 0.4475,+ "colgar": 0.1114,+ "ninguno": 0.3126+ },+ "latency_ms": 377.70645797718316+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.7183,+ "probabilities": {+ "ventas": 0.0275,+ "soporte": 0.0301,+ "facturacion": 0.0106,+ "operadora": 0.1058,+ "colgar": 0.7183,+ "ninguno": 0.1077+ },+ "latency_ms": 456.7710410337895+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.8465,+ "probabilities": {+ "ventas": 0.0075,+ "soporte": 0.0179,+ "facturacion": 0.0028,+ "operadora": 0.0567,+ "colgar": 0.8465,+ "ninguno": 0.0686+ },+ "latency_ms": 459.47745797457173+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "colgar",+ "confidence": 0.3543,+ "probabilities": {+ "ventas": 0.0831,+ "soporte": 0.0614,+ "facturacion": 0.0465,+ "operadora": 0.1973,+ "colgar": 0.3543,+ "ninguno": 0.2574+ },+ "latency_ms": 384.4328750274144+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.3467,+ "probabilities": {+ "ventas": 0.0576,+ "soporte": 0.0537,+ "facturacion": 0.028,+ "operadora": 0.3467,+ "colgar": 0.2888,+ "ninguno": 0.2253+ },+ "latency_ms": 369.06649998854846+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.408,+ "probabilities": {+ "ventas": 0.0486,+ "soporte": 0.0687,+ "facturacion": 0.0347,+ "operadora": 0.2649,+ "colgar": 0.1751,+ "ninguno": 0.408+ },+ "latency_ms": 361.6675839875825+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.7255,+ "probabilities": {+ "ventas": 0.0265,+ "soporte": 0.0481,+ "facturacion": 0.0359,+ "operadora": 0.7255,+ "colgar": 0.0335,+ "ninguno": 0.1306+ },+ "latency_ms": 360.3677499922924+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.3193,+ "probabilities": {+ "ventas": 0.1172,+ "soporte": 0.0821,+ "facturacion": 0.096,+ "operadora": 0.2329,+ "colgar": 0.1525,+ "ninguno": 0.3193+ },+ "latency_ms": 374.36925002839416+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.6146,+ "probabilities": {+ "ventas": 0.0339,+ "soporte": 0.0599,+ "facturacion": 0.024,+ "operadora": 0.1713,+ "colgar": 0.0964,+ "ninguno": 0.6146+ },+ "latency_ms": 398.5925830202177+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.5478,+ "probabilities": {+ "ventas": 0.0492,+ "soporte": 0.0611,+ "facturacion": 0.0289,+ "operadora": 0.5478,+ "colgar": 0.1006,+ "ninguno": 0.2125+ },+ "latency_ms": 372.4281669710763+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.319,+ "probabilities": {+ "ventas": 0.1329,+ "soporte": 0.117,+ "facturacion": 0.1609,+ "operadora": 0.1775,+ "colgar": 0.0926,+ "ninguno": 0.319+ },+ "latency_ms": 360.8412080211565+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.437,+ "probabilities": {+ "ventas": 0.0475,+ "soporte": 0.0934,+ "facturacion": 0.0273,+ "operadora": 0.437,+ "colgar": 0.1862,+ "ninguno": 0.2085+ },+ "latency_ms": 348.32079196348786+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "operadora",+ "confidence": 0.6448,+ "probabilities": {+ "ventas": 0.0245,+ "soporte": 0.0246,+ "facturacion": 0.0138,+ "operadora": 0.6448,+ "colgar": 0.045,+ "ninguno": 0.2473+ },+ "latency_ms": 366.17583298357204+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.3746,+ "probabilities": {+ "ventas": 0.1768,+ "soporte": 0.0832,+ "facturacion": 0.0331,+ "operadora": 0.1623,+ "colgar": 0.1699,+ "ninguno": 0.3746+ },+ "latency_ms": 373.0179999838583+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "colgar",+ "confidence": 0.5294,+ "probabilities": {+ "ventas": 0.0482,+ "soporte": 0.038,+ "facturacion": 0.0207,+ "operadora": 0.1664,+ "colgar": 0.5294,+ "ninguno": 0.1974+ },+ "latency_ms": 387.2090000077151+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.5082,+ "probabilities": {+ "ventas": 0.0544,+ "soporte": 0.0466,+ "facturacion": 0.0214,+ "operadora": 0.2368,+ "colgar": 0.1325,+ "ninguno": 0.5082+ },+ "latency_ms": 361.73954204423353+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ninguno",+ "confidence": 0.4745,+ "probabilities": {+ "ventas": 0.066,+ "soporte": 0.0333,+ "facturacion": 0.0231,+ "operadora": 0.2292,+ "colgar": 0.1739,+ "ninguno": 0.4745+ },+ "latency_ms": 341.9756249641068+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.3263,+ "probabilities": {+ "ventas": 0.0661,+ "soporte": 0.0531,+ "facturacion": 0.0292,+ "operadora": 0.3022,+ "colgar": 0.223,+ "ninguno": 0.3263+ },+ "latency_ms": 353.26920897932723+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "ninguno",+ "confidence": 0.329,+ "probabilities": {+ "ventas": 0.1052,+ "soporte": 0.0797,+ "facturacion": 0.0531,+ "operadora": 0.3236,+ "colgar": 0.1094,+ "ninguno": 0.329+ },+ "latency_ms": 378.1042920309119+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.3463,+ "probabilities": {+ "ventas": 0.0733,+ "soporte": 0.059,+ "facturacion": 0.0817,+ "operadora": 0.326,+ "colgar": 0.1137,+ "ninguno": 0.3463+ },+ "latency_ms": 394.4420419866219+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "operadora",+ "confidence": 0.4731,+ "probabilities": {+ "ventas": 0.0586,+ "soporte": 0.0607,+ "facturacion": 0.0282,+ "operadora": 0.4731,+ "colgar": 0.1467,+ "ninguno": 0.2327+ },+ "latency_ms": 487.9027919960208+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "operadora",+ "confidence": 0.3854,+ "probabilities": {+ "ventas": 0.0777,+ "soporte": 0.0478,+ "facturacion": 0.0326,+ "operadora": 0.3854,+ "colgar": 0.1142,+ "ninguno": 0.3423+ },+ "latency_ms": 400.96533397445455+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.571,+ "probabilities": {+ "ventas": 0.1138,+ "soporte": 0.0211,+ "facturacion": 0.0269,+ "operadora": 0.2036,+ "colgar": 0.0637,+ "ninguno": 0.571+ },+ "latency_ms": 414.76112604141235+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.607,+ "probabilities": {+ "ventas": 0.024,+ "soporte": 0.0688,+ "facturacion": 0.0087,+ "operadora": 0.607,+ "colgar": 0.095,+ "ninguno": 0.1965+ },+ "latency_ms": 413.44274999573827+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.393,+ "probabilities": {+ "ventas": 0.1065,+ "soporte": 0.0314,+ "facturacion": 0.1279,+ "operadora": 0.309,+ "colgar": 0.0321,+ "ninguno": 0.393+ },+ "latency_ms": 377.8903750353493+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.5555,+ "probabilities": {+ "ventas": 0.0312,+ "soporte": 0.0363,+ "facturacion": 0.0127,+ "operadora": 0.2913,+ "colgar": 0.073,+ "ninguno": 0.5555+ },+ "latency_ms": 375.21274999016896+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.7361,+ "probabilities": {+ "ventas": 0.0208,+ "soporte": 0.0237,+ "facturacion": 0.0097,+ "operadora": 0.7361,+ "colgar": 0.0583,+ "ninguno": 0.1513+ },+ "latency_ms": 368.2942079612985+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.3228,+ "probabilities": {+ "ventas": 0.2925,+ "soporte": 0.0333,+ "facturacion": 0.0402,+ "operadora": 0.1479,+ "colgar": 0.1634,+ "ninguno": 0.3228+ },+ "latency_ms": 371.8598340055905+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.4584,+ "probabilities": {+ "ventas": 0.012,+ "soporte": 0.1528,+ "facturacion": 0.0039,+ "operadora": 0.3544,+ "colgar": 0.0185,+ "ninguno": 0.4584+ },+ "latency_ms": 447.74937501642853+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "facturacion",+ "confidence": 0.7539,+ "probabilities": {+ "ventas": 0.0166,+ "soporte": 0.0209,+ "facturacion": 0.7539,+ "operadora": 0.0367,+ "colgar": 0.0809,+ "ninguno": 0.091+ },+ "latency_ms": 401.74700098577887+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.7048,+ "probabilities": {+ "ventas": 0.7048,+ "soporte": 0.004,+ "facturacion": 0.0476,+ "operadora": 0.0357,+ "colgar": 0.0762,+ "ninguno": 0.1317+ },+ "latency_ms": 384.868125023786+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "operadora",+ "confidence": 0.4047,+ "probabilities": {+ "ventas": 0.0587,+ "soporte": 0.0358,+ "facturacion": 0.0138,+ "operadora": 0.4047,+ "colgar": 0.1505,+ "ninguno": 0.3365+ },+ "latency_ms": 351.86420899117365+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.5329,+ "probabilities": {+ "ventas": 0.0412,+ "soporte": 0.0713,+ "facturacion": 0.0199,+ "operadora": 0.1984,+ "colgar": 0.1363,+ "ninguno": 0.5329+ },+ "latency_ms": 362.3975830269046+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "colgar",+ "confidence": 0.6653,+ "probabilities": {+ "ventas": 0.0216,+ "soporte": 0.0168,+ "facturacion": 0.0087,+ "operadora": 0.1509,+ "colgar": 0.6653,+ "ninguno": 0.1366+ },+ "latency_ms": 376.61137495888397+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.4475,+ "probabilities": {+ "ventas": 0.0458,+ "soporte": 0.0788,+ "facturacion": 0.0205,+ "operadora": 0.1694,+ "colgar": 0.238,+ "ninguno": 0.4475+ },+ "latency_ms": 386.7618330405094+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "colgar",+ "confidence": 0.4429,+ "probabilities": {+ "ventas": 0.0723,+ "soporte": 0.1422,+ "facturacion": 0.0216,+ "operadora": 0.0992,+ "colgar": 0.4429,+ "ninguno": 0.2218+ },+ "latency_ms": 385.0184589973651+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.7496,+ "probabilities": {+ "ventas": 0.0318,+ "soporte": 0.7496,+ "facturacion": 0.0084,+ "operadora": 0.1649,+ "colgar": 0.0158,+ "ninguno": 0.0295+ },+ "latency_ms": 345.9852089872584+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.6059,+ "probabilities": {+ "ventas": 0.0062,+ "soporte": 0.6059,+ "facturacion": 0.0324,+ "operadora": 0.2714,+ "colgar": 0.0571,+ "ninguno": 0.0269+ },+ "latency_ms": 387.6709999749437+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.462,+ "probabilities": {+ "ventas": 0.3412,+ "soporte": 0.0204,+ "facturacion": 0.462,+ "operadora": 0.0703,+ "colgar": 0.047,+ "ninguno": 0.0591+ },+ "latency_ms": 391.448333975859+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "ninguno",+ "confidence": 0.29,+ "probabilities": {+ "ventas": 0.2478,+ "soporte": 0.07,+ "facturacion": 0.0379,+ "operadora": 0.2443,+ "colgar": 0.11,+ "ninguno": 0.29+ },+ "latency_ms": 402.644791000057+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.8249,+ "probabilities": {+ "ventas": 0.0099,+ "soporte": 0.0368,+ "facturacion": 0.8249,+ "operadora": 0.0485,+ "colgar": 0.0278,+ "ninguno": 0.0522+ },+ "latency_ms": 382.24649999756366+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "colgar",+ "confidence": 0.5476,+ "probabilities": {+ "ventas": 0.0851,+ "soporte": 0.0306,+ "facturacion": 0.1009,+ "operadora": 0.1858,+ "colgar": 0.5476,+ "ninguno": 0.05+ },+ "latency_ms": 370.2079170034267+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "colgar",+ "confidence": 0.6876,+ "probabilities": {+ "ventas": 0.0373,+ "soporte": 0.0377,+ "facturacion": 0.0147,+ "operadora": 0.1161,+ "colgar": 0.6876,+ "ninguno": 0.1065+ },+ "latency_ms": 357.59520798455924+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.5024,+ "probabilities": {+ "ventas": 0.5024,+ "soporte": 0.0196,+ "facturacion": 0.0649,+ "operadora": 0.1649,+ "colgar": 0.0727,+ "ninguno": 0.1755+ },+ "latency_ms": 357.9827919602394+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.93,+ "probabilities": {+ "ventas": 0.0216,+ "soporte": 0.0017,+ "facturacion": 0.93,+ "operadora": 0.0239,+ "colgar": 0.0053,+ "ninguno": 0.0176+ },+ "latency_ms": 373.022084007971+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "operadora",+ "confidence": 0.7598,+ "probabilities": {+ "ventas": 0.0346,+ "soporte": 0.0247,+ "facturacion": 0.0086,+ "operadora": 0.7598,+ "colgar": 0.0518,+ "ninguno": 0.1205+ },+ "latency_ms": 347.95987501274794+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "colgar",+ "confidence": 0.4261,+ "probabilities": {+ "ventas": 0.0525,+ "soporte": 0.0557,+ "facturacion": 0.0242,+ "operadora": 0.2093,+ "colgar": 0.4261,+ "ninguno": 0.2321+ },+ "latency_ms": 335.82320902496576+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "ninguno",+ "confidence": 0.3572,+ "probabilities": {+ "ventas": 0.0685,+ "soporte": 0.0377,+ "facturacion": 0.0239,+ "operadora": 0.3118,+ "colgar": 0.201,+ "ninguno": 0.3572+ },+ "latency_ms": 339.5481670158915+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ninguno",+ "confidence": 0.431,+ "probabilities": {+ "ventas": 0.1023,+ "soporte": 0.0344,+ "facturacion": 0.0235,+ "operadora": 0.3495,+ "colgar": 0.0593,+ "ninguno": 0.431+ },+ "latency_ms": 359.8882920341566+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "ninguno",+ "confidence": 0.4448,+ "probabilities": {+ "ventas": 0.0759,+ "soporte": 0.0573,+ "facturacion": 0.029,+ "operadora": 0.2778,+ "colgar": 0.1152,+ "ninguno": 0.4448+ },+ "latency_ms": 340.2288749930449+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.9328,+ "probabilities": {+ "ventas": 0.0285,+ "soporte": 0.0085,+ "facturacion": 0.9328,+ "operadora": 0.011,+ "colgar": 0.0061,+ "ninguno": 0.013+ },+ "latency_ms": 349.0056259906851+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "colgar",+ "confidence": 0.5268,+ "probabilities": {+ "ventas": 0.1395,+ "soporte": 0.0192,+ "facturacion": 0.0355,+ "operadora": 0.2299,+ "colgar": 0.5268,+ "ninguno": 0.0491+ },+ "latency_ms": 332.8808750375174+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.9564,+ "probabilities": {+ "ventas": 0.9564,+ "soporte": 0.0017,+ "facturacion": 0.0042,+ "operadora": 0.007,+ "colgar": 0.0048,+ "ninguno": 0.0259+ },+ "latency_ms": 348.7939169863239+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "facturacion",+ "confidence": 0.4501,+ "probabilities": {+ "ventas": 0.1429,+ "soporte": 0.0578,+ "facturacion": 0.4501,+ "operadora": 0.1651,+ "colgar": 0.0825,+ "ninguno": 0.1016+ },+ "latency_ms": 354.8308330355212+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/laya__cases__es_criteria.json b/research/benchmarks/es_phone_turns/results/laya__cases__es_criteria.jsonnew file mode 100644index 00000000..9fcfdae7--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/laya__cases__es_criteria.json@@ -0,0 +1,2419 @@+{+ "meta": {+ "model": "convaiinnovations/laya",+ "subfolder": null,+ "rung": "es_criteria",+ "dataset": "cases",+ "lang": "es",+ "calibration": null,+ "laya": "0.3.22",+ "torch": "2.14.0+cpu",+ "threads": 4,+ "device": "cpu",+ "machine": "aarch64",+ "system": "Linux-6.12.76-linuxkit-aarch64-with-glibc2.36",+ "omp_num_threads": "4",+ "load_ms": 3076.7412099521607+ },+ "summary": {+ "n": 112,+ "accuracy": 0.3125,+ "macro_f1": 0.27622303622303623,+ "ece": 0.12414821428571429,+ "mean_confidence": 0.3738714285714286,+ "majority_baseline": 0.3125,+ "wrong_actions": 77,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 0.125+ },+ "direct": {+ "n": 18,+ "accuracy": 0.7777777777777778+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.07692307692307693+ },+ "hard": {+ "n": 6,+ "accuracy": 0.3333333333333333+ },+ "hn": {+ "n": 9,+ "accuracy": 0.3333333333333333+ },+ "human": {+ "n": 13,+ "accuracy": 0.15384615384615385+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.6+ },+ "negation": {+ "n": 15,+ "accuracy": 0.0+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.0+ },+ "open": {+ "n": 11,+ "accuracy": 0.0+ },+ "short": {+ "n": 5,+ "accuracy": 0.2+ }+ },+ "confusion": {+ "colgar->operadora": 2,+ "colgar->soporte": 8,+ "colgar->ventas": 3,+ "facturacion->soporte": 1,+ "facturacion->ventas": 4,+ "ninguno->facturacion": 5,+ "ninguno->operadora": 5,+ "ninguno->soporte": 9,+ "ninguno->ventas": 16,+ "operadora->soporte": 9,+ "operadora->ventas": 3,+ "soporte->operadora": 3,+ "soporte->ventas": 7,+ "ventas->facturacion": 1,+ "ventas->soporte": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 21,+ "coverage": 0.1875,+ "action_recall": 0.19480519480519481,+ "wrong": 6,+ "precision": 0.7142857142857143+ },+ {+ "threshold": 0.6,+ "fast": 13,+ "coverage": 0.11607142857142858,+ "action_recall": 0.11688311688311688,+ "wrong": 4,+ "precision": 0.6923076923076923+ },+ {+ "threshold": 0.7,+ "fast": 7,+ "coverage": 0.0625,+ "action_recall": 0.06493506493506493,+ "wrong": 2,+ "precision": 0.7142857142857143+ },+ {+ "threshold": 0.8,+ "fast": 4,+ "coverage": 0.03571428571428571,+ "action_recall": 0.05194805194805195,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.9,+ "fast": 1,+ "coverage": 0.008928571428571428,+ "action_recall": 0.012987012987012988,+ "wrong": 0,+ "precision": 1.0+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": 0.0,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 451.19995903223753,+ "p95": 504.4300419976935,+ "min": 402.531249972526+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "ventas",+ "confidence": 0.5419+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "ventas",+ "confidence": 0.3193+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ventas",+ "confidence": 0.8977+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "ventas",+ "confidence": 0.3758+ }+ ]+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.5326,+ "probabilities": {+ "ventas": 0.5326,+ "soporte": 0.1054,+ "facturacion": 0.1307,+ "operadora": 0.0769,+ "colgar": 0.079,+ "ninguno": 0.0754+ },+ "latency_ms": 442.0495420345105+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.5839,+ "probabilities": {+ "ventas": 0.5839,+ "soporte": 0.0868,+ "facturacion": 0.1529,+ "operadora": 0.0576,+ "colgar": 0.0627,+ "ninguno": 0.056+ },+ "latency_ms": 428.383374994155+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.4706,+ "probabilities": {+ "ventas": 0.4706,+ "soporte": 0.092,+ "facturacion": 0.1404,+ "operadora": 0.1982,+ "colgar": 0.0522,+ "ninguno": 0.0465+ },+ "latency_ms": 431.607415957842+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.3582,+ "probabilities": {+ "ventas": 0.3582,+ "soporte": 0.1259,+ "facturacion": 0.2463,+ "operadora": 0.0925,+ "colgar": 0.094,+ "ninguno": 0.0831+ },+ "latency_ms": 419.0217080176808+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.2594,+ "probabilities": {+ "ventas": 0.2594,+ "soporte": 0.2151,+ "facturacion": 0.1697,+ "operadora": 0.0741,+ "colgar": 0.1213,+ "ninguno": 0.1604+ },+ "latency_ms": 462.7508339472115+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.2483,+ "probabilities": {+ "ventas": 0.2478,+ "soporte": 0.2483,+ "facturacion": 0.1899,+ "operadora": 0.1086,+ "colgar": 0.1014,+ "ninguno": 0.1041+ },+ "latency_ms": 486.2925420165993+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.832,+ "probabilities": {+ "ventas": 0.832,+ "soporte": 0.0265,+ "facturacion": 0.0604,+ "operadora": 0.0185,+ "colgar": 0.029,+ "ninguno": 0.0336+ },+ "latency_ms": 459.677999955602+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.6397,+ "probabilities": {+ "ventas": 0.6397,+ "soporte": 0.0819,+ "facturacion": 0.1115,+ "operadora": 0.0475,+ "colgar": 0.0566,+ "ninguno": 0.0627+ },+ "latency_ms": 515.9888750058599+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.5308,+ "probabilities": {+ "ventas": 0.5308,+ "soporte": 0.0994,+ "facturacion": 0.1246,+ "operadora": 0.098,+ "colgar": 0.0706,+ "ninguno": 0.0766+ },+ "latency_ms": 486.9964169920422+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.7935,+ "probabilities": {+ "ventas": 0.7935,+ "soporte": 0.0424,+ "facturacion": 0.0765,+ "operadora": 0.0199,+ "colgar": 0.0321,+ "ninguno": 0.0356+ },+ "latency_ms": 443.4313749661669+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.5756,+ "probabilities": {+ "ventas": 0.5756,+ "soporte": 0.0603,+ "facturacion": 0.202,+ "operadora": 0.0489,+ "colgar": 0.0674,+ "ninguno": 0.0458+ },+ "latency_ms": 459.7007500124164+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.2974,+ "probabilities": {+ "ventas": 0.1819,+ "soporte": 0.2118,+ "facturacion": 0.2974,+ "operadora": 0.0728,+ "colgar": 0.1042,+ "ninguno": 0.132+ },+ "latency_ms": 504.4300419976935+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.8749,+ "probabilities": {+ "ventas": 0.8749,+ "soporte": 0.0268,+ "facturacion": 0.0438,+ "operadora": 0.0126,+ "colgar": 0.0219,+ "ninguno": 0.0199+ },+ "latency_ms": 520.4293330316432+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.3322,+ "probabilities": {+ "ventas": 0.3322,+ "soporte": 0.2088,+ "facturacion": 0.1777,+ "operadora": 0.08,+ "colgar": 0.106,+ "ninguno": 0.0953+ },+ "latency_ms": 455.48012503422797+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.4984,+ "probabilities": {+ "ventas": 0.0774,+ "soporte": 0.4984,+ "facturacion": 0.1168,+ "operadora": 0.1323,+ "colgar": 0.1043,+ "ninguno": 0.0708+ },+ "latency_ms": 420.50708399619907+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.3163,+ "probabilities": {+ "ventas": 0.0976,+ "soporte": 0.2815,+ "facturacion": 0.0901,+ "operadora": 0.3163,+ "colgar": 0.11,+ "ninguno": 0.1046+ },+ "latency_ms": 416.4285000297241+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.4577,+ "probabilities": {+ "ventas": 0.0798,+ "soporte": 0.4577,+ "facturacion": 0.0983,+ "operadora": 0.1737,+ "colgar": 0.1022,+ "ninguno": 0.0883+ },+ "latency_ms": 432.34920903341845+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.2773,+ "probabilities": {+ "ventas": 0.2773,+ "soporte": 0.2006,+ "facturacion": 0.1329,+ "operadora": 0.1525,+ "colgar": 0.1236,+ "ninguno": 0.113+ },+ "latency_ms": 435.55416696472093+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "predicted": "soporte",+ "confidence": 0.9247,+ "probabilities": {+ "ventas": 0.0009,+ "soporte": 0.9247,+ "facturacion": 0.0017,+ "operadora": 0.0202,+ "colgar": 0.0283,+ "ninguno": 0.0242+ },+ "latency_ms": 421.52908397838473+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.2057,+ "probabilities": {+ "ventas": 0.2049,+ "soporte": 0.2057,+ "facturacion": 0.1878,+ "operadora": 0.1463,+ "colgar": 0.1388,+ "ninguno": 0.1164+ },+ "latency_ms": 462.13425003224984+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.3104,+ "probabilities": {+ "ventas": 0.1788,+ "soporte": 0.1758,+ "facturacion": 0.1275,+ "operadora": 0.3104,+ "colgar": 0.113,+ "ninguno": 0.0946+ },+ "latency_ms": 440.1698330184445+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.2551,+ "probabilities": {+ "ventas": 0.2051,+ "soporte": 0.2551,+ "facturacion": 0.1675,+ "operadora": 0.1265,+ "colgar": 0.1208,+ "ninguno": 0.125+ },+ "latency_ms": 472.45250100968406+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.2391,+ "probabilities": {+ "ventas": 0.2391,+ "soporte": 0.2212,+ "facturacion": 0.182,+ "operadora": 0.149,+ "colgar": 0.1169,+ "ninguno": 0.0917+ },+ "latency_ms": 454.157792031765+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.2058,+ "probabilities": {+ "ventas": 0.2058,+ "soporte": 0.1934,+ "facturacion": 0.2024,+ "operadora": 0.1476,+ "colgar": 0.1224,+ "ninguno": 0.1283+ },+ "latency_ms": 450.17433300381526+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "soporte",+ "confidence": 0.2541,+ "probabilities": {+ "ventas": 0.1442,+ "soporte": 0.2541,+ "facturacion": 0.1022,+ "operadora": 0.2012,+ "colgar": 0.1618,+ "ninguno": 0.1365+ },+ "latency_ms": 476.14508401602507+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "operadora",+ "confidence": 0.4776,+ "probabilities": {+ "ventas": 0.0283,+ "soporte": 0.2129,+ "facturacion": 0.0515,+ "operadora": 0.4776,+ "colgar": 0.1222,+ "ninguno": 0.1074+ },+ "latency_ms": 475.86358402622864+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.3182,+ "probabilities": {+ "ventas": 0.3182,+ "soporte": 0.1818,+ "facturacion": 0.2064,+ "operadora": 0.1059,+ "colgar": 0.0898,+ "ninguno": 0.0979+ },+ "latency_ms": 475.4062080173753+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.404,+ "probabilities": {+ "ventas": 0.404,+ "soporte": 0.1301,+ "facturacion": 0.2339,+ "operadora": 0.0689,+ "colgar": 0.0859,+ "ninguno": 0.0773+ },+ "latency_ms": 456.31941698957235+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.6027,+ "probabilities": {+ "ventas": 0.1381,+ "soporte": 0.0764,+ "facturacion": 0.6027,+ "operadora": 0.0458,+ "colgar": 0.0727,+ "ninguno": 0.0644+ },+ "latency_ms": 431.67704198276624+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.3093,+ "probabilities": {+ "ventas": 0.1311,+ "soporte": 0.2024,+ "facturacion": 0.3093,+ "operadora": 0.1064,+ "colgar": 0.1319,+ "ninguno": 0.1189+ },+ "latency_ms": 508.14999995054677+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.5302,+ "probabilities": {+ "ventas": 0.0938,+ "soporte": 0.1113,+ "facturacion": 0.5302,+ "operadora": 0.0855,+ "colgar": 0.0966,+ "ninguno": 0.0827+ },+ "latency_ms": 513.6816669837572+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.3439,+ "probabilities": {+ "ventas": 0.3439,+ "soporte": 0.1239,+ "facturacion": 0.2941,+ "operadora": 0.0841,+ "colgar": 0.081,+ "ninguno": 0.073+ },+ "latency_ms": 460.871874995064+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "predicted": "facturacion",+ "confidence": 0.4515,+ "probabilities": {+ "ventas": 0.215,+ "soporte": 0.1194,+ "facturacion": 0.4515,+ "operadora": 0.0504,+ "colgar": 0.087,+ "ninguno": 0.0767+ },+ "latency_ms": 433.5490000084974+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.4955,+ "probabilities": {+ "ventas": 0.1742,+ "soporte": 0.1297,+ "facturacion": 0.4955,+ "operadora": 0.0465,+ "colgar": 0.0961,+ "ninguno": 0.058+ },+ "latency_ms": 480.410125979688+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.5883,+ "probabilities": {+ "ventas": 0.1888,+ "soporte": 0.0844,+ "facturacion": 0.5883,+ "operadora": 0.0264,+ "colgar": 0.0569,+ "ninguno": 0.0554+ },+ "latency_ms": 474.51337496750057+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.3247,+ "probabilities": {+ "ventas": 0.3247,+ "soporte": 0.1648,+ "facturacion": 0.2858,+ "operadora": 0.0643,+ "colgar": 0.0883,+ "ninguno": 0.0721+ },+ "latency_ms": 460.4870410403237+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "predicted": "facturacion",+ "confidence": 0.4859,+ "probabilities": {+ "ventas": 0.1603,+ "soporte": 0.1113,+ "facturacion": 0.4859,+ "operadora": 0.0609,+ "colgar": 0.0994,+ "ninguno": 0.0822+ },+ "latency_ms": 475.9818339953199+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.3441,+ "probabilities": {+ "ventas": 0.1563,+ "soporte": 0.1876,+ "facturacion": 0.3441,+ "operadora": 0.0774,+ "colgar": 0.1021,+ "ninguno": 0.1325+ },+ "latency_ms": 452.0049580023624+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.2631,+ "probabilities": {+ "ventas": 0.2631,+ "soporte": 0.1795,+ "facturacion": 0.2015,+ "operadora": 0.1536,+ "colgar": 0.116,+ "ninguno": 0.0862+ },+ "latency_ms": 472.37912501441315+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.3613,+ "probabilities": {+ "ventas": 0.1871,+ "soporte": 0.174,+ "facturacion": 0.3613,+ "operadora": 0.0625,+ "colgar": 0.1155,+ "ninguno": 0.0996+ },+ "latency_ms": 463.71170901693404+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.6981,+ "probabilities": {+ "ventas": 0.0395,+ "soporte": 0.089,+ "facturacion": 0.6981,+ "operadora": 0.0368,+ "colgar": 0.0685,+ "ninguno": 0.0681+ },+ "latency_ms": 465.28966701589525+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "predicted": "facturacion",+ "confidence": 0.2933,+ "probabilities": {+ "ventas": 0.2614,+ "soporte": 0.1037,+ "facturacion": 0.2933,+ "operadora": 0.0773,+ "colgar": 0.1088,+ "ninguno": 0.1556+ },+ "latency_ms": 445.702958968468+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.2574,+ "probabilities": {+ "ventas": 0.1621,+ "soporte": 0.2574,+ "facturacion": 0.1276,+ "operadora": 0.1819,+ "colgar": 0.1427,+ "ninguno": 0.1283+ },+ "latency_ms": 469.7018330334686+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.2193,+ "probabilities": {+ "ventas": 0.2033,+ "soporte": 0.2193,+ "facturacion": 0.1503,+ "operadora": 0.2039,+ "colgar": 0.1194,+ "ninguno": 0.1038+ },+ "latency_ms": 437.6376260188408+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.3145,+ "probabilities": {+ "ventas": 0.1515,+ "soporte": 0.3145,+ "facturacion": 0.0898,+ "operadora": 0.2115,+ "colgar": 0.1197,+ "ninguno": 0.113+ },+ "latency_ms": 451.84020802844316+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "operadora",+ "confidence": 0.8826,+ "probabilities": {+ "ventas": 0.0176,+ "soporte": 0.0336,+ "facturacion": 0.0137,+ "operadora": 0.8826,+ "colgar": 0.0239,+ "ninguno": 0.0285+ },+ "latency_ms": 424.1323340102099+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "predicted": "ventas",+ "confidence": 0.271,+ "probabilities": {+ "ventas": 0.271,+ "soporte": 0.1932,+ "facturacion": 0.2256,+ "operadora": 0.1267,+ "colgar": 0.0996,+ "ninguno": 0.0839+ },+ "latency_ms": 432.2933329967782+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.2917,+ "probabilities": {+ "ventas": 0.1242,+ "soporte": 0.2917,+ "facturacion": 0.1277,+ "operadora": 0.1565,+ "colgar": 0.1377,+ "ninguno": 0.1622+ },+ "latency_ms": 437.6505829859525+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "ventas",+ "confidence": 0.2535,+ "probabilities": {+ "ventas": 0.2535,+ "soporte": 0.2136,+ "facturacion": 0.1699,+ "operadora": 0.1433,+ "colgar": 0.1092,+ "ninguno": 0.1106+ },+ "latency_ms": 499.837875016965+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "predicted": "soporte",+ "confidence": 0.2704,+ "probabilities": {+ "ventas": 0.2236,+ "soporte": 0.2704,+ "facturacion": 0.1455,+ "operadora": 0.1361,+ "colgar": 0.1109,+ "ninguno": 0.1135+ },+ "latency_ms": 461.288999998942+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "predicted": "soporte",+ "confidence": 0.3876,+ "probabilities": {+ "ventas": 0.1208,+ "soporte": 0.3876,+ "facturacion": 0.1062,+ "operadora": 0.1356,+ "colgar": 0.1492,+ "ninguno": 0.1005+ },+ "latency_ms": 479.44004205055535+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "predicted": "operadora",+ "confidence": 0.2453,+ "probabilities": {+ "ventas": 0.0784,+ "soporte": 0.2089,+ "facturacion": 0.0754,+ "operadora": 0.2453,+ "colgar": 0.1816,+ "ninguno": 0.2104+ },+ "latency_ms": 458.9449579943903+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.3292,+ "probabilities": {+ "ventas": 0.1724,+ "soporte": 0.3292,+ "facturacion": 0.1637,+ "operadora": 0.1316,+ "colgar": 0.1055,+ "ninguno": 0.0976+ },+ "latency_ms": 466.28395799780264+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "predicted": "soporte",+ "confidence": 0.2648,+ "probabilities": {+ "ventas": 0.2087,+ "soporte": 0.2648,+ "facturacion": 0.1674,+ "operadora": 0.1379,+ "colgar": 0.1113,+ "ninguno": 0.1099+ },+ "latency_ms": 416.2371670245193+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.2587,+ "probabilities": {+ "ventas": 0.2329,+ "soporte": 0.2587,+ "facturacion": 0.1427,+ "operadora": 0.1253,+ "colgar": 0.1341,+ "ninguno": 0.1063+ },+ "latency_ms": 429.3093340238556+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.3123,+ "probabilities": {+ "ventas": 0.1614,+ "soporte": 0.3123,+ "facturacion": 0.0932,+ "operadora": 0.0913,+ "colgar": 0.1757,+ "ninguno": 0.1661+ },+ "latency_ms": 450.4050000105053+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.3231,+ "probabilities": {+ "ventas": 0.1554,+ "soporte": 0.3231,+ "facturacion": 0.1433,+ "operadora": 0.1533,+ "colgar": 0.1159,+ "ninguno": 0.1089+ },+ "latency_ms": 498.79895901540294+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.2512,+ "probabilities": {+ "ventas": 0.2512,+ "soporte": 0.2324,+ "facturacion": 0.1726,+ "operadora": 0.1303,+ "colgar": 0.1144,+ "ninguno": 0.0991+ },+ "latency_ms": 453.0825419933535+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "predicted": "colgar",+ "confidence": 0.3292,+ "probabilities": {+ "ventas": 0.1758,+ "soporte": 0.1872,+ "facturacion": 0.0952,+ "operadora": 0.1219,+ "colgar": 0.3292,+ "ninguno": 0.0908+ },+ "latency_ms": 439.50470798881724+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.3742,+ "probabilities": {+ "ventas": 0.0732,+ "soporte": 0.3742,+ "facturacion": 0.0884,+ "operadora": 0.19,+ "colgar": 0.1337,+ "ninguno": 0.1404+ },+ "latency_ms": 425.51629204535857+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.2978,+ "probabilities": {+ "ventas": 0.2698,+ "soporte": 0.2978,+ "facturacion": 0.1645,+ "operadora": 0.0779,+ "colgar": 0.0922,+ "ninguno": 0.0978+ },+ "latency_ms": 429.2579989996739+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "predicted": "soporte",+ "confidence": 0.2336,+ "probabilities": {+ "ventas": 0.2124,+ "soporte": 0.2336,+ "facturacion": 0.1674,+ "operadora": 0.1063,+ "colgar": 0.1163,+ "ninguno": 0.1639+ },+ "latency_ms": 472.532499989029+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "operadora",+ "confidence": 0.3336,+ "probabilities": {+ "ventas": 0.1673,+ "soporte": 0.1535,+ "facturacion": 0.1749,+ "operadora": 0.3336,+ "colgar": 0.0993,+ "ninguno": 0.0714+ },+ "latency_ms": 453.58149998355657+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.3809,+ "probabilities": {+ "ventas": 0.1285,+ "soporte": 0.3809,+ "facturacion": 0.1484,+ "operadora": 0.1224,+ "colgar": 0.1208,+ "ninguno": 0.099+ },+ "latency_ms": 437.32141703367233+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "predicted": "soporte",+ "confidence": 0.299,+ "probabilities": {+ "ventas": 0.1545,+ "soporte": 0.299,+ "facturacion": 0.1358,+ "operadora": 0.1486,+ "colgar": 0.1268,+ "ninguno": 0.1353+ },+ "latency_ms": 419.82099995948374+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.2826,+ "probabilities": {+ "ventas": 0.2826,+ "soporte": 0.1828,+ "facturacion": 0.2368,+ "operadora": 0.0776,+ "colgar": 0.1163,+ "ninguno": 0.1039+ },+ "latency_ms": 420.95729196444154+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ventas",+ "confidence": 0.2106,+ "probabilities": {+ "ventas": 0.2106,+ "soporte": 0.2089,+ "facturacion": 0.1822,+ "operadora": 0.1847,+ "colgar": 0.1097,+ "ninguno": 0.1039+ },+ "latency_ms": 438.40883404482156+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "ventas",+ "confidence": 0.539,+ "probabilities": {+ "ventas": 0.539,+ "soporte": 0.1254,+ "facturacion": 0.1374,+ "operadora": 0.0466,+ "colgar": 0.0756,+ "ninguno": 0.0761+ },+ "latency_ms": 417.67637594603+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "facturacion",+ "confidence": 0.2609,+ "probabilities": {+ "ventas": 0.1223,+ "soporte": 0.1794,+ "facturacion": 0.2609,+ "operadora": 0.2555,+ "colgar": 0.096,+ "ninguno": 0.0859+ },+ "latency_ms": 439.2840010114014+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2575,+ "probabilities": {+ "ventas": 0.1894,+ "soporte": 0.2575,+ "facturacion": 0.1789,+ "operadora": 0.1735,+ "colgar": 0.0929,+ "ninguno": 0.1078+ },+ "latency_ms": 426.6379170003347+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "predicted": "operadora",+ "confidence": 0.3342,+ "probabilities": {+ "ventas": 0.1054,+ "soporte": 0.2067,+ "facturacion": 0.1688,+ "operadora": 0.3342,+ "colgar": 0.0922,+ "ninguno": 0.0926+ },+ "latency_ms": 443.8477089861408+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2432,+ "probabilities": {+ "ventas": 0.1748,+ "soporte": 0.2432,+ "facturacion": 0.1676,+ "operadora": 0.1931,+ "colgar": 0.0998,+ "ninguno": 0.1215+ },+ "latency_ms": 433.1459579989314+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "facturacion",+ "confidence": 0.2799,+ "probabilities": {+ "ventas": 0.2014,+ "soporte": 0.1775,+ "facturacion": 0.2799,+ "operadora": 0.1291,+ "colgar": 0.0993,+ "ninguno": 0.1128+ },+ "latency_ms": 425.98441697191447+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "facturacion",+ "confidence": 0.2377,+ "probabilities": {+ "ventas": 0.2263,+ "soporte": 0.196,+ "facturacion": 0.2377,+ "operadora": 0.1568,+ "colgar": 0.1018,+ "ninguno": 0.0814+ },+ "latency_ms": 462.0409170165658+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2676,+ "probabilities": {+ "ventas": 0.1418,+ "soporte": 0.2676,+ "facturacion": 0.1302,+ "operadora": 0.2368,+ "colgar": 0.1205,+ "ninguno": 0.1032+ },+ "latency_ms": 437.1912499773316+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "predicted": "soporte",+ "confidence": 0.2248,+ "probabilities": {+ "ventas": 0.2119,+ "soporte": 0.2248,+ "facturacion": 0.1884,+ "operadora": 0.1571,+ "colgar": 0.1164,+ "ninguno": 0.1014+ },+ "latency_ms": 460.7265420490876+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ventas",+ "confidence": 0.2235,+ "probabilities": {+ "ventas": 0.2235,+ "soporte": 0.2213,+ "facturacion": 0.2166,+ "operadora": 0.1341,+ "colgar": 0.1134,+ "ninguno": 0.091+ },+ "latency_ms": 430.826416995842+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "operadora",+ "confidence": 0.2367,+ "probabilities": {+ "ventas": 0.1824,+ "soporte": 0.2248,+ "facturacion": 0.1483,+ "operadora": 0.2367,+ "colgar": 0.1119,+ "ninguno": 0.096+ },+ "latency_ms": 446.91491703270003+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.2327,+ "probabilities": {+ "ventas": 0.2327,+ "soporte": 0.1918,+ "facturacion": 0.1879,+ "operadora": 0.1807,+ "colgar": 0.1148,+ "ninguno": 0.0921+ },+ "latency_ms": 426.5741250128485+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ventas",+ "confidence": 0.2351,+ "probabilities": {+ "ventas": 0.2351,+ "soporte": 0.2006,+ "facturacion": 0.1917,+ "operadora": 0.1399,+ "colgar": 0.1239,+ "ninguno": 0.1088+ },+ "latency_ms": 441.95808400399983+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "predicted": "ventas",+ "confidence": 0.231,+ "probabilities": {+ "ventas": 0.231,+ "soporte": 0.2224,+ "facturacion": 0.2192,+ "operadora": 0.1255,+ "colgar": 0.1094,+ "ninguno": 0.0924+ },+ "latency_ms": 452.90929201291874+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "facturacion",+ "confidence": 0.2476,+ "probabilities": {+ "ventas": 0.1742,+ "soporte": 0.1613,+ "facturacion": 0.2476,+ "operadora": 0.1736,+ "colgar": 0.1499,+ "ninguno": 0.0934+ },+ "latency_ms": 438.26037499820814+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "soporte",+ "confidence": 0.2525,+ "probabilities": {+ "ventas": 0.1903,+ "soporte": 0.2525,+ "facturacion": 0.1674,+ "operadora": 0.1681,+ "colgar": 0.1139,+ "ninguno": 0.1078+ },+ "latency_ms": 459.53400002326816+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "predicted": "ventas",+ "confidence": 0.2397,+ "probabilities": {+ "ventas": 0.2397,+ "soporte": 0.2145,+ "facturacion": 0.1964,+ "operadora": 0.1404,+ "colgar": 0.1117,+ "ninguno": 0.0973+ },+ "latency_ms": 426.646834006533+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.3571,+ "probabilities": {+ "ventas": 0.3571,+ "soporte": 0.1098,+ "facturacion": 0.183,+ "operadora": 0.087,+ "colgar": 0.1146,+ "ninguno": 0.1485+ },+ "latency_ms": 462.1970840380527+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.4816,+ "probabilities": {+ "ventas": 0.0314,+ "soporte": 0.4816,+ "facturacion": 0.0494,+ "operadora": 0.21,+ "colgar": 0.1256,+ "ninguno": 0.1021+ },+ "latency_ms": 450.8564170100726+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "facturacion",+ "confidence": 0.5886,+ "probabilities": {+ "ventas": 0.0783,+ "soporte": 0.0754,+ "facturacion": 0.5886,+ "operadora": 0.0365,+ "colgar": 0.0771,+ "ninguno": 0.1442+ },+ "latency_ms": 463.0912499851547+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.2415,+ "probabilities": {+ "ventas": 0.1745,+ "soporte": 0.2415,+ "facturacion": 0.1722,+ "operadora": 0.175,+ "colgar": 0.1238,+ "ninguno": 0.113+ },+ "latency_ms": 484.11979200318456+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.7171,+ "probabilities": {+ "ventas": 0.0553,+ "soporte": 0.078,+ "facturacion": 0.0414,+ "operadora": 0.7171,+ "colgar": 0.0561,+ "ninguno": 0.052+ },+ "latency_ms": 486.1937499954365+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.4075,+ "probabilities": {+ "ventas": 0.4075,+ "soporte": 0.1242,+ "facturacion": 0.1568,+ "operadora": 0.1133,+ "colgar": 0.0907,+ "ninguno": 0.1074+ },+ "latency_ms": 451.19995903223753+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.3215,+ "probabilities": {+ "ventas": 0.0545,+ "soporte": 0.2901,+ "facturacion": 0.0636,+ "operadora": 0.3215,+ "colgar": 0.1073,+ "ninguno": 0.163+ },+ "latency_ms": 472.0151670044288+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.2442,+ "probabilities": {+ "ventas": 0.2442,+ "soporte": 0.1644,+ "facturacion": 0.2247,+ "operadora": 0.1584,+ "colgar": 0.1072,+ "ninguno": 0.101+ },+ "latency_ms": 440.79179101390764+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.6735,+ "probabilities": {+ "ventas": 0.6735,+ "soporte": 0.0377,+ "facturacion": 0.0732,+ "operadora": 0.0288,+ "colgar": 0.0854,+ "ninguno": 0.1013+ },+ "latency_ms": 446.30862498888746+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "predicted": "ventas",+ "confidence": 0.2516,+ "probabilities": {+ "ventas": 0.2516,+ "soporte": 0.1914,+ "facturacion": 0.1836,+ "operadora": 0.1376,+ "colgar": 0.1125,+ "ninguno": 0.1233+ },+ "latency_ms": 437.26320896530524+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.2111,+ "probabilities": {+ "ventas": 0.2111,+ "soporte": 0.2024,+ "facturacion": 0.1685,+ "operadora": 0.0895,+ "colgar": 0.1399,+ "ninguno": 0.1887+ },+ "latency_ms": 467.67195797292516+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "operadora",+ "confidence": 0.3143,+ "probabilities": {+ "ventas": 0.1294,+ "soporte": 0.172,+ "facturacion": 0.1092,+ "operadora": 0.3143,+ "colgar": 0.1421,+ "ninguno": 0.1331+ },+ "latency_ms": 468.17533404100686+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.2605,+ "probabilities": {+ "ventas": 0.1608,+ "soporte": 0.2605,+ "facturacion": 0.1221,+ "operadora": 0.161,+ "colgar": 0.1503,+ "ninguno": 0.1454+ },+ "latency_ms": 478.5588340018876+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "predicted": "soporte",+ "confidence": 0.3043,+ "probabilities": {+ "ventas": 0.1832,+ "soporte": 0.3043,+ "facturacion": 0.146,+ "operadora": 0.0759,+ "colgar": 0.114,+ "ninguno": 0.1765+ },+ "latency_ms": 518.4351659845561+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "predicted": "ventas",+ "confidence": 0.4766,+ "probabilities": {+ "ventas": 0.4766,+ "soporte": 0.1533,+ "facturacion": 0.1135,+ "operadora": 0.0779,+ "colgar": 0.0948,+ "ninguno": 0.084+ },+ "latency_ms": 457.99629198154435+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.7355,+ "probabilities": {+ "ventas": 0.0292,+ "soporte": 0.7355,+ "facturacion": 0.0636,+ "operadora": 0.0291,+ "colgar": 0.0831,+ "ninguno": 0.0596+ },+ "latency_ms": 530.3961670142598+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "predicted": "ventas",+ "confidence": 0.3083,+ "probabilities": {+ "ventas": 0.3083,+ "soporte": 0.1683,+ "facturacion": 0.2464,+ "operadora": 0.0506,+ "colgar": 0.105,+ "ninguno": 0.1214+ },+ "latency_ms": 482.70500102080405+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "predicted": "soporte",+ "confidence": 0.2441,+ "probabilities": {+ "ventas": 0.2141,+ "soporte": 0.2441,+ "facturacion": 0.0869,+ "operadora": 0.1791,+ "colgar": 0.1469,+ "ninguno": 0.1289+ },+ "latency_ms": 486.007375002373+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "predicted": "facturacion",+ "confidence": 0.6887,+ "probabilities": {+ "ventas": 0.0429,+ "soporte": 0.0902,+ "facturacion": 0.6887,+ "operadora": 0.0372,+ "colgar": 0.063,+ "ninguno": 0.0781+ },+ "latency_ms": 466.92541701486334+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "predicted": "operadora",+ "confidence": 0.6521,+ "probabilities": {+ "ventas": 0.029,+ "soporte": 0.1652,+ "facturacion": 0.0284,+ "operadora": 0.6521,+ "colgar": 0.0741,+ "ninguno": 0.0512+ },+ "latency_ms": 437.37475003581494+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.3104,+ "probabilities": {+ "ventas": 0.3104,+ "soporte": 0.1453,+ "facturacion": 0.2301,+ "operadora": 0.096,+ "colgar": 0.1239,+ "ninguno": 0.0942+ },+ "latency_ms": 446.0176670108922+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.4396,+ "probabilities": {+ "ventas": 0.4396,+ "soporte": 0.1494,+ "facturacion": 0.1835,+ "operadora": 0.0587,+ "colgar": 0.0761,+ "ninguno": 0.0926+ },+ "latency_ms": 430.4397089872509+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "predicted": "ventas",+ "confidence": 0.3673,+ "probabilities": {+ "ventas": 0.3673,+ "soporte": 0.0931,+ "facturacion": 0.3379,+ "operadora": 0.0631,+ "colgar": 0.0742,+ "ninguno": 0.0643+ },+ "latency_ms": 436.99499999638647+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "predicted": "ventas",+ "confidence": 0.2477,+ "probabilities": {+ "ventas": 0.2477,+ "soporte": 0.185,+ "facturacion": 0.1931,+ "operadora": 0.1766,+ "colgar": 0.1003,+ "ninguno": 0.0973+ },+ "latency_ms": 442.4281250103377+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "predicted": "ventas",+ "confidence": 0.224,+ "probabilities": {+ "ventas": 0.224,+ "soporte": 0.2189,+ "facturacion": 0.1646,+ "operadora": 0.152,+ "colgar": 0.1327,+ "ninguno": 0.1077+ },+ "latency_ms": 429.1398750501685+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "predicted": "ventas",+ "confidence": 0.2472,+ "probabilities": {+ "ventas": 0.2472,+ "soporte": 0.1756,+ "facturacion": 0.2145,+ "operadora": 0.163,+ "colgar": 0.099,+ "ninguno": 0.1006+ },+ "latency_ms": 405.789541953709+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "predicted": "ventas",+ "confidence": 0.3199,+ "probabilities": {+ "ventas": 0.3199,+ "soporte": 0.1323,+ "facturacion": 0.1605,+ "operadora": 0.087,+ "colgar": 0.1215,+ "ninguno": 0.1788+ },+ "latency_ms": 441.59558397950605+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "predicted": "ventas",+ "confidence": 0.2547,+ "probabilities": {+ "ventas": 0.2547,+ "soporte": 0.2007,+ "facturacion": 0.1744,+ "operadora": 0.1721,+ "colgar": 0.0948,+ "ninguno": 0.1033+ },+ "latency_ms": 420.5449580331333+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.5419,+ "probabilities": {+ "ventas": 0.5419,+ "soporte": 0.1184,+ "facturacion": 0.1552,+ "operadora": 0.0392,+ "colgar": 0.0631,+ "ninguno": 0.0822+ },+ "latency_ms": 474.5750009897165+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.3193,+ "probabilities": {+ "ventas": 0.3193,+ "soporte": 0.0736,+ "facturacion": 0.275,+ "operadora": 0.1737,+ "colgar": 0.0912,+ "ninguno": 0.0672+ },+ "latency_ms": 449.61329200305045+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.8977,+ "probabilities": {+ "ventas": 0.8977,+ "soporte": 0.0222,+ "facturacion": 0.0336,+ "operadora": 0.0155,+ "colgar": 0.0143,+ "ninguno": 0.0167+ },+ "latency_ms": 402.531249972526+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "predicted": "ventas",+ "confidence": 0.3758,+ "probabilities": {+ "ventas": 0.3758,+ "soporte": 0.1544,+ "facturacion": 0.1867,+ "operadora": 0.0945,+ "colgar": 0.087,+ "ninguno": 0.1016+ },+ "latency_ms": 435.8765000361018+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__cases.json b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__cases.jsonnew file mode 100644index 00000000..c9bb2b8b--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__cases.json@@ -0,0 +1,2177 @@+{+ "meta": {+ "model": "qwen2.5:7b-instruct",+ "dataset": "cases",+ "system_prompt": "Sos la recepcionista. UNA frase corta y hablada. Derivá al área que corresponda."+ },+ "summary": {+ "n": 112,+ "accuracy": 0.9196428571428571,+ "macro_f1": 0.9275407086089981,+ "ece": 0.0803571428571429,+ "mean_confidence": 1.0,+ "majority_baseline": 0.3125,+ "wrong_actions": 6,+ "by_tag": {+ "asr": {+ "n": 8,+ "accuracy": 1.0+ },+ "direct": {+ "n": 18,+ "accuracy": 1.0+ },+ "farewell": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "hard": {+ "n": 6,+ "accuracy": 1.0+ },+ "hn": {+ "n": 9,+ "accuracy": 0.8888888888888888+ },+ "human": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "indirect": {+ "n": 30,+ "accuracy": 0.9333333333333333+ },+ "negation": {+ "n": 15,+ "accuracy": 0.8666666666666667+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 9,+ "accuracy": 0.8888888888888888+ },+ "open": {+ "n": 11,+ "accuracy": 0.8181818181818182+ },+ "short": {+ "n": 5,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "colgar->ninguno": 1,+ "facturacion->soporte": 1,+ "ninguno->facturacion": 2,+ "ninguno->operadora": 2,+ "ninguno->soporte": 1,+ "operadora->ninguno": 1,+ "soporte->ninguno": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 79,+ "coverage": 0.7053571428571429,+ "action_recall": 0.948051948051948,+ "wrong": 6,+ "precision": 0.9240506329113924+ },+ {+ "threshold": 0.6,+ "fast": 79,+ "coverage": 0.7053571428571429,+ "action_recall": 0.948051948051948,+ "wrong": 6,+ "precision": 0.9240506329113924+ },+ {+ "threshold": 0.7,+ "fast": 79,+ "coverage": 0.7053571428571429,+ "action_recall": 0.948051948051948,+ "wrong": 6,+ "precision": 0.9240506329113924+ },+ {+ "threshold": 0.8,+ "fast": 79,+ "coverage": 0.7053571428571429,+ "action_recall": 0.948051948051948,+ "wrong": 6,+ "precision": 0.9240506329113924+ },+ {+ "threshold": 0.9,+ "fast": 79,+ "coverage": 0.7053571428571429,+ "action_recall": 0.948051948051948,+ "wrong": 6,+ "precision": 0.9240506329113924+ },+ {+ "threshold": 0.95,+ "fast": 79,+ "coverage": 0.7053571428571429,+ "action_recall": 0.948051948051948,+ "wrong": 6,+ "precision": 0.9240506329113924+ },+ {+ "threshold": 0.99,+ "fast": 79,+ "coverage": 0.7053571428571429,+ "action_recall": 0.948051948051948,+ "wrong": 6,+ "precision": 0.9240506329113924+ }+ ],+ "latency_ms": {+ "p50": 436.468583997339,+ "p95": 5566.3734580157325,+ "min": 315.6002500327304+ },+ "borderline": [+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "predicted": "ninguno",+ "confidence": 1.0+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "predicted": "soporte",+ "confidence": 1.0+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "predicted": "ninguno",+ "confidence": 1.0+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "predicted": "facturacion",+ "confidence": 1.0+ }+ ],+ "first_ms": {+ "p50": 405.8893750188872,+ "p95": 5194.312833016738+ },+ "tokens": {+ "in_mean": 380.66964285714283,+ "out_mean": 24.5+ },+ "invalid_destinations": 0+ },+ "records": [+ {+ "id": "es-001",+ "text": "Quiero hablar con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 5194.312833016738,+ "decided_ms": 5194.312833016738,+ "latency_ms": 5219.37520802021,+ "tokens_in": 377,+ "tokens_out": 20+ },+ {+ "id": "es-002",+ "text": "Páseme con el departamento de ventas.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 7314.453041006345,+ "decided_ms": 7314.453041006345,+ "latency_ms": 7339.969708002172,+ "tokens_in": 378,+ "tokens_out": 20+ },+ {+ "id": "es-003",+ "text": "¿Me comunica con un asesor de ventas?",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 5342.119500041008,+ "decided_ms": 5342.119500041008,+ "latency_ms": 5366.679875005502,+ "tokens_in": 379,+ "tokens_out": 20+ },+ {+ "id": "es-004",+ "text": "Con ventas, por favor.",+ "gold": "ventas",+ "tags": [+ "direct",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 5570.366292027757,+ "decided_ms": 5570.366292027757,+ "latency_ms": 5595.410167006776,+ "tokens_in": 374,+ "tokens_out": 20+ },+ {+ "id": "es-005",+ "text": "Necesito que me transfieran al área comercial.",+ "gold": "ventas",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 5813.207625003997,+ "decided_ms": 5813.207625003997,+ "latency_ms": 5841.537625005003,+ "tokens_in": 380,+ "tokens_out": 20+ },+ {+ "id": "es-006",+ "text": "Quiero contratar el servicio de internet para mi casa.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 396.3640409638174,+ "decided_ms": 396.3640409638174,+ "latency_ms": 420.9954999969341,+ "tokens_in": 380,+ "tokens_out": 20+ },+ {+ "id": "es-007",+ "text": "Me interesa adquirir un plan nuevo para la oficina.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 392.1991669922136,+ "decided_ms": 392.1991669922136,+ "latency_ms": 416.79445898626,+ "tokens_in": 382,+ "tokens_out": 20+ },+ {+ "id": "es-008",+ "text": "Necesito una cotización para veinte líneas telefónicas.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 395.20029100822285,+ "decided_ms": 395.20029100822285,+ "latency_ms": 419.7287500137463,+ "tokens_in": 385,+ "tokens_out": 20+ },+ {+ "id": "es-009",+ "text": "Fíjese que quiero cambiarme a un plan más grande, ¿con quién hablo?",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 389.6589590003714,+ "decided_ms": 389.6589590003714,+ "latency_ms": 414.5077089779079,+ "tokens_in": 389,+ "tokens_out": 20+ },+ {+ "id": "es-010",+ "text": "Vi la promoción en Facebook y quiero comprarla.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 393.7841660226695,+ "decided_ms": 393.7841660226695,+ "latency_ms": 418.52170799393207,+ "tokens_in": 380,+ "tokens_out": 20+ },+ {+ "id": "es-011",+ "text": "Queremos poner el servicio en una sucursal nueva que vamos a abrir.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 389.12400003755465,+ "decided_ms": 389.12400003755465,+ "latency_ms": 413.750208041165,+ "tokens_in": 384,+ "tokens_out": 20+ },+ {+ "id": "es-012",+ "text": "Quisiera agregar otra línea a mi contrato.",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 392.23699999274686,+ "decided_ms": 392.23699999274686,+ "latency_ms": 417.0342499855906,+ "tokens_in": 378,+ "tokens_out": 20+ },+ {+ "id": "es-013",+ "text": "Ando buscando un plan empresarial, quiero que me lo vendan.",+ "gold": "ventas",+ "tags": [+ "indirect",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 396.3345409720205,+ "decided_ms": 396.3345409720205,+ "latency_ms": 420.9165829815902,+ "tokens_in": 384,+ "tokens_out": 20+ },+ {+ "id": "es-014",+ "text": "Quiero subir la velocidad de mi plan, ¿quién me lo puede vender?",+ "gold": "ventas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 403.427625016775,+ "decided_ms": 403.427625016775,+ "latency_ms": 428.65462496411055,+ "tokens_in": 387,+ "tokens_out": 20+ },+ {+ "id": "es-015",+ "text": "Comuníqueme con soporte técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 411.39249998377636,+ "decided_ms": 411.39249998377636,+ "latency_ms": 436.3697500084527,+ "tokens_in": 378,+ "tokens_out": 21+ },+ {+ "id": "es-016",+ "text": "Necesito hablar con un técnico.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 417.57912503089756,+ "decided_ms": 417.57912503089756,+ "latency_ms": 442.75912502780557,+ "tokens_in": 377,+ "tokens_out": 21+ },+ {+ "id": "es-017",+ "text": "Páseme con soporte, por favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 402.98895799787715,+ "decided_ms": 402.98895799787715,+ "latency_ms": 427.6372499880381,+ "tokens_in": 379,+ "tokens_out": 21+ },+ {+ "id": "es-018",+ "text": "Con el área técnica, si me hace el favor.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 414.4334589946084,+ "decided_ms": 414.4334589946084,+ "latency_ms": 439.1929169651121,+ "tokens_in": 379,+ "tokens_out": 21+ },+ {+ "id": "es-019",+ "text": "Quiero reportar una falla con soporte.",+ "gold": "soporte",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 405.02562501933426,+ "decided_ms": 405.02562501933426,+ "latency_ms": 430.1322500105016,+ "tokens_in": 379,+ "tokens_out": 21+ },+ {+ "id": "es-020",+ "text": "No tengo internet desde ayer en la noche.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 405.02470900537446,+ "decided_ms": 405.02470900537446,+ "latency_ms": 429.76862500654534,+ "tokens_in": 378,+ "tokens_out": 21+ },+ {+ "id": "es-021",+ "text": "El teléfono no da tono y no puedo hacer llamadas.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 406.86899999855086,+ "decided_ms": 406.86899999855086,+ "latency_ms": 431.4960829797201,+ "tokens_in": 381,+ "tokens_out": 21+ },+ {+ "id": "es-022",+ "text": "Se me cayó el servicio y necesito que lo arreglen.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 406.51775000151247,+ "decided_ms": 406.51775000151247,+ "latency_ms": 433.8889999780804,+ "tokens_in": 384,+ "tokens_out": 21+ },+ {+ "id": "es-023",+ "text": "El módem tiene una luz roja parpadeando y no navega.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 406.3942920183763,+ "decided_ms": 406.3942920183763,+ "latency_ms": 431.20666698087007,+ "tokens_in": 386,+ "tokens_out": 21+ },+ {+ "id": "es-024",+ "text": "Fíjese que el internet está lentísimo, casi no carga nada.",+ "gold": "soporte",+ "tags": [+ "indirect",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 403.4341660444625,+ "decided_ms": 403.4341660444625,+ "latency_ms": 428.3711250172928,+ "tokens_in": 384,+ "tokens_out": 21+ },+ {+ "id": "es-025",+ "text": "Las llamadas se cortan a cada rato, así no se puede trabajar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entiendo que está teniendo problemas con la llamada. Derivaremos su consulta al área de soporte para que le ayuden a solucionar este problema. ¿Le parece bien?",+ "first_ms": 182.58791702101007,+ "decided_ms": null,+ "latency_ms": 665.9008340211585,+ "tokens_in": 385,+ "tokens_out": 40+ },+ {+ "id": "es-026",+ "text": "No me funciona el correo de la empresa desde la mañana.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 409.6794169745408,+ "decided_ms": 409.6794169745408,+ "latency_ms": 435.24833396077156,+ "tokens_in": 380,+ "tokens_out": 21+ },+ {+ "id": "es-027",+ "text": "Se fue la señal en toda la oficina, necesitamos que vengan a revisar.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 439.4563329988159,+ "decided_ms": 439.4563329988159,+ "latency_ms": 463.93912500934675,+ "tokens_in": 388,+ "tokens_out": 21+ },+ {+ "id": "es-028",+ "text": "La extensión de recepción no suena cuando le marcan.",+ "gold": "soporte",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 409.261749999132,+ "decided_ms": 409.261749999132,+ "latency_ms": 434.05416602035984,+ "tokens_in": 383,+ "tokens_out": 21+ },+ {+ "id": "es-029",+ "text": "Páseme con facturación.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 404.0761249489151,+ "decided_ms": 404.0761249489151,+ "latency_ms": 428.7366669741459,+ "tokens_in": 377,+ "tokens_out": 21+ },+ {+ "id": "es-030",+ "text": "Necesito hablar con el departamento de cobros.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 402.02716703061014,+ "decided_ms": 402.02716703061014,+ "latency_ms": 426.60225002327934,+ "tokens_in": 380,+ "tokens_out": 21+ },+ {+ "id": "es-031",+ "text": "Quiero hablar con alguien de facturación, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 411.6439580102451,+ "decided_ms": 411.6439580102451,+ "latency_ms": 436.47587503073737,+ "tokens_in": 381,+ "tokens_out": 21+ },+ {+ "id": "es-032",+ "text": "Con cuentas por cobrar, por favor.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 403.3565000281669,+ "decided_ms": 403.3565000281669,+ "latency_ms": 428.03962499601766,+ "tokens_in": 378,+ "tokens_out": 21+ },+ {+ "id": "es-033",+ "text": "Comuníqueme con el área de pagos.",+ "gold": "facturacion",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 411.7814999772236,+ "decided_ms": 411.7814999772236,+ "latency_ms": 436.43958296161145,+ "tokens_in": 380,+ "tokens_out": 21+ },+ {+ "id": "es-034",+ "text": "Me cobraron dos veces este mes y quiero que me devuelvan el dinero.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 405.04550002515316,+ "decided_ms": 405.04550002515316,+ "latency_ms": 429.7362500219606,+ "tokens_in": 386,+ "tokens_out": 21+ },+ {+ "id": "es-035",+ "text": "La factura me llegó con un monto que no es el que acordamos.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 410.7128340401687,+ "decided_ms": 410.7128340401687,+ "latency_ms": 435.25058403611183,+ "tokens_in": 385,+ "tokens_out": 21+ },+ {+ "id": "es-036",+ "text": "Ya pagué y me siguen cobrando el mismo recibo.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 411.8400000152178,+ "decided_ms": 411.8400000152178,+ "latency_ms": 436.81758403545246,+ "tokens_in": 383,+ "tokens_out": 21+ },+ {+ "id": "es-037",+ "text": "Necesito que me reenvíen la factura de agosto con el RTN de la empresa.",+ "gold": "facturacion",+ "tags": [+ "indirect",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 405.8893750188872,+ "decided_ms": 405.8893750188872,+ "latency_ms": 431.83537502773106,+ "tokens_in": 390,+ "tokens_out": 21+ },+ {+ "id": "es-038",+ "text": "Quiero hacer un arreglo de pago porque estoy atrasado.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 412.3714169836603,+ "decided_ms": 412.3714169836603,+ "latency_ms": 437.27641698205844,+ "tokens_in": 381,+ "tokens_out": 21+ },+ {+ "id": "es-039",+ "text": "Me aparece un cargo que no reconozco en el estado de cuenta.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 408.01191702485085,+ "decided_ms": 408.01191702485085,+ "latency_ms": 432.85833299160004,+ "tokens_in": 384,+ "tokens_out": 21+ },+ {+ "id": "es-040",+ "text": "Hice la transferencia hace tres días y no me han aplicado el pago.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 415.0525839650072,+ "decided_ms": 415.0525839650072,+ "latency_ms": 439.9006249732338,+ "tokens_in": 385,+ "tokens_out": 21+ },+ {+ "id": "es-041",+ "text": "Quiero saber por qué me subieron el cobro sin avisarme, necesito que lo corrijan.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 408.2738749566488,+ "decided_ms": 408.2738749566488,+ "latency_ms": 433.0023750080727,+ "tokens_in": 391,+ "tokens_out": 21+ },+ {+ "id": "es-042",+ "text": "Pagué de más y quiero un reembolso.",+ "gold": "facturacion",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 402.97941595781595,+ "decided_ms": 402.97941595781595,+ "latency_ms": 427.80691594816744,+ "tokens_in": 381,+ "tokens_out": 21+ },+ {+ "id": "es-043",+ "text": "Quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 399.72275000764057,+ "decided_ms": 399.72275000764057,+ "latency_ms": 424.5007499703206,+ "tokens_in": 375,+ "tokens_out": 21+ },+ {+ "id": "es-044",+ "text": "Páseme con un humano, por favor.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 401.9212920102291,+ "decided_ms": 401.9212920102291,+ "latency_ms": 426.7702919896692,+ "tokens_in": 379,+ "tokens_out": 21+ },+ {+ "id": "es-045",+ "text": "Necesito hablar con alguien de verdad, no con una máquina.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 415.2517500333488,+ "decided_ms": 415.2517500333488,+ "latency_ms": 439.7327090264298,+ "tokens_in": 383,+ "tokens_out": 21+ },+ {+ "id": "es-046",+ "text": "¿Me puede pasar con una operadora?",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 402.78841700637713,+ "decided_ms": 402.78841700637713,+ "latency_ms": 427.3205000208691,+ "tokens_in": 377,+ "tokens_out": 21+ },+ {+ "id": "es-047",+ "text": "Comuníqueme con recepción.",+ "gold": "operadora",+ "tags": [+ "human",+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 404.4723749975674,+ "decided_ms": 404.4723749975674,+ "latency_ms": 429.58279204322025,+ "tokens_in": 377,+ "tokens_out": 21+ },+ {+ "id": "es-048",+ "text": "Prefiero que me atienda un agente.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 405.4152499884367,+ "decided_ms": 405.4152499884367,+ "latency_ms": 429.97783300234005,+ "tokens_in": 378,+ "tokens_out": 21+ },+ {+ "id": "es-049",+ "text": "Quiero hablar con un representante.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 407.223290996626,+ "decided_ms": 407.223290996626,+ "latency_ms": 431.90100003266707,+ "tokens_in": 376,+ "tokens_out": 21+ },+ {+ "id": "es-050",+ "text": "Con alguien, por favor, con quien sea.",+ "gold": "operadora",+ "tags": [+ "human",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 418.0082499515265,+ "decided_ms": 418.0082499515265,+ "latency_ms": 442.85916595254093,+ "tokens_in": 378,+ "tokens_out": 21+ },+ {+ "id": "es-051",+ "text": "Mire, mejor páseme con una persona que me pueda ayudar.",+ "gold": "operadora",+ "tags": [+ "human",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 411.8304590228945,+ "decided_ms": 411.8304590228945,+ "latency_ms": 436.468583997339,+ "tokens_in": 384,+ "tokens_out": 21+ },+ {+ "id": "es-052",+ "text": "No quiero hablar con un robot, páseme con alguien.",+ "gold": "operadora",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 411.7092909873463,+ "decided_ms": 411.7092909873463,+ "latency_ms": 436.79112498648465,+ "tokens_in": 381,+ "tokens_out": 21+ },+ {+ "id": "es-053",+ "text": "¿Hay alguna persona que me pueda atender?",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Por supuesto, ¿con qué área te gustaría hablar hoy? Tenemos áreas de ventas, soporte técnico y facturación.",+ "first_ms": 188.9516669907607,+ "decided_ms": null,+ "latency_ms": 536.2363749882206,+ "tokens_in": 378,+ "tokens_out": 29+ },+ {+ "id": "es-054",+ "text": "Déjeme hablar con la secretaria.",+ "gold": "operadora",+ "tags": [+ "human"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 408.3888329914771,+ "decided_ms": 408.3888329914771,+ "latency_ms": 433.2394170342013,+ "tokens_in": 377,+ "tokens_out": 21+ },+ {+ "id": "es-055",+ "text": "Eso era todo, muchas gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 520.134333986789,+ "decided_ms": 520.134333986789,+ "latency_ms": 546.06183397118,+ "tokens_in": 379,+ "tokens_out": 30+ },+ {+ "id": "es-056",+ "text": "No, gracias, ya no necesito nada más. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 445.6072920002043,+ "decided_ms": 445.6072920002043,+ "latency_ms": 470.4368750099093,+ "tokens_in": 383,+ "tokens_out": 23+ },+ {+ "id": "es-057",+ "text": "Listo, muy amable, que tenga buen día.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 445.1031250064261,+ "decided_ms": 445.1031250064261,+ "latency_ms": 470.00900004059076,+ "tokens_in": 380,+ "tokens_out": 24+ },+ {+ "id": "es-058",+ "text": "Vaya pues, gracias, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 519.3823750014417,+ "decided_ms": 519.3823750014417,+ "latency_ms": 544.1722499672323,+ "tokens_in": 377,+ "tokens_out": 30+ },+ {+ "id": "es-059",+ "text": "Ya puede colgar, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 517.151499981992,+ "decided_ms": 517.151499981992,+ "latency_ms": 541.6965839685872,+ "tokens_in": 375,+ "tokens_out": 30+ },+ {+ "id": "es-060",+ "text": "Perfecto, era solo eso. Buenas tardes.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Gracias por contactarnos. ¡Que tengas una buena tarde!",+ "first_ms": 183.1244999775663,+ "decided_ms": null,+ "latency_ms": 432.0276249782182,+ "tokens_in": 380,+ "tokens_out": 21+ },+ {+ "id": "es-061",+ "text": "Bueno, le agradezco, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 538.4325420018286,+ "decided_ms": 538.4325420018286,+ "latency_ms": 563.357624982018,+ "tokens_in": 382,+ "tokens_out": 30+ },+ {+ "id": "es-062",+ "text": "Nada más, gracias. Chao.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 530.0245830439962,+ "decided_ms": 530.0245830439962,+ "latency_ms": 554.6730420319363,+ "tokens_in": 377,+ "tokens_out": 30+ },+ {+ "id": "es-063",+ "text": "Me equivoqué de número, disculpe, hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 482.8337500221096,+ "decided_ms": 482.8337500221096,+ "latency_ms": 507.72270903689787,+ "tokens_in": 382,+ "tokens_out": 27+ },+ {+ "id": "es-064",+ "text": "Ya me resolvieron, gracias, feliz tarde.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 466.3832079968415,+ "decided_ms": 466.3832079968415,+ "latency_ms": 491.3194580003619,+ "tokens_in": 379,+ "tokens_out": 25+ },+ {+ "id": "es-065",+ "text": "Está bien, después llamo. Adiós.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 495.9667919902131,+ "decided_ms": 495.9667919902131,+ "latency_ms": 521.4472499792464,+ "tokens_in": 380,+ "tokens_out": 28+ },+ {+ "id": "es-066",+ "text": "Cheque, gracias, eso sería todo.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "Gracias por contactarnos. ¿Podemos ayudarte con algo más? Si no, procederé a finalizar la llamada.",+ "first_ms": 186.18929095100611,+ "decided_ms": 1189.8490409948863,+ "latency_ms": 1214.9594159564003,+ "tokens_in": 377,+ "tokens_out": 84+ },+ {+ "id": "es-067",+ "text": "¿A qué hora abren mañana?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Por favor, confirme la fecha para la que necesita esta información, ya que la horario puede variar dependiendo del día.",+ "first_ms": 185.65437500365078,+ "decided_ms": null,+ "latency_ms": 531.740834005177,+ "tokens_in": 376,+ "tokens_out": 29+ },+ {+ "id": "es-068",+ "text": "¿Dónde queda la oficina principal?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lamento informarle que no tengo la dirección exacta de la oficina principal. ¿Podría verificarlo por favor? Si necesita ayuda con otra consulta, estaré encantada de asistirle.",+ "first_ms": 178.00179100595415,+ "decided_ms": null,+ "latency_ms": 727.716458030045,+ "tokens_in": 378,+ "tokens_out": 45+ },+ {+ "id": "es-069",+ "text": "¿Hasta qué hora atienden los sábados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "nuest\n{\"name\": \"transfer_call\", \"arguments\": {\"destination\": \"soporte\"}}\n</tool_call>",+ "first_ms": 182.17137502506375,+ "decided_ms": null,+ "latency_ms": 444.2080840235576,+ "tokens_in": 381,+ "tokens_out": 21+ },+ {+ "id": "es-070",+ "text": "¿Cuál es el correo para mandar documentos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lo siento, pero no tenemos un correo específico para recibir documentos. ¿Podrías indicarme si es para envío de facturas, propuestas comerciales o otro tipo de documentos? Podría derivarte a la área de facturación o ventas según sea el caso.",+ "first_ms": 4855.59941601241,+ "decided_ms": null,+ "latency_ms": 5566.3734580157325,+ "tokens_in": 379,+ "tokens_out": 58+ },+ {+ "id": "es-071",+ "text": "¿Ustedes tienen cobertura en San Pedro Sula?",+ "gold": "ninguno",+ "tags": [+ "open",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "Pasa tu llamada al área de facturación para que puedan ayudarte con tu consulta sobre cobertura en San Pedro Sula.",+ "first_ms": 5772.283875034191,+ "decided_ms": 6371.667333005462,+ "latency_ms": 6396.823042014148,+ "tokens_in": 381,+ "tokens_out": 51+ },+ {+ "id": "es-072",+ "text": "¿Me puede repetir la dirección, por favor?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Claro, la dirección es Av. del Libertador 1450, CABA. Si necesitas más detalles, no dudes en preguntar.",+ "first_ms": 4739.3151670112275,+ "decided_ms": null,+ "latency_ms": 5149.374458997045,+ "tokens_in": 379,+ "tokens_out": 34+ },+ {+ "id": "es-073",+ "text": "¿Qué documentos necesito llevar?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Para poder ayudarte mejor, ¿puedes decirme con qué área necesitas estos documentos? Podría ser para una venta, soporte técnico, facturación o otra cosa.",+ "first_ms": 4973.658874980174,+ "decided_ms": null,+ "latency_ms": 5448.264915961772,+ "tokens_in": 375,+ "tokens_out": 39+ },+ {+ "id": "es-074",+ "text": "¿Trabajan los días feriados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "No trabajamos los días feriados, pero si es un servicio urgente, puede contactarse con nuestro servicio de soporte. ¿Puedo derivarle a ellos?",+ "first_ms": 5992.0911669614725,+ "decided_ms": null,+ "latency_ms": 6451.582958979998,+ "tokens_in": 378,+ "tokens_out": 38+ },+ {+ "id": "es-075",+ "text": "¿Cómo se llama usted?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Me llamo Sos. ¿Cómo puedo ayudarte hoy?",+ "first_ms": 5082.1210000431165,+ "decided_ms": null,+ "latency_ms": 5244.231500022579,+ "tokens_in": 374,+ "tokens_out": 14+ },+ {+ "id": "es-076",+ "text": "¿Tienen parqueo para clientes?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "Pasaré tu consulta al área de facturación para que puedan aclararte mejor sobre el parqueo para clientes.",+ "first_ms": 5009.060374984983,+ "decided_ms": 5579.114167019725,+ "latency_ms": 5604.514083999675,+ "tokens_in": 377,+ "tokens_out": 49+ },+ {+ "id": "es-077",+ "text": "Aló, buenos días.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Buenos días. ¿En qué puedo ayudarle?",+ "first_ms": 5135.378000035416,+ "decided_ms": null,+ "latency_ms": 5317.98641604837,+ "tokens_in": 375,+ "tokens_out": 14+ },+ {+ "id": "es-078",+ "text": "¿Aló? ¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Sí, me escucho perfectamente. ¿En qué puedo ayudarte?",+ "first_ms": 189.42108401097357,+ "decided_ms": null,+ "latency_ms": 415.3884170227684,+ "tokens_in": 377,+ "tokens_out": 18+ },+ {+ "id": "es-079",+ "text": "Sí.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Un momento, por favor. Derivando su llamada a la área de ventas.",+ "first_ms": 212.87083299830556,+ "decided_ms": null,+ "latency_ms": 468.7197500024922,+ "tokens_in": 371,+ "tokens_out": 19+ },+ {+ "id": "es-080",+ "text": "Este... espere un momento.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Un momento por favor, le derivaré a la sección de soporte.",+ "first_ms": 190.20249997265637,+ "decided_ms": null,+ "latency_ms": 403.35620898986235,+ "tokens_in": 375,+ "tokens_out": 18+ },+ {+ "id": "es-081",+ "text": "Buenas tardes, mire, tengo una consulta.",+ "gold": "ninguno",+ "tags": [+ "noise",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Buenas tardes. ¿Podría decirme de qué se trata su consulta?",+ "first_ms": 189.32504195254296,+ "decided_ms": null,+ "latency_ms": 418.45816699787974,+ "tokens_in": 381,+ "tokens_out": 19+ },+ {+ "id": "es-082",+ "text": "Un momentito, que estoy buscando el número de contrato.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Un momento, por favor. Estoy aquí para ayudar. ¿Podrías proporcionarme algunos detalles para encontrar tu número de contrato?",+ "first_ms": 214.46708304574713,+ "decided_ms": null,+ "latency_ms": 564.5120410481468,+ "tokens_in": 381,+ "tokens_out": 29+ },+ {+ "id": "es-083",+ "text": "¿Cómo dijo? No le entendí.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lo siento, no me entendió bien. ¿Podría repetir, por favor?",+ "first_ms": 199.16687498334795,+ "decided_ms": null,+ "latency_ms": 436.04966602288187,+ "tokens_in": 377,+ "tokens_out": 20+ },+ {+ "id": "es-084",+ "text": "Ajá, sí, lo escucho.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 442.1354579972103,+ "decided_ms": 442.1354579972103,+ "latency_ms": 466.97129198582843,+ "tokens_in": 378,+ "tokens_out": 21+ },+ {+ "id": "es-085",+ "text": "No me pase con ventas, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 407.85091696307063,+ "decided_ms": 407.85091696307063,+ "latency_ms": 432.7733339741826,+ "tokens_in": 382,+ "tokens_out": 21+ },+ {+ "id": "es-086",+ "text": "No quiero hablar con soporte, ya hablé con ellos ayer.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, derivaré tu llamada a la área de ventas. ¿Podrías esperar un momento, por favor?",+ "first_ms": 185.64462498761714,+ "decided_ms": null,+ "latency_ms": 551.8651669844985,+ "tokens_in": 383,+ "tokens_out": 29+ },+ {+ "id": "es-087",+ "text": "No necesito que me transfieran a facturación, solo una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, no hay necesidad de transferir la llamada entonces. ¿Me puede dar más detalles sobre su pregunta?",+ "first_ms": 183.12616599723697,+ "decided_ms": null,+ "latency_ms": 506.0647499631159,+ "tokens_in": 384,+ "tokens_out": 27+ },+ {+ "id": "es-088",+ "text": "Todavía no me pase con nadie, primero explíqueme usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Claro, soy la recepcionista. ¿En qué puedo ayudarte hoy?",+ "first_ms": 222.01404196675867,+ "decided_ms": null,+ "latency_ms": 433.50020895013586,+ "tokens_in": 387,+ "tokens_out": 18+ },+ {+ "id": "es-089",+ "text": "No, con la operadora no, prefiero que me lo diga usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 410.13862495310605,+ "decided_ms": 410.13862495310605,+ "latency_ms": 435.0265839602798,+ "tokens_in": 385,+ "tokens_out": 21+ },+ {+ "id": "es-090",+ "text": "No es para ventas, es solo para saber dónde están ubicados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Por supuesto, eso no requiere transferir la llamada. Los departamentos se encuentran en el piso 3 del edificio principal. El área de ventas está en el sector noreste, cerca de las ventanillas 301 y 302. ¿Necesitas más información?",+ "first_ms": 182.62791697634384,+ "decided_ms": null,+ "latency_ms": 1023.3747499878518,+ "tokens_in": 383,+ "tokens_out": 68+ },+ {+ "id": "es-091",+ "text": "No tengo ninguna falla, el internet funciona bien, solo llamo por una duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "No problem at all! I'm here to help. Could you please tell me more about your query?",+ "first_ms": 189.9280000361614,+ "decided_ms": null,+ "latency_ms": 475.022416037973,+ "tokens_in": 387,+ "tokens_out": 22+ },+ {+ "id": "es-092",+ "text": "No tengo problema con el cobro, la factura está bien, era otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido. ¿Puedo ayudarte con algo más? Si no, podré finalizar la llamada.",+ "first_ms": 198.90750001650304,+ "decided_ms": null,+ "latency_ms": 522.3555829725228,+ "tokens_in": 385,+ "tokens_out": 26+ },+ {+ "id": "es-093",+ "text": "No quiero comprar nada, solo estoy preguntando por el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Puedo ayudarte con eso. Nuestro horario de atención es de lunes a viernes, de 8:00 a 20:00 horas. Si necesitas más información, estaré encantada de ayudarte. ¿Necesitas algo más?",+ "first_ms": 192.7461249870248,+ "decided_ms": null,+ "latency_ms": 957.3644999763928,+ "tokens_in": 383,+ "tokens_out": 62+ },+ {+ "id": "es-094",+ "text": "No me transfiera, por favor.",+ "gold": "ninguno",+ "tags": [+ "negation",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, no lo derivaré. ¿En qué puedo ayudarte?",+ "first_ms": 187.25533300312236,+ "decided_ms": null,+ "latency_ms": 403.1429170281626,+ "tokens_in": 376,+ "tokens_out": 18+ },+ {+ "id": "es-095",+ "text": "No cuelgue, por favor, todavía tengo otra pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Claro, ¿en qué puedo ayudarte más?",+ "first_ms": 195.67754096351564,+ "decided_ms": null,+ "latency_ms": 334.03333299793303,+ "tokens_in": 381,+ "tokens_out": 12+ },+ {+ "id": "es-096",+ "text": "Espere, no he terminado, no me corte.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Claro, ¿cómo puedo ayudarte entonces?",+ "first_ms": 183.1802919623442,+ "decided_ms": null,+ "latency_ms": 320.50674996571615,+ "tokens_in": 381,+ "tokens_out": 12+ },+ {+ "id": "es-097",+ "text": "No, no es todo, me falta preguntarle otra cosa.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Claro, ¿qué otra información necesitas proporcionar?",+ "first_ms": 183.56299999868497,+ "decided_ms": null,+ "latency_ms": 333.1562500097789,+ "tokens_in": 383,+ "tokens_out": 13+ },+ {+ "id": "es-098",+ "text": "Gracias, pero todavía no me despido, tengo una duda más.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Claro, ¿en qué puedo ayudarte?",+ "first_ms": 189.9160830071196,+ "decided_ms": null,+ "latency_ms": 315.6002500327304,+ "tokens_in": 384,+ "tokens_out": 11+ },+ {+ "id": "es-099",+ "text": "Ventas me prometió una velocidad y el internet no funciona.",+ "gold": "soporte",+ "tags": [+ "hard"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 414.60362501675263,+ "decided_ms": 414.60362501675263,+ "latency_ms": 439.6019160049036,+ "tokens_in": 382,+ "tokens_out": 21+ },+ {+ "id": "es-100",+ "text": "Soporte ya vino, pero ahora me están cobrando la visita y no estoy de acuerdo.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 419.2623339476995,+ "decided_ms": 419.2623339476995,+ "latency_ms": 444.27641696529463,+ "tokens_in": 389,+ "tokens_out": 21+ },+ {+ "id": "es-101",+ "text": "Hablé con facturación y me dijeron que para contratar otra línea hable con ustedes.",+ "gold": "ventas",+ "tags": [+ "hard"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 402.80391700798646,+ "decided_ms": 402.80391700798646,+ "latency_ms": 427.5523339747451,+ "tokens_in": 392,+ "tokens_out": 20+ },+ {+ "id": "es-102",+ "text": "Ya hablé con ventas y con soporte y nadie me resuelve, quiero hablar con una persona.",+ "gold": "operadora",+ "tags": [+ "hard"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 404.8825000063516,+ "decided_ms": 404.8825000063516,+ "latency_ms": 429.5902500161901,+ "tokens_in": 390,+ "tokens_out": 21+ },+ {+ "id": "es-103",+ "text": "Gracias por pasarme antes con soporte; ahora quiero pagar mi factura.",+ "gold": "facturacion",+ "tags": [+ "hard"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 404.3551250360906,+ "decided_ms": 404.3551250360906,+ "latency_ms": 429.69020805321634,+ "tokens_in": 384,+ "tokens_out": 21+ },+ {+ "id": "es-104",+ "text": "El técnico arregló todo, solo quería agradecer. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "hard"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 563.4546249639243,+ "decided_ms": 563.4546249639243,+ "latency_ms": 589.6910000010394,+ "tokens_in": 387,+ "tokens_out": 33+ },+ {+ "id": "es-105",+ "text": "eh si buenas mire es que no tengo internet desde la mañana",+ "gold": "soporte",+ "tags": [+ "asr",+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 413.7806670041755,+ "decided_ms": 413.7806670041755,+ "latency_ms": 439.1243330319412,+ "tokens_in": 382,+ "tokens_out": 21+ },+ {+ "id": "es-106",+ "text": "quiero este quiero contratar un plan para mi negocio",+ "gold": "ventas",+ "tags": [+ "asr",+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ventas",+ "argument": "ventas",+ "spoken": "",+ "first_ms": 401.0228340048343,+ "decided_ms": 401.0228340048343,+ "latency_ms": 426.23737500980496,+ "tokens_in": 379,+ "tokens_out": 20+ },+ {+ "id": "es-107",+ "text": "me me cobraron doble la factura de este mes",+ "gold": "facturacion",+ "tags": [+ "asr",+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 411.4447920001112,+ "decided_ms": 411.4447920001112,+ "latency_ms": 436.273584025912,+ "tokens_in": 380,+ "tokens_out": 21+ },+ {+ "id": "es-108",+ "text": "paseme con una persona por favor",+ "gold": "operadora",+ "tags": [+ "asr",+ "human"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 404.9957499955781,+ "decided_ms": 404.9957499955781,+ "latency_ms": 430.01579196425155,+ "tokens_in": 375,+ "tokens_out": 21+ },+ {+ "id": "es-109",+ "text": "bueno gracias eso era todo hasta luego",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 526.5222089947201,+ "decided_ms": 526.5222089947201,+ "latency_ms": 551.1624999926426,+ "tokens_in": 377,+ "tokens_out": 27+ },+ {+ "id": "es-110",+ "text": "a que hora cierran hoy",+ "gold": "ninguno",+ "tags": [+ "asr",+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Para poder ayudarte con esa información, necesitaría saber a qué establecimiento te refieres. Podrías indicarme el nombre o la ubicación, por favor?",+ "first_ms": 181.02962494594976,+ "decided_ms": null,+ "latency_ms": 614.6761249983683,+ "tokens_in": 375,+ "tokens_out": 36+ },+ {+ "id": "es-111",+ "text": "no no me pase con ventas solo una pregunta",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, no necesitamos pasar la llamada. ¿En qué puedo ayudarte?",+ "first_ms": 182.60920798638836,+ "decided_ms": null,+ "latency_ms": 433.6472079739906,+ "tokens_in": 378,+ "tokens_out": 21+ },+ {+ "id": "es-112",+ "text": "alo alo si me escucha",+ "gold": "ninguno",+ "tags": [+ "asr",+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "¡Claro que sí! ¿En qué puedo ayudarte hoy?",+ "first_ms": 183.82054200628772,+ "decided_ms": null,+ "latency_ms": 360.3759999969043,+ "tokens_in": 374,+ "tokens_out": 15+ },+ {+ "id": "es-113",+ "text": "¿Cuánto cuesta el plan de cincuenta megas?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Transferimos tu llamada a la sección de ventas para que puedas obtener información sobre los planes de cincuenta megas.",+ "first_ms": 183.66745801176876,+ "decided_ms": null,+ "latency_ms": 525.203125027474,+ "tokens_in": 383,+ "tokens_out": 28+ },+ {+ "id": "es-114",+ "text": "Quiero cancelar mi servicio.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 416.2976660300046,+ "decided_ms": 416.2976660300046,+ "latency_ms": 441.5053330012597,+ "tokens_in": 375,+ "tokens_out": 21+ },+ {+ "id": "es-115",+ "text": "¿Qué promociones tienen este mes?",+ "gold": "ninguno",+ "tags": [+ "borderline"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Pásale la llamada a la área de ventas para que pueda ayudarlo con información sobre las promociones actualmente disponibles.",+ "first_ms": 188.89712495729327,+ "decided_ms": null,+ "latency_ms": 525.1552499830723,+ "tokens_in": 377,+ "tokens_out": 28+ },+ {+ "id": "es-116",+ "text": "Necesito cambiar el titular de la cuenta.",+ "gold": "operadora",+ "tags": [+ "borderline"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 403.8909999653697,+ "decided_ms": 403.8909999653697,+ "latency_ms": 429.09499997040257,+ "tokens_in": 379,+ "tokens_out": 21+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__clinic.json b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__clinic.jsonnew file mode 100644index 00000000..6e958555--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__clinic.json@@ -0,0 +1,923 @@+{+ "meta": {+ "model": "qwen2.5:7b-instruct",+ "dataset": "clinic",+ "system_prompt": "Sos la recepcionista. UNA frase corta y hablada. Derivá al área que corresponda."+ },+ "summary": {+ "n": 45,+ "accuracy": 0.9111111111111111,+ "macro_f1": 0.9055844155844156,+ "ece": 0.0888888888888889,+ "mean_confidence": 1.0,+ "majority_baseline": 0.28888888888888886,+ "wrong_actions": 3,+ "by_tag": {+ "asr": {+ "n": 5,+ "accuracy": 0.8+ },+ "direct": {+ "n": 6,+ "accuracy": 1.0+ },+ "farewell": {+ "n": 4,+ "accuracy": 0.75+ },+ "hard": {+ "n": 3,+ "accuracy": 1.0+ },+ "hn": {+ "n": 2,+ "accuracy": 1.0+ },+ "human": {+ "n": 4,+ "accuracy": 1.0+ },+ "indirect": {+ "n": 16,+ "accuracy": 0.9375+ },+ "negation": {+ "n": 7,+ "accuracy": 0.7142857142857143+ },+ "negation-in-text": {+ "n": 1,+ "accuracy": 1.0+ },+ "noise": {+ "n": 3,+ "accuracy": 1.0+ },+ "open": {+ "n": 3,+ "accuracy": 1.0+ },+ "short": {+ "n": 2,+ "accuracy": 1.0+ }+ },+ "confusion": {+ "colgar->recepcion": 1,+ "farmacia->ninguno": 1,+ "ninguno->colgar": 1,+ "ninguno->recepcion": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 33,+ "coverage": 0.7333333333333333,+ "action_recall": 0.9375,+ "wrong": 3,+ "precision": 0.9090909090909091+ },+ {+ "threshold": 0.6,+ "fast": 33,+ "coverage": 0.7333333333333333,+ "action_recall": 0.9375,+ "wrong": 3,+ "precision": 0.9090909090909091+ },+ {+ "threshold": 0.7,+ "fast": 33,+ "coverage": 0.7333333333333333,+ "action_recall": 0.9375,+ "wrong": 3,+ "precision": 0.9090909090909091+ },+ {+ "threshold": 0.8,+ "fast": 33,+ "coverage": 0.7333333333333333,+ "action_recall": 0.9375,+ "wrong": 3,+ "precision": 0.9090909090909091+ },+ {+ "threshold": 0.9,+ "fast": 33,+ "coverage": 0.7333333333333333,+ "action_recall": 0.9375,+ "wrong": 3,+ "precision": 0.9090909090909091+ },+ {+ "threshold": 0.95,+ "fast": 33,+ "coverage": 0.7333333333333333,+ "action_recall": 0.9375,+ "wrong": 3,+ "precision": 0.9090909090909091+ },+ {+ "threshold": 0.99,+ "fast": 33,+ "coverage": 0.7333333333333333,+ "action_recall": 0.9375,+ "wrong": 3,+ "precision": 0.9090909090909091+ }+ ],+ "latency_ms": {+ "p50": 448.0642920243554,+ "p95": 6041.248874971643,+ "min": 325.5994580104016+ },+ "borderline": [],+ "first_ms": {+ "p50": 418.77541702706367,+ "p95": 5706.497666018549+ },+ "tokens": {+ "in_mean": 384.4,+ "out_mean": 22.733333333333334+ },+ "invalid_destinations": 0+ },+ "records": [+ {+ "id": "cl-001",+ "text": "Quiero sacar una cita con el cardiólogo.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 351.916000014171,+ "decided_ms": 351.916000014171,+ "latency_ms": 376.79233303060755,+ "tokens_in": 383,+ "tokens_out": 21+ },+ {+ "id": "cl-002",+ "text": "Necesito cambiar la fecha de mi consulta del jueves.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 409.4137090141885,+ "decided_ms": 409.4137090141885,+ "latency_ms": 434.28112502442673,+ "tokens_in": 385,+ "tokens_out": 21+ },+ {+ "id": "cl-003",+ "text": "Páseme con citas, por favor.",+ "gold": "citas",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 418.60904201166704,+ "decided_ms": 418.60904201166704,+ "latency_ms": 443.65345902042463,+ "tokens_in": 381,+ "tokens_out": 21+ },+ {+ "id": "cl-004",+ "text": "Fíjese que quiero apartar una consulta para mi mamá.",+ "gold": "citas",+ "tags": [+ "indirect",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 404.1166660026647,+ "decided_ms": 404.1166660026647,+ "latency_ms": 429.1231660172343,+ "tokens_in": 386,+ "tokens_out": 21+ },+ {+ "id": "cl-005",+ "text": "Tengo que cancelar la cita que tenía mañana con la doctora.",+ "gold": "citas",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 414.731708006002,+ "decided_ms": 414.731708006002,+ "latency_ms": 439.4030830007978,+ "tokens_in": 386,+ "tokens_out": 21+ },+ {+ "id": "cl-006",+ "text": "quiero agendar con el pediatra para la otra semana",+ "gold": "citas",+ "tags": [+ "asr",+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 410.2075000409968,+ "decided_ms": 410.2075000409968,+ "latency_ms": 435.1722089922987,+ "tokens_in": 384,+ "tokens_out": 21+ },+ {+ "id": "cl-007",+ "text": "Quiero saber si ya están listos los resultados de mis exámenes de sangre.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 416.7658329824917,+ "decided_ms": 416.7658329824917,+ "latency_ms": 441.77562498953193,+ "tokens_in": 391,+ "tokens_out": 22+ },+ {+ "id": "cl-008",+ "text": "Comuníqueme con el laboratorio.",+ "gold": "laboratorio",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 418.95983403082937,+ "decided_ms": 418.95983403082937,+ "latency_ms": 443.91508400440216,+ "tokens_in": 381,+ "tokens_out": 22+ },+ {+ "id": "cl-009",+ "text": "Me mandaron a hacerme unos análisis y quiero saber si tengo que ir en ayunas, páseme con ellos.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 425.24566600332037,+ "decided_ms": 425.24566600332037,+ "latency_ms": 450.37400000728667,+ "tokens_in": 396,+ "tokens_out": 22+ },+ {+ "id": "cl-010",+ "text": "Necesito que me reenvíen el resultado de la prueba que me hice el lunes.",+ "gold": "laboratorio",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 422.28054197039455,+ "decided_ms": 422.28054197039455,+ "latency_ms": 447.06216698978096,+ "tokens_in": 394,+ "tokens_out": 22+ },+ {+ "id": "cl-011",+ "text": "me hicieron un examen de orina y no me han entregado nada",+ "gold": "laboratorio",+ "tags": [+ "asr",+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 414.954875013791,+ "decided_ms": 414.954875013791,+ "latency_ms": 439.4713750225492,+ "tokens_in": 387,+ "tokens_out": 22+ },+ {+ "id": "cl-012",+ "text": "Quiero saber si tienen el medicamento que me recetaron, páseme con farmacia.",+ "gold": "farmacia",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "farmacia",+ "argument": "farmacia",+ "spoken": "",+ "first_ms": 405.8413340244442,+ "decided_ms": 405.8413340244442,+ "latency_ms": 431.1792090302333,+ "tokens_in": 392,+ "tokens_out": 21+ },+ {+ "id": "cl-013",+ "text": "Necesito surtir una receta.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "farmacia",+ "argument": "farmacia",+ "spoken": "",+ "first_ms": 423.2414159923792,+ "decided_ms": 423.2414159923792,+ "latency_ms": 457.35187496757135,+ "tokens_in": 382,+ "tokens_out": 21+ },+ {+ "id": "cl-014",+ "text": "Con la farmacia, por favor.",+ "gold": "farmacia",+ "tags": [+ "direct",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "farmacia",+ "argument": "farmacia",+ "spoken": "",+ "first_ms": 411.78833303274587,+ "decided_ms": 411.78833303274587,+ "latency_ms": 436.50770804379135,+ "tokens_in": 379,+ "tokens_out": 21+ },+ {+ "id": "cl-015",+ "text": "Me dieron unas pastillas equivocadas y quiero cambiarlas.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "farmacia",+ "argument": "farmacia",+ "spoken": "",+ "first_ms": 410.02900002058595,+ "decided_ms": 410.02900002058595,+ "latency_ms": 434.8854999989271,+ "tokens_in": 385,+ "tokens_out": 21+ },+ {+ "id": "cl-016",+ "text": "Quiero comprar la medicina que me indicó el doctor.",+ "gold": "farmacia",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Transferimos su llamada a la sección de farmacia para que le ayuden con la compra de su medicamento.",+ "first_ms": 182.61341704055667,+ "decided_ms": null,+ "latency_ms": 491.24245799612254,+ "tokens_in": 384,+ "tokens_out": 26+ },+ {+ "id": "cl-017",+ "text": "Mi papá se desmayó y no reacciona, necesito ayuda ya.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "emergencias",+ "argument": "emergencias",+ "spoken": "",+ "first_ms": 416.01616598200053,+ "decided_ms": 416.01616598200053,+ "latency_ms": 440.57474995497614,+ "tokens_in": 389,+ "tokens_out": 22+ },+ {+ "id": "cl-018",+ "text": "Páseme con emergencias, es urgente.",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "emergencias",+ "argument": "emergencias",+ "spoken": "",+ "first_ms": 423.50329202599823,+ "decided_ms": 423.50329202599823,+ "latency_ms": 448.0642920243554,+ "tokens_in": 383,+ "tokens_out": 22+ },+ {+ "id": "cl-019",+ "text": "Mi hijo se cortó y está sangrando mucho.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "emergencias",+ "argument": "emergencias",+ "spoken": "",+ "first_ms": 432.0326250162907,+ "decided_ms": 432.0326250162907,+ "latency_ms": 457.7065000194125,+ "tokens_in": 383,+ "tokens_out": 22+ },+ {+ "id": "cl-020",+ "text": "Tengo un dolor muy fuerte en el pecho y me cuesta respirar.",+ "gold": "emergencias",+ "tags": [+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "emergencias",+ "argument": "emergencias",+ "spoken": "",+ "first_ms": 429.6479999902658,+ "decided_ms": 429.6479999902658,+ "latency_ms": 454.51549999415874,+ "tokens_in": 389,+ "tokens_out": 22+ },+ {+ "id": "cl-021",+ "text": "necesito una ambulancia mi esposa se cayó y no se puede mover",+ "gold": "emergencias",+ "tags": [+ "asr",+ "indirect"+ ],+ "confidence": 1.0,+ "predicted": "emergencias",+ "argument": "emergencias",+ "spoken": "",+ "first_ms": 418.77541702706367,+ "decided_ms": 418.77541702706367,+ "latency_ms": 443.3346249861643,+ "tokens_in": 390,+ "tokens_out": 22+ },+ {+ "id": "cl-022",+ "text": "Quiero hablar con una persona.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 402.83304097829387,+ "decided_ms": 402.83304097829387,+ "latency_ms": 427.5135829811916,+ "tokens_in": 378,+ "tokens_out": 21+ },+ {+ "id": "cl-023",+ "text": "Páseme con alguien que me atienda, por favor.",+ "gold": "recepcion",+ "tags": [+ "human"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 420.3485830221325,+ "decided_ms": 420.3485830221325,+ "latency_ms": 444.98366699554026,+ "tokens_in": 385,+ "tokens_out": 21+ },+ {+ "id": "cl-024",+ "text": "No quiero hablar con una máquina, comuníqueme con una persona.",+ "gold": "recepcion",+ "tags": [+ "human",+ "negation-in-text"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 408.6807499988936,+ "decided_ms": 408.6807499988936,+ "latency_ms": 433.7837089551613,+ "tokens_in": 386,+ "tokens_out": 21+ },+ {+ "id": "cl-025",+ "text": "Con la recepcionista, por favor.",+ "gold": "recepcion",+ "tags": [+ "human",+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 431.159291008953,+ "decided_ms": 431.159291008953,+ "latency_ms": 457.48870802344754,+ "tokens_in": 380,+ "tokens_out": 21+ },+ {+ "id": "cl-026",+ "text": "Muchas gracias, eso era todo. Hasta luego.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 5287.402624962851,+ "decided_ms": 5287.402624962851,+ "latency_ms": 5312.7894579665735,+ "tokens_in": 383,+ "tokens_out": 27+ },+ {+ "id": "cl-027",+ "text": "Vaya pues, muy amable, adiós.",+ "gold": "colgar",+ "tags": [+ "farewell",+ "hn"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 6091.070208989549,+ "decided_ms": 6091.070208989549,+ "latency_ms": 6116.30791699281,+ "tokens_in": 383,+ "tokens_out": 30+ },+ {+ "id": "cl-028",+ "text": "Ya no necesito nada más, gracias.",+ "gold": "colgar",+ "tags": [+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 7300.437750003766,+ "decided_ms": 7300.437750003766,+ "latency_ms": 7328.297250031028,+ "tokens_in": 380,+ "tokens_out": 27+ },+ {+ "id": "cl-029",+ "text": "bueno gracias que pase buen dia",+ "gold": "colgar",+ "tags": [+ "asr",+ "farewell"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 5706.497666018549,+ "decided_ms": 5706.497666018549,+ "latency_ms": 5731.712541019078,+ "tokens_in": 380,+ "tokens_out": 21+ },+ {+ "id": "cl-030",+ "text": "¿A qué hora abre la clínica?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "La clínica abre a las 8:00 AM. ¿Necesitas que te reserve una cita para ese horario?",+ "first_ms": 4941.711083985865,+ "decided_ms": null,+ "latency_ms": 5300.797833944671,+ "tokens_in": 381,+ "tokens_out": 30+ },+ {+ "id": "cl-031",+ "text": "¿Dónde están ubicados?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Somos una empresa centralizada, pero nuestros servicios pueden atender llamadas desde cualquier lugar. Si necesitas más detalles sobre nuestras instalaciones, puedo proporcionarte la dirección. ¿Te interesa eso?",+ "first_ms": 5522.606957994867,+ "decided_ms": null,+ "latency_ms": 6041.248874971643,+ "tokens_in": 379,+ "tokens_out": 42+ },+ {+ "id": "cl-032",+ "text": "¿Atienden los domingos?",+ "gold": "ninguno",+ "tags": [+ "open"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Sí, atendemos los domingos. ¿En qué puedo ayudarte hoy?",+ "first_ms": 4825.824750005268,+ "decided_ms": null,+ "latency_ms": 5062.300292018335,+ "tokens_in": 380,+ "tokens_out": 20+ },+ {+ "id": "cl-033",+ "text": "Aló, buenas tardes.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Buenas tardes, ¿en qué puedo ayudarle?",+ "first_ms": 5286.901291983668,+ "decided_ms": null,+ "latency_ms": 5463.6877089506015,+ "tokens_in": 379,+ "tokens_out": 15+ },+ {+ "id": "cl-034",+ "text": "¿Me escucha?",+ "gold": "ninguno",+ "tags": [+ "noise",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Sí, me escucho perfectamente. ¿En qué puedo ayudarte?",+ "first_ms": 180.80766696948558,+ "decided_ms": null,+ "latency_ms": 396.7547499923967,+ "tokens_in": 376,+ "tokens_out": 18+ },+ {+ "id": "cl-035",+ "text": "Un momento, que estoy buscando mi carné.",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Un momento, le ayudaré con eso. ¿Podría proporcionarme su nombre y número de identificación para verificar su información?",+ "first_ms": 183.44254198018461,+ "decided_ms": null,+ "latency_ms": 525.4366250010207,+ "tokens_in": 382,+ "tokens_out": 28+ },+ {+ "id": "cl-036",+ "text": "No quiero una cita, solo quiero saber el horario.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Puedo ayudarte con eso. ¿Podrías indicarme qué tipo de cita necesitas saber el horario?",+ "first_ms": 208.29295797739178,+ "decided_ms": null,+ "latency_ms": 586.3177080173045,+ "tokens_in": 383,+ "tokens_out": 26+ },+ {+ "id": "cl-037",+ "text": "No me pase con el laboratorio, ya tengo mis resultados.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 448.9543749950826,+ "decided_ms": 448.9543749950826,+ "latency_ms": 474.4670829968527,+ "tokens_in": 385,+ "tokens_out": 21+ },+ {+ "id": "cl-038",+ "text": "No es una emergencia, solo es una pregunta.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "colgar",+ "argument": null,+ "spoken": "",+ "first_ms": 532.1250830311328,+ "decided_ms": 532.1250830311328,+ "latency_ms": 557.2283330257051,+ "tokens_in": 382,+ "tokens_out": 29+ },+ {+ "id": "cl-039",+ "text": "No necesito la farmacia, solo quería preguntar dónde quedan.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Gracias por tu consulta. Estamos ubicados en la calle 15 de Marzo, 723, Buenos Aires. ¿Necesitas más información?",+ "first_ms": 188.8004159554839,+ "decided_ms": null,+ "latency_ms": 636.5150409983471,+ "tokens_in": 389,+ "tokens_out": 37+ },+ {+ "id": "cl-040",+ "text": "No cuelgue, todavía tengo otra duda.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Claro, ¿en qué puedo ayudarte más?",+ "first_ms": 204.60041699698195,+ "decided_ms": null,+ "latency_ms": 342.6519579952583,+ "tokens_in": 382,+ "tokens_out": 12+ },+ {+ "id": "cl-041",+ "text": "No me transfiera con nadie todavía, primero dígame usted.",+ "gold": "ninguno",+ "tags": [+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Claro, ¿en qué puedo ayudarte hoy?",+ "first_ms": 185.72245800169185,+ "decided_ms": null,+ "latency_ms": 325.5994580104016,+ "tokens_in": 386,+ "tokens_out": 12+ },+ {+ "id": "cl-042",+ "text": "no no es urgente no me pase con emergencias",+ "gold": "ninguno",+ "tags": [+ "asr",+ "negation"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, no hay necesidad de derivar a emergencias. ¿En qué puedo ayudarte hoy?",+ "first_ms": 182.4943749816157,+ "decided_ms": null,+ "latency_ms": 471.450624987483,+ "tokens_in": 383,+ "tokens_out": 24+ },+ {+ "id": "cl-043",+ "text": "En el laboratorio me dijeron que para el examen necesito una cita, quiero sacarla.",+ "gold": "citas",+ "tags": [+ "hard"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 420.34212505677715,+ "decided_ms": 420.34212505677715,+ "latency_ms": 445.93108305707574,+ "tokens_in": 394,+ "tokens_out": 21+ },+ {+ "id": "cl-044",+ "text": "El doctor de emergencias me dejó una receta y quiero comprarla.",+ "gold": "farmacia",+ "tags": [+ "hard"+ ],+ "confidence": 1.0,+ "predicted": "farmacia",+ "argument": "farmacia",+ "spoken": "",+ "first_ms": 460.85970796411857,+ "decided_ms": 460.85970796411857,+ "latency_ms": 485.8611659728922,+ "tokens_in": 387,+ "tokens_out": 21+ },+ {+ "id": "cl-045",+ "text": "Ya saqué la cita, ahora quiero saber si están mis resultados.",+ "gold": "laboratorio",+ "tags": [+ "hard"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 435.21312496159226,+ "decided_ms": 435.21312496159226,+ "latency_ms": 459.6655829809606,+ "tokens_in": 385,+ "tokens_out": 22+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__frustration.json b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__frustration.jsonnew file mode 100644index 00000000..88990d06--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__frustration.json@@ -0,0 +1,270 @@+{+ "meta": {+ "model": "qwen2.5:7b-instruct",+ "dataset": "frustration",+ "system_prompt": "Sos la recepcionista. UNA frase corta y hablada. Derivá al área que corresponda."+ },+ "summary": {+ "n": 9,+ "accuracy": 1.0,+ "macro_f1": 1.0,+ "ece": 0.0,+ "mean_confidence": 1.0,+ "majority_baseline": 1.0,+ "wrong_actions": 0,+ "by_tag": {+ "frustration": {+ "n": 9,+ "accuracy": 1.0+ },+ "insult": {+ "n": 1,+ "accuracy": 1.0+ },+ "short": {+ "n": 3,+ "accuracy": 1.0+ },+ "swearing": {+ "n": 3,+ "accuracy": 1.0+ }+ },+ "confusion": {},+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.6,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.7,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.8,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.9,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.95,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ },+ {+ "threshold": 0.99,+ "fast": 0,+ "coverage": 0.0,+ "action_recall": null,+ "wrong": 0,+ "precision": null+ }+ ],+ "latency_ms": {+ "p50": 563.7405840097927,+ "p95": 723.9039170090109,+ "min": 457.36933301668614+ },+ "borderline": [],+ "first_ms": {+ "p50": 179.06320904148743,+ "p95": 186.30558397853747+ },+ "tokens": {+ "in_mean": 375.0,+ "out_mean": 33.0+ },+ "invalid_destinations": 0+ },+ "records": [+ {+ "id": "fr-001",+ "text": "te estoy pidiendo que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lamento la confusión. ¿Podrías aclarar tu solicitud? ¿Necesitas que la llamada se derive a un área específica o tienes otra petición?",+ "first_ms": 133.37966700783,+ "decided_ms": null,+ "latency_ms": 612.717917014379,+ "tokens_in": 375,+ "tokens_out": 39+ },+ {+ "id": "fr-002",+ "text": "te dije que no",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, voy a terminar la llamada entonces. Gracias por contactarnos. ¡Que tengas un buen día!",+ "first_ms": 186.30558397853747,+ "decided_ms": null,+ "latency_ms": 536.60829202272,+ "tokens_in": 373,+ "tokens_out": 29+ },+ {+ "id": "fr-003",+ "text": "no estas entendiendo?",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "short"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lo siento, no estoy entendiendo tu solicitud. ¿Podrías dar más detalles o especificar qué necesitas? Por ejemplo, ¿estás llamando para hablar con soporte técnico o para algo diferente?",+ "first_ms": 179.06320904148743,+ "decided_ms": null,+ "latency_ms": 723.9039170090109,+ "tokens_in": 373,+ "tokens_out": 45+ },+ {+ "id": "fr-004",+ "text": "maldita sea te dije que no!",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lo siento, parece que hubo un malentendido. ¿Podría explicar mejor su situación?",+ "first_ms": 178.72945900307968,+ "decided_ms": null,+ "latency_ms": 463.6362500023097,+ "tokens_in": 378,+ "tokens_out": 24+ },+ {+ "id": "fr-005",+ "text": "carajo no entiendo porque repetis lo mismo",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lo siento si te estás sintiendo frustrado. ¿Podés explicarme mejor cuál es tu consulta o problema para poder ayudarte mejor?",+ "first_ms": 179.2284170514904,+ "decided_ms": null,+ "latency_ms": 563.7405840097927,+ "tokens_in": 378,+ "tokens_out": 32+ },+ {+ "id": "fr-006",+ "text": "que tonteras decis",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lamento si ha habido algún malentendido. ¿Podría explicar mejor su consulta, por favor? Estoy aquí para ayudarlo.",+ "first_ms": 178.8268749951385,+ "decided_ms": null,+ "latency_ms": 563.4342089761049,+ "tokens_in": 373,+ "tokens_out": 32+ },+ {+ "id": "fr-007",+ "text": "joder esto no sirve",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "swearing"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entiendo que estás teniendo problemas. Derivaremos tu llamada al área de soporte técnico.",+ "first_ms": 183.77712497022003,+ "decided_ms": null,+ "latency_ms": 457.36933301668614,+ "tokens_in": 374,+ "tokens_out": 23+ },+ {+ "id": "fr-008",+ "text": "no me estas respondiendo lo que te pregunte",+ "gold": "ninguno",+ "tags": [+ "frustration"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lo siento, parece que hubo un malentendido. ¿Podrías repetir tu pregunta o indicarme qué necesitas? Estoy aquí para ayudarte.",+ "first_ms": 185.58891699649394,+ "decided_ms": null,+ "latency_ms": 636.2982499995269,+ "tokens_in": 378,+ "tokens_out": 37+ },+ {+ "id": "fr-009",+ "text": "eres demasiado tonto",+ "gold": "ninguno",+ "tags": [+ "frustration",+ "insult"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Lo siento mucho si no te he podido ayudar. ¿Podrías decirme qué necesitas y trataré de asistirte lo mejor posible?",+ "first_ms": 178.20708401268348,+ "decided_ms": null,+ "latency_ms": 621.3457090198062,+ "tokens_in": 373,+ "tokens_out": 36+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__independent_cases.json b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__independent_cases.jsonnew file mode 100644index 00000000..db100ded--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__independent_cases.json@@ -0,0 +1,640 @@+{+ "meta": {+ "model": "qwen2.5:7b-instruct",+ "dataset": "independent_cases",+ "system_prompt": "Sos la recepcionista. UNA frase corta y hablada. Derivá al área que corresponda."+ },+ "summary": {+ "n": 31,+ "accuracy": 0.8709677419354839,+ "macro_f1": 0.8602941176470589,+ "ece": 0.12903225806451613,+ "mean_confidence": 1.0,+ "majority_baseline": 0.45161290322580644,+ "wrong_actions": 4,+ "by_tag": {+ "need-with-no": {+ "n": 13,+ "accuracy": 1.0+ },+ "noise": {+ "n": 1,+ "accuracy": 1.0+ },+ "redirected": {+ "n": 4,+ "accuracy": 1.0+ },+ "refused": {+ "n": 13,+ "accuracy": 0.6923076923076923+ }+ },+ "confusion": {+ "ninguno->facturacion": 1,+ "ninguno->operadora": 3+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 21,+ "coverage": 0.6774193548387096,+ "action_recall": 1.0,+ "wrong": 4,+ "precision": 0.8095238095238095+ },+ {+ "threshold": 0.6,+ "fast": 21,+ "coverage": 0.6774193548387096,+ "action_recall": 1.0,+ "wrong": 4,+ "precision": 0.8095238095238095+ },+ {+ "threshold": 0.7,+ "fast": 21,+ "coverage": 0.6774193548387096,+ "action_recall": 1.0,+ "wrong": 4,+ "precision": 0.8095238095238095+ },+ {+ "threshold": 0.8,+ "fast": 21,+ "coverage": 0.6774193548387096,+ "action_recall": 1.0,+ "wrong": 4,+ "precision": 0.8095238095238095+ },+ {+ "threshold": 0.9,+ "fast": 21,+ "coverage": 0.6774193548387096,+ "action_recall": 1.0,+ "wrong": 4,+ "precision": 0.8095238095238095+ },+ {+ "threshold": 0.95,+ "fast": 21,+ "coverage": 0.6774193548387096,+ "action_recall": 1.0,+ "wrong": 4,+ "precision": 0.8095238095238095+ },+ {+ "threshold": 0.99,+ "fast": 21,+ "coverage": 0.6774193548387096,+ "action_recall": 1.0,+ "wrong": 4,+ "precision": 0.8095238095238095+ }+ ],+ "latency_ms": {+ "p50": 442.62658403022215,+ "p95": 666.1603330285288,+ "min": 376.744624983985+ },+ "borderline": [],+ "first_ms": {+ "p50": 404.9652499961667,+ "p95": 452.53029197920114+ },+ "tokens": {+ "in_mean": 387.2903225806452,+ "out_mean": 24.483870967741936+ },+ "invalid_destinations": 0+ },+ "records": [+ {+ "id": "ic-001",+ "text": "No, ni me meta al área de ventas que yo estoy llamando por una factura.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 352.0798750105314,+ "decided_ms": 352.0798750105314,+ "latency_ms": 376.744624983985,+ "tokens_in": 386,+ "tokens_out": 21+ },+ {+ "id": "ic-002",+ "text": "Soy cliente, no me conecte con los de contratos, necesito hablar con el soporte técnico.",+ "gold": "soporte",+ "tags": [+ "redirected"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 402.6366659672931,+ "decided_ms": 402.6366659672931,+ "latency_ms": 427.65199998393655,+ "tokens_in": 391,+ "tokens_out": 21+ },+ {+ "id": "ic-003",+ "text": "Quiero hablar con alguien del área de cobros, no me saque al departamento comercial.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 418.5717909713276,+ "decided_ms": 418.5717909713276,+ "latency_ms": 443.43524996656924,+ "tokens_in": 387,+ "tokens_out": 21+ },+ {+ "id": "ic-004",+ "text": "Escúchame bien, no me mande con los de ventas, estoy llamando sobre mi saldo.",+ "gold": "facturacion",+ "tags": [+ "redirected"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 405.3953329566866,+ "decided_ms": 405.3953329566866,+ "latency_ms": 430.31841597985476,+ "tokens_in": 390,+ "tokens_out": 21+ },+ {+ "id": "ic-005",+ "text": "Oiga, mira que no me funciona la internet hace tres días",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 418.1382499518804,+ "decided_ms": 418.1382499518804,+ "latency_ms": 442.86470796214417,+ "tokens_in": 382,+ "tokens_out": 21+ },+ {+ "id": "ic-006",+ "text": "Holaaa, no me llegó la factura y necesito hablar con alguien",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 405.5695829447359,+ "decided_ms": 405.5695829447359,+ "latency_ms": 430.36979099269956,+ "tokens_in": 382,+ "tokens_out": 21+ },+ {+ "id": "ic-007",+ "text": "Oiga, yo no quiero hablar con nadie, no me pasen al departamento de soporte técnico, llámame directamente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, no lo derivaré. ¿En qué puedo ayudarte?",+ "first_ms": 204.8456670017913,+ "decided_ms": null,+ "latency_ms": 416.0186249646358,+ "tokens_in": 396,+ "tokens_out": 18+ },+ {+ "id": "ic-008",+ "text": "No me pongan con soporte, ya sé lo que hace, ¿podés darme mi número?",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Claro, le proporcionaré su número. Un momento por favor. [Se busca el número del cliente en el sistema] Su número es 1234567890. Si necesita algo más, no dude en preguntar.",+ "first_ms": 192.73762498050928,+ "decided_ms": null,+ "latency_ms": 854.6366670052521,+ "tokens_in": 390,+ "tokens_out": 54+ },+ {+ "id": "ic-009",+ "text": "No me manden al área de soporte, quiero que me respondan acá, al cliente.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, estaré encantada de ayudarte aquí mismo. ¿En qué puedo asistirte?",+ "first_ms": 186.65150000015274,+ "decided_ms": null,+ "latency_ms": 491.80899997008964,+ "tokens_in": 389,+ "tokens_out": 25+ },+ {+ "id": "ic-010",+ "text": "Mire, no me pongan con el soporte, eso ya lo saben, yo les hablo a ustedes.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "Entendido, derivaré su llamada a la área principal.",+ "first_ms": 188.09300003340468,+ "decided_ms": 641.4047500002198,+ "latency_ms": 666.1603330285288,+ "tokens_in": 394,+ "tokens_out": 39+ },+ {+ "id": "ic-011",+ "text": "No me pasen con soporte técnico, llámeme directo al celular, no quiero hablar con nadie más.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entiendo, no problem. Estaré en contacto para ayudarle si es necesario. Por ahora, ¿puedo saber más sobre su consulta?",+ "first_ms": 184.3982909922488,+ "decided_ms": null,+ "latency_ms": 589.0244159963913,+ "tokens_in": 393,+ "tokens_out": 33+ },+ {+ "id": "ic-012",+ "text": "Oye, ¿saben por qué nunca me funciona el internet?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 413.4642920107581,+ "decided_ms": 413.4642920107581,+ "latency_ms": 440.04395802039653,+ "tokens_in": 382,+ "tokens_out": 21+ },+ {+ "id": "ic-013",+ "text": "Bueno, tengo un problema que no me deja usar la conexión.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 445.81549998838454,+ "decided_ms": 445.81549998838454,+ "latency_ms": 474.7876249602996,+ "tokens_in": 383,+ "tokens_out": 21+ },+ {+ "id": "ic-014",+ "text": "¿Alguien me ayuda con el servicio porque no funciona?",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 469.0091669908725,+ "decided_ms": 469.0091669908725,+ "latency_ms": 494.1366250277497,+ "tokens_in": 381,+ "tokens_out": 21+ },+ {+ "id": "ic-015",+ "text": "No me funcionó el equipo que me enviaron, por favor arreglenlo.",+ "gold": "soporte",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "soporte",+ "argument": "soporte",+ "spoken": "",+ "first_ms": 441.46008300594985,+ "decided_ms": 441.46008300594985,+ "latency_ms": 467.801499995403,+ "tokens_in": 386,+ "tokens_out": 21+ },+ {+ "id": "ic-016",+ "text": "No quiero pasar al de facturación, haganme la atención aquí.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Perfecto, ¿en qué puedo ayudarte respecto a facturación?",+ "first_ms": 192.41266598692164,+ "decided_ms": null,+ "latency_ms": 382.7634580084123,+ "tokens_in": 384,+ "tokens_out": 16+ },+ {+ "id": "ic-017",+ "text": "Cuidado, no me pasen a facturación, es muy largo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 412.37129201181233,+ "decided_ms": 412.37129201181233,+ "latency_ms": 437.69054202130064,+ "tokens_in": 385,+ "tokens_out": 21+ },+ {+ "id": "ic-018",+ "text": "No me manden a facturación, por favor.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 407.6423340011388,+ "decided_ms": 407.6423340011388,+ "latency_ms": 432.4178750393912,+ "tokens_in": 380,+ "tokens_out": 21+ },+ {+ "id": "ic-019",+ "text": "Ni se les ocurra pasarme a facturación, no estoy interesada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, no lo haré. ¿En qué puedo ayudarte hoy?",+ "first_ms": 181.96708400500938,+ "decided_ms": null,+ "latency_ms": 393.98424996761605,+ "tokens_in": 385,+ "tokens_out": 18+ },+ {+ "id": "ic-020",+ "text": "Oiga, estoy llamando por un asunto serio, me está cobrando una mensualidad y no me deja ver la factura ni el detalle del pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 452.53029197920114,+ "decided_ms": 452.53029197920114,+ "latency_ms": 477.42679197108373,+ "tokens_in": 403,+ "tokens_out": 21+ },+ {+ "id": "ic-021",+ "text": "Hola, buenos días, tengo el saldo pendiente y no me está llegando el cobro, necesitan revisar el caso urgente.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 431.4432499813847,+ "decided_ms": 431.4432499813847,+ "latency_ms": 456.26974996412173,+ "tokens_in": 398,+ "tokens_out": 21+ },+ {+ "id": "ic-022",+ "text": "Buenas tardes, disculpen que llame, me hicieron un cobro adicional y no me aparece la factura para validar el pago.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 452.63837499078363,+ "decided_ms": 452.63837499078363,+ "latency_ms": 477.3617080063559,+ "tokens_in": 401,+ "tokens_out": 21+ },+ {+ "id": "ic-023",+ "text": "Saludos, llamo para reclamar el saldo que me deben y no puedo generar una orden de pago ni ver el estado del reembolso.",+ "gold": "facturacion",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "",+ "first_ms": 428.9365000440739,+ "decided_ms": 428.9365000440739,+ "latency_ms": 454.3999590096064,+ "tokens_in": 399,+ "tokens_out": 21+ },+ {+ "id": "ic-024",+ "text": "¿Sigo en línea?",+ "gold": "ninguno",+ "tags": [+ "noise"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Sí, usted sigue en línea. ¿En qué puedo ayudarlo?",+ "first_ms": 188.09270800556988,+ "decided_ms": null,+ "latency_ms": 386.32262498140335,+ "tokens_in": 374,+ "tokens_out": 16+ },+ {+ "id": "ic-025",+ "text": "No, espera, no me cuelgues, me falta algo.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "No te preocupes, ¿puedes contarme qué necesitas agregar?",+ "first_ms": 179.8842499847524,+ "decided_ms": null,+ "latency_ms": 378.26299999142066,+ "tokens_in": 383,+ "tokens_out": 17+ },+ {+ "id": "ic-026",+ "text": "No me corten la línea, no se vayan.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, no hay problema. ¿Puedo ayudarte con algo en particular?",+ "first_ms": 177.58316698018461,+ "decided_ms": null,+ "latency_ms": 428.2391669694334,+ "tokens_in": 380,+ "tokens_out": 20+ },+ {+ "id": "ic-027",+ "text": "Ya, no me cuelgues, sigo aquí esperando.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, no me cuelgo. ¿Puedo ayudarte con algo en particular?",+ "first_ms": 182.78900004224852,+ "decided_ms": null,+ "latency_ms": 442.62658403022215,+ "tokens_in": 383,+ "tokens_out": 22+ },+ {+ "id": "ic-028",+ "text": "Me quedé en pausa, no me vayan a cortar.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "facturacion",+ "argument": "facturacion",+ "spoken": "No te preocupes, ya te derivamos a la área de facturación para que puedas resolver tu consulta. Un operador te atenderá lo antes posible. Mientras tanto, no te cortarán el servicio.",+ "first_ms": 179.49945898726583,+ "decided_ms": 1001.9525419920683,+ "latency_ms": 1026.6915839747526,+ "tokens_in": 383,+ "tokens_out": 69+ },+ {+ "id": "ic-029",+ "text": "Quiero hablar con el humano, por favor, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 404.9652499961667,+ "decided_ms": 404.9652499961667,+ "latency_ms": 430.4807500448078,+ "tokens_in": 386,+ "tokens_out": 21+ },+ {+ "id": "ic-030",+ "text": "¿No hay nadie ahí? No quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "Un momento, le derivaré a una persona.",+ "first_ms": 186.2134999828413,+ "decided_ms": 569.764457992278,+ "latency_ms": 594.612542015966,+ "tokens_in": 384,+ "tokens_out": 34+ },+ {+ "id": "ic-031",+ "text": "Oiga, quiero hablar con alguien en vivo, no quiero hablar con la grabación.",+ "gold": "operadora",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "operadora",+ "argument": "operadora",+ "spoken": "",+ "first_ms": 410.52350000245497,+ "decided_ms": 410.52350000245497,+ "latency_ms": 435.4639580124058,+ "tokens_in": 386,+ "tokens_out": 21+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__independent_clinic.json b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__independent_clinic.jsonnew file mode 100644index 00000000..19de6e92--- /dev/null+++ b/research/benchmarks/es_phone_turns/results/llm-qwen2.5-7b-instruct__independent_clinic.json@@ -0,0 +1,453 @@+{+ "meta": {+ "model": "qwen2.5:7b-instruct",+ "dataset": "independent_clinic",+ "system_prompt": "Sos la recepcionista. UNA frase corta y hablada. Derivá al área que corresponda."+ },+ "summary": {+ "n": 20,+ "accuracy": 0.85,+ "macro_f1": 0.8571428571428571,+ "ece": 0.15000000000000002,+ "mean_confidence": 1.0,+ "majority_baseline": 0.25,+ "wrong_actions": 2,+ "by_tag": {+ "direct": {+ "n": 1,+ "accuracy": 1.0+ },+ "need-with-no": {+ "n": 13,+ "accuracy": 0.9230769230769231+ },+ "redirected": {+ "n": 2,+ "accuracy": 1.0+ },+ "refused": {+ "n": 4,+ "accuracy": 0.5+ }+ },+ "confusion": {+ "ninguno->recepcion": 2,+ "recepcion->ninguno": 1+ },+ "fast_path": [+ {+ "threshold": 0.5,+ "fast": 17,+ "coverage": 0.85,+ "action_recall": 0.9375,+ "wrong": 2,+ "precision": 0.8823529411764706+ },+ {+ "threshold": 0.6,+ "fast": 17,+ "coverage": 0.85,+ "action_recall": 0.9375,+ "wrong": 2,+ "precision": 0.8823529411764706+ },+ {+ "threshold": 0.7,+ "fast": 17,+ "coverage": 0.85,+ "action_recall": 0.9375,+ "wrong": 2,+ "precision": 0.8823529411764706+ },+ {+ "threshold": 0.8,+ "fast": 17,+ "coverage": 0.85,+ "action_recall": 0.9375,+ "wrong": 2,+ "precision": 0.8823529411764706+ },+ {+ "threshold": 0.9,+ "fast": 17,+ "coverage": 0.85,+ "action_recall": 0.9375,+ "wrong": 2,+ "precision": 0.8823529411764706+ },+ {+ "threshold": 0.95,+ "fast": 17,+ "coverage": 0.85,+ "action_recall": 0.9375,+ "wrong": 2,+ "precision": 0.8823529411764706+ },+ {+ "threshold": 0.99,+ "fast": 17,+ "coverage": 0.85,+ "action_recall": 0.9375,+ "wrong": 2,+ "precision": 0.8823529411764706+ }+ ],+ "latency_ms": {+ "p50": 447.53345800563693,+ "p95": 5007.777834020089,+ "min": 412.9351250012405+ },+ "borderline": [],+ "first_ms": {+ "p50": 419.03950000414625,+ "p95": 4982.773834024556+ },+ "tokens": {+ "in_mean": 393.6,+ "out_mean": 23.85+ },+ "invalid_destinations": 0+ },+ "records": [+ {+ "id": "il-001",+ "text": "No, no, no me pasen a esa caja ni al departamento de turnos.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, no hay necesidad de derivar su llamada. ¿En qué puedo ayudarlo hoy?",+ "first_ms": 129.96908300556242,+ "decided_ms": null,+ "latency_ms": 412.9351250012405,+ "tokens_in": 390,+ "tokens_out": 24+ },+ {+ "id": "il-002",+ "text": "Hola, quería ver si se puede arreglar mi cita porque no puedo ir a la clínica",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 405.46075004385784,+ "decided_ms": 405.46075004385784,+ "latency_ms": 430.43341604061425,+ "tokens_in": 393,+ "tokens_out": 21+ },+ {+ "id": "il-003",+ "text": "Buenas tardes, necesito saber si hago trámite para cambiar o anular la cita ya que nunca me llegó la confirmación",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 426.9387079984881,+ "decided_ms": 426.9387079984881,+ "latency_ms": 451.6000000294298,+ "tokens_in": 401,+ "tokens_out": 21+ },+ {+ "id": "il-004",+ "text": "Quisiera pedir ayuda porque no puedo ir a mi consulta médica y quiero cancelarla o cambiarla",+ "gold": "citas",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 415.2023330098018,+ "decided_ms": 415.2023330098018,+ "latency_ms": 439.6929999929853,+ "tokens_in": 393,+ "tokens_out": 21+ },+ {+ "id": "il-005",+ "text": "Oiga, mira, por favor, no la pasen para ahí, a lo del laboratorio, no quiero que me hagan análisis de nada, ni nada de eso.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 424.07462501432747,+ "decided_ms": 424.07462501432747,+ "latency_ms": 448.6382920295,+ "tokens_in": 409,+ "tokens_out": 21+ },+ {+ "id": "il-006",+ "text": "Soy yo, no me pasen al área de laboratorio, por favor, no quiero exámenes ni nada.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 400.23808303521946,+ "decided_ms": 400.23808303521946,+ "latency_ms": 424.9477499979548,+ "tokens_in": 397,+ "tokens_out": 21+ },+ {+ "id": "il-007",+ "text": "Necesito que revisen los resultados, por favor, ya no me llegó la información que me mandaron.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 419.03950000414625,+ "decided_ms": 419.03950000414625,+ "latency_ms": 444.1070839529857,+ "tokens_in": 395,+ "tokens_out": 22+ },+ {+ "id": "il-008",+ "text": "Oigan, urgente: me dijeron que me envíen los exámenes pero no me funciona el sistema.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 420.89275002945215,+ "decided_ms": 420.89275002945215,+ "latency_ms": 446.66741602122784,+ "tokens_in": 398,+ "tokens_out": 22+ },+ {+ "id": "il-009",+ "text": "¿Alguien ahí me puede llamar para explicarme los resultados? No me puedo mover para ir.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 417.9015419795178,+ "decided_ms": 417.9015419795178,+ "latency_ms": 442.6921249832958,+ "tokens_in": 394,+ "tokens_out": 22+ },+ {+ "id": "il-010",+ "text": "Quiero que me atiendan con mis exámenes, no me funciona lo que me enviaron ayer.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 423.9636250422336,+ "decided_ms": 423.9636250422336,+ "latency_ms": 448.7092500203289,+ "tokens_in": 397,+ "tokens_out": 22+ },+ {+ "id": "il-011",+ "text": "Por favor, necesitan revisar mis análisis, nunca me han dado el resultado que me corresponde.",+ "gold": "laboratorio",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "laboratorio",+ "argument": "laboratorio",+ "spoken": "",+ "first_ms": 422.8069999953732,+ "decided_ms": 422.8069999953732,+ "latency_ms": 447.53345800563693,+ "tokens_in": 392,+ "tokens_out": 22+ },+ {+ "id": "il-012",+ "text": "Quiero hablar con atención humana, no con la farmacia, por favor.",+ "gold": "recepcion",+ "tags": [+ "redirected"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 411.4669589907862,+ "decided_ms": 411.4669589907862,+ "latency_ms": 436.4264999749139,+ "tokens_in": 388,+ "tokens_out": 21+ },+ {+ "id": "il-013",+ "text": "Bueno, hola, soy la señora Rodríguez, tengo una inquietud con el medicamento que me dejaron recetado, no me llegó.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "farmacia",+ "argument": "farmacia",+ "spoken": "",+ "first_ms": 463.9106660033576,+ "decided_ms": 463.9106660033576,+ "latency_ms": 489.32516598142684,+ "tokens_in": 407,+ "tokens_out": 21+ },+ {+ "id": "il-014",+ "text": "Bueno, hola, soy el señor de la mesa cuatro, me dejaron recetar unas cosas pero nunca me las dieron.",+ "gold": "farmacia",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "farmacia",+ "argument": "farmacia",+ "spoken": "",+ "first_ms": 405.7455830043182,+ "decided_ms": 405.7455830043182,+ "latency_ms": 430.6065000128001,+ "tokens_in": 401,+ "tokens_out": 21+ },+ {+ "id": "il-015",+ "text": "Oiga, ¿me pueden pasar con el médico de urgencias?",+ "gold": "emergencias",+ "tags": [+ "direct"+ ],+ "confidence": 1.0,+ "predicted": "emergencias",+ "argument": "emergencias",+ "spoken": "",+ "first_ms": 450.82495798124,+ "decided_ms": 450.82495798124,+ "latency_ms": 475.5592919536866,+ "tokens_in": 385,+ "tokens_out": 22+ },+ {+ "id": "il-016",+ "text": "Escúcheme, yo no quiero ser atendido en la emergencia.",+ "gold": "ninguno",+ "tags": [+ "refused"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Entendido, derivo su llamada a la recepción. Por favor, espere un momento mientras transfiero su llamada.",+ "first_ms": 183.9264589943923,+ "decided_ms": null,+ "latency_ms": 530.5437500355765,+ "tokens_in": 387,+ "tokens_out": 29+ },+ {+ "id": "il-017",+ "text": "Quiero consulta pero no quiero que me pongan en la sala de emergencias.",+ "gold": "citas",+ "tags": [+ "redirected"+ ],+ "confidence": 1.0,+ "predicted": "citas",+ "argument": "citas",+ "spoken": "",+ "first_ms": 402.5351669988595,+ "decided_ms": 402.5351669988595,+ "latency_ms": 427.62854194734246,+ "tokens_in": 388,+ "tokens_out": 21+ },+ {+ "id": "il-018",+ "text": "Ayúdeme rápido, por favor, no puedo moverme de la cama",+ "gold": "emergencias",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "emergencias",+ "argument": "emergencias",+ "spoken": "Entiendo que está teniendo dificultades para moverse. Derivando su llamada a la área de emergencias. Por favor, manténgase calmado y siga las instrucciones del operador.",+ "first_ms": 199.9480000231415,+ "decided_ms": 1018.8410420087166,+ "latency_ms": 1043.7829170259647,+ "tokens_in": 388,+ "tokens_out": 69+ },+ {+ "id": "il-019",+ "text": "Hable conmigo, no quiero hablar con la grabación.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "ninguno",+ "argument": null,+ "spoken": "Por supuesto, ¿cómo puedo ayudarte hoy?",+ "first_ms": 5391.693291021511,+ "decided_ms": null,+ "latency_ms": 5541.918665985577,+ "tokens_in": 385,+ "tokens_out": 13+ },+ {+ "id": "il-020",+ "text": "No quiero hablar con el sistema, quiero hablar con el humano.",+ "gold": "recepcion",+ "tags": [+ "need-with-no"+ ],+ "confidence": 1.0,+ "predicted": "recepcion",+ "argument": "recepcion",+ "spoken": "",+ "first_ms": 4982.773834024556,+ "decided_ms": 4982.773834024556,+ "latency_ms": 5007.777834020089,+ "tokens_in": 384,+ "tokens_out": 21+ }+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/run.py b/research/benchmarks/es_phone_turns/run.pynew file mode 100644index 00000000..00c5d170--- /dev/null+++ b/research/benchmarks/es_phone_turns/run.py@@ -0,0 +1,91 @@+"""Runs the frozen cases against one Laya checkpoint and archives every decision.++ python run.py --model convaiinnovations/laya-multilingual --rung es_criteria+"""+import argparse+import json+import os+import platform+import time+from pathlib import Path++import metrics+import prompts++HERE = Path(__file__).parent+++def load_cases(dataset):+ path = HERE / "data" / f"{dataset}.jsonl"+ return [json.loads(line) for line in path.read_text(encoding="utf-8").splitlines() if line]+++def main():+ parser = argparse.ArgumentParser()+ parser.add_argument("--model", default="convaiinnovations/laya-multilingual")+ parser.add_argument("--subfolder", default=None)+ parser.add_argument("--rung", default="es_criteria", choices=sorted(prompts.RUNGS))+ parser.add_argument("--dataset", default="cases", choices=sorted(prompts.MENUS))+ parser.add_argument("--lang", default="es")+ parser.add_argument("--tag", default=None, help="suffix for the result file")+ parser.add_argument("--calibration", default=None)+ args = parser.parse_args()++ import laya+ import torch++ started = time.perf_counter()+ agent = laya.load(args.model, subfolder=args.subfolder, device="cpu",+ calibration=args.calibration)+ load_ms = (time.perf_counter() - started) * 1000++ cases = load_cases(args.dataset)++ # One throwaway pass: the first forward pays for lazy initialisation and would+ # otherwise land in the latency of whichever case happens to come first.+ state, questions = prompts.build(args.rung, cases[0]["text"], args.dataset)+ agent.system_one(state, questions, lang=args.lang)++ records = []+ for case in cases:+ state, questions = prompts.build(args.rung, case["text"], args.dataset)+ t0 = time.perf_counter()+ result = agent.system_one(state, questions, lang=args.lang)+ latency = (time.perf_counter() - t0) * 1000+ answer = result["answers"]["accion"]+ records.append({+ "id": case["id"], "text": case["text"], "gold": case["gold"], "tags": case["tags"],+ "predicted": answer["choice"],+ "confidence": float(answer["answer_confidence"]),+ "probabilities": {k: float(v) for k, v in answer["probabilities"].items()},+ "latency_ms": latency,+ })++ report = {+ "meta": {+ "model": args.model, "subfolder": args.subfolder, "rung": args.rung,+ "dataset": args.dataset,+ "lang": args.lang, "calibration": args.calibration,+ "laya": getattr(laya, "__version__", None), "torch": torch.__version__,+ "threads": torch.get_num_threads(), "device": "cpu",+ "machine": platform.machine(), "system": platform.platform(),+ "omp_num_threads": os.environ.get("OMP_NUM_THREADS"),+ "load_ms": load_ms,+ },+ "summary": metrics.summarize(records, prompts.labels(args.dataset)),+ "records": records,+ }++ name = args.tag or (+ args.model.rstrip("/").split("/")[-1] + (f"-{args.subfolder}" if args.subfolder else ""))+ out = HERE / "results" / f"{name}__{args.dataset}__{args.rung}.json"+ out.write_text(json.dumps(report, ensure_ascii=False, indent=1), encoding="utf-8")++ s = report["summary"]+ print(f"{name} / {args.dataset} / {args.rung}: accuracy {s['accuracy']:.4f} macro-F1 {s['macro_f1']:.4f} "+ f"ECE {s['ece']:.4f} wrong actions {s['wrong_actions']} "+ f"p50 {s['latency_ms']['p50']:.0f} ms (majority {s['majority_baseline']:.4f})")+++if __name__ == "__main__":+ main()diff --git a/research/benchmarks/es_phone_turns/tests/test_es_phone_turns.py b/research/benchmarks/es_phone_turns/tests/test_es_phone_turns.pynew file mode 100644index 00000000..7b21c52b--- /dev/null+++ b/research/benchmarks/es_phone_turns/tests/test_es_phone_turns.py@@ -0,0 +1,179 @@+"""Weight-free checks: no model, no network. Run directly or through unittest.++ python -m unittest discover -s research/benchmarks/es_phone_turns/tests -v+"""+import json+import shutil+import sys+import tempfile+import unittest+from pathlib import Path++HERE = Path(__file__).resolve().parent.parent+sys.path.insert(0, str(HERE))+sys.path.insert(0, str(HERE / "train"))++import audit # noqa: E402+import build_train # noqa: E402+import domains # noqa: E402+import metrics # noqa: E402+import prompts # noqa: E402+++def record(gold, predicted, confidence, tags=("direct",)):+ return {"id": "x", "text": "t", "gold": gold, "predicted": predicted,+ "confidence": confidence, "tags": list(tags), "latency_ms": 1.0}+++class Metrics(unittest.TestCase):+ def test_answering_keep_talking_by_mistake_is_not_a_wrong_action(self):+ # It costs a slower turn, not a call sent to the wrong place.+ records = [record("ventas", "ninguno", 0.9)]+ self.assertEqual(metrics.wrong_actions(records), [])++ def test_acting_when_it_should_not_is_a_wrong_action(self):+ records = [record("ninguno", "ventas", 0.9), record("ventas", "soporte", 0.9),+ record("ventas", "ventas", 0.9)]+ self.assertEqual(len(metrics.wrong_actions(records)), 2)++ def test_the_gate_only_lets_actions_through(self):+ records = [record("ninguno", "ninguno", 0.99), record("ventas", "ventas", 0.95),+ record("ninguno", "soporte", 0.97), record("colgar", "colgar", 0.4)]+ row = metrics.fast_path(records, thresholds=(0.9,))[0]+ self.assertEqual(row["fast"], 2)+ self.assertEqual(row["wrong"], 1)+ self.assertAlmostEqual(row["precision"], 0.5)+ # Two turns truly were actions; one of them went through the gate.+ self.assertAlmostEqual(row["action_recall"], 0.5)++ def test_borderline_cases_stay_out_of_the_headline(self):+ records = [record("ventas", "ventas", 0.9),+ record("ninguno", "ventas", 0.9, tags=("borderline",))]+ summary = metrics.summarize(records, ["ventas", "ninguno"])+ self.assertEqual(summary["n"], 1)+ self.assertEqual(summary["accuracy"], 1.0)+ self.assertEqual(len(summary["borderline"]), 1)+++class Prompts(unittest.TestCase):+ def test_every_rung_asks_the_same_question_with_the_same_options(self):+ for dataset in prompts.MENUS:+ expected = prompts.labels(dataset)+ for rung in prompts.RUNGS:+ _, questions = prompts.build(rung, "hola", dataset)+ self.assertEqual(list(questions["accion"]["criteria"]), expected)++ def test_every_case_has_a_label_of_its_menu(self):+ for dataset in prompts.MENUS:+ labels = set(prompts.labels(dataset))+ path = HERE / "data" / f"{dataset}.jsonl"+ for line in path.read_text(encoding="utf-8").splitlines():+ self.assertIn(json.loads(line)["gold"], labels)+++class Training(unittest.TestCase):+ def test_no_training_destination_is_a_test_destination(self):+ tested = {label for dataset in prompts.MENUS for label in prompts.labels(dataset)}+ trained = {label for domain in domains.DOMAINS.values()+ for label in domain["departments"]}+ trained |= {label for label, _ in+ domains.HUMAN + domains.HANG_UP + domains.KEEP_TALKING}+ self.assertEqual(tested & trained, set())++ def test_a_test_sentence_with_one_word_changed_is_refused(self):+ references = [set(build_train.normalize(+ "No me pase con ventas, solo quiero saber el horario."))]+ near = build_train.normalize("No me pase con tarjetas, solo quiero saber el horario.")+ far = build_train.normalize("Se me perdió la tarjeta y necesito bloquearla ya.")+ self.assertTrue(build_train.too_close(near, references))+ self.assertFalse(build_train.too_close(far, references))++ def test_a_case_always_offers_its_own_answer(self):+ import random+ rng = random.Random(1)+ for kind, department, must in (+ ("department", "tarjetas", ("tarjetas",)), ("human", None, ()),+ ("hang_up", None, ()), ("keep", None, ("tarjetas",))):+ for _ in range(200):+ item = build_train.case(rng, "hola", "banco", kind, department, must, 0.94)+ question = item["questions"]["accion"]+ gold = item["gold"]["accion"]+ self.assertIn(gold["label"], question["criteria"])+ self.assertEqual(list(gold["probabilities"]), list(question["criteria"]))+ self.assertAlmostEqual(sum(gold["probabilities"].values()), 1.0)+ for name in must:+ self.assertIn(name, question["criteria"])++ def test_the_committed_training_set_holds_no_test_sentence(self):+ path = HERE / "train" / "train.jsonl"+ if not path.exists():+ self.skipTest("train.jsonl has not been built")+ references = []+ for dataset in prompts.MENUS:+ for line in (HERE / "data" / f"{dataset}.jsonl").read_text("utf-8").splitlines():+ references.append(set(build_train.normalize(json.loads(line)["text"])))+ tested = {label for dataset in prompts.MENUS for label in prompts.labels(dataset)}+ for line in path.read_text(encoding="utf-8").splitlines():+ row = json.loads(line)+ # The recogniser-style rewrite can add a filler or repeat a word; the sentence+ # underneath was checked before that, so the bar here is the exact sentence.+ self.assertNotIn(set(build_train.normalize(row["state"])), references)+ self.assertEqual(set(row["questions"]["accion"]["criteria"]) & tested, set())+++class Audit(unittest.TestCase):+ """The audit has to be able to fail. Each test breaks a copy of the archive one way."""++ def setUp(self):+ self.reports = sorted((HERE / "results").glob("*.json"))+ if not self.reports:+ self.skipTest("no results to audit")+ self.dir = Path(tempfile.mkdtemp())+ shutil.copy(self.reports[0], self.dir / self.reports[0].name)+ self.path = self.dir / self.reports[0].name++ def tearDown(self):+ shutil.rmtree(self.dir, ignore_errors=True)++ def break_with(self, change):+ report = json.loads(self.path.read_text(encoding="utf-8"))+ change(report)+ self.path.write_text(json.dumps(report, ensure_ascii=False), encoding="utf-8")+ return audit.audit(self.dir)[1]++ def test_the_untouched_archive_passes(self):+ self.assertEqual(audit.audit(self.dir)[1], [])++ def test_a_better_accuracy_than_the_records_give_is_caught(self):+ def change(report):+ report["summary"]["accuracy"] = 0.99+ self.assertTrue(self.break_with(change))++ def test_a_flipped_decision_is_caught(self):+ def change(report):+ first = report["records"][0]+ first["predicted"] = first["gold"] if first["predicted"] != first["gold"] else "colgar"+ self.assertTrue(self.break_with(change))++ def test_a_rewritten_gold_is_caught(self):+ # The cheapest way to look better: turn a miss into a hit by editing the answer key.+ def change(report):+ missed = [r for r in report["records"] if r["predicted"] != r["gold"]]+ target = missed[0] if missed else report["records"][0]+ target["gold"] = target["predicted"] if missed else "colgar"+ self.assertTrue(self.break_with(change))++ def test_a_dropped_case_is_caught(self):+ def change(report):+ report["records"].pop()+ self.assertTrue(self.break_with(change))++ def test_a_hidden_wrong_action_is_caught(self):+ def change(report):+ report["summary"]["wrong_actions"] = 0+ report["summary"]["fast_path"] = []+ self.assertTrue(self.break_with(change))+++if __name__ == "__main__":+ unittest.main()diff --git a/research/benchmarks/es_phone_turns/train/.gitignore b/research/benchmarks/es_phone_turns/train/.gitignorenew file mode 100644index 00000000..32f6509d--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/.gitignore@@ -0,0 +1 @@+train.jsonldiff --git a/research/benchmarks/es_phone_turns/train/build_train.py b/research/benchmarks/es_phone_turns/train/build_train.pynew file mode 100644index 00000000..afb3aede--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/build_train.py@@ -0,0 +1,306 @@+"""Turns the raw phrases into training cases: one utterance, one menu, one answer.++Every case gets a menu drawn from its own trade, in random order, under randomly chosen+names for the three answers all menus share. The point is that the only way to get a case+right is to read the utterance against what each option says.+"""+import argparse+import json+import random+import re+import unicodedata+from pathlib import Path++import domains++HERE = Path(__file__).parent+RAW = HERE / "raw"+TESTS = sorted((HERE.parent / "data").glob("*.jsonl"))++NEGATION = re.compile(r"\b(no|ni|nunca|tampoco|sin|nada|nadie|ningun[oa]?)\b")++# Negated transfers, written by hand. The destination is NAMED and refused in the same+# breath, which is the sentence a keyword reader gets wrong with full confidence.+NEGATED_LEADS = [+ "No me pase con {d}",+ "No quiero hablar con {d}",+ "No necesito {d}",+ "No es para {d}",+ "No, con {d} no",+ "Todavía no me pase con {d}",+ "No me transfiera a {d}",+ "No me comunique con {d}",+ "Con {d} no, por favor",+ "No hace falta que me pase con {d}",+ "No busco {d}",+ "Mire, no es con {d}",+ "No quiero que me manden a {d}",+ "A {d} no me pase",+ "No, no, con {d} no es",+ "Yo no pedí {d}",+ "Ya hablé con {d}, no me vuelva a pasar",+ "No ocupo {d}",+]+NEGATED_TAILS = [+ ", solo quiero saber el horario.",+ ", solo tengo una pregunta.",+ ", prefiero que me lo diga usted.",+ ", primero explíqueme usted.",+ ", era otra cosa.",+ ", solo quería saber dónde están ubicados.",+ ".",+ ", por favor.",+ ", solo una consulta rápida.",+ ", nada más quería preguntar algo.",+ ", quiero que me atienda usted.",+ ", déjeme terminar de explicarle.",+ ", solo necesito un dato.",+ ", gracias.",+]+# One area turned down and another one asked for, in the same sentence. Without these the+# fine-tuned model learned "a refusal means keep talking" and sent "not sales, I need+# support" nowhere: 1 of 6 on the independent test, where the language model got 6 of 6.+REDIRECT_LEADS = [+ "No me pase con {a}, ", "Con {a} no, ", "No es con {a}, ", "No quiero {a}, ",+ "No me mande a {a}, ", "A {a} no, ", "Ya hablé con {a} y no era ahí, ",+ "No busco {a}, ", "No me comunique con {a}, ", "Yo no pedí {a}, ",+]+REDIRECT_ASKS = [+ "páseme con {b}.", "comuníqueme con {b}, por favor.", "necesito hablar con {b}.",+ "lo que ocupo es {b}.", "es con {b}.", "quiero {b}.", "mejor con {b}.",+]+REDIRECT_AFTER = [+ "Necesito hablar con {b}, no con {a}.", "Páseme con {b}, con {a} no.",+ "Es para {b}, no para {a}.", "Quiero {b}, no {a}.",+]+GREETING_START = re.compile(+ r"^(hola|buen[oa]s|oiga|oye|disculpe|saludos|alo|aló|mire|fíjese|fijese)\b", re.I)+# A refusal that also asks for someone is not a refusal to keep talking: it is a request,+# and the generator cannot know for whom. It stays out of the refusals.+ASKS_FOR_SOMEONE = re.compile(+ r"\b(p[aá]se(me|nme)|comun[ií]que(me|nme)|necesito hablar|quiero hablar|"+ r"transfi[eé]ra(me|nme)|con[eé]cte(me|nme))\b", re.I)++FILLERS = ["eh", "este", "bueno", "mire", "a ver", "si", "alo", "oiga", "fijese que"]+++def normalize(text):+ text = unicodedata.normalize("NFD", text.lower())+ text = "".join(c for c in text if unicodedata.category(c) != "Mn")+ return re.sub(r"[^a-z0-9ñ ]+", " ", text).split()+++def too_close(tokens, references):+ """A training phrase that is a test phrase with two words changed is the test."""+ mine = set(tokens)+ if not mine:+ return True+ for theirs in references:+ if len(mine & theirs) / len(mine | theirs) >= 0.7:+ return True+ return False+++def as_recognised(rng, text):+ """What a speech recogniser hands over: no capitals, no punctuation, a false start."""+ out = re.sub(r"[¿?¡!.,;:«»\"()]+", " ", text.lower())+ if rng.random() < 0.5:+ out = "".join(c for c in unicodedata.normalize("NFD", out)+ if unicodedata.category(c) != "Mn" or c == "̃")+ out = unicodedata.normalize("NFC", out)+ words = out.split()+ if words and rng.random() < 0.3:+ words.insert(0, rng.choice(FILLERS))+ if len(words) > 3 and rng.random() < 0.2:+ at = rng.randrange(0, min(3, len(words)))+ words.insert(at, words[at])+ return " ".join(words)+++def menu(rng, domain_key, must_have, gold_kind):+ """Builds the options. `must_have` are destinations the case cannot be asked without."""+ departments = domains.DOMAINS[domain_key]["departments"]+ chosen = list(must_have)+ others = [d for d in departments if d not in chosen]+ rng.shuffle(others)+ chosen += others[: rng.randint(1, len(others))] if others else []++ human = rng.choice(domains.HUMAN)+ hang_up = rng.choice(domains.HANG_UP)+ keep = rng.choice(domains.KEEP_TALKING)++ options = [(d, departments[d]) for d in chosen]+ if gold_kind == "human" or rng.random() < 0.85:+ options.append(human)+ if gold_kind == "hang_up" or rng.random() < 0.85:+ options.append(hang_up)+ options.append(keep)+ rng.shuffle(options)++ # One menu in eight is written without descriptions: some tenants will only give names.+ bare = rng.random() < 0.125+ criteria = {label: (None if bare else text) for label, text in options}+ special = {"human": human[0], "hang_up": hang_up[0], "keep": keep[0]}+ return criteria, special+++def case(rng, text, domain_key, gold_kind, department=None, must_have=(), weight=0.9):+ criteria, special = menu(rng, domain_key, must_have, gold_kind)+ gold = department if gold_kind == "department" else special[gold_kind]+ labels = list(criteria)+ rest = (1.0 - weight) / (len(labels) - 1)+ probabilities = {label: (weight if label == gold else rest) for label in labels}+ return {+ "state": text,+ "questions": {"accion": {+ "type": "choice", "instructions": rng.choice(domains.INSTRUCTIONS),+ "criteria": criteria}},+ "gold": {"accion": {"label": gold, "probabilities": probabilities}},+ "meta": {"domain": domain_key, "kind": gold_kind, "department": department},+ }+++def load(name):+ path = RAW / f"{name}.json"+ return json.loads(path.read_text(encoding="utf-8"))["phrases"] if path.exists() else []+++# How sure the target is, by where the sentence came from. A sentence built to name its+# destination leaves no room for doubt; one a language model wrote to a brief can miss the+# brief. Targets of 0.9 across the board capped the fine-tuned model's confidence near+# 0.85 whether it was right or wrong, which makes a confidence gate useless.+CERTAIN, LIKELY = 0.98, 0.94+++def main():+ parser = argparse.ArgumentParser()+ parser.add_argument("--out", default="train.jsonl")+ parser.add_argument("--without", default="",+ help="comma-separated sources to leave out, for ablations")+ args = parser.parse_args()+ without = {name for name in args.without.split(",") if name}++ rng = random.Random(20260929)+ references = []+ for path in TESTS:+ for line in path.read_text(encoding="utf-8").splitlines():+ if line:+ references.append(set(normalize(json.loads(line)["text"])))++ drafts, dropped = [], {+ "close_to_test": 0, "negation_missing": 0, "duplicate": 0, "refusal_that_asks": 0}+ domain_keys = list(domains.DOMAINS)++ for key, domain in domains.DOMAINS.items():+ for label in domain["departments"]:+ for kind in ("indirect", "direct", "needs_with_no"):+ for phrase in load(f"{key}.{label}.{kind}"):+ drafts.append((phrase, key, "department", label, (label,),+ CERTAIN if kind == "direct" else LIKELY, kind))+ for phrase in load(f"{key}.{label}.negated"):+ if not NEGATION.search(phrase.lower()):+ dropped["negation_missing"] += 1+ continue+ if ASKS_FOR_SOMEONE.search(phrase):+ dropped["refusal_that_asks"] += 1+ continue+ drafts.append((phrase, key, "keep", None, (label,), LIKELY, "negated"))+ # The hand-written refusals, with this destination's own name in them.+ for lead in rng.sample(NEGATED_LEADS, 5):+ phrase = lead.format(d=label.replace("_", " ")) + rng.choice(NEGATED_TAILS)+ drafts.append((phrase, key, "keep", None, (label,), CERTAIN, "negated_named"))+ # Refuse one area, ask for another of the same trade.+ names = list(domain["departments"])+ for wanted in names:+ needs = [p for p in load(f"{key}.{wanted}.indirect")+ if not GREETING_START.search(p) and len(p) < 120]+ for _ in range(12):+ refused = rng.choice([n for n in names if n != wanted])+ a, b = refused.replace("_", " "), wanted.replace("_", " ")+ roll = rng.random()+ if roll < 0.4 and needs:+ need = rng.choice(needs)+ phrase = rng.choice(REDIRECT_LEADS).format(a=a) + need[0].lower() + need[1:]+ weight = LIKELY+ elif roll < 0.75:+ phrase = rng.choice(REDIRECT_LEADS).format(a=a) + rng.choice(+ REDIRECT_ASKS).format(b=b)+ weight = CERTAIN+ else:+ phrase = rng.choice(REDIRECT_AFTER).format(a=a, b=b)+ weight = CERTAIN+ drafts.append((phrase, key, "department", wanted, (wanted, refused),+ weight, "redirected"))+ for phrase in load(f"{key}.open"):+ drafts.append((phrase, key, "keep", None, (), LIKELY, "open"))++ for phrase in load("pool.farewell"):+ drafts.append((phrase, rng.choice(domain_keys), "hang_up", None, (), LIKELY, "farewell"))+ for name in ("human", "human_with_no"):+ for phrase in load(f"pool.{name}"):+ drafts.append((phrase, rng.choice(domain_keys), "human", None, (), LIKELY, "human"))+ for phrase in load("pool.frustration_human"):+ drafts.append((phrase, rng.choice(domain_keys), "human", None, (), LIKELY, "human"))+ for phrase in load("pool.frustration"):+ if ASKS_FOR_SOMEONE.search(phrase):+ dropped["refusal_that_asks"] += 1+ continue+ drafts.append((phrase, rng.choice(domain_keys), "keep", None, (), LIKELY, "frustration"))+ for name in ("greeting", "negated_hangup", "negated_human"):+ for phrase in load(f"pool.{name}"):+ if name != "greeting" and not NEGATION.search(phrase.lower()):+ dropped["negation_missing"] += 1+ continue+ drafts.append((phrase, rng.choice(domain_keys), "keep", None, (), LIKELY, name))++ seen, cases = set(), []+ for phrase, key, gold_kind, department, must_have, weight, source in drafts:+ if source in without:+ continue+ tokens = normalize(phrase)+ signature = " ".join(tokens)+ if signature in seen:+ dropped["duplicate"] += 1+ continue+ if too_close(tokens, references):+ dropped["close_to_test"] += 1+ continue+ seen.add(signature)++ text = as_recognised(rng, phrase) if rng.random() < 0.3 else phrase+ item = case(rng, text, key, gold_kind, department, must_have, weight)+ item["meta"]["source"] = source+ cases.append(item)++ # The pools are small next to the destinations. Seen once each, farewells and greetings+ # would be a rounding error in the loss, and they are most of what a real call is.+ pools = [c for c in cases if c["meta"]["source"] in+ ("farewell", "human", "greeting", "negated_hangup", "negated_human",+ "frustration")]+ for original in pools:+ for _ in range(2):+ text = original["state"]+ if rng.random() < 0.5:+ text = as_recognised(rng, text)+ again = case(rng, text, rng.choice(domain_keys), original["meta"]["kind"],+ None, (), LIKELY)+ again["meta"]["source"] = original["meta"]["source"]+ cases.append(again)++ rng.shuffle(cases)+ out = HERE / args.out+ out.write_text("".join(json.dumps(c, ensure_ascii=False) + "\n" for c in cases),+ encoding="utf-8")++ by_source, by_kind = {}, {}+ for c in cases:+ by_source[c["meta"]["source"]] = by_source.get(c["meta"]["source"], 0) + 1+ by_kind[c["meta"]["kind"]] = by_kind.get(c["meta"]["kind"], 0) + 1+ print(f"{len(cases)} cases -> {out.name}")+ print(" by answer:", by_kind)+ print(" by source:", by_source)+ print(" dropped:", dropped)+++if __name__ == "__main__":+ main()diff --git a/research/benchmarks/es_phone_turns/train/domains.py b/research/benchmarks/es_phone_turns/train/domains.pynew file mode 100644index 00000000..5334a930--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/domains.py@@ -0,0 +1,168 @@+"""The trades and destinations the training data is drawn from.++Inside one trade no two destinations can claim the same sentence: a menu where "a charge I+do not recognise on my card" fits both `tarjetas` and `reclamos` teaches noise, because+the label would depend on which of the two the generator happened to be asked for.++None of them is the telephone company or the clinic of the frozen tests, and none of their+destinations shares a label with a test destination: what the fine-tuned model is asked to+do on the tests is read a menu it has never seen.+"""++DOMAINS = {+ "banco": {+ "business": "un banco",+ "departments": {+ "tarjetas": "tarjetas de crédito y débito: bloqueos, robos, límites, reposiciones",+ "prestamos": "préstamos y créditos: solicitarlos, requisitos, cuotas",+ "cuentas": "cuentas de ahorro y de cheques: abrirlas, saldos, transferencias",+ "remesas": "enviar o cobrar dinero que viene del extranjero",+ },+ },+ "colegio": {+ "business": "un colegio",+ "departments": {+ "admisiones": "matrícula e inscripción de alumnos nuevos",+ "tesoreria": "pago de mensualidades y colegiaturas",+ "registro": "constancias, certificados y notas",+ "direccion": "asuntos de disciplina y hablar con la directora",+ },+ },+ "hotel": {+ "business": "un hotel",+ "departments": {+ "reservaciones": "reservar, cambiar o cancelar una habitación",+ "restaurante": "comida, servicio a la habitación y horarios del comedor",+ "mantenimiento": "algo dañado en la habitación: aire, ducha, televisor",+ "eventos": "salones para bodas, fiestas y reuniones de empresa",+ },+ },+ "concesionaria": {+ "business": "una concesionaria de carros",+ "departments": {+ "repuestos": "piezas y repuestos para el carro",+ "taller": "reparación y mantenimiento del carro",+ "vehiculos": "comprar un carro nuevo o usado",+ "alquiler": "alquilar un carro por días o semanas",+ },+ },+ "aseguradora": {+ "business": "una aseguradora",+ "departments": {+ "siniestros": "reportar un accidente, un robo o un daño cubierto por el seguro",+ "polizas": "contratar, renovar o modificar un seguro",+ "cobranza": "pago de primas y cuotas atrasadas del seguro",+ },+ },+ "paqueteria": {+ "business": "una empresa de envíos",+ "departments": {+ "rastreo": "saber dónde está un paquete",+ "recoleccion": "programar que pasen a recoger un envío",+ "aduanas": "trámites e impuestos de paquetes que vienen del extranjero",+ "casilleros": "abrir un casillero para recibir compras hechas por internet",+ },+ },+ "municipalidad": {+ "business": "una municipalidad",+ "departments": {+ "impuestos": "bienes inmuebles, solvencia municipal e impuestos de negocio",+ "permisos": "permisos de construcción y de operación",+ "catastro": "medidas, escrituras y registro de terrenos",+ "aseo": "tren de aseo, basura y alumbrado público",+ },+ },+ "inmobiliaria": {+ "business": "una inmobiliaria",+ "departments": {+ "alquileres": "alquilar una casa, un apartamento o un local",+ "compraventa": "comprar o vender una propiedad",+ "avaluos": "saber cuánto vale una propiedad",+ "condominios": "cuotas y reparaciones de áreas comunes de un condominio",+ },+ },+ "gimnasio": {+ "business": "un gimnasio",+ "departments": {+ "membresias": "inscribirse, renovar o congelar la membresía",+ "clases": "inscribirse a clases de grupo: zumba, yoga, spinning",+ "entrenadores": "contratar un entrenador personal",+ },+ },+ "universidad": {+ "business": "una universidad",+ "departments": {+ "becas": "solicitar o renovar una beca",+ "matricula": "inscribir clases y pagar el período",+ "biblioteca": "préstamo de libros y multas de la biblioteca",+ "posgrados": "maestrías y doctorados",+ },+ },+ "restaurante": {+ "business": "un restaurante",+ "departments": {+ "reservas": "apartar una mesa",+ "domicilio": "pedir comida para llevar o a domicilio",+ "banquetes": "comida para eventos y fiestas",+ },+ },+ "agencia": {+ "business": "una agencia de viajes",+ "departments": {+ "boletos": "comprar boletos de avión",+ "excursiones": "paquetes turísticos y tours",+ "visas": "trámite de visas y pasaportes",+ "cambios": "cambiar o cancelar un viaje ya comprado",+ },+ },+ "tienda": {+ "business": "una tienda de electrodomésticos",+ "departments": {+ "garantias": "un producto comprado que salió dañado y está en garantía",+ "entregas": "cuándo llega a la casa lo que se compró",+ "credito": "el crédito de la tienda: solicitarlo, cuotas, saldo",+ "instalaciones": "que lleguen a instalar lo comprado: aire acondicionado, lavadora",+ },+ },+}++# The three answers every menu has, each under several names: the model has to read what+# the option SAYS, not recognise a word it saw in training.+HUMAN = [+ ("agente", "pide hablar con una persona, sin decir con qué área"),+ ("asesor", "quiere que lo atienda una persona"),+ ("persona", "no quiere hablar con la máquina, pide un humano"),+ ("atencion", "pide que lo comuniquen con alguien, con quien sea"),+ ("secretaria", "pide hablar con alguien de la oficina, sin área específica"),+]+HANG_UP = [+ ("terminar", "se despide o dice que ya no necesita nada más"),+ ("despedida", "quien llama se está despidiendo"),+ ("finalizar", "ya no queda nada pendiente y quiere terminar la llamada"),+ ("cortar", "dice adiós o que eso era todo"),+]+KEEP_TALKING = [+ ("seguir", "saluda, pregunta algo, o pide que NO lo transfieran ni le cuelguen"),+ ("conversar", "cualquier otra cosa: el agente sigue hablando con quien llama"),+ ("continuar", "no pide pasar la llamada ni terminarla"),+ ("otra_cosa", "una pregunta, un saludo o una frase a medias"),+ ("nada", "no hay que transferir ni colgar"),+]++INSTRUCTIONS = [+ "¿Qué debe hacer el agente con esta llamada?",+ "¿A dónde hay que pasar esta llamada?",+ "¿Qué pide la persona que llama?",+ "Decida qué hacer con la llamada.",+ "¿Cuál es la acción correcta para lo que dijo quien llama?",+ "¿Qué necesita quien llama?",+]++TEST_LABELS = {+ "ventas", "soporte", "facturacion", "operadora", "colgar", "ninguno",+ "citas", "laboratorio", "farmacia", "emergencias", "recepcion",+}++for _domain in DOMAINS.values():+ assert not TEST_LABELS & set(_domain["departments"]), _domain+assert not TEST_LABELS & {label for label, _ in HUMAN + HANG_UP + KEEP_TALKING}diff --git a/research/benchmarks/es_phone_turns/train/generate.py b/research/benchmarks/es_phone_turns/train/generate.pynew file mode 100644index 00000000..08460bd0--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/generate.py@@ -0,0 +1,190 @@+"""Asks a local language model for the raw utterances and caches every answer.++The model only WRITES sentences. It never labels one: each request is for sentences of a+kind that is known beforehand, so the label comes from the request and not from the model.++Standard library only. Needs an Ollama server.+"""+import argparse+import concurrent.futures+import json+import re+import time+import urllib.request+from pathlib import Path++import domains++RAW = Path(__file__).parent / "raw"++STYLE = (+ "Sos hondureño y escribís frases tal como las dice la gente por teléfono en "+ "Centroamérica: español natural, casi siempre de usted, sin formalismos de carta. "+ "Variá mucho: unas frases de cuatro palabras, otras de veinte; unas empiezan con un "+ "saludo, la mayoría no; hombres y mujeres, jóvenes y mayores, apurados y tranquilos. "+ "Una de cada cuatro puede arrancar con una muletilla del habla local. Cada frase tiene "+ "que sonar a algo que alguien diría de verdad y empezar distinto que las demás. "+ "Devolvé SOLO un objeto JSON con la forma {\"frases\": [\"...\", \"...\"]}."+)++KINDS = {+ "indirect": (+ "Escribí {n} frases distintas que diría una persona que llama a {business} y "+ "necesita que se ocupe de su caso el área que atiende esto: «{description}». La "+ "persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son "+ "preguntas de información general como horarios, precios o dirección. No nombra el "+ "departamento ni pide que la transfieran."),+ "direct": (+ "Escribí {n} frases distintas de una persona que llama a {business} y pide que la "+ "comuniquen con el área de «{label}» ({description}). TODAS tienen que pedir que "+ "las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas."),+ "negated": (+ "Escribí {n} frases distintas de una persona que llama a {business} y aclara que "+ "NO necesita el área de «{label}» ({description}): dice que no la pasen ahí, o que "+ "no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien "+ "contestó. Cada frase tiene que llevar una negación clara."),+}++# Sentences where a negation describes the PROBLEM, and the caller still needs the area.+# Without them every "no" in the training data points at "keep talking", and the model+# learns the word instead of the meaning: "no tengo internet" is a request, not a refusal.+KINDS["needs_with_no"] = (+ "Escribí {n} frases distintas de una persona que llama a {business} y necesita que se "+ "ocupe de su caso el área que atiende esto: «{description}». En TODAS la persona "+ "cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», "+ "«no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra "+ "el departamento.")++POOLS = {+ "farewell": (+ "Escribí {n} frases distintas con las que una persona termina una llamada "+ "telefónica a una empresa: se despide, agradece, dice que eso era todo o que ya no "+ "necesita nada más."),+ "greeting": (+ "Escribí {n} frases distintas de lo que dice una persona al empezar una llamada o a "+ "mitad de ella sin pedir nada todavía: saludos, «¿me escucha?», «un momento», "+ "«¿cómo dijo?», frases a medias, muletillas."),+ "human": (+ "Escribí {n} frases distintas de una persona que llama a una empresa, la atiende un "+ "agente automático y pide hablar con una persona de verdad, sin decir con qué "+ "departamento."),+ "human_with_no": (+ "Escribí {n} frases distintas de una persona que llama a una empresa, la atiende un "+ "agente automático y pide hablar con una persona de verdad. En TODAS usa una "+ "negación para decirlo: «no quiero hablar con una máquina», «no me sirve el "+ "robot», «con la grabación no». No dice con qué departamento."),+ "negated_hangup": (+ "Escribí {n} frases distintas de una persona que está en una llamada y pide que NO "+ "le cuelguen o aclara que todavía NO terminó: «no cuelgue», «espere, me falta otra "+ "cosa», «todavía no me despido». Cada frase tiene que llevar una negación clara."),+ # An angry caller. None of the phrases a native speaker wrote for the frustration test+ # is here: they are held out, and the builder drops anything close to them.+ "frustration": (+ "Escribí {n} frases distintas de una persona que está en una llamada con el agente "+ "automático de una empresa y está MOLESTA con el agente: le reclama que no "+ "entiende, que repite lo mismo, que no contesta lo que le preguntó, que ya le dijo "+ "que no. Algunas llevan malas palabras suaves de Centroamérica. NO pide hablar con "+ "otra persona, NO pide que la transfieran y NO se despide: solo se queja."),+ "frustration_human": (+ "Escribí {n} frases distintas de una persona que está en una llamada con el agente "+ "automático de una empresa, está MOLESTA porque no la entiende, y por eso exige "+ "hablar con una persona de verdad. Tiene que pedir claramente una persona."),+ "negated_human": (+ "Escribí {n} frases distintas de una persona que llama a una empresa y dice que NO "+ "quiere que la pasen con nadie todavía, que prefiere que le responda quien contestó."),+}++OPEN = (+ "Escribí {n} preguntas distintas de información general que haría una persona que llama "+ "a {business}: horarios, dirección, si abren feriados, formas de pago, parqueo, "+ "sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no "+ "piden que las pasen con nadie."+)+++def ask(url, model, prompt, temperature):+ body = json.dumps({+ "model": model, "stream": False, "think": False, "format": "json",+ "keep_alive": "30m",+ "messages": [{"role": "system", "content": STYLE},+ {"role": "user", "content": prompt}],+ "options": {"temperature": temperature, "num_predict": 2500},+ }).encode()+ request = urllib.request.Request(url, data=body, headers={"Content-Type": "application/json"})+ with urllib.request.urlopen(request, timeout=600) as response:+ content = json.loads(response.read())["message"]["content"]+ try:+ phrases = json.loads(content).get("frases", [])+ except (json.JSONDecodeError, AttributeError):+ return []+ clean = []+ for phrase in phrases:+ if isinstance(phrase, str):+ text = re.sub(r"\s+", " ", phrase).strip().strip('"«»')+ if 3 <= len(text) <= 240:+ clean.append(text)+ return clean+++def cached(name, url, model, prompt, rounds, temperature):+ path = RAW / f"{name}.json"+ if path.exists():+ return json.loads(path.read_text(encoding="utf-8"))["phrases"]+ seen, phrases = set(), []+ for _ in range(rounds):+ for phrase in ask(url, model, prompt, temperature):+ key = phrase.lower()+ if key not in seen:+ seen.add(key)+ phrases.append(phrase)+ path.write_text(json.dumps(+ {"name": name, "model": model, "prompt": prompt, "phrases": phrases},+ ensure_ascii=False, indent=1), encoding="utf-8")+ return phrases+++def main():+ parser = argparse.ArgumentParser()+ parser.add_argument("--url", default="http://localhost:11434/api/chat")+ parser.add_argument("--model", default="qwen3.6:35b-a3b-q8_0")+ parser.add_argument("--only", default=None, help="one domain, to try the prompts")+ parser.add_argument("--rounds", type=int, default=1)+ parser.add_argument("--workers", type=int, default=4)+ parser.add_argument("--temperature", type=float, default=0.9)+ args = parser.parse_args()++ RAW.mkdir(exist_ok=True)+ started = time.time()++ jobs = []+ for key, domain in domains.DOMAINS.items():+ if args.only and key != args.only:+ continue+ for label, description in domain["departments"].items():+ for kind, template in KINDS.items():+ n = {"indirect": 20, "direct": 8, "negated": 8, "needs_with_no": 8}[kind]+ jobs.append((f"{key}.{label}.{kind}", template.format(+ n=n, business=domain["business"], label=label,+ description=description), args.rounds))+ jobs.append((f"{key}.open", OPEN.format(n=15, business=domain["business"]), args.rounds))++ if not args.only:+ for name, template in POOLS.items():+ jobs.append((f"pool.{name}", template.format(n=25), args.rounds * 3))++ total = 0+ with concurrent.futures.ThreadPoolExecutor(max_workers=args.workers) as pool:+ futures = {+ pool.submit(cached, name, args.url, args.model, prompt, rounds, args.temperature): name+ for name, prompt, rounds in jobs}+ for done, future in enumerate(concurrent.futures.as_completed(futures), start=1):+ total += len(future.result())+ if done % 10 == 0 or done == len(jobs):+ print(f"{done}/{len(jobs)} requests, {total} phrases, "+ f"{time.time() - started:.0f} s", flush=True)++ print(f"{total} phrases in {time.time() - started:.0f} s")+++if __name__ == "__main__":+ main()diff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.direct.json b/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.direct.jsonnew file mode 100644index 00000000..f7779e48--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.direct.json@@ -0,0 +1,15 @@+{+ "name": "agencia.boletos.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y pide que la comuniquen con el área de «boletos» (comprar boletos de avión). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor comunicarme con la sección de boletos, gracias.",+ "Oiga, ¿me atiende alguien del área de boletos?",+ "Pues oiga, que hablo pa' lo de los boletos de avión, si me pueden pasar.",+ "Trasladá a mi con el departamento de boletos, porfa.",+ "Así, quiero comprar un boleto y necesito hablar con quien maneja esa área.",+ "Al área de boletos, por favor.",+ "Mira, o sea, yo llamaba porque quería revisar unas opciones de vuelos y me dijeron que te pasara con el equipo de boletos.",+ "Pásame con boletos aeróreos, gracias."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.indirect.json b/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.indirect.jsonnew file mode 100644index 00000000..d87d7e30--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.indirect.json@@ -0,0 +1,27 @@+{+ "name": "agencia.boletos.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una agencia de viajes y necesita que se ocupe de su caso el área que atiende esto: «comprar boletos de avión». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, tengo una reservación pero al llegar al aeropuerto me dijeron que mi nombre estaba mal escrito y necesito corregirlo antes del cierre de puertas.",+ "Oiga, por favor, ¿me puede revisar el estado de mi compra? Le pago hace tres días y aún no recibo el comprobante en mi correo.",+ "Mira, cambié de fecha para mis boletos pero el sistema me cobra una penalidad muy alta que no está en las reglas del billete.",+ "Necesito urgentemente cambiar el pasaje porque se me cayó el vuelo y tengo que llegar mañana sí o sí a Miami.",+ "Hola, quiero cancelar mi viaje por motivos médicos pero la aerolínea dice que no cubre seguro y necesito ayuda para reclamar ese reembolso.",+ "Oye, te comento que compré dos boletos juntos y al llegar el sistema me separó en filas distintas del avión.",+ "¿Podría revisar por qué mi boleto electrónico sigue apareciendo como pendiente si ya descargué el PDF hace una hora?",+ "Mira, tengo un problema con las maletas porque en la agencia me dijeron que iban incluidas y ahora me están cobrando exceso de equipaje.",+ "Buen día, necesito agregar a mi hijo menor de edad a mi reserva pero la página web se está trabando todo el tiempo.",+ "Oiga, cambié mis datos personales por error al hacer la compra y no puedo acceder a la app para rectificarlos.",+ "Escuche, me vendieron un boleto round trip y resulta que solo me sirve la ida porque mi retorno cambió de planes.",+ "Hola, quiero saber si puedo cambiar el nombre del pasajero porque compré por equivocación con los datos de mi primo.",+ "Mira, llegué tarde al aeropuerto por un retraso del transporte y perdí mi conexión, ¿qué puedo hacer para recuperar el billete?",+ "Oye, te digo que la tarifa que me prometieron por teléfono no es la misma que aparece en la factura final.",+ "Necesito facturar estos boletos para una empresa pero los datos fiscales están mal y no dejan emitir la nota de crédito.",+ "¿Me puedes ayudar? El sistema borró mi selección de asientos cuando intenté actualizar mi itinerario por internet.",+ "Oiga, tengo un vuelo de conexión en otro país y necesito que me confirmen si debo hacer transbordo de equipaje o no.",+ "Mira, quiero devolver los boletos porque se cancelaron las fechas del viaje de negocios pero la aerolínea tarda demasiado en responder.",+ "Hola, ¿pueden verificar si mi ticket es transferible? Me lo regalaron y necesito saber si puedo cambiarlo a mi nombre.",+ "Oye, tengo un problema grave porque el vuelo se canceló ayer y nadie de la agencia me ha dado soluciones concretas hasta ahora."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.needs_with_no.jsonnew file mode 100644index 00000000..89fc22b7--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "agencia.boletos.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y necesita que se ocupe de su caso el área que atiende esto: «comprar boletos de avión». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, no logro avanzar en la compra de mi boleto y necesito que alguien me guíe paso a paso.",+ "Mira, no me aparece la opción para pagar con tarjeta y ya intenté varias veces sin éxito.",+ "Oiga, no me ha llegado el comprobante al correo electrónico después de hacer el pago hace una hora.",+ "¿Aló? No puedo reservar el vuelo porque el sistema me marca un error de disponibilidad inexistente.",+ "Pues no, no me han confirmado la reserva y ya pasaron las horas prometidas en su página.",+ "Hola, no tengo acceso a mi cuenta para editar mis datos personales antes de cerrar la compra.",+ "No me funciona el cupón de descuento que me enviaron por SMS al momento de ingresar el código final.",+ "Oiga pues, nunca me llegó el ticket electrónico y necesito ese documento para abordar mañana temprano."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.negated.json b/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.negated.jsonnew file mode 100644index 00000000..9c147bf0--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.boletos.negated.json@@ -0,0 +1,15 @@+{+ "name": "agencia.boletos.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y aclara que NO necesita el área de «boletos» (comprar boletos de avión): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Oiga, por favor no me pase con boletos de avión.",+ "Disculpe, pero yo no necesito eso de los boletos todavía.",+ "Buenas tardes, le aclaro que no es para tema de vuelos.",+ "Hola, no estoy interesado en comprar pasajes ahora mismo.",+ "Permitame, no me transfiera a la sección de boletería por favor.",+ "No, yo no quiero reservar ningún boleto de avión hoy.",+ "Oiga amigo, solo tengo una duda y no es de vuelos.",+ "Buen día, le pido que no me atiendan con el tema de boletos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.direct.json b/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.direct.jsonnew file mode 100644index 00000000..25aa407e--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.direct.json@@ -0,0 +1,15 @@+{+ "name": "agencia.cambios.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y pide que la comuniquen con el área de «cambios» (cambiar o cancelar un viaje ya comprado). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor comuníqueme con cambios.",+ "¿Me pueden pasar con el departamento de modificaciones de viajes?",+ "Hola, necesito hablar con área de cambios, porfa.",+ "Sí me comunican con la gente de cancelaciones y cambios?",+ "Quiero que me transfieran a cambios, por favor.",+ "Díganle que necesito pasar con el área de ajustes de viaje.",+ "Por aquí estoy, me deben conectar con modificaciones, gracias.",+ "Oiga, ¿podría comunicarme con el sector de cambios?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.indirect.json b/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.indirect.jsonnew file mode 100644index 00000000..05c31418--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.indirect.json@@ -0,0 +1,27 @@+{+ "name": "agencia.cambios.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una agencia de viajes y necesita que se ocupe de su caso el área que atiende esto: «cambiar o cancelar un viaje ya comprado». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, necesito anular mi reserva por motivo de salud.",+ "¿Me podrían cambiar las fechas del vuelo sin costo?",+ "Oiga, tengo un conflicto con la fecha de regreso y quiero ajustarla.",+ "Que tal, quiero cancelar el paquete turístico porque se me complica.",+ "Necesito reprogramar mi viaje para el mes próximo por favor.",+ "Disculpe, necesito hacer un cambio en los boletos comprados.",+ "Mire, tengo que suspender el viaje y pido la cancelación.",+ "¿Es posible modificar la salida del vuelo internacional?",+ "Quiero solicitar el reembolso por haber cancelado con antelación.",+ "Oiga, necesito cambiar el nombre en la reserva urgente.",+ "Tengo un problema con el itinerario y quiero reestructurarlo.",+ "Por favor, anulen mi viaje de negocios por imposibilidad.",+ "Necesito prorrogar la fecha de llegada a Cancún.",+ "Oiga, quiero cancelar la parte aérea del paquete todo incluido.",+ "¿Pueden cambiarme el hotel por uno de mejor categoría?",+ "Tengo que suspender el viaje familiar y pido auxilio.",+ "Necesito ajustar las horas de salida por emergencia.",+ "Oiga, solicito la modificación total de mi reserva actual.",+ "Quiero anular el tour guiado contratado en mi boleto.",+ "¿Me pueden cambiar los días del vuelo sin penalización?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.needs_with_no.jsonnew file mode 100644index 00000000..767de6aa--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "agencia.cambios.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y necesita que se ocupe de su caso el área que atiende esto: «cambiar o cancelar un viaje ya comprado». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenos días, oiga, le llamo porque ya no puedo hacer el viaje que reservé y necesito saber si me devuelven el dinero.",+ "A ver, amigo, es que el código de reserva no me funciona en la app y necesito cambiar los pasajes urgente.",+ "Perdone la molestia, pero nunca me llegó el comprobante de pago y sin eso no puedo verificar mi boleto.",+ "Hola, le consulto porque se me cambió la fecha del vuelo y la página web no me deja modificarlo sola.",+ "Oiga, pues yo necesito cancelar esta reserva porque ya no tengo ganas de ir, pero el sistema no me habilita el botón.",+ "Disculpe, es que los datos del pasajero no me aparecen bien cargados en su plataforma y requiero ayuda técnica.",+ "Buenas tardes, le escribo porque mi tarjeta fue rechazada para la renovación y con eso no tengo acceso a mis tickets.",+ "¿Aló?, oiga, es que por un malentendido pagué dos veces el mismo tour y ese cobro duplicado no me cancelaron."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.negated.json b/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.negated.jsonnew file mode 100644index 00000000..8805f951--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.cambios.negated.json@@ -0,0 +1,15 @@+{+ "name": "agencia.cambios.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y aclara que NO necesita el área de «cambios» (cambiar o cancelar un viaje ya comprado): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No, gracias, no necesito cambiar nada, solo quiero preguntar por los precios.",+ "Aquí no estoy buscando cancelar mi viaje, por favor hablemos de otra cosa.",+ "No me interesa el área de cambios, tengo mi reserva lista y solo una duda.",+ "No llamo para modificar mi boleto, deseo atención general únicamente.",+ "No es problema de cambio ni cancelación, quiero hacer una consulta simple.",+ "Aquí no requiero servicios de modificación, por favor atienda mi pregunta actual.",+ "No busco alterar mi viaje, solo necesito información sobre el destino.",+ "No necesito pasar por el departamento de cambios, hablemos directamente."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.direct.json b/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.direct.jsonnew file mode 100644index 00000000..dae76dc7--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.direct.json@@ -0,0 +1,15 @@+{+ "name": "agencia.excursiones.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y pide que la comuniquen con el área de «excursiones» (paquetes turísticos y tours). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Dígame, por favor, ¿me comunican con el área de excursiones?",+ "Hola, requiero hablar con turismo, porfa",+ "A ver, que me pasen con la sección de paquetes, por favor",+ "Tío, si es posible, ¿con excursionismo, porfa?",+ "Oiga, le pido un favor: transfieran a quien atiende tours",+ "Hola, hablo para solicitar el área de viajes y excursiones",+ "Ay, déjeme con los que manejan las salidas turísticas",+ "Buenas, ¿con el departamento de excursiones por favor?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.indirect.json b/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.indirect.jsonnew file mode 100644index 00000000..82d48cdb--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.indirect.json@@ -0,0 +1,27 @@+{+ "name": "agencia.excursiones.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una agencia de viajes y necesita que se ocupe de su caso el área que atiende esto: «paquetes turísticos y tours». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Sí, quiero cancelar mi reserva en Costa Rica porque se me hizo una emergencia familiar.",+ "Buen día, les escribo para ver si pueden cambiarme el vuelo de la paquete a Cancún que tengo comprado para el próximo mes.",+ "Tengo un problema grave con el tour guiado en Antigua que contratamos ayer y necesitamos solución urgente.",+ "Oiga, mi esposa y yo queremos ampliar días en nuestro paquete de todo incluido en Punta Cana.",+ "Buenos días, me dieron un descuento que no aplicaron en la factura del viaje a Guatemala.",+ "Hola, necesito reprogramar la fecha de salida para el tour cultural que reservamos hace dos semanas.",+ "Me cancelaron el hotel sin avisarme en mi paquete turístico y estoy perdido aquí mismo.",+ "Dígame, quiero saber si puedo cambiar el nombre del pasajero en mi reserva de viaje.",+ "Sí, por favor, necesito anular la parte terrestre de mi tour porque ya no viajan mis hijos.",+ "Buenas tardes, el servicio que me prometieron en el paquete no está siendo cumplido en destino.",+ "Quisiera agregar un acompañante a mi viaje organizado sin tener que pagar todo otra vez.",+ "Ayúdeme por favor, perdí los vouchers de entrada para el tour que pagamos online.",+ "No entiendo por qué me cobran extras que no estaban incluidos en el paquete básico que contraté.",+ "Buen día, quiero confirmar si el traslado al aeropuerto está incluido en mi reserva actual.",+ "Me interesa cambiar la fecha de mi salida porque se adelantó un compromiso laboral importante.",+ "Hola, les llamo para reportar que el guía del tour estuvo inadmisible y pido reembolso parcial.",+ "Oiga, ¿pueden extender mi estadía en el hotel del paquete por una noche más?",+ "Quiero solicitar la devolución de dinero por los días no utilizados de mi tour interrumpido.",+ "Sí, necesito que me envíen los detalles actualizados del itinerario porque cambiaron las actividades sin avisar.",+ "Buenas, tengo un error en el pasaje aéreo que viene incluido con mi paquete turístico y lo corregimos ayer."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.needs_with_no.jsonnew file mode 100644index 00000000..35e20b1f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "agencia.excursiones.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y necesita que se ocupe de su caso el área que atiende esto: «paquetes turísticos y tours». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, estoy llamando porque no me ha salido nada el paquete turístico que reservé hace dos semanas.",+ "Oiga, ¿podrían ayudarme? Es que no tengo acceso al voucher del tour de snorkel y ya estoy en el aeropuerto.",+ "La verdad es que no me está funcionando el código de descuento para la promoción de cruceros, ¿sabe?",+ "Disculpe, necesito apoyo urgente porque no me llegó la confirmación por correo electrónico del viaje a Copán.",+ "Mire, no puedo completar el pago en línea de mi paquete familiar y los mensajes dicen que está caído.",+ "Es que no han procesado bien mi solicitud para cambiar las fechas del tour guiado, me urge hacerlo hoy.",+ "No me aparece disponible la habitación en el hotel incluido dentro del paquete turístico que compré ayer.",+ "Ayuda por favor, no estoy recibiendo los SMS con las instrucciones de encuentro para la excursión del día mañana."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.negated.json b/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.negated.jsonnew file mode 100644index 00000000..a79ea002--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.excursiones.negated.json@@ -0,0 +1,15 @@+{+ "name": "agencia.excursiones.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y aclara que NO necesita el área de «excursiones» (paquetes turísticos y tours): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me trasladen a excursiones, por favor.",+ "Le aclaro que no necesito tours, gracias.",+ "Eviten pasarme al área de paquetes turísticos.",+ "No tengo interés en viajes organizados, se lo digo para que lo anote.",+ "Porfa, no me conecten con el departamento de excursiones.",+ "Solo quiero hacer una consulta rápida, nada de tours.",+ "Quedo tranquilo con usted, no requiero servicios de viaje grupal.",+ "Evíteme la transferencia a excursiones, solo busco info puntual."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.open.json b/research/benchmarks/es_phone_turns/train/raw/agencia.open.jsonnew file mode 100644index 00000000..cc252739--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.open.json@@ -0,0 +1,22 @@+{+ "name": "agencia.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a una agencia de viajes: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenos días, quisiera saber si abren los feriados nacionales",+ "¿Dónde queda exactamente la sucursal más cercana a mi casa?",+ "Aceptan tarjeta de crédito o solo es efectivo y transferencia?",+ "¿Tienen sitio para aparcar el carro ahí mismo?",+ "Me gustaría saber qué documentos necesito presentar para el pasaje",+ "Cuál es el horario exacto de cierre hoy por favor",+ "¿Ustedes tienen oficina en San Pedro Sula o solo aquí en la capital?",+ "¿El precio incluye todos los impuestos o hay recargos ocultos?",+ "Buenas tardes, necesito confirmar la dirección numérica del local",+ "¿Atienden por WhatsApp o hay que llamar solamente?",+ "Qué requisitos son para pagar a plazos con tarjeta",+ "A ver si me puede decir cuál es la primera hora de atención",+ "¿Puedo dejar un depósito para reservar sin dar todo el dinero ahora?",+ "Oiga, ¿qué días cierran temprano los fines de semana?",+ "Necesito saber si dan factura fiscal por las compras"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.visas.direct.json b/research/benchmarks/es_phone_turns/train/raw/agencia.visas.direct.jsonnew file mode 100644index 00000000..1e99f6c3--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.visas.direct.json@@ -0,0 +1,15 @@+{+ "name": "agencia.visas.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y pide que la comuniquen con el área de «visas» (trámite de visas y pasaportes). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor, ¿me puede pasar con el área de visas?",+ "¿Aló? Necesito hablar con quien maneja los pasaportes, porfa.",+ "Sí, dígame, necesito información sobre trámites migrarios.",+ "Oiga, una consulta: ¿hay alguien en la sección de visados?",+ "Buenas tardes, sería tan amable de conectarme con el departamento de visas?",+ "¿Aló? Paso con visas, por favor, tengo prisa.",+ "Disculpe la molestia, quiero pedir hablar con el área de pasaportes y visas.",+ "Hola, bueno, necesito que me comuniquen con quienes atienden lo de las visas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.visas.indirect.json b/research/benchmarks/es_phone_turns/train/raw/agencia.visas.indirect.jsonnew file mode 100644index 00000000..d3ae5d6b--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.visas.indirect.json@@ -0,0 +1,27 @@+{+ "name": "agencia.visas.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una agencia de viajes y necesita que se ocupe de su caso el área que atiende esto: «trámite de visas y pasaportes». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, necesito saber qué papeles faltan para mi visa de turismo porque me rechazaron la primera vez.",+ "Hola, estoy con un apuro tremendo, se me vence el pasaporte mañana y no he podido sacar la cita en línea.",+ "Oiga, tengo una duda grande: ¿el certificado de antecedentes penales debe ser reciente o con cualquier fecha sirve?",+ "Le comento que ya pagué la tarifa pero nunca llegó el recibo a mi correo, estoy muy preocupada.",+ "¿Me podría decir cuánto tarda en salir el pasaporte si solicito el trámite urgente por emergencia familiar?",+ "Buen día, quiero tramitar la visa para mi hijo menor de edad pero no sé si debo ir todos o solo uno.",+ "Es que me surgió un problema con la fotografía del documento, ¿aceptan foto digital impresa en color?",+ "Necesito confirmar si el acta de nacimiento apostillada es suficiente o piden traducción jurada también.",+ "Le cuento que perdí mi pasaporte viejo y ahora necesito el nuevo pero no sé cuál es el primer paso.",+ "Oiga, ¿es cierto que ahora hay que agendar la cita por internet o puedo ir directamente a la ventanilla?",+ "Tengo una cita mañana pero me cambió la fecha de viaje, ¿puedo modificarla sin cancelar todo?",+ "Me gustaría saber si aceptan pago en efectivo para el trámite de renovación de pasaporte o solo transferencia.",+ "Hola, mi nombre está mal escrito en la solicitud anterior, ¿cómo hago para corregirlo antes de que impriman el documento?",+ "Esperaba tener el visado pronto pero ya pasaron dos semanas y sigo sin noticias, me urge salir del país.",+ "¿Requieren cita previa para recoger el pasaporte listo o puede pasar cualquier persona autorizada con mi cédula?",+ "Le comento que vivo en otra ciudad y necesito saber si puedo iniciar el trámite por aquí o tengo que ir a mi lugar de origen.",+ "Oiga, ¿el certificado de vacunas todavía es obligatorio para la visa de estudiante o ya lo quitaron?",+ "Tengo miedo de que me devuelvan la solicitud porque no entiendo bien los requisitos de ingresos económicos.",+ "Buenas tardes, quiero saber si el trámite de pasaporte para adultos mayores tiene algún descuento especial.",+ "Le escribo porque me gustaría saber qué pasa si mi cita se cancela automáticamente por llegar tarde."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.visas.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/agencia.visas.needs_with_no.jsonnew file mode 100644index 00000000..f5477f92--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.visas.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "agencia.visas.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y necesita que se ocupe de su caso el área que atiende esto: «trámite de visas y pasaportes». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, no me ha llegado la cita para el pasaporte a pesar de haber pagado hace una semana.",+ "¿Me puede orientar? El sistema no me permite imprimir la visa que aprobaron ayer.",+ "A ver si me echan una mano porque no he podido renovar mi pasaporte y se vence mañana.",+ "La verdad es que nunca me han explicado bien por qué negaron mi solicitud de visa en el consulado.",+ "No encuentro dónde iniciar el trámite para el visado de turista y la página web está caída.",+ "Oiga, yo pagué los impuestos pero no me aparece ningún número de seguimiento en ninguna parte.",+ "Me urge saber si pueden acelerar el proceso porque mi pasaporte expiró y no tengo documento vigente.",+ "¿Por casualidad saben dónde atiendo esto? No me han dicho quién gestiona las emergencias con documentos perdidos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/agencia.visas.negated.json b/research/benchmarks/es_phone_turns/train/raw/agencia.visas.negated.jsonnew file mode 100644index 00000000..7ba12c49--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/agencia.visas.negated.json@@ -0,0 +1,15 @@+{+ "name": "agencia.visas.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una agencia de viajes y aclara que NO necesita el área de «visas» (trámite de visas y pasaportes): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No necesito visas ni nada de eso.",+ "Oiga, no me pase al área de pasaportes.",+ "Solo quiero hacer una pregunta rápida, no es tema de visas.",+ "Le confirmo que no necesito ningún trámite migratorio.",+ "Por favor, quédense con esta llamada, no busco visa.",+ "No tiene caso pasarla ahí porque no necesito nada de eso.",+ "Quedo tranquila porque ya sé que no requiero visa.",+ "Atiéndame usted aquí mismo, no es trámite de pasaporte."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.direct.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.direct.jsonnew file mode 100644index 00000000..1f46c0ff--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.direct.json@@ -0,0 +1,14 @@+{+ "name": "aseguradora.cobranza.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una aseguradora y pide que la comuniquen con el área de «cobranza» (pago de primas y cuotas atrasadas del seguro). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor pasar al área de cobranza.",+ "Hola, le pido amablemente que me conecte con el departamento de pagos.",+ "Pues sí, necesito hablar con cobranza ya mismo.",+ "Que me pasen con quien atiende las primas atrasadas.",+ "Oiga, ¿me pueden transferir a la oficina de cobros?",+ "Cobranza, por favor.",+ "Bueno, buenas tardes. Solicito la extensión para el área de gestión de pagos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.indirect.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.indirect.jsonnew file mode 100644index 00000000..214889d8--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.indirect.json@@ -0,0 +1,27 @@+{+ "name": "aseguradora.cobranza.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una aseguradora y necesita que se ocupe de su caso el área que atiende esto: «pago de primas y cuotas atrasadas del seguro». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, le escribo porque hace dos meses que no pago la prima y me preocupa que se corte la cobertura.",+ "Oiga, necesito regularizar mi situación con las cuotas vencidas del año pasado lo antes posible.",+ "Le comento que tengo un bloqueo en el sistema para pagar mis atrasos y no sé qué hacer.",+ "Quisiera saber si puedo hacer un convenio para pagar las dos primas que me deben.",+ "Hola, estoy intentando liquidar mi deuda de seguro pero el monto que me aparece está incorrecto.",+ "Me urge poner al día mi póliza porque tengo un siniestro y no sé si estoy cubierto.",+ "Le cuento que por error administrativo me quedaron dos meses sin pagar y necesito subsanarlo ya.",+ "¿Podrían indicarme los pasos para cancelar las cuotas atrasadas de mi seguro vehicular?",+ "Tengo una notificación de cobro judicial por no haber pagado la última anualidad.",+ "Le escribo para solicitar el recálculo de intereses moratorios sobre mis pagos pendientes.",+ "Necesito urgente el comprobante de que liquidé los atrasos para presentarlos en mi trabajo.",+ "Me cancelaron la póliza por falta de pago y quiero saber cómo reactivarla pagando lo debido.",+ "Quisiera hacer una transferencia bancaria pero me rechazan los pagos de cuotas vencidas.",+ "Le comento que tengo un problema con el número de cuenta asociado para mis pagos mensuales.",+ "¿Será posible pagar las primas atrasadas en una sola exhibición o solo aceptan parcelación?",+ "Estoy tratando de regularizar mi situación pero el sistema me dice que debo llamar a caja.",+ "Le solicito amablemente que me envíen el estado de cuenta detallado con todos los cargos pendientes.",+ "Tengo una duda sobre si los pagos realizados al último vencimiento cubren también la multa.",+ "Quiero proceder con el pago de los atrasos pero necesito autorización previa del área financiera.",+ "Le comento que ya realicé el depósito pero aún no veo reflejado en mi saldo deudor."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.needs_with_no.jsonnew file mode 100644index 00000000..52d956de--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "aseguradora.cobranza.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una aseguradora y necesita que se ocupe de su caso el área que atiende esto: «pago de primas y cuotas atrasadas del seguro». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buen día, necesito regularizar mi póliza porque no he podido realizar los pagos de las cuotas atrasadas.",+ "Oiga, disculpe la molestia, pero no me está apareciendo la opción en el portal para liquidar mis adeudos.",+ "Qué tal, le llamo porque nunca he recibido la guía de depósito para cancelar lo que debo del seguro.",+ "Mire, mi tarjeta no funciona para cobrar las primas pendientes y necesito otra forma de pago ya mismo.",+ "Buenas tardes, no me han aplicado el descuento en mi cuenta a pesar de haber pagado, ¿me puede revisar?",+ "¿Qué tal? Necesito urgentemente que me expliquen cómo regularizar mi situación porque no tengo acceso a la plataforma.",+ "Escúcheme, no logro completar el trámite por teléfono para pagar lo atrasado y me urge solucionar esto hoy.",+ "Hola, le contactó porque no se ha acreditado mi pago de ayer y temo que me anulen la cobertura."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.negated.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.negated.jsonnew file mode 100644index 00000000..deb62277--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.cobranza.negated.json@@ -0,0 +1,15 @@+{+ "name": "aseguradora.cobranza.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una aseguradora y aclara que NO necesita el área de «cobranza» (pago de primas y cuotas atrasadas del seguro): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me pasen a cobranza, porfa.",+ "Tengo otro tema, ni hablen de pagos.",+ "Solo una consulta rápida, sin reclamos.",+ "Por favor, eviten el área de adeudos.",+ "No es deuda, es otra cosa urgente.",+ "Quedo con usted, gracias por atenderme.",+ "Ni me mencione la palabra 'prima'.",+ "Tengo dudas generales, nada que ver con cuentas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.open.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.open.jsonnew file mode 100644index 00000000..c75c4b2a--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.open.json@@ -0,0 +1,22 @@+{+ "name": "aseguradora.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a una aseguradora: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenas tardes, les consulto cuál es la dirección exacta de la sede principal para poder llegar.",+ "¿Manejan parqueo privado en las instalaciones para los clientes?",+ "Me gustaría saber si abren normalmente el próximo feriado nacional o si queda cerrada la sucursal.",+ "¿Aceptan pagos por transferencia bancaria o es estrictamente efectivo y tarjeta de crédito?",+ "Quisiera confirmar si tienen alguna sucursal en el norte del país cerca de San Pedro Sula.",+ "¿Cuáles son los requisitos exactos para abrir una póliza de vehículo nuevo?",+ "Me gustaría saber hasta qué hora atienden por favor.",+ "¿Cuántas agencias tienen abiertas a nivel nacional actualmente?",+ "¿Ofrecen facilidades de pago o planes mensuales para la prima anual?",+ "¿La sucursal del centro cuenta con rampa de acceso para personas con movilidad reducida?",+ "Necesito saber si puedo renovar mi póliza directamente por teléfono sin ir a la oficina.",+ "¿Aceptan pagos en dólares americanos además del lempira?",+ "¿Tienen horario extendido los viernes por la tarde para gente que trabaja?",+ "¿Cuál es el documento de identidad vigente que debo presentar como requisito básico?",+ "Me preocupa llegar muy tarde, ¿cierran puntual a las cinco o hay turno de tarde?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.direct.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.direct.jsonnew file mode 100644index 00000000..2e85f9cf--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.direct.json@@ -0,0 +1,15 @@+{+ "name": "aseguradora.polizas.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una aseguradora y pide que la comuniquen con el área de «polizas» (contratar, renovar o modificar un seguro). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buen día, le escribo para solicitar por favor la transferencia al área de pólizas.",+ "Porfiado, pásenme con quien atiende las pólizas, que es urgente.",+ "Qué tal, ¿me podría conectar con el departamento de pólizas, por favor?",+ "Oiga, necesito hablar con ventas de pólizas, déjenme pasar.",+ "Sírvame por favor comunicarme con la sección de renovación de pólizas.",+ "Buenos días, solicito amablemente ser dirigido al personal de pólizas.",+ "Tranquilo, solo necesito que me pasen con el área de pólizas.",+ "Qué tal, ¿podría decirme si atiendo con el área de pólizas hoy?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.indirect.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.indirect.jsonnew file mode 100644index 00000000..9dcd34b3--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.indirect.json@@ -0,0 +1,27 @@+{+ "name": "aseguradora.polizas.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una aseguradora y necesita que se ocupe de su caso el área que atiende esto: «contratar, renovar o modificar un seguro». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenos días, necesito renovar el seguro de mi vehículo porque ya venció la póliza.",+ "Oiga, ¿podría ayudarme a ampliar la cobertura del seguro de hogar para incluir electrodomésticos?",+ "Quiero contratar un seguro médico familiar para mis hijos y mi esposa, por favor.",+ "Tengo una duda con el recibo de mi seguro automotriz y necesito que me aclaren algo urgente.",+ "Necesito modificar el beneficiario de mi póliza de vida, ya cambió todo.",+ "¿Me pueden ayudar a contratar un seguro para mi moto nueva?",+ "O sea, que quiero renunciar a mi seguro actual porque me sale muy caro.",+ "Hola, quiero saber cómo cambiar la información bancaria para el pago automático de mi seguro.",+ "Necesito agregar una cobertura de robo total a mi póliza de auto ya existente.",+ "Quiero contratar un seguro de viaje internacional para unas vacaciones en mayo.",+ "Oiga don, mi seguro de edificio tiene mucho tiempo sin renovación y necesito regularizarlo hoy mismo.",+ "¿Se puede cambiar el tipo de franquicia en mi seguro de carro?",+ "Necesito una cotización urgente para contratar un seguro todo riesgo para mi camión de carga.",+ "Tengo un problema con la vigencia de mi póliza y necesito que me indiquen cómo proceder.",+ "Quiero dar de baja el seguro de desgravamen porque ya pagué la deuda del préstamo.",+ "O sea, necesito extender la duración de mi contrato de seguro agrícola este año.",+ "Hola, quiero contratar un seguro para mi negocio nuevo que acabo de abrir.",+ "Necesito actualizar mis datos personales en el sistema de mi seguro de salud.",+ "¿Me pueden cancelar mi póliza a partir del primer día del próximo mes?",+ "Quiero modificar los datos del conductor principal en mi seguro automotriz."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.needs_with_no.jsonnew file mode 100644index 00000000..247528ff--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "aseguradora.polizas.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una aseguradora y necesita que se ocupe de su caso el área que atiende esto: «contratar, renovar o modificar un seguro». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, buenas tardes, es que yo necesito hacerle unos cambios a mi póliza pero no me aparece la opción en la página.",+ "Buen día, le llamo porque el sistema me está dando error y no me deja renovar el seguro del carro.",+ "Mira, no sé qué pasa, pero nunca me ha llegado el correo con la nueva factura para que yo pueda pagar.",+ "¿Está atendiendo? Es que necesito agregar un conductor a mi seguro familiar y no me dejan guardar los datos.",+ "La verdad es que ya intenté mil veces y no puedo acceder al portal para modificar mis beneficiarios.",+ "Hola, oiga, no tengo el número de póliza a la mano y necesito saber cómo hago para contratar uno nuevo urgente.",+ "Disculpe, ¿me puede ayudar? Es que no me ha llegado la carta de aceptación del cambio que hice ayer.",+ "Oigan, yo ya pagué pero no me aparece como vigente el seguro en su sistema todavía."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.negated.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.negated.jsonnew file mode 100644index 00000000..c94d420b--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.polizas.negated.json@@ -0,0 +1,15 @@+{+ "name": "aseguradora.polizas.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una aseguradora y aclara que NO necesita el área de «polizas» (contratar, renovar o modificar un seguro): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, por favor no me trasladen a pólizas porque ya tengo todo cubierto y solo pregunto por un trámite.",+ "No me atienda ahí que no necesito renovar ni contratar nada, solo quiero una duda con usted.",+ "Le pido que por favor no me pasen a seguros, no tengo ninguna póliza que modificar y deseo seguir aquí.",+ "Disculpe pero no quiero hablar con el departamento de pólizas, solo requiero orientación rápida sin cambios.",+ "Oiga, por nada me traslade a ventas porque no busco comprar un seguro, solo aclarar una duda técnica.",+ "Gracias por atenderme, pero le ruego que no me envíen al área de pólizas pues no tengo ese tema pendiente.",+ "No es para contratar ni renovar ninguna póliza, así que por favor manténgame en esta línea para su ayuda.",+ "Permiso, yo vengo solo a preguntar algo específico y le aseguro que no necesito servicios de pólizas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.direct.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.direct.jsonnew file mode 100644index 00000000..73af01dd--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.direct.json@@ -0,0 +1,15 @@+{+ "name": "aseguradora.siniestros.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una aseguradora y pide que la comuniquen con el área de «siniestros» (reportar un accidente, un robo o un daño cubierto por el seguro). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenas tardes, me comunican con siniestros por favor.",+ "Oiga, ¿me puede pasar con el departamento de siniestros?",+ "Hola, solicito atención en el área de siniestros.",+ "Porfa, transferirme a siniestros rápido que es urgencia.",+ "Le llamo para reportar un accidente, hablen con el sector siniestros.",+ "¿Hay alguien en siniestros? Necesito hablar con esa mesa.",+ "Oiga, permítame conectar con la brigada de siniestros por favor.",+ "Necesito declarar un robo, hablemos con los chicos de siniestros."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.indirect.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.indirect.jsonnew file mode 100644index 00000000..b85d6644--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.indirect.json@@ -0,0 +1,27 @@+{+ "name": "aseguradora.siniestros.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una aseguradora y necesita que se ocupe de su caso el área que atiende esto: «reportar un accidente, un robo o un daño cubierto por el seguro». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "¡Hola! Buen día, quisiera reportar un choque leve contra una estaca en el barrio",+ "Soy María, llamo porque me robaron la moto esta mañana frente al mercado",+ "Buenas tardes, necesito hacer la denuncia del daño por granizo en mi techo",+ "Pero sí, ya llegué al lugar del accidente y estoy esperando a la policía",+ "Mi carro fue alcantilado anoche mientras dormía, necesito abrir el siniestro lo antes posible",+ "Aquí habla Roberto, tengo un problema con la vidriera trasera que se rompió sola",+ "Miren, ya mandé las fotos por WhatsApp pero quiero confirmar si esto está cubierto",+ "¡Ay qué lástima! Mi vecino me rayó el carro en el estacionamiento del centro",+ "Necesito saber cuánto tarda la tasación para el robo de mi celular reciente",+ "Oiga, pues le cuento que hubo un choque múltiple en la autopista y yo soy responsable parcial",+ "Quisiera reportar la inundación de mi bodega por las lluvias de hoy",+ "Bueno, no es nada grave pero tengo una abolladura grande en la puerta del conductor",+ "Aquí habla don Jorge, perdón si molesto a esta hora pero el seguro vence mañana y hubo un incidente",+ "Me robaron la mochila con mi laptop dentro mientras esperaba el bus",+ "Por favor, ¿me pueden enviar al perito para que revise los daños de la fachada?",+ "Sí, sí estoy bien, gracias por preguntar, lo del accidente fue solo material",+ "Necesito urgencia porque me van a embargar la casa si no regularizo este siniestro",+ "Ay Dios mío, el agua se filtró por la tubería y ya inundó mi sala entera",+ "Llamo para reportar que alguien pintó graffiti en mi portón de garaje con spray",+ "Ya tengo las fotos del accidente y los datos del otro conductor listos para enviarle"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.needs_with_no.jsonnew file mode 100644index 00000000..8b1eb65e--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "aseguradora.siniestros.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una aseguradora y necesita que se ocupe de su caso el área que atiende esto: «reportar un accidente, un robo o un daño cubierto por el seguro». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas, verás, mi carro tuvo un choque ayer y no he podido iniciar la denuncia en línea todavía.",+ "Dígame si me pueden dar una mano urgente porque no llegó el correo con los pasos a seguir para el robo de mi bici.",+ "Hola, disculpe la molestia, pero no tengo acceso a la app para subir las fotos del rayón que le hicieron a la puerta.",+ "Que tal, oiga, necesito reportar un accidente pequeño pero no me han contestado el mensaje de ayer en la app.",+ "Mire, la verdad es que no me funciona el código que me dieron para agendar la cita con el perito esta tarde.",+ "A ver si me orienta porque no puedo acceder a mis datos personales en la plataforma y tengo que sacar una constancia hoy.",+ "Hola, disculpe, no llegó ninguna notificación al teléfono sobre la actualización del caso de mi seguro de hogar que reporté hace dos días.",+ "Oiga, le comento que no me han dado respuesta desde el lunes sobre la reclamación de los vidrios rotos y estoy preocupado."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.negated.json b/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.negated.jsonnew file mode 100644index 00000000..f048d8e4--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/aseguradora.siniestros.negated.json@@ -0,0 +1,15 @@+{+ "name": "aseguradora.siniestros.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una aseguradora y aclara que NO necesita el área de «siniestros» (reportar un accidente, un robo o un daño cubierto por el seguro): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, gracias por su atención, pero no requiero el área de siniestros, solo tengo una consulta general.",+ "Hola, no le pasen con siniestros por favor, es que apenas quiero aclarar una duda sobre mi póliza.",+ "Disculpe, no necesito reportar ningún siniestro ni accidente, lo que quería preguntar es otro tema.",+ "Por acá estamos bien, sin siniestros de por medio, solo le escribía para confirmar un dato de la póliza.",+ "No, no tengo siniestros que reportar hoy, le agradecería si me pudiera orientar sobre una renovación.",+ "Hola, gracias por contestar, pero el tema no es de siniestros ni reclamos, solo era una consulta rápida.",+ "Me puede atender usted? No necesito pasar con siniestros porque no ha pasado nada, solo pregunto.",+ "Buenas, aquí todo tranquilo sin siniestros ni novedades, solo quería aclarar una cotización que me tienen pendiente."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.direct.json b/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.direct.jsonnew file mode 100644index 00000000..522c3214--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.direct.json@@ -0,0 +1,15 @@+{+ "name": "banco.cuentas.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y pide que la comuniquen con el área de «cuentas» (cuentas de ahorro y de cheques: abrirlas, saldos, transferencias). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Hola, buenas tardes, por favor pásenme con cuentas de ahorro.",+ "Oiga, buenos días, ¿me podría comunicar con el área de cuentas?",+ "Porfa, requiero hablar con alguien de cuentas de cheques.",+ "Buenas, hable con cuentas por favor.",+ "Mire, me urge contactar al departamento de cuentas para una transferencia.",+ "¿Sí? Necesito pasar con cuentas de ahorro y cheque.",+ "Pues sí, bueno, pásenme con cuentas, gracias.",+ "Hola, buenas tardes, ¿tienen a alguien en cuentas que pueda ayudarme?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.indirect.json b/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.indirect.jsonnew file mode 100644index 00000000..66b3c8f6--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.indirect.json@@ -0,0 +1,27 @@+{+ "name": "banco.cuentas.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un banco y necesita que se ocupe de su caso el área que atiende esto: «cuentas de ahorro y de cheques: abrirlas, saldos, transferencias». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Oiga, por favor necesito activar mi tarjeta de débito porque no me deja retirar en el cajero.",+ "Buenas tardes, quería consultar si ya cayó la transferencia que hice ayer a las seis de la tarde.",+ "Mira, el sistema me marca error cuando intento mover dinero de mi chequera a la cuenta de ahorros.",+ "Necesito ordenar que se cancele un cheque que firmé pero no utilicé porque cambié de planes.",+ "Disculpe, tengo una duda con el saldo disponible versus el saldo real, ¿me pueden explicar qué pasa?",+ "A ver, quiero ponerle más dinero a mi cuenta de ahorros desde la app y me da fallo.",+ "Pura vida, o sea, que si yo deposité un cheque hoy no lo veo hasta mañana, ¿no es así?",+ "Miren, necesito que me cambien el número de teléfono registrado para poder recibir los códigos de seguridad.",+ "No entiendo por qué me cobraron una comisión por mantener la cuenta sin movimientos este mes.",+ "Oiga amigo, ¿podrían decirme cuál es el monto mínimo que tengo que dejar en la chequera?",+ "Pues sí, quiero sacar unos quinientos dólares en efectivo y no sé si estoy cubierto con mi saldo actual.",+ "Mira, abrí una cuenta de ahorros nueva pero no me llega el correo con los datos de acceso.",+ "¿Me podrían decir cuándo se liquida esa transferencia internacional que mandé hace tres días?",+ "Oye, necesito pedir un estado de cuenta detallado del último trimestre para unos trámites personales.",+ "A ver si me aclaran esto: ¿por qué aparece una transacción pendiente si ya gasté el dinero en el súper?",+ "Necesito registrar mi cédula en el sistema porque al principio solo puse el pasaporte y ahora me falla todo.",+ "Mira, quería saber si puedo abrir una segunda cuenta de ahorros para separar mis gastos fijos.",+ "Pues sí, oiga, que se me perdieron las claves del internet banking y necesito recuperarlas urgente.",+ "No veo reflejado el depósito que hizo mi empresa ayer, ¿puede revisar si llegó al banco correctito?",+ "Miren, por favor, quiero bajar la tarifa de mantenimiento porque voy a dejar de usar la cuenta de cheques."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.needs_with_no.jsonnew file mode 100644index 00000000..08a490fe--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.needs_with_no.json@@ -0,0 +1,14 @@+{+ "name": "banco.cuentas.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y necesita que se ocupe de su caso el área que atiende esto: «cuentas de ahorro y de cheques: abrirlas, saldos, transferencias». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, no me deja ver el saldo de mi cuenta de cheques en la app.",+ "Oiga, disculpen que lo moleste, pero nunca me llegó la tarjeta de débito que pedí hace dos semanas.",+ "Qué tal, quiero consultarle porque las transferencias que hago entre cuentas a veces tardan demasiado y no sé por qué pasa eso.",+ "Disculpe, abrí una cuenta de ahorros online pero todavía no me llega el número de cuenta para poder depositar dinero.",+ "Oiga, le escribo porque no tengo acceso al internet banking desde hace dos días y necesito ver mis movimientos urgentemente.",+ "Hola, buenas tardes, no han procesado la transferencia que hice ayer para pagar una factura y ya pasó el día hábil.",+ "Perdone la molestia, pero me dijeron que tenía fondos suficientes y sin embargo el banco no autorizó el pago con mi cheque."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.negated.json b/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.negated.jsonnew file mode 100644index 00000000..95415861--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.cuentas.negated.json@@ -0,0 +1,15 @@+{+ "name": "banco.cuentas.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y aclara que NO necesita el área de «cuentas» (cuentas de ahorro y de cheques: abrirlas, saldos, transferencias): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, por favor no me conecten con cuentas, solo tengo una duda sobre mi tarjeta.",+ "Oiga, no necesito abrir ninguna cuenta ni ver saldos, hablemos directamente con quien atendió.",+ "No, gracias, el tema de cheques y ahorros ya lo resolví, necesito hablar con usted.",+ "Disculpe, pero no me pase al departamento de cuentas porque no quiero abrir nada nuevo.",+ "Ya le digo que no tengo problemas con saldos ni transferencias, déjeme hacer mi pregunta.",+ "No requiero servicios de cuenta corriente, por favor mantenga la línea con quien contestó.",+ "Usted fue quien me contestó, así que mejor hablemos usted y yo sin pasar a cuentas.",+ "Oye, no me lleves al área de apertura de cuentas que ahí no necesito nada."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.open.json b/research/benchmarks/es_phone_turns/train/raw/banco.open.jsonnew file mode 100644index 00000000..e1300e76--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.open.json@@ -0,0 +1,22 @@+{+ "name": "banco.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a un banco: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenas tardes, les quería preguntar cuál es el horario de atención al público para hoy.",+ "¿Ustedes saben si la sucursal del centro abre mañana feriado?",+ "Disculpe, por favor, me podrían decir dónde queda exactamente la oficina más cercana a mi casa.",+ "Hola, ¿aceptan pago de servicios con tarjeta de débito o es exclusivamente en efectivo?",+ "Oye, amigo, ¿tienen estacionamiento libre para los clientes que vienen a hacer trámites?",+ "Perdone, ¿qué documentos necesito presentar si soy extranjero para abrir una cuenta básica?",+ "¿A qué hora cierran ya la ventanilla hoy porque se me va haciendo tarde?",+ "Buen día, quería saber si hacen transferencias internacionales desde esta misma oficina.",+ "Mira, por favor, ¿me pueden confirmar si hay fila larga en este momento?",+ "¿El cajero automático está funcionando bien o andan con mantenimiento hoy?",+ "Oiga, ¿cuál es la dirección exacta de la sucursal de Tegucigalpa que queda cerca del parque?",+ "¿Se puede cancelar un cheque emitido por teléfono o tengo que ir personalmente al mostrador?",+ "Hola, ¿tienen horario extendido los viernes porque a mí solo me sirve después de las tres?",+ "¿Qué tasa de interés manejan actualmente para la cuenta de ahorro de uso diario?",+ "Le agradezco si me dice dónde puedo estacionar el carro sin que me pongan una multa."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.direct.json b/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.direct.jsonnew file mode 100644index 00000000..2cf9e81e--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.direct.json@@ -0,0 +1,15 @@+{+ "name": "banco.prestamos.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y pide que la comuniquen con el área de «prestamos» (préstamos y créditos: solicitarlos, requisitos, cuotas). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor paseme con Prestamos.",+ "¡Oiga! Que me comuniquen con la sección de créditos ya.",+ "Le hablo porque necesito gestionar un préstamo y requiero hablar con el área correspondiente.",+ "Porfa traspásame con los de préstamos, gracias.",+ "Hola, buenas tardes. Necesito información sobre cuotas y requisitos; por favor déjeme en manos del equipo de créditos.",+ "Póngame con Prestamos.",+ "Disculpe las molestias, pero solicito que me conecten inmediatamente con el departamento de préstamos para cerrar un trámite.",+ "Hola, buenas. Le pido el favor de transferir mi llamada al área de créditos, por favor."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.indirect.json b/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.indirect.jsonnew file mode 100644index 00000000..fc0c106e--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.indirect.json@@ -0,0 +1,27 @@+{+ "name": "banco.prestamos.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un banco y necesita que se ocupe de su caso el área que atiende esto: «préstamos y créditos: solicitarlos, requisitos, cuotas». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Le llamo para saber qué papeles necesito para pedir un crédito automotriz.",+ "Buenos días, quisiera agendar una cita para firmar la escritura del préstamo hipotecario.",+ "Oiga, tengo una duda con la fecha de mi próxima cuota, ¿me la pueden confirmar?",+ "Necesito saber si me aprueban el crédito personal porque urgente necesito el dinero.",+ "Le escribo porque me cobraron dos veces la cuota del mes pasado y quiero que lo corrijan ya.",+ "Quiero solicitar la ampliación de mi línea de crédito para poder invertir en mi negocio.",+ "O sea, ¿con el recibo de luz alcanza o necesito también el estado de cuenta?",+ "Me gustaría saber cuánto es el total a pagar si quiero liquidar mi préstamo antes de tiempo.",+ "Ayuda por favor, se me venció el pago y no encuentro la forma de regularizarlo en la app.",+ "Les llamo para consultar los requisitos específicos para el crédito agrícola, soy campesino.",+ "Quiero saber si puedo cambiar la fecha de corte para que me quede mejor con mis ingresos.",+ "Oiga, ¿me podrían explicar por qué subió mi tasa de interés este último mes?",+ "Necesito solicitar un crédito educativo para mis hijos y quiero saber los plazos disponibles.",+ "Le comentaba que tengo dificultades para pagar la cuota de este mes, ¿hay alguna opción de moratoria?",+ "Quiero retirar el dinero del préstamo aprobado pero me dicen que está retenido, ¿por qué?",+ "Oiga, necesito una carta de no adeudo urgente para un trámite de vivienda.",+ "Les llamo para ver si puedo refinancear mi deuda con tarjeta y quedar en un solo préstamo.",+ "Quisiera saber el monto máximo que me pueden prestar según mi nómina actual.",+ "O sea, ¿tengo que ir personalmente o se puede hacer todo por internet?",+ "Necesito hablar con alguien de préstamos porque tengo un problema con la firma digital."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.needs_with_no.jsonnew file mode 100644index 00000000..72095c8c--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "banco.prestamos.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y necesita que se ocupe de su caso el área que atiende esto: «préstamos y créditos: solicitarlos, requisitos, cuotas». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, no me aparece la opción para solicitar el crédito en la app y necesito urgente resolverlo",+ "Oiga, pues yo no he recibido los requisitos que prometieron ayer por correo y estoy atrasado con esto",+ "Mira, no me aprueban la cuota del préstamo a pesar de tener todo al día y eso me tiene preocupado",+ "Disculpe, nunca me han enviado el estado de cuenta actualizado para poder verificar si pago bien mis mensualidades",+ "Pues yo no tengo acceso a la información de mi tasa de interés y necesito que alguien me aclare",+ "Oigan, no se está descontando automáticamente la cuota como acordamos y temo que afecte mi historial crediticio",+ "Verá, no me explicaron bien los requisitos para refinanciar y ahora estoy confundido con las obligaciones",+ "Hablo porque no puedo acceder al monto solicitado del crédito personal y necesito orientación inmediata"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.negated.json b/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.negated.jsonnew file mode 100644index 00000000..df555504--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.prestamos.negated.json@@ -0,0 +1,15 @@+{+ "name": "banco.prestamos.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y aclara que NO necesita el área de «prestamos» (préstamos y créditos: solicitarlos, requisitos, cuotas): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me transfiera a créditos, por favor, tengo otro asunto.",+ "Le aseguro que no necesito préstamos ni nada parecido.",+ "Oiga, yo no estoy buscando financiamiento en este momento.",+ "Porfa no me coticen nada, solo quiero una consulta rápida.",+ "Le repito que no requiero créditos, gracias por su ayuda.",+ "No me desvíe, porque definitivamente no busco dinero prestado.",+ "Solo pregunto esto, no tenga en cuenta la parte de préstamos.",+ "Ya le dije que no soy cliente de la línea de crédito."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.remesas.direct.json b/research/benchmarks/es_phone_turns/train/raw/banco.remesas.direct.jsonnew file mode 100644index 00000000..783d73c3--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.remesas.direct.json@@ -0,0 +1,15 @@+{+ "name": "banco.remesas.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y pide que la comuniquen con el área de «remesas» (enviar o cobrar dinero que viene del extranjero). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buen día, buenas tardes, por favor con Remesas.",+ "Qué tal, buen día, si no le molesta pásame a la gente de remesas que necesito cobrar.",+ "Hola, buenos días, ¿me podrían comunicar con el departamento de remesas?",+ "Con Remesas por favor.",+ "A ver si me atienden pronto, quiero hablar con el área de remesas para enviar dinero.",+ "Pásame a remesas, es urgente eso.",+ "Le comento que necesito contactar con la sección de remesas para una transferencia internacional, gracias.",+ "Remesas por favor."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.remesas.indirect.json b/research/benchmarks/es_phone_turns/train/raw/banco.remesas.indirect.jsonnew file mode 100644index 00000000..f6d2e39a--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.remesas.indirect.json@@ -0,0 +1,27 @@+{+ "name": "banco.remesas.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un banco y necesita que se ocupe de su caso el área que atiende esto: «enviar o cobrar dinero que viene del extranjero». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Oiga, buenas tardes, yo tengo una transferencia que debería haber llegado ya y hasta ahorita no aparece en mi estado de cuenta, ¿me puede revisar?",+ "Bueno, le llamo porque me llegó un aviso del exterior pero el dinero nunca se acreditó en la cuenta.",+ "Es que vengo haciendo este trámite desde hace tres días y sigo sin ver los fondos, es urgente.",+ "Hola, necesito saber por qué mi remesa quedó detenida cuando el remitente ya dijo que la envió.",+ "¿Me podría ayudar con un depósito internacional? Es que no sé bien cómo llenar el formulario para que llegue a tiempo.",+ "Oiga pues, le comento que me cobraron dos veces una comisión por una transferencia entrante y quiero que me devuelvan eso.",+ "Hola, es que mi papá me mandó dinero desde Estados Unidos pero dice que la transacción falló y yo no tengo nada.",+ "Bueno, necesito autorizar una recepción de fondos del extranjero porque me piden un código de seguridad que no entiendo.",+ "Le llamo porque hay un error en los datos del beneficiario de mi transferencia saliente al exterior y quiero corregirlo antes de que se vaya.",+ "Hola, ¿podrían revisar si llegó el dinero que envío mi hermano desde España? Ya pasaron dos días laborables.",+ "Oiga, necesito reportar que no recibí la remesa aunque el banco del otro lado me da por seguro que ya salió.",+ "Bueno, le escribo (hablo) porque la tasa de cambio que me aplicaron en la conversión de divisas no fue la correcta.",+ "Hola, es que quiero enviar una cantidad grande al exterior y me pidieron información adicional que no sé cómo entregar por teléfono.",+ "Oiga pues, tengo un problema con mi cuenta porque se congeló tras recibir una transferencia internacional sospechosa para el sistema.",+ "Bueno, le digo que ya pagué la comisión pero aún así no puedo retirar los fondos del exterior que me llegaron ayer.",+ "Hola, necesito confirmar que el origen de los fondos de esta remesa cumple con las normas anti-lavado para que pueda usar el dinero.",+ "Oiga, es que el banco en México me dice que aquí en Honduras no autorizan la entrada y yo solo quiero recibir mi sueldo.",+ "Bueno, le llamo porque la fecha límite para cobrar este cheque internacional ya pasó y no sé si todavía puedo hacerlo.",+ "Hola, ¿me pueden verificar el estatus de una transferencia entrante? El número de referencia es uno que me mandaron por WhatsApp.",+ "Oiga pues, necesito que me activen la función de recibir pagos internacionales en mi app porque estaba desactivada por seguridad."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.remesas.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/banco.remesas.needs_with_no.jsonnew file mode 100644index 00000000..513dd458--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.remesas.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "banco.remesas.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y necesita que se ocupe de su caso el área que atiende esto: «enviar o cobrar dinero que viene del extranjero». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, que no me llega el dinero de afuera y necesito solucionar este lío urgente.",+ "Ay por favor, nunca me han acreditado una transferencia internacional y estoy muy preocupado.",+ "Mire, no puedo recibir remesas porque la cuenta está bloqueada, ¿quién me puede atender?",+ "Es que no me ha llegado el pago de mi hijo allá y necesito rastrearlo ya.",+ "Buenas tardes, oiga, no me funciona el servicio para captar fondos del exterior.",+ "O sea, no tengo acceso a recibir ese dinero y es mi único apoyo mensual.",+ "Chévere, ¿me puede pasar con quien maneja los temas de divisas? Es que no me llega nada.",+ "La verdad es que no me han contestado sobre la transferencia y necesito hablar con alguien ya."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.remesas.negated.json b/research/benchmarks/es_phone_turns/train/raw/banco.remesas.negated.jsonnew file mode 100644index 00000000..cbded9bf--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.remesas.negated.json@@ -0,0 +1,15 @@+{+ "name": "banco.remesas.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y aclara que NO necesita el área de «remesas» (enviar o cobrar dinero que viene del extranjero): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, le confirmo que no requiero servicio de remesas.",+ "No me transfiera, por favor, no necesito eso hoy.",+ "Disculpe, pero yo no manejo dinero del exterior.",+ "Por aquí mismo quedo, sin derivaciones a remesas.",+ "Gracias, pero no es mi caso lo de abroad.",+ "Solo tengo una duda operativa, nada con el exterior.",+ "Le aclaro que no tengo cuentas en dólares tampoco.",+ "No, no necesito que me pasen al departamento de envíos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.direct.json b/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.direct.jsonnew file mode 100644index 00000000..61e7b935--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.direct.json@@ -0,0 +1,15 @@+{+ "name": "banco.tarjetas.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y pide que la comuniquen con el área de «tarjetas» (tarjetas de crédito y débito: bloqueos, robos, límites, reposiciones). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buen día, por favor póngame con tarjetas.",+ "¿Me puede pasar al sector de tarjetas?",+ "Sí, hola, necesito hablar con el área de tarjetas, gracias.",+ "Que me conecten con tarjetas, porfa.",+ "Buenos días, ¿podrían transferirme a la sección de tarjetas?",+ "Oiga, buenas tardes, le comento que requiero atención del área de tarjetas.",+ "¿Con tarjetas? Sí, eso mismo, comuníquenme con ellos.",+ "Disculpe la molestia, necesito hablar urgentemente con el departamento de tarjetas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.indirect.json b/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.indirect.jsonnew file mode 100644index 00000000..f3d5e909--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.indirect.json@@ -0,0 +1,27 @@+{+ "name": "banco.tarjetas.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un banco y necesita que se ocupe de su caso el área que atiende esto: «tarjetas de crédito y débito: bloqueos, robos, límites, reposiciones». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Me robaron la tarjeta ayer en la tienda, ¿se puede anular ya mismo?",+ "Tengo un límite de cien mil y necesito subirlo para una compra grande esta semana",+ "La app no me deja ver mi saldo actual, da error todo el tiempo",+ "Necesito que me envíen la nueva tarjeta porque se me dañó el chip",+ "Un cobro doble apareció en mi estado de cuenta de hace dos días",+ "Por favor, necesito bloquear la tarjeta por si acaso mientras viajo a la costa",+ "La reposición tarda demasiado y ya tengo una compra urgente pendiente para mañana",+ "No reconozco un cargo de cincuenta dólares que me hicieron en línea ayer",+ "Tengo que cambiar los datos de facturación porque me mudé el mes pasado",+ "El límite no se actualiza aunque ya pagué la cuota completa de ayer",+ "Me llegó una tarjeta nueva pero no sé cómo activarla por internet",+ "Hay un cobro pendiente que yo ya cancelé hace tres semanas, ¿cómo lo regularizamos?",+ "Necesito solicitar un aumento temporal de crédito para cubrir gastos médicos del hospital",+ "La tarjeta débito no funciona en ningún cajero automático de la zona norte",+ "Oiga, por favor, necesito saber por qué me negaron el pago en el supermercado hoy",+ "Tengo que ponerle un tope diario más bajo por seguridad mientras uso el celular público",+ "La app del banco sigue pidiéndome contraseña vieja y la cambié hace dos días",+ "Me robaron el celular y la tarjeta está vinculada, ¿qué hago para protegerme?",+ "Necesito que me expliquen los intereses de la cuota fija que estoy pagando ahora",+ "Oiga pues, que la tarjeta no me la aceptan en ninguna tienda desde ayer"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.needs_with_no.jsonnew file mode 100644index 00000000..29651f93--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "banco.tarjetas.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y necesita que se ocupe de su caso el área que atiende esto: «tarjetas de crédito y débito: bloqueos, robos, límites, reposiciones». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "No me llega la confirmación del pago por favor.",+ "Ya llevo dos semanas sin poder usar mi tarjeta.",+ "No han procesado mi solicitud de reposición todavía.",+ "Nunca he podido aumentar el límite aunque lo necesito.",+ "Me cancelaron los pagos automáticos y no los puedo reactivar.",+ "La app no me deja ver mis transacciones recientes.",+ "No tengo acceso a la tarjeta virtual que pedí.",+ "Mi línea de crédito aparece cerrada sin razón alguna."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.negated.json b/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.negated.jsonnew file mode 100644index 00000000..4155784e--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/banco.tarjetas.negated.json@@ -0,0 +1,15 @@+{+ "name": "banco.tarjetas.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un banco y aclara que NO necesita el área de «tarjetas» (tarjetas de crédito y débito: bloqueos, robos, límites, reposiciones): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No por favor, nada de tarjetas.",+ "No me conecten con ese departamento.",+ "Oye, eso no es mi caso.",+ "Sin problemas con las tarjetas, gracias.",+ "No necesito ayuda con mis plásticos.",+ "Quedo con usted, no con ellos.",+ "Nada de bloqueos ni nada así.",+ "Solo una duda y ya me voy."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.direct.json b/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.direct.jsonnew file mode 100644index 00000000..b2f03e5f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.direct.json@@ -0,0 +1,13 @@+{+ "name": "colegio.admisiones.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y pide que la comuniquen con el área de «admisiones» (matrícula e inscripción de alumnos nuevos). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buen día, ¿me comunican con admisiones?",+ "Quisiera hablar con quien esté a cargo de las inscripciones nuevas, por favor.",+ "Hola, le llamo para solicitar que me pasen al departamento de admisión.",+ "¿Podría atenderme alguien del área de matrícula? Estoy con prisa.",+ "Oiga, necesito contactar con el oficial de admisiones si no es mucha molestia.",+ "Transfiérame a admisiones, por favor."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.indirect.json b/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.indirect.jsonnew file mode 100644index 00000000..4d1c8498--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.indirect.json@@ -0,0 +1,28 @@+{+ "name": "colegio.admisiones.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un colegio y necesita que se ocupe de su caso el área que atiende esto: «matrícula e inscripción de alumnos nuevos». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, soy María López y vengo porque mi hijo no figura en el sistema para inscribirlo este semestre.",+ "Mire, yo tengo los papeles de mi niña listos pero cuando fui ayer me dijeron que faltaba un requisito que nadie me explicó.",+ "Disculpe la molestia, necesito saber qué hago con la carta de buena conducta porque se me venció y no quiero perder la vacante.",+ "Oiga, le llamo porque el sistema me sale en error cuando intento registrar a mis dos gemelos para preescolar.",+ "Buenas noches, quisiera confirmar si ya recibíron las credenciales que envié por correo para la inscripción de mi hijo al octavo grado.",+ "A ver, yo tengo un problema porque el colegio anterior no me pasó la carta de buena conducta a tiempo y ahora no puedo inscribirlo.",+ "Hola, le comento que mi hija ya completó los datos en la página web pero todavía no recibe el número de folio para pagar.",+ "Perdone, vengo porque necesito saber si puedo hacer la matrícula con un certificado médico provisional mientras espero el examen completo.",+ "Mira, yo tengo una cita mañana a las nueve pero me surgió algo urgente y quería avisar por si hay alguien que pueda atenderme antes.",+ "Buenas tardes, le llamo porque mi hijo cambió de ciudad recientemente y necesitamos ajustar su horario para la inscripción en secundaria.",+ "Oiga, le comento que el pago que hice online no aparece reflejado en la cuenta del colegio y temo perder mi lugar.",+ "Hola, necesito ayuda porque no entiendo qué documentos debo presentar si soy tutor legal pero no tengo la custodia exclusiva.",+ "Mire, yo ya entregué los papeles pero me dicen que falta la constancia de no adeudo del año anterior y no sé dónde sacarla.",+ "Disculpe, quisiera saber si puedo postergar la entrega de la foto tamaño carnet hasta el día de la inscripción sin perder mi cupo.",+ "Buenas noches, le llamo porque mi hijo tiene una condición especial y necesito saber qué trámites adicionales se requieren para su matrícula.",+ "A ver, yo tengo un problema con la fecha de nacimiento que puso mi hijo en la solicitud porque no coincide con el acta.",+ "Hola, le comento que ya pagué pero me dieron un recibo incorrecto y necesito corregirlo antes de finalizar la inscripción.",+ "Oiga, le pido por favor que verifiquen si mi hija está registrada correctamente porque la escuela anterior dice que dio de baja sin autorización.",+ "Buenas tardes, quisita saber si puedo presentar los documentos en físico mañana temprano o si tengo que hacerlo exclusivamente por internet.",+ "Mira, yo tengo una duda grande porque mi hijo viene del extranjero y no sé si su bachillerato se reconoce para ingresar al décimo grado.",+ "Perdone, le llamo porque me cancelaron la cita de inscripción sin previo aviso y necesito reagendar lo más pronto posible."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.needs_with_no.jsonnew file mode 100644index 00000000..de0709da--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "colegio.admisiones.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y necesita que se ocupe de su caso el área que atiende esto: «matrícula e inscripción de alumnos nuevos». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Mire, la verdad es que nunca me han dado acceso al portal para registrar a mi hijo.",+ "¿Buenas tardes? Oiga, no he recibido ningún correo con los pasos para inscribirme.",+ "La página web está caída y no puedo completar el formulario de matrícula.",+ "Oiga, le comento que me han dicho que ya todo estaba listo pero nunca llegó la confirmación.",+ "Mmm, a ver, no tengo las credenciales que me prometieron enviar hace tres días.",+ "Señorita, oiga, es que no me funciona el enlace para subir los documentos escolares.",+ "Disculpe, le llamo porque no he podido generar el recibo de pago para la inscripción.",+ "Oiga, bueno, es que nadie me ha llamado para agendar la cita presencial y ya se vence la fecha."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.negated.json b/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.negated.jsonnew file mode 100644index 00000000..a1cd68fd--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.admisiones.negated.json@@ -0,0 +1,15 @@+{+ "name": "colegio.admisiones.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y aclara que NO necesita el área de «admisiones» (matrícula e inscripción de alumnos nuevos): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No soy para matrícula, hable con quien contestó.",+ "Por favor, no me trasladen a admisiones, solo una duda.",+ "No necesito inscribir a nadie, atienda la llamada por favor.",+ "Quedo con usted, nada que ver con admisiones.",+ "Oiga, no vaya a admisiones, es otra cosa.",+ "No confundan el número, no voy a matricular.",+ "Solo pregunto, no me pongan en admisiones por favor.",+ "Le repito, no tengo que inscribir hijos, hable conmigo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.direct.json b/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.direct.jsonnew file mode 100644index 00000000..9121cb64--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.direct.json@@ -0,0 +1,15 @@+{+ "name": "colegio.direccion.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y pide que la comuniquen con el área de «direccion» (asuntos de disciplina y hablar con la directora). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor comunicarme con dirección.",+ "Oiga, ¿pueden pasarme al área de dirección?",+ "Buen día, que me comuniquen con la directora si está.",+ "Disculpe, ¿está el señor director? Que lo pasen.",+ "Hola, requiero hablar con el departamento de disciplina por favor.",+ "Mande llamar a quien esté al frente de dirección.",+ "Amiga, porfa pásame con la encargada de disciplina.",+ "Buenas tardes, necesito ser derivado al área de dirección."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.indirect.json b/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.indirect.jsonnew file mode 100644index 00000000..61f0cb7f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.indirect.json@@ -0,0 +1,27 @@+{+ "name": "colegio.direccion.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un colegio y necesita que se ocupe de su caso el área que atiende esto: «asuntos de disciplina y hablar con la directora». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, es que mi hijo no paró de molestar en clase y me piden que hable con la directora ya mismo.",+ "Oiga, necesito agendar una cita urgente porque tengo una reunión pendiente con la señora directora sobre un incidente.",+ "Le hablo para coordinar esa charla con la directora que quedó aplazada, ¿cuándo puedo acercarme?",+ "Es que mi hija tuvo un desacuerdo fuerte y ya me citaron a ver a la directora mañana a las siete.",+ "Disculpe, yo vine ayer y me dijeron que tenía que hablar personalmente con la directora sobre una sanción.",+ "Quiero saber qué pasos sigo para atender el caso de mi nieto con la directora porque estoy preocupado.",+ "Buenas, le confirmo que mañana pasaré por el colegio a conversar con la directora sobre lo de la semana pasada.",+ "Oiga, me han citado de oficio para hablar con la directora y no sé si debo llevar pruebas.",+ "Es urgente, mi hijo fue expulsado temporalmente y necesito que la directora me reciba hoy mismo para aclarar.",+ "Buenas tardes, le llamo porque quiero arreglar las cosas con la directora antes de que cierre el mes escolar.",+ "Le habla la mamá del chico de tercero; me pidieron contactar a la directora por lo de la pelea.",+ "Oiga, ¿la directora está para atender un reclamo sobre cómo manejaron el caso disciplinario de mi hija?",+ "Necesito hablar con la directora porque siento que le hicieron mucho daño a mi hijo y quiero explicarle.",+ "Buenas, le llamo para confirmar la hora de la reunión con la directora que me asignaron por teléfono ayer.",+ "Es que no me han dado ninguna solución y necesito ver cara a cara a la directora ya.",+ "Le hablo porque mi hijo tiene problemas graves con la disciplina y quiero una audiencia directa con la directora.",+ "Oiga, le confirmo mi asistencia para la entrevista disciplinaria con la directora el jueves próximo a las tres.",+ "Buenas tardes, necesito que la directora me dé su opinión sobre cómo mejorar la actitud de mi hijo.",+ "Le llamo porque llegué al colegio y no había nadie, pero es vital hablar con la directora por lo de la multa.",+ "Oiga, quiero presentar mis descargos ante la directora antes de que tomen la decisión final sobre mi niño."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.needs_with_no.jsonnew file mode 100644index 00000000..50545394--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "colegio.direccion.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y necesita que se ocupe de su caso el área que atiende esto: «asuntos de disciplina y hablar con la directora». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, buenas tardes, no me aceptan la observación que puse en línea y necesito hablar urgentemente con la directora",+ "Perdón la molestia, mi hijo no ha podido cumplir con el acuerdo disciplinario firmado y quisiera agendar una cita para explicarle la situación familiar",+ "Buen día, oiga, yo no tengo acceso al sistema de avisos y me dicen que debo conversar directamente con la jefa del plantel sobre un incidente menor",+ "Mira, le comento rápido, no nos han respondido el correo anterior y es urgente que hablemos con quien maneja los casos conductuales aquí en la escuela",+ "Oiga doctora, no puedo entrar al sistema para ver las faltas de mi hija y me urge hablar con la directora para entender qué pasó la semana pasada",+ "Buenas tardes, oiga, el muchacho no ha entregado el compromiso escrito y necesito saber quién es la autoridad competente para regularizar esto cuanto antes",+ "Disculpe, yo no he recibido notificación oficial de la reunión disciplinaria y solicito por favor hablar con la directora para aclarar malentendidos familiares",+ "Mira, oiga, no me permiten agendar cita online y es vital que hable con la persona encargada de la conducta estudiantil para solucionar un problema grave"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.negated.json b/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.negated.jsonnew file mode 100644index 00000000..292fdf34--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.direccion.negated.json@@ -0,0 +1,15 @@+{+ "name": "colegio.direccion.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y aclara que NO necesita el área de «direccion» (asuntos de disciplina y hablar con la directora): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No, gracias, con usted me basta para preguntar.",+ "Déjenme en este número que no busco a dirección.",+ "No es tema de disciplina así que no la pasen.",+ "Por favor, solo quiero aclarar algo rápido, nada de jefes.",+ "No requiero atención especial, aquí estoy bien atendido.",+ "No necesito hablar con la directora en absoluto.",+ "Basta con contestar usted, no busco otra persona.",+ "No es para informar problemas así que no desvíen."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.open.json b/research/benchmarks/es_phone_turns/train/raw/colegio.open.jsonnew file mode 100644index 00000000..5bc17a30--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.open.json@@ -0,0 +1,22 @@+{+ "name": "colegio.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a un colegio: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenas tardes, ¿me indican la dirección exacta para llegar?",+ "O sea, ustedes abren los días festivos o cerrados totalmente?",+ "¿Aceptan pago en efectivo o solo tarjeta de crédito y débito?",+ "Tengo coche y necesito saber si tienen parqueo disponible cerca.",+ "¿Cuántas sucursales tienen abiertas en esta ciudad?",+ "Por favor, ¿qué documentos necesitan para inscribir a mi hijo?",+ "A ver, ¿a qué hora cierran las oficinas por hoy?",+ "Mire, si no estoy seguro de la dirección, ¿me la puede repetir?",+ "¿Hay algún descuento si pago toda la mensalidad por adelantado?",+ "Disculpe, el parqueo es gratuito para los padres que vienen a recoger?",+ "Oiga, ¿ustedes tienen sede en la otra zona del norte?",+ "Necesito saber qué papeles son obligatorios y cuáles opcionales.",+ "¿El horario de atención cambia en temporada de vacaciones escolares?",+ "Le comento que vivo lejos, ¿aceptan transferencias bancarias para pagar?",+ "Buen día, quisiera confirmar si abren los domingos por la mañana."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.registro.direct.json b/research/benchmarks/es_phone_turns/train/raw/colegio.registro.direct.jsonnew file mode 100644index 00000000..e1228d2a--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.registro.direct.json@@ -0,0 +1,15 @@+{+ "name": "colegio.registro.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y pide que la comuniquen con el área de «registro» (constancias, certificados y notas). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor comunicarme con Registro.",+ "Oiga, le pido que me pase con el departamento de registro.",+ "Hola, ¿me comunica con registro?",+ "Le hablo para solicitar constancias y necesito hablar con alguien del área de registro, por favor transfórmeme.",+ "Buenas tardes, solicito pasar con registros.",+ "Pura vida, oiga me podría comunicar con la oficina de registro por fa.",+ "Hola, necesito que me ligue con el departamento de registro.",+ "Le escribo para pedirle que me comunique inmediatamente con personal del área de registro."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.registro.indirect.json b/research/benchmarks/es_phone_turns/train/raw/colegio.registro.indirect.jsonnew file mode 100644index 00000000..7056f6ad--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.registro.indirect.json@@ -0,0 +1,27 @@+{+ "name": "colegio.registro.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un colegio y necesita que se ocupe de su caso el área que atiende esto: «constancias, certificados y notas». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buen día, le hablo porque necesito urgerizar una constancia de estudios para hoy mismo.",+ "Oiga, mi hijo se quedó sin su certificado de bachiller y no sabe dónde buscarlo.",+ "Mire doctora, me equivocaron la fecha de graduación en el documento y debo corregirlo ya.",+ "Necesito que me avise si están listos los papeles para retirar las notas finales.",+ "Pura vida, le escribo porque perdí mi constancia de haber cursado el último año.",+ "¿Me podría pasar con quien maneja la emisión de títulos? Tengo una urgencia administrativa.",+ "El sistema me marca error al descargar mi certificado y no sé qué hacer.",+ "Buenos días, necesito tramitar una copia simple de mi acta de graduación para un empleo.",+ "Oiga jefe, le llamo porque me llegó la nota con una calificación que no es la mía.",+ "Le escribo desde Honduras, ¿me pueden enviar digitalmente mi constancia de estudios por favor?",+ "Mire, necesito el certificado al instante porque me caduca el permiso de trabajo en dos días.",+ "Disculpe, quisiera saber si puedo recoger mi título personalmente o debo esperar correo postal.",+ "Le comento que la dirección en mi constancia está mal y necesito que la arreglen.",+ "Oiga mujer, ¿me confirma si ya procesaron mi solicitud de duplicado de notas?",+ "Necesito hablar con alguien del área académica porque tengo un conflicto con mis registros.",+ "Le escribo para agilizar el trámite de mi certificado, llevo dos semanas esperando respuesta.",+ "Mire, me hicieron un cobro doble por la emisión de la constancia y debo pedir reembolso.",+ "¿Está disponible quien atiende los certificados? Tengo que firmar un documento oficial urgente.",+ "Le cuento que no aparecemos en el listado de egresados y eso me preocupa mucho.",+ "Buen día, solicito su ayuda para regularizar mi situación documental con la universidad rápidamente."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.registro.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/colegio.registro.needs_with_no.jsonnew file mode 100644index 00000000..36cc3f45--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.registro.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "colegio.registro.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y necesita que se ocupe de su caso el área que atiende esto: «constancias, certificados y notas». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, necesito constancias porque no las tengo y es urgente.",+ "Oiga, buenas, ¿me podría apoyar? Me urge el certificado y no me aparece en el sistema.",+ "Pues vea, necesito tramitar unas notas pero no sé cómo hacerlo online.",+ "Hola, buenas tardes, disculpe que los moleste, es que no me han entregado mi documento.",+ "Buenos días, oiga, le comento que nunca me llegó mi constancia de estudios y necesito una nueva.",+ "Oye, hola, pues resulta que no puedo descargar mis calificaciones y requiero ayuda con eso.",+ "Buenas tardes, disculpe, ¿me pueden orientar? Es que no me funciona el enlace para las notas.",+ "Hola, buenas, oiga, es que necesito un certificado y no tengo acceso al portal para pedirlo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.registro.negated.json b/research/benchmarks/es_phone_turns/train/raw/colegio.registro.negated.jsonnew file mode 100644index 00000000..8e85f747--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.registro.negated.json@@ -0,0 +1,15 @@+{+ "name": "colegio.registro.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y aclara que NO necesita el área de «registro» (constancias, certificados y notas): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No deseo hablar con registro por favor.",+ "Solo tengo una duda rápida, no es certificado.",+ "Evítenme la transferencia al área de constancias.",+ "No necesito notas ni actas de ningún tipo.",+ "¿Me atiende usted? Solo pregunto algo simple.",+ "De nada sirve pasarme a registro ahí.",+ "Solo una consulta, no solicito documentación escolar.",+ "Por favor, no me conecte con el área de registros."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.direct.json b/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.direct.jsonnew file mode 100644index 00000000..0e18676b--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.direct.json@@ -0,0 +1,15 @@+{+ "name": "colegio.tesoreria.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y pide que la comuniquen con el área de «tesoreria» (pago de mensualidades y colegiaturas). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor pasar con Tesorería.",+ "Oiga, le hablo para que me comuniquen con el departamento de tesorería por un tema de pago.",+ "Sí, hola. ¿Podrían pasarme con la gente de tesorería, por favor?",+ "A ver si me atiende alguien de Tesorería ya mismo.",+ "Buenos días, buenas tardes o buenas noches según el caso, pero quiero hablar con Tesorería para lo de la mensualidad.",+ "Pásame con tesorería, porfa.",+ "Hola, ¿hay alguien disponible en tesorería que me pueda atender esta llamada?",+ "Por aquí estoy llamando específicamente para que me transfieran al área de tesorería porque tengo una duda con el saldo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.indirect.json b/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.indirect.jsonnew file mode 100644index 00000000..210aeb40--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.indirect.json@@ -0,0 +1,27 @@+{+ "name": "colegio.tesoreria.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un colegio y necesita que se ocupe de su caso el área que atiende esto: «pago de mensualidades y colegiaturas». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buen día, necesito regularizar mi deuda con la mensualidad de marzo porque se me pasó.",+ "Hola, le hablo para ver si me pueden dar una segunda oportunidad con el pago de la colegiatura atrasada.",+ "Oiga donita, tengo un problema con la tarjeta que intenté usar ayer para pagar y necesito solución urgente.",+ "Quisiera solicitar el desbloqueo del sistema porque no me deja hacer el pago por internet.",+ "Mi hijo ya pagó pero dice que no le aparece en el portal y quiero verificar eso.",+ "Necesito saber si puedo fraccionar el resto de la anualidad, tengo dificultades económicas este mes.",+ "Hola, vengo a pagar hoy mismo pero me dijeron que mi caso está retenido por falta de documentos.",+ "Le escribo para pedir una prórroga de cuarenta y ocho horas para completar el pago pendiente.",+ "Oiga, ¿será posible que me expliquen por qué me cobran un recargo que no esperaba?",+ "Buenas tardes, mi esposa ya realizó la transferencia pero aún no aparece acreditada en su cuenta.",+ "Necesito cancelar una mensualidad pagada dos veces porque hubo error bancario y me urge el reembolso.",+ "Hola, le consulto si aceptan pago parcial para dejar activo el registro mientras completo el saldo.",+ "Tengo una beca aprobada pero no entiendo por qué sigue apareciéndome adeudo en la plataforma.",+ "Oiga vecino, quiero pagar con cheque pero necesito que me confirmen a nombre de quién lo giro.",+ "Le hablo porque mi hijo se fue del colegio y debo aclarar si queda deuda pendiente o no.",+ "Necesito urgence un comprobante de pago válido para presentar ante el banco por un reclamo.",+ "Hola, ¿me pueden cambiar la fecha límite de pago porque tuve una emergencia familiar inesperada?",+ "Oiga, me gustaría saber si puedo pagar en efectivo directamente en caja o solo es online.",+ "Le consulto sobre la multa que me aplicaron por tardanza en el pago del año pasado.",+ "Necesito hablar con alguien autorizado para arreglar un conflicto de cobro duplicado en mi estado de cuenta."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.needs_with_no.jsonnew file mode 100644index 00000000..913367a7--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "colegio.tesoreria.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y necesita que se ocupe de su caso el área que atiende esto: «pago de mensualidades y colegiaturas». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Mira, la verdad es que no me está llegando la factura por correo y ando perdido con esto",+ "Oiga, disculpe la molestia pero mi tarjeta no funciona para hacer el pago en línea",+ "A ver, yo necesito ayuda urgente porque nunca me aparece el comprobante de depósito",+ "Pues mire, el sistema me dice que no tengo acceso al portal de pagos y ya se vence la fecha",+ "Perdone, ¿me pueden guiar? Porque intenté pagar con transferencia pero nunca se reflejó en mi cuenta",+ "Hola, qué tal, ojalá me pueda ayudar porque no me han enviado los datos para el pago parcial",+ "Mira compa, es que mi cédula de crédito no funciona dentro del sistema y no puedo avanzar",+ "¡Ay Dios mío! La verdad es que no me funciona ni por app ni por web y estoy muy preocupado"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.negated.json b/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.negated.jsonnew file mode 100644index 00000000..539a74a5--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/colegio.tesoreria.negated.json@@ -0,0 +1,15 @@+{+ "name": "colegio.tesoreria.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un colegio y aclara que NO necesita el área de «tesoreria» (pago de mensualidades y colegiaturas): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, por favor no me conecten con tesorería, solo necesito hablar con recepción.",+ "Hola, le aclaro que ya pagué mi cuota así que ni me pase ahí, tengo otra consulta.",+ "Mire, yo no vengo por el pago de la mensualidad, déjeme platicar con quien atendió.",+ "Buen día, evítame pasar a tesorería porque ese tema ya lo resolvimos, solo una pregunta.",+ "Perdón, no interesa lo de las colegiaturas, por favor hable conmigo directamente aquí.",+ "Le digo de una vez que no necesito ir con cobros, quiero aclarar un asunto académico.",+ "Oiga, no me transfiera a la oficina de pagos porque ese no es mi caso ahora.",+ "Buenas, le pido por favor que no me ubiquen en tesorería pues ya liquidé todo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.direct.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.direct.jsonnew file mode 100644index 00000000..965ecd1c--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.direct.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.alquiler.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y pide que la comuniquen con el área de «alquiler» (alquilar un carro por días o semanas). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenas tardes, ¿me podría conectar con la sección de alquiler, por favor?",+ "Hola, buenos días. Necesito hablar con quien maneja los carros en renta.",+ "Porfa, pásame con el departamento de arrendamiento.",+ "Le comento que estoy interesado en rentar un vehículo, así que le pido amablemente me traspasen a esa área.",+ "Alquiler, por favor.",+ "Oiga, ¿hay alguien atendiendo lo del alquiler? Me podrían comunicar ahí?",+ "Con el encargado de renta, porfa.",+ "Disculpe la molestia, pero requiero hablar inmediatamente con el personal del área de alquiler."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.indirect.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.indirect.jsonnew file mode 100644index 00000000..1b27d36f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.indirect.json@@ -0,0 +1,27 @@+{+ "name": "concesionaria.alquiler.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una concesionaria de carros y necesita que se ocupe de su caso el área que atiende esto: «alquilar un carro por días o semanas». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, quisiera agendar una unidad para fines de semana venideros.",+ "Es que me urge un auto con automático por tres días, ya revisé lo de largo plazo y no cuadra.",+ "Por aquí el tipo de la otra vez me dijo que podía reservar online pero no me llegó nada.",+ "Pues mire, necesito uno grande porque somos cinco familiares y tenemos mucha maleta.",+ "Hola, quería confirmar si tienen disponibilidad para jueves y viernes por la noche.",+ "Verá, el contrato anterior se me complicó y necesito extenderlo solo dos días más sin multa.",+ "Oiga, no sé cómo pero me cobraron doble vez y quiero que lo arreglen ya mismo.",+ "Necesito un carro tipo SUV con seguro completo, que sea el modelo nuevo por favor.",+ "Mira, tengo una cita en el aeropuerto a las seis de la mañana y necesito recogerlo ahí.",+ "El conductor adicional es mi esposa, ¿se puede poner ese dato ahora o hay que ir presencial?",+ "Pues escuche, me dañaron un espejo en otro lado pero quería saber si su seguro lo cubre.",+ "Quisiera hacer el alquiler desde hoy hasta el lunes por la tarde, ¿cuántos días quedan exactamente?",+ "Hola, es que me cancelaron mi reserva anterior sin previo aviso y necesito una unidad urgente.",+ "Pues sí, quiero pagar con tarjeta de crédito pero que me den factura inmediata para la empresa.",+ "Oiga, ¿me podría dejar el auto en la otra sucursal al devolverlo o solo aquí?",+ "Mire, tengo licencia internacional y no sé si eso da problemas para tomar la unidad hoy.",+ "Necesito un carro económico porque es solo para ir y venir del trabajo por una semana.",+ "Por acá el sistema me dio error al pagar y no me aparece confirmación en el correo.",+ "Hola, quería saber si puedo devolver el auto fuera de horario sin que sea penalización.",+ "Es que necesito uno con sillita para niño incluido, eso es requisito indispensable para mí."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.needs_with_no.jsonnew file mode 100644index 00000000..5daf2506--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.alquiler.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y necesita que se ocupe de su caso el área que atiende esto: «alquilar un carro por días o semanas». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, el sitio web no deja finalizar la reserva.",+ "¿Me podrían pasar con quien maneja los alquileres? Es que no puedo acceder al formulario de contratos.",+ "Mire, no me aparece disponible el vehículo para esta semana y necesito confirmar hoy mismo.",+ "Pues nada, no me llegan los correos con las condiciones del contrato.",+ "Oiga, ¿hay alguien especializado en alquileres por días? Es que no tengo claro cómo cerrar el trato.",+ "Señora, disculpe la molestia pero no puedo seleccionar la fecha de entrega en su sistema.",+ "¡Qué bueno que contestan! No me ha dado tiempo de buscar otra opción y necesito urgente un carro.",+ "¿Por ahí anda alguien que entienda eso del alquiler semanal? Es que no sé por dónde empezar."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.negated.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.negated.jsonnew file mode 100644index 00000000..373c7cf0--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.alquiler.negated.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.alquiler.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y aclara que NO necesita el área de «alquiler» (alquilar un carro por días o semanas): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenos días, por favor no me pasen a la sección de alquiler.",+ "No necesito rentar carro, solo quiero preguntar una cosa.",+ "Oiga, no busco arrendamiento, hablemos directamente con usted.",+ "Le aclaro que no soy cliente de alquileres vehiculares.",+ "Por favor, evítenme la transferencia al departamento de renta.",+ "No me interesa el servicio de alquiler de autos.",+ "Quedo con usted, nada que ver con la sección de arriendo.",+ "Oiga, sin rodeos, no necesito alquilar un vehículo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.open.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.open.jsonnew file mode 100644index 00000000..1e38f933--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.open.json@@ -0,0 +1,22 @@+{+ "name": "concesionaria.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a una concesionaria de carros: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenas tardes, ¿a qué hora cierran hoy?",+ "Disculpen, ¿tienen sucursales en otras ciudades?",+ "¿Aceptan transferencia bancaria además de efectivo?",+ "O sea, ¿el parqueo es gratuito para clientes?",+ "¿Qué documentos hacen falta para el crédito?",+ "Me urgía saber si abren este feriado nacional.",+ "¿Cuál es la dirección exacta del mostrador principal?",+ "Mijo, ¿van a tener descuentos por pronto pago?",+ "O sea que no aceptan tarjetas de débito, ¿verdad?",+ "¿Tienen taller mecánico en la misma unidad?",+ "Chévere, gracias, ya anoté el horario de atención.",+ "¿El estacionamiento es vigilado las 24 horas?",+ "Disculpen la molestia, ¿cuánto cuesta el seguro incluido?",+ "¿Aceptan pago en cuotas sin intereses con alguna banca?",+ "O sea que para feriados abren como los domingos?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.direct.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.direct.jsonnew file mode 100644index 00000000..6913f678--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.direct.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.repuestos.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y pide que la comuniquen con el área de «repuestos» (piezas y repuestos para el carro). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor comuníquenme con repuestos",+ "Oiga, me pasaría con el departamento de repuestos",+ "Hola, ¿qué tal? Quisiera hablar con quien atiende las piezas del taller, gracias",+ "Sí, buenos días. Por aquí es para lo de repuestos, por favor transfíerame",+ "Perdone, ¿me podría pasar con el área de refacciones?",+ "Aló, necesito urgentemente hablar con el encargado de repuestos si no es mucha molestia",+ "Sí, con repuestos por favor",+ "Dígame, bueno, lo que quiero es que me conecten con la sección de piezas y repuestos, gracias"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.indirect.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.indirect.jsonnew file mode 100644index 00000000..36f3a283--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.indirect.json@@ -0,0 +1,27 @@+{+ "name": "concesionaria.repuestos.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una concesionaria de carros y necesita que se ocupe de su caso el área que atiende esto: «piezas y repuestos para el carro». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, le hablo porque me faltan las pastillas del freno delantero para mi Hillo y necesito saber si tienen stock disponible.",+ "Hola, pues verán, se me rompió el espejo retrovisor lado pasajero de mi Pick-Up y quería preguntar si venden el cristal suelto.",+ "Disculpe, yo tengo un problema con la bomba de agua del carro que compré hace poco y necesito averiguar si tienen la pieza original para ese modelo específico.",+ "Le llamo porque me avisaron que ya llegaron las bujías que pedí el otro día y quiero confirmar si puedo pasar a recogerlas hoy mismo sin cita previa.",+ "Mire, necesito urgently un juego de correas para mi vehículo utilitario y no sé cuál es el número de parte exacto, ¿me pueden orientar con eso?",+ "Buen día, resulta que se me gastó la junta del radiador y ando buscando esa refacción urgente porque ya se está bajando el líquido refrigerante.",+ "Pues hola, quería preguntar si ustedes manejan el cambio de aceite y filtro como servicio o solo venden los materiales para hacerlo yo mismo.",+ "Oiga, le comento que me llegó defectuoso el alternador que compré la semana pasada y necesito saber el trámite para devolverlo y que me den otro en buenas condiciones.",+ "Hola, ¿me podrían decir si tienen disponible la correa de distribución para un Toyota Hilux 2018? Es súper importante porque se me va a romper pronto.",+ "Buenas, le llamo para confirmar si el seguro cubre la reparación del compresor del aire acondicionado o si tengo que cubrir solo los refacciones aquí en la tienda.",+ "Otro día, pues verán, necesito cotizar un par de amortiguadores traseros porque ando bastante mal con las vibraciones en la carretera.",+ "Hola, quiero saber si tienen garantía de fábrica en los faros delanteros que venden o es solo una garantía comercial aquí mismo.",+ "Disculpe la molestia, pero necesito un sensor de oxígeno para mi carro compacto y no encuentro el código correcto en internet, ¿me ayudan con ese dato?",+ "Buenas tardes, le comento que ya tengo todas las piezas menos la banda de los accesorios y quiero confirmar si la tienen en stock o debo esperar pedido.",+ "Mire, me urge saber si pueden entregarme un tanque de gasolina usado reacondicionado porque el mío tiene una fuga grave y no puedo manejar así.",+ "Hola, quería preguntar si el mecánico que atiende hoy está disponible para instalar las pastillas de freno que ya compré aquí mismo.",+ "Oiga, le escribo (hablo) porque necesito un juego de limpiaparabrisas específico para la camioneta grande y no quiere dejar rayones en el vidrio si pongo los genéricos.",+ "Buen día, ¿me confirman si el descuento por pago de contado aplica también en repuestos mayores como embragues o solo en accesorios menores?",+ "Pues hola, le llamo porque necesito una tarjeta de identificación del sistema eléctrico para diagnosticar un fallo misterioso que tiene la carrocería.",+ "Disculpe, me gustaría saber si tienen disponibilidad inmediata para entregar un carburador completo para un motor viejo porque ya no encuentro ninguna tienda en toda la ciudad."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.needs_with_no.jsonnew file mode 100644index 00000000..6f9b4998--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.repuestos.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y necesita que se ocupe de su caso el área que atiende esto: «piezas y repuestos para el carro». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buen día, oiga, necesito saber si tienen un alternador para un Toyota Corolla 2015 porque no me enciende el motor.",+ "Le llamo es que no me llegaron los frenos que pedí la semana pasada y ya tengo la carrocería desarmada.",+ "Hola, ¿me pueden ayudar con una bomba de agua? No me calienta el auto y temo que se dañe todo.",+ "Oiga pues, no tengo el manual del dueño para armar mi propia pieza y necesito saber dónde conseguirla urgente.",+ "Le consultaba si venden suelto un juego de correas porque no me vienen con las otras partes en la caja.",+ "Mira, no me han contestado el correo que mandé sobre la garantía del filtro y quiero resolverlo por teléfono.",+ "Disculpa, nunca me explicaron cómo se pone esta válvula EGR y necesito guía antes de comprarla para mi camioneta.",+ "Oye hermano, no puedo conseguir un sensor de oxígeno genérico que le quede a mi Honda Civic y pregunto si ustedes tienen el original."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.negated.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.negated.jsonnew file mode 100644index 00000000..0e471d61--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.repuestos.negated.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.repuestos.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y aclara que NO necesita el área de «repuestos» (piezas y repuestos para el carro): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me transfiera a repuestos, por favor, busco otra cosa.",+ "Oye, no necesito piezas para el carro, solo una consulta rápida.",+ "Porfa no me desvíes al departamento de repuestos, aquí está bien la atención.",+ "No quiero hablar con los de repuestos ni nada parecido, gracias.",+ "Aclaro que no necesito refacciones, así que no me cambies de línea.",+ "Escúcheme bien: no busco repuestos para mi vehículo, aténdame usted por favor.",+ "No me conecte a ventas de accesorios o repuestos, solo tengo una duda simple.",+ "Oiga, no es necesario ir al área de repuestos, con esta llamada está completo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.direct.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.direct.jsonnew file mode 100644index 00000000..0cf36834--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.direct.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.taller.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y pide que la comuniquen con el área de «taller» (reparación y mantenimiento del carro). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "¿Me comunica con taller?",+ "Buenos días, necesito hablar con el departamento de taller por favor",+ "Oiga, ¿me pueden pasar con los de servicio técnico?",+ "Quisiera ser dirigido al área de reparaciones",+ "Saludos, requiero atención del equipo de mantenimiento vehicular",+ "¿Está el encargado de taller disponible para atenderme?",+ "Por favor, transfierame a la sección de taller mecánico",+ "Hola, necesito conexión con quien maneja las reparaciones"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.indirect.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.indirect.jsonnew file mode 100644index 00000000..722dac48--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.indirect.json@@ -0,0 +1,27 @@+{+ "name": "concesionaria.taller.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una concesionaria de carros y necesita que se ocupe de su caso el área que atiende esto: «reparación y mantenimiento del carro». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Le consulto por una cotización para cambiar aceite y filtros de mi Toyota Corolla 2018.",+ "Hola buen día, necesito agendar una cita urgente porque el motor hace un ruido extraño.",+ "¿Me pueden atender ya que tengo una fuga de líquido en la parte trasera derecha?",+ "Quisiera saber si hacen revisión general para carro viejo, específicamente frenos y suspensión.",+ "Buenas tardes, mi auto no enciende desde ayer y creo que es la batería o el alternador.",+ "Necesito presupuesto para arreglar la pantalla táctil de mi Nissan Sentra, se quedó en negro.",+ "Le escribo porque necesito pasar revisión técnica y me faltan ajustes en alumbrado y gases.",+ "¿Tienen disponibilidad para este viernes por la mañana para un cambio de aceite sintético?",+ "Mi carro vibra mucho cuando freno a más de 60 km/h, creo que son los discos.",+ "Buen día, necesito reparar el aire acondicionado porque ya no enfría nada desde hace dos días.",+ "¿Me cotizan la mano de obra para cambiar la correa de distribución en un Honda Civic?",+ "Le comento que tengo una luz encendida en el tablero relacionada con el sistema eléctrico.",+ "Necesito que me revisen las suspensiones delanteras porque se siente todo flojo en baches.",+ "Hola, quiero programar un mantenimiento completo de 10 mil kilómetros para mi Chevrolet Spark.",+ "Tengo un problema con la caja automática que patina al cambiar de marcha.",+ "¿Pueden ayudarme con el diagnóstico del motor, hace humo azul al acelerar fuerte?",+ "Le solicito una cita para cambio de llantas y alineación porque me toma el volante.",+ "Necesito urgente arreglo de la ventanilla eléctrica del conductor que se trabó abajo.",+ "Buenas noches, mi auto hizo un golpe seco y ahora no da punta a ningún lado.",+ "Quisiera saber si tienen servicio de grúa incluido para traer el carro por fallas eléctricas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.needs_with_no.jsonnew file mode 100644index 00000000..42c47a7e--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.taller.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y necesita que se ocupe de su caso el área que atiende esto: «reparación y mantenimiento del carro». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, mi carro no prende desde la mañana y necesito una cita urgente",+ "Me da pena molestarle pero el aceite no llega al nivel correcto",+ "Pura vida, se me rompió la correa de tiempo y no sé qué hacer",+ "Por favor, necesito que alguien vea por qué las luces no encienden",+ "El motor hace un ruido raro y no puedo manejarlo así",+ "Oiga, pues ya llevo dos días sin que me atiendan el tema del frenos",+ "Buen día, mi vehículo no arranca por la mañana y requiero asistencia",+ "Disculpe la molestia pero la batería no dura cargada ni un día"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.negated.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.negated.jsonnew file mode 100644index 00000000..3c6c13d2--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.taller.negated.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.taller.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y aclara que NO necesita el área de «taller» (reparación y mantenimiento del carro): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me pase al taller, porfa.",+ "Solo tengo una consulta, no voy a taller.",+ "No necesito servicio técnico, gracias.",+ "Oiga, nada de taller, soy cliente nuevo.",+ "Por el contrario, no requiero reparación.",+ "Le repito: solo quiero hacer una pregunta.",+ "No me transfiera al departamento de mantenimiento.",+ "Ningún problema mecánico tengo, gracias."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.direct.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.direct.jsonnew file mode 100644index 00000000..f2bd77ea--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.direct.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.vehiculos.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y pide que la comuniquen con el área de «vehiculos» (comprar un carro nuevo o usado). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenas tardes, favor de pasar con vehículos.",+ "Disculpe, ¿me comunican con la sección de autos?",+ "Oiga, buenos días, necesito hablar con el área de vehículos, porfa.",+ "Por aquí, que me pasen con ventas o vehículos.",+ "Hola, buenas tardes. Necesito que me transfiera al departamento de vehículos, por favor.",+ "Con vehículos, por favor.",+ "Buen día, ¿por ahí el área de vehículos? Gracias.",+ "Disculpen la molestia, pero necesito hablar con alguien del lado de vehículos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.indirect.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.indirect.jsonnew file mode 100644index 00000000..205898d6--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.indirect.json@@ -0,0 +1,27 @@+{+ "name": "concesionaria.vehiculos.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una concesionaria de carros y necesita que se ocupe de su caso el área que atiende esto: «comprar un carro nuevo o usado». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, soy don Roberto y necesito coordinar una visita para revisar un Sempronio usado que vi en su catálogo.",+ "Hola, le escribo porque quiero concretar la compra de ese Toyota Corolla nuevo, ¿me indica el proceso para apartarlo?",+ "Es que tengo un problema con la entrega del vehículo comprado hace dos semanas, todavía no me han dado las llaves.",+ "Oiga, por favor, necesito hablar con alguien para formalizar la transacción del camioneta Ford Ranger que revisé el martes.",+ "Tengo entendido que hacen créditos propios y me gustaría cotizar la cuota mensual para ese Mazda CX-5 usado.",+ "Le llamo porque quiero devolver el carro que compré hace un mes, tiene una falla en el aire acondicionado.",+ "Buenos días, necesito agendar una cita para firmar los documentos de compra del Chevrolet Sail nuevo.",+ "Es que no me ha llegado la factura de pago por el semáforo que me debían poner al carro usado.",+ "Quiero comprar el Honda Civic usado, ¿me pueden decir si está libre para entregarme hoy mismo?",+ "Oiga, tengo un problema grave con el financiamiento, me cobraron una comisión que no habíamos acordado previamente.",+ "Por favor, necesito hablar con el gerente de ventas para negociar el precio final del Mazda 3 nuevo.",+ "Le escribo para confirmar si el carro usado que compré incluye garantía o si la tengo que contratar aparte.",+ "Hola, quiero apartar ese Nissan Sentra nuevo con el enganche que me ofrecieron por teléfono la semana pasada.",+ "Es que el mecánico dice que el carro usado tiene un choque fuerte y yo no estaba enterado de eso.",+ "Necesito coordinar la entrega del Toyota Hilux nuevo para el viernes, ¿a qué hora puedo pasar a recogerlo?",+ "Oiga, me gustaría saber los requisitos exactos para comprar el Jeep Compass nuevo siendo persona natural.",+ "Tengo un problema con las placas, no me han enviado el documento de propiedad desde que pagué el carro usado.",+ "Quiero formalizar la compra del Chevrolet Spark nuevo y necesito que me preparen la orden de compra ya.",+ "Le llamo porque quiero cancelar mi pedido del Mazda CX-30 nuevo, cambié de opinión y no lo voy a necesitar.",+ "Es que necesito una carta de no adeudo del seguro vehicular para poder trasladar el carro usado que compré."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.needs_with_no.jsonnew file mode 100644index 00000000..b294ea83--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.needs_with_no.json@@ -0,0 +1,11 @@+{+ "name": "concesionaria.vehiculos.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y necesita que se ocupe de su caso el área que atiende esto: «comprar un carro nuevo o usado». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "La verdad es que no he conseguido financiamiento para el carro, ¿podrían ayudarme?",+ "Oiga, mi crédito quedó rechazado y por eso no me aprueban la compra.",+ "Es que todavía no me entregaron la oferta de los usados que pidí el lunes.",+ "No puedo concretar nada porque necesito saber si aceptan mi trabajo como estable."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.negated.json b/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.negated.jsonnew file mode 100644index 00000000..280d5abb--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/concesionaria.vehiculos.negated.json@@ -0,0 +1,15 @@+{+ "name": "concesionaria.vehiculos.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una concesionaria de carros y aclara que NO necesita el área de «vehiculos» (comprar un carro nuevo o usado): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenos días, por favor no me transfieran a ventas de vehículos, solo tengo una duda administrativa.",+ "Oiga, yo no estoy buscando comprar ningún auto ni usado ni nuevo, que hablen con el área correcta.",+ "No es para eso que llamo, déjeme hablar directamente con quien contestó porque solo quiero preguntar una cosa.",+ "Perdone, pero yo no necesito el departamento de vehículos, por favor aguarde un momento.",+ "No me pase al de autos por favor, aquí no vengo a comprar, solo aclarar un detalle rápido.",+ "Oiga, con todo respeto, yo no estoy interesado en vehiculos así que no me transfiera ahí.",+ "Solo quería hacer una pregunta sencilla, no me lleven a la sección de ventas de carros por favor.",+ "Disculpe, no busco vehículo ninguno, le pido que me atienda usted porque es algo urgente."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.direct.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.direct.jsonnew file mode 100644index 00000000..7cc69dcd--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.direct.json@@ -0,0 +1,11 @@+{+ "name": "gimnasio.clases.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un gimnasio y pide que la comuniquen con el área de «clases» (inscribirse a clases de grupo: zumba, yoga, spinning). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, buenas tardes, por favor ¿me conecta con el área de clases?",+ "Oiga, pásenme a zumba o yoga",+ "Buen día, quería información de las clases grupales, ¿podría comunicarme con quien me atienda ahí, por favor?",+ "Hola, le hablo para inscribirme en spinning, ¿quién es el encargado del área de clases?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.indirect.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.indirect.jsonnew file mode 100644index 00000000..7681726c--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.indirect.json@@ -0,0 +1,27 @@+{+ "name": "gimnasio.clases.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un gimnasio y necesita que se ocupe de su caso el área que atiende esto: «inscribirse a clases de grupo: zumba, yoga, spinning». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Quiero inscribirme al grupo de yoga para empezar mañana mismo.",+ "Me interesa mucho el spinning y quisiera reservar mi lugar.",+ "Oiga, necesito apuntarme a las clases de Zumba lo antes posible.",+ "Buenas tardes, vengo porque quiero unirme a la comunidad de yoga.",+ "Hola, ¿pueden ayudarme con la inscripción al spinning esta semana?",+ "Estoy buscando cambiar mi rutina por las clases de grupo de Zumba.",+ "Oiga pues, tengo interés en el taller de yoga matutino.",+ "Quiero formalizar mi membresía para acceder a las sesiones de spinning.",+ "Me gustaría inscribirme al ciclo de Zumba que comienza el lunes.",+ "Necesito apoyo para registrarme en la clase de yoga de la noche.",+ "Oiga, me interesa mucho hacer spinning y no sé cómo hacerlo.",+ "Voy a quedarme con el plan que incluye todas las clases de Zumba.",+ "Hola, necesito inscribirme urgentemente al grupo de yoga del viernes.",+ "Quiero apuntarme al spinning para mejorar mi resistencia física pronto.",+ "Oiga pues, ¿me pueden ayudar con la inscripción a Zumba?",+ "Estoy listo para unirme a las clases diarias de yoga.",+ "Necesito inscribirme a spinning porque ya tengo experiencia previa.",+ "Hola, quiero hacer el trámite para entrar al grupo de Zumba.",+ "Me interesa mucho el yoga y necesito mi registro hecho hoy.",+ "Oiga, vengo para anotar mis datos en la lista del spinning."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.needs_with_no.jsonnew file mode 100644index 00000000..54fcce1f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "gimnasio.clases.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un gimnasio y necesita que se ocupe de su caso el área que atiende esto: «inscribirse a clases de grupo: zumba, yoga, spinning». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "No me sale la opción de pre-registro en la app, ¿me la pueden activar?",+ "Oiga, no llegué a confirmar mi cupo para Zumba del martes y ya está lleno.",+ "Chévere, mira que no me han enviado el contrato digital para firmar ya.",+ "Es que nunca me llega el código de verificación por SMS para crear la cuenta.",+ "Mijo, no puedo pagar la inscripción online porque se cae el sitio todo el tiempo.",+ "A ver, no tengo acceso al link que me mandaron para inscribirme al yoga.",+ "Oye, pues no me ha aparecido mi perfil en su sistema después de pagar.",+ "¡Qué bolá! No logro agendar mi primera clase porque la página me da error."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.negated.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.negated.jsonnew file mode 100644index 00000000..bd04e041--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.clases.negated.json@@ -0,0 +1,11 @@+{+ "name": "gimnasio.clases.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un gimnasio y aclara que NO necesita el área de «clases» (inscribirse a clases de grupo: zumba, yoga, spinning): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me inscriban en nada.",+ "Necesito atención personalizada.",+ "Olvídese de las clases grupales.",+ "Solo quiero hablar con usted."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.direct.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.direct.jsonnew file mode 100644index 00000000..3095bb80--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.direct.json@@ -0,0 +1,14 @@+{+ "name": "gimnasio.entrenadores.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un gimnasio y pide que la comuniquen con el área de «entrenadores» (contratar un entrenador personal). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor pásame con la gente de entrenadores personales.",+ "Oiga, buenos días. ¿Me puede conectar con el departamento de entrenadores? Quiero contratar a uno, gracias.",+ "Saludos. Necesito hablar con los entrenadores, ¿me comunican ahí?",+ "Hola, buenas tardes, porfa comuníquemelo con el área de coaches o entrenadores personales que estoy buscando servicio.",+ "Dígame, buenos días. ¿Con quién hablo yo para agendar un entrenador? Por favor transfórmeme con ese equipo.",+ "Qué tal, hable con entrenadores, please.",+ "Buen día, necesito el número directo de los instructores o porfa déjeme hablar con quien lleve eso del área de entrenamiento personal."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.indirect.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.indirect.jsonnew file mode 100644index 00000000..f62fa93f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.indirect.json@@ -0,0 +1,27 @@+{+ "name": "gimnasio.entrenadores.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un gimnasio y necesita que se ocupe de su caso el área que atiende esto: «contratar un entrenador personal». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, quería agendar una sesión con el coach para empezar mi rutina desde cero.",+ "Oiga, necesito que me conecten con quien lleva los planes de entrenamiento personalizado.",+ "Es que estoy muy perdido y busco a alguien que me guíe paso a paso.",+ "Hola, tengo disponibilidad esta semana para hablar con un profesional sobre mi objetivo fitness.",+ "Mire, quiero contratar un servicio de coaching personal pero no sé cómo proceder.",+ "Buenas, le llamo porque requiero asesoría individualizada y necesito coordinar horarios cuanto antes.",+ "O sea, ¿hay alguien disponible para empezar a trabajar conmigo bajo supervisión experta?",+ "Necesito urgente un plan de ejercicios adaptado a mi condición física actual.",+ "Quiere decir que quiero contratar la experiencia completa con entrenador personal asignado.",+ "Hola, disculpe las molestias, pero busco exclusivamente atención personalizada y no clases grupales.",+ "Es para coordinar una cita con el especialista en entrenamiento de fuerza por favor.",+ "Buen día, vengo a gestionar la contratación del servicio de mentoría deportiva privada.",+ "Oiga, tengo dudas técnicas y solo las resuelve un entrenador certificado con mi perfil.",+ "Quisiera que me indiquen quién es el mejor coach para iniciación al gimnasio.",+ "Buenas tardes, deseo formalizar el contrato de entrenamiento personal inmediato si hay cupo.",+ "Es importante que sea alguien con experiencia en pérdida de peso y no solo cardio.",+ "Hola, necesito agendar la primera evaluación con el profesional antes de cualquier actividad física.",+ "Mire, quiero asegurarme de tener un responsable directo de mis progresos semanales.",+ "Buenas, le escribo porque me interesa mucho el programa de coaching one-on-one.",+ "Oiga, ¿podría transferirme o indicarme dónde solicitan a alguien para diseñar mi rutina?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.needs_with_no.jsonnew file mode 100644index 00000000..9e5a9ae1--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "gimnasio.entrenadores.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un gimnasio y necesita que se ocupe de su caso el área que atiende esto: «contratar un entrenador personal». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "No logro adelgazar solo, ¿me recomiendan alguien?",+ "Oiga, no sé qué régimen seguir para subir masa muscular.",+ "Che, nunca he entrenado bien y necesito guía profesional.",+ "No entiendo las máquinas y me da pena preguntar.",+ "Buen día, mi físico no está mejorando con mis rutinas.",+ "Pues, no consigo motivarme sin que alguien me vigile.",+ "Oye, no tengo idea de cómo planificar mi dieta y entrenamiento.",+ "A ver, no avanzo nada en la fuerza y quiero cambiar eso."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.negated.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.negated.jsonnew file mode 100644index 00000000..a2fb8ddd--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.entrenadores.negated.json@@ -0,0 +1,11 @@+{+ "name": "gimnasio.entrenadores.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un gimnasio y aclara que NO necesita el área de «entrenadores» (contratar un entrenador personal): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No necesito entrenador, gracias.",+ "A ver, yo solo pregunto algo, no busco entrenadores.",+ "No me ofrezcan personal trainer, por favor.",+ "Digo esto porque ni busco ese servicio ahí."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.direct.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.direct.jsonnew file mode 100644index 00000000..bd228d28--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.direct.json@@ -0,0 +1,15 @@+{+ "name": "gimnasio.membresias.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un gimnasio y pide que la comuniquen con el área de «membresias» (inscribirse, renovar o congelar la membresía). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor comunicarme con membresías.",+ "Aló, necesito pasar al área de membresías.",+ "Oiga, ¿me pueden transferir a miembros, por favor?",+ "Pasenme con el departamento de membresías.",+ "Hola, disculpen, quiero hablar con alguien de membresías.",+ "¿Me conecta con la sección de membresías? Gracias.",+ "Que me comuniquen con el área de membresías.",+ "Buen día, por favor pase a miembros."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.indirect.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.indirect.jsonnew file mode 100644index 00000000..f04e2aae--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.indirect.json@@ -0,0 +1,27 @@+{+ "name": "gimnasio.membresias.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un gimnasio y necesita que se ocupe de su caso el área que atiende esto: «inscribirse, renovar o congelar la membresía». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, necesito anular mi cuota del mes porque me cambié de residencia hace dos semanas.",+ "Oiga, ¿me podrían decir cómo hago para poner en pausa mi membresía unos días?",+ "Quiero sacar la tarjeta nueva para mi hijo que ya cumplió dieciocho años y necesita su propio acceso.",+ "Me cobraron dos veces este mes por favor verifiquen y devuélvanme el exceso.",+ "Tengo una cita para mañana con el nutriólogo pero necesito confirmar que mi membresía está activa primero.",+ "Hace tres días que no puedo usar la aplicación móvil para entrar al gimnasio, me da error.",+ "Necesito cancelar mi suscripción porque me mudo a la capital y ya no podré asistir.",+ "Por favor, actualicen mis datos de contacto en el sistema porque cambié de número de celular.",+ "Quisiera saber si puedo cambiar la frecuencia de mi plan anual al mensual sin perder el descuento.",+ "El llavero electrónico se me dañó ayer y necesito uno nuevo urgente para poder entrar.",+ "Me gustaría inscribirme en el grupo de yoga pero no sé si está incluido en mi tarifa actual.",+ "Estoy tratando de renovar online pero la página me queda trabada, ¿hay otra forma de hacerlo?",+ "Necesito un certificado de mi asistencia mensual para presentar en mi trabajo, ¿cómo lo solicito?",+ "Quiero que me activen el acceso a las clases grupales porque ayer me dijeron que estaba bloqueado.",+ "Hice el pago en línea pero aún no aparece reflejado en mi cuenta, ¿pueden verificarlo por favor?",+ "Mi membresía caducó hace una semana, ¿aún puedo renovar con la tarifa del año pasado?",+ "Necesito congelar la cuota por un mes porque estoy de viaje por trabajo el próximo mes.",+ "Tengo un problema para agendar la pista de tenis desde la app, me sale como indisponible siempre.",+ "Quiero añadir una segunda tarjeta a mi cuenta familiar para que pueda usarla mi esposa también.",+ "Me gustaría dejar de pagar los servicios extra del vestuario porque ya no los utilizo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.needs_with_no.jsonnew file mode 100644index 00000000..718eb0ae--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "gimnasio.membresias.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un gimnasio y necesita que se ocupe de su caso el área que atiende esto: «inscribirse, renovar o congelar la membresía». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, buen día, yo quiero renovar pero no me aparece la opción en la app.",+ "A ver, ¿me pueden ayudar? No me han enviado el correo con los datos para inscribirme ya hace dos días.",+ "Mire, tengo una urgencia porque no puedo congelar mi membresía desde la plataforma y se me acaba el mes.",+ "Buenas tardes, escuche, yo no he recibido ni un mensaje confirmando que me dieron de alta en el gimnasio.",+ "Perdone las molestias, pero por favor, míreme esto: no me funciona el código QR que me mandaron para entrar hoy.",+ "¿Qué hago pues? No tengo claro cómo se hace para renovar si ya venció la tarjeta de crédito anterior.",+ "Oiga amable, yo nunca he logrado inscribirme en línea porque el sistema me tira error todo el tiempo.",+ "Disculpe que lo llame, pero necesito urgirle un asunto: no me han contestado mis mensajes anteriores sobre congelar el plan."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.negated.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.negated.jsonnew file mode 100644index 00000000..45fd2ec0--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.membresias.negated.json@@ -0,0 +1,15 @@+{+ "name": "gimnasio.membresias.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un gimnasio y aclara que NO necesita el área de «membresias» (inscribirse, renovar o congelar la membresía): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Hola, buen día, por favor no me envíen al departamento de membresías porque ya estoy suscrito.",+ "Qué tal, disculpen la molestia pero yo no necesito inscribirme ni renovar nada.",+ "Aló, oiga, le comento que no tengo problemas de congelación de cuenta así que no me pasen allá.",+ "Buenos días, le aclaro que solo vengo con una duda técnica y no requiero atención comercial.",+ "Por favor, no transfieran mi llamada al área de cobranzas o inscripciones.",+ "Oiga, yo no estoy buscando nuevos planes así que gracias pero no me atienda eso.",+ "Qué hubo, le digo rápido que no necesito contratar nada sino que solo pregunto por la hora.",+ "Saludos, mejor hable con otro si lo mío es inscribirse porque a mí ya me alcanza."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/gimnasio.open.json b/research/benchmarks/es_phone_turns/train/raw/gimnasio.open.jsonnew file mode 100644index 00000000..4f274b0d--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/gimnasio.open.json@@ -0,0 +1,22 @@+{+ "name": "gimnasio.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a un gimnasio: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buen día, ¿a qué hora abre la puerta mañana?",+ "Disculpe, ¿aceptan tarjeta de crédito o es solo efectivo?",+ "Oiga, el gimnasio del centro cierra los días festivos?",+ "¿Habrá lugar para estacionar el carro afuera mismo?",+ "Buenas tardes, necesito saber dónde queda la otra sucursal por favor.",+ "¿Requieren certificado médico para inscribirse hoy?",+ "Mire, ¿tienen horarios especiales los domingos o igual que viernes?",+ "Perdón, ¿el parqueo es gratis mientras hago ejercicio?",+ "¿Me podría indicar el horario de la clase de spinning por favor?",+ "Oiga pues, ¿aceptan pago mensual o solo anual?",+ "Disculpe, ¿necesito traer documento de identidad para la inscripción?",+ "Buen día, ¿a qué hora cierran exactamente los lunes?",+ "¿Tienen descuentos para estudiantes o adultos mayores?",+ "Oiga, ¿la dirección es en la calle principal o por atrás?",+ "¿Puedo pagar con transferencia bancaria o solo en ventanilla?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.direct.json b/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.direct.jsonnew file mode 100644index 00000000..241fb9eb--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.direct.json@@ -0,0 +1,15 @@+{+ "name": "hotel.eventos.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y pide que la comuniquen con el área de «eventos» (salones para bodas, fiestas y reuniones de empresa). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor pásame con eventos.",+ "Oiga, necesito hablar con el área de eventos para una boda.",+ "¿Qué tal? Quería comunicarme con la gente de eventos.",+ "Le molesto un segundo, ¿me conecta a Eventos?",+ "Saludos cordiales, por favor transfiera a su departamento de eventos corporativos.",+ "Epa, buenas tardes, requiero atención del área de eventos.",+ "Disculpe la interrupción, deseo hablar con el responsable de eventos.",+ "Hola, buenos días, por favor póngame con el equipo de Eventos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.indirect.json b/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.indirect.jsonnew file mode 100644index 00000000..512acc66--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.indirect.json@@ -0,0 +1,27 @@+{+ "name": "hotel.eventos.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un hotel y necesita que se ocupe de su caso el área que atiende esto: «salones para bodas, fiestas y reuniones de empresa». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Diga, necesito confirmar si el salón principal tiene aire acondicionado porque se ha estado poniendo muy caluroso en nuestras últimas reuniones.",+ "Buenas tardes, quisiera coordinar con el equipo de eventos una visita técnica a mi empresa para cerrar los detalles del almuerzo corporativo.",+ "Oiga, me urge saber si pueden cambiar la configuración del salón para poner las sillas en U y no en filas.",+ "Hola, le llamo porque hubo un malentendido con el servicio de catering y necesito hablar con alguien que tenga autoridad para resolverlo hoy mismo.",+ "Mire, quiero reservar la fecha quince de noviembre pero me preocupa si hay algún evento rival justo al lado.",+ "Diga, por favor, ¿pueden enviarme una cotización ajustada para un seminario de veinte personas que incluya el proyector?",+ "Le comento que el personal del salón estuvo muy atento y cortés en la última boda, quiero felicitarlos y dejar constancia.",+ "Pues mira, necesito cancelar mi reserva por fuerza mayor pero solo si me devuelven el anticipo completo, sino no hay trato.",+ "Buen día, estoy organizando la cena de graduación de mi hijo y requiero un menú cerrado para ciento cincuenta comensales.",+ "Hola, tengo una duda técnica sobre la capacidad eléctrica del salón porque vamos a montar un escenario con iluminación profesional.",+ "Oiga, quería saber si es posible hacer un tour por las instalaciones este fin de semana antes de firmar el contrato.",+ "Mire, el año pasado nos fallaron con el servicio de café y quiero asegurarme de que este año tengan personal extra.",+ "Diga, necesito hablar con la gerente comercial porque tengo una propuesta especial para una alianza corporativa a largo plazo.",+ "Hola, le llamo para reportar que las cortinas del salón no se cierran bien y eso afecta la privacidad de nuestros eventos.",+ "Pues escuche, quiero saber si permiten llevar externalización musical o si están obligados a usar su proveedor exclusivo.",+ "Buenas tardes, necesito ajustar la fecha de mi evento debido a un imprevisto médico pero mantener el pago ya hecho.",+ "Diga, ¿pueden prepararme una propuesta para una fiesta de fin de año que incluya decoración temática navideña completa?",+ "Mira, tengo un cliente VIP que requiere un salón privado con acceso independiente y no sé si cuentan con esa opción.",+ "Hola, le comento que el sonido del escenario se cortó en el último evento y necesito una explicación formal por escrito.",+ "Oiga, quiero cerrar el paquete de bodas pero necesito confirmar si incluyen la limpieza profunda del salón después del evento."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.needs_with_no.jsonnew file mode 100644index 00000000..db9111d4--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "hotel.eventos.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y necesita que se ocupe de su caso el área que atiende esto: «salones para bodas, fiestas y reuniones de empresa». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, le hablo porque no me cierran los precios del salón para la boda y necesito que me lo ajusten ya.",+ "Qué tal, es que no hay disponibilidad en las fechas que yo busco para la fiesta de cumpleaños y estoy muy preocupado.",+ "Mira, pues no me confirman el catering del evento corporativo y tengo miedo de que se nos caiga todo.",+ "Buenas tardes, disculpe pero no me envían la cotización del salón para las bodas y necesito comparar rápido.",+ "Hola, le comento porque no me arriendan el espacio para la reunión de empresa cuando yo lo pido.",+ "Oiga, es que no me preparan bien los salones para las fiestas y siempre hay detalles que fallan.",+ "Qué pena molestar, pero no me reservan la fecha para la boda aunque yo haya pagado la seña.",+ "Buen día, le escribo porque no me atienden las dudas sobre los salones para eventos empresariales y urgencia tengo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.negated.json b/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.negated.jsonnew file mode 100644index 00000000..b22d6ea0--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.eventos.negated.json@@ -0,0 +1,15 @@+{+ "name": "hotel.eventos.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y aclara que NO necesita el área de «eventos» (salones para bodas, fiestas y reuniones de empresa): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No es para eventos.",+ "Oiga, no busquen salones.",+ "Le hablo de otra cosa.",+ "Ni lo mencione allá.",+ "Solo una consulta rápida.",+ "Ya me atiende usted.",+ "No necesito eso.",+ "Es un tema personal."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.direct.json b/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.direct.jsonnew file mode 100644index 00000000..5f7af0be--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.direct.json@@ -0,0 +1,15 @@+{+ "name": "hotel.mantenimiento.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y pide que la comuniquen con el área de «mantenimiento» (algo dañado en la habitación: aire, ducha, televisor). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "¿Me pueden pasar con mantenimiento por favor?",+ "Buenos días, necesito hablar con el área de mantenimiento.",+ "Ay, pues sí es que el aire no funciona y requiero a mantenimiento.",+ "Hable con la gente de mantenimiento, le ruego.",+ "Sí, bueno, me urge ver al de mantenimiento porque se dañó algo en la habitación.",+ "Comuníqueme con mantenimiento.",+ "La ducha está rota, por favor hable con mantenimiento.",+ "Mire, quiero que me pasen a hablar con el área de mantenimiento."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.indirect.json b/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.indirect.jsonnew file mode 100644index 00000000..7f12a260--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.indirect.json@@ -0,0 +1,27 @@+{+ "name": "hotel.mantenimiento.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un hotel y necesita que se ocupe de su caso el área que atiende esto: «algo dañado en la habitación: aire, ducha, televisor». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, le escribo porque la llave no cierra bien la puerta y me preocupa.",+ "Oiga, ¿me puede enviar a alguien? El aire acondicionado hace un ruido tremendo.",+ "Por aquí andamos con el agua de la ducha completamente fría desde hace dos horas.",+ "Mire, la tele no prende y necesitamos ver algo para entretenernos esta noche.",+ "Es que el baño tiene una fuga debajo del lavabo y ya se humedeció todo.",+ "Hermano, por favor manden a técnico rápido, el aire no enfría nada, está caluroso.",+ "Buenas noches, tengo un problema con la cerradura electrónica, no abre ni cierra bien.",+ "Oye, necesito que revisen la ducha porque sale agua sucia y colorada, no puedo bañarme.",+ "Pues mira, el control remoto de la tele no sirve para nada, está dañado.",+ "Disculpe, pero hay una gotera en el techo del baño que está haciendo ruido constante.",+ "Hola, ¿me pueden cambiar el aire? Hace un olor a moho muy fuerte.",+ "Mire, la puerta del closet se trancó y no puedo abrirla para sacar mis cosas.",+ "Oiga, necesito ayuda urgente con el agua caliente, no sale ni una gota tibia.",+ "Buenas, le comento que el aire acondicionado gotea encima de la cama, nos está mojando.",+ "Hermano, por favor, revisen la tele porque la pantalla se puso negra y no tiene imagen.",+ "Pues verán, la ducha tiene poca presión, casi no sale agua para lavarse.",+ "Hola, necesito que alguien venga a arreglar el aire, se apagó de repente y no prende.",+ "Oye, hay un problema con el agua del baño, se desborda cuando uso el lavabo.",+ "Mire, el control de la tele funciona pero la señal está cortada constantemente.",+ "Buenas tardes, por favor manden a mantenimiento porque el aire hace un chillido muy molesto."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.needs_with_no.jsonnew file mode 100644index 00000000..4e702881--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "hotel.mantenimiento.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y necesita que se ocupe de su caso el área que atiende esto: «algo dañado en la habitación: aire, ducha, televisor». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "La ducha no prende y necesito que revisen urgente.",+ "A ver, la tele no conecta ninguna señal, ¿qué hago?",+ "Es que el aire acondicionado no enfría nada, por favor.",+ "Pues la llave no abre bien, tengo problema ya mismo.",+ "Oye, no me llega agua caliente en la bañera para nada.",+ "Qué onda, la luz del cuarto no prende ni se apaga.",+ "Mire, el Wi-Fi no conecta y estoy trabajando desde ahí.",+ "Ay Dios mío, no puedo usar la regadera porque gotea todo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.negated.json b/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.negated.jsonnew file mode 100644index 00000000..ee53736b--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.mantenimiento.negated.json@@ -0,0 +1,15 @@+{+ "name": "hotel.mantenimiento.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y aclara que NO necesita el área de «mantenimiento» (algo dañado en la habitación: aire, ducha, televisor): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Disculpe, pero aquí todo funciona perfecto, no necesito arreglo alguno.",+ "No es necesario enviar técnicos, solo quería confirmar la hora de salida.",+ "Para nada me preocupa el aire acondicionado, tengo una consulta sobre el desayuno.",+ "Oiga, tranquilos, la televisión está bien; mi duda es del estacionamiento.",+ "Gracias por su interés, pero no hay falla técnica alguna en la pieza.",+ "No me atiendan con mantenimiento, por favor hablen conmigo directamente de este tema.",+ "Todo marche bien, no necesito reparación, solo una aclaración rápida sobre las toallas.",+ "Ni lo pensé, el baño está impecable; quería preguntar sobre la factura."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.open.json b/research/benchmarks/es_phone_turns/train/raw/hotel.open.jsonnew file mode 100644index 00000000..c8fc4f94--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.open.json@@ -0,0 +1,22 @@+{+ "name": "hotel.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a un hotel: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenas tardes, ¿a qué hora cierran hoy?",+ "Por favor, me podían indicar la dirección exacta por favor.",+ "Disculpen, el día de mañana tienen habilitación?",+ "¿Aceptan pago con tarjeta de débito o crédito?",+ "Tienen estacionamiento disponible para los huéspedes?",+ "Si no estoy en San Pedro Sula, ¿tienen sucursal en Tegucigalpa?",+ "Para registrar la reserva, ¿qué documentos necesitan?",+ "Oiga, ¿el check-out es a las dos de la tarde?",+ "Perdone, ¿me pueden dar el número del WhatsApp para consultas?",+ "¿El precio incluye impuestos o hay cargo adicional?",+ "Estoy preguntando si abren en días festivos nacionales.",+ "¿Tienen servicio de lavandería dentro del hotel?",+ "Buenas, ¿aceptan efectivo en dólares también?",+ "¿El parqueo es gratuito para los que se quedan a dormir?",+ "Me urgió saber si aceptan reservas por esta vía ahora mismo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.direct.json b/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.direct.jsonnew file mode 100644index 00000000..29334d96--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.direct.json@@ -0,0 +1,15 @@+{+ "name": "hotel.reservaciones.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y pide que la comuniquen con el área de «reservaciones» (reservar, cambiar o cancelar una habitación). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenas tardes, por favor, pásame con reservaciones.",+ "¿Me comunican con la gente de reservas?",+ "Oiga, buenas noches, necesito hablar con el área de reservaciones.",+ "¡Eh! Pónganme con reservaciones, por fa.",+ "Le llamo para cambiar mi reserva y necesito que me conecten con el departamento correspondiente.",+ "¿Tengo a reservaciones?",+ "Hola, buenos días, ¿podría transferirme con el equipo de reservas por favor?",+ "Ayuda, quiero cancelar mi habitación y que me pasen con la sección de reservaciones."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.indirect.json b/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.indirect.jsonnew file mode 100644index 00000000..240faf67--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.indirect.json@@ -0,0 +1,27 @@+{+ "name": "hotel.reservaciones.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un hotel y necesita que se ocupe de su caso el área que atiende esto: «reservar, cambiar o cancelar una habitación». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, quisiera confirmar si mi reserva número 4521 sigue vigente para el próximo mes.",+ "Me surge un inconveniente con la fecha de ingreso y necesito moverla una semana más tarde.",+ "Lamento mucho las molestias, pero por motivos laborales ya no podré viajar, ¿cómo procedo con la cancelación?",+ "Oiga, que me dieron una habitación doble y aquí en el cuarto solo hay una cama matrimonial grande.",+ "Quería saber si puedo agregarle otra persona a mi reserva actual sin tener que rehacer todo.",+ "Por favor, necesito que me anulen el cobro de la tarjeta porque ya no voy a estar allí.",+ "Hola, estaba revisando mis detalles y veo que me asignaron piso bajo pero yo pedí alto.",+ "Se me olvidó poner mi vuelo retrasado, ¿pueden avisarle al recepcionista para que espere mi llegada?",+ "Quisiera cambiar el tipo de habitación porque estoy viajando con niños y necesito dos camas aparte.",+ "Me acababan de confirmar la reserva y ahora me dicen que está llena, eso no puede ser verdad.",+ "Necesito prorrogar mi estadía un día más si hay disponibilidad por favor.",+ "Oiga pues, que llegué hasta aquí y me dijeron que tenía que pagar todo al momento sin crédito reservado.",+ "Quiero solicitar que no limpien la habitación los días que esté ausente para mayor privacidad.",+ "Tengo una reserva a nombre de mi hijo pero fui yo quien hizo el pedido, ¿hay problema?",+ "Por favor, necesito una cama extra urgente porque vino un amigo imprevisto y nos quedamos cortos.",+ "Estoy llamando porque me cancelaron la reserva sin previo aviso cuando tenía comprobante de pago.",+ "Quisiera aprovechar para dejar nota sobre mi alergia a las plumas ya que vengo con traje de novia.",+ "Oiga, que el sistema no me deja hacer el check-in online y necesito ayuda inmediata.",+ "Necesito confirmar si el desayuno está incluido en la tarifa que pagué o debo abonar aparte cada día.",+ "Por favor, ¿pueden guardarme las maletas unos días después de salir ya que mi vuelo es a medianoche?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.needs_with_no.jsonnew file mode 100644index 00000000..c0c4ead2--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "hotel.reservaciones.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y necesita que se ocupe de su caso el área que atiende esto: «reservar, cambiar o cancelar una habitación». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, no logro hacer la reserva por la página y necesito que me ayuden a concretarla.",+ "¿Me pueden decir por qué no me aparece la opción para cambiar mi fecha de salida?",+ "Vengo llamando hace rato porque no he recibido el correo con la confirmación de mi estancia.",+ "Pues mire, no me han permitido cancelar sin penalidad y quiero que revisen mi caso urgentemente.",+ "Oiga, no puedo acceder al sistema para modificar los huéspedes de la reserva y ya me urge.",+ "No tengo acceso a mi cuenta desde hace dos días y necesito cambiar el lugar de llegada.",+ "Es que no me funciona el enlace de pago y quiero asegurar la habitación hoy mismo.",+ "Mire, nunca me llegó la respuesta sobre mi solicitud de cancelación y necesito resolverlo ya."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.negated.json b/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.negated.jsonnew file mode 100644index 00000000..a9d88e63--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.reservaciones.negated.json@@ -0,0 +1,15 @@+{+ "name": "hotel.reservaciones.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y aclara que NO necesita el área de «reservaciones» (reservar, cambiar o cancelar una habitación): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me manden a reservaciones, por favor, solo quería preguntar si tienen piscina abierta.",+ "No es para reservar nada, le pregunto rápido si sirven desayuno en la habitación.",+ "Disculpe, no necesito cancelar ni hacer reserva alguna, solo busco información del hotel.",+ "No hay problema de cambio de fecha, escuche, ¿tienen estacionamiento gratuito?",+ "No me transfiera a ese departamento, tengo una duda sobre la hora del check-out.",+ "Nada que ver con reservas, le pregunto si aceptan tarjetas de crédito en el restaurante.",+ "No requiero asistencia para cancelar mi reserva, solo quería saber si hay servicio a la habitación.",+ "Evítenme pasar por reservaciones, por favor, es una pregunta simple sobre el WiFi."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.direct.json b/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.direct.jsonnew file mode 100644index 00000000..a73629ff--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.direct.json@@ -0,0 +1,15 @@+{+ "name": "hotel.restaurante.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y pide que la comuniquen con el área de «restaurante» (comida, servicio a la habitación y horarios del comedor). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenas tardes, por favor comuníqueme con restaurante.",+ "¡Hola! ¿Me pasan con el servicio a la habitación?",+ "Le consultaba si abren ya el comedor.",+ "¿Está disponible el área de restaurante para hablar?",+ "Oiga, necesito que me conecte con meseros por favor.",+ "Quisiera preguntar sobre los horarios de desayuno.",+ "Amigo, pásame con la gente del restaurante, porfa.",+ "¿Podría derivarme a quienes atienden en el restaurant?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.indirect.json b/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.indirect.jsonnew file mode 100644index 00000000..6bc4d5bd--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.indirect.json@@ -0,0 +1,27 @@+{+ "name": "hotel.restaurante.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un hotel y necesita que se ocupe de su caso el área que atiende esto: «comida, servicio a la habitación y horarios del comedor». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Hola, buen día, tengo un inconveniente con la cena del último martes.",+ "Mira, necesito pedir algo urgente para la habitación tres cero cinco.",+ "Buenas noches, el servicio de la mañana no llegó a pesar del pedido.",+ "Oiga, me hicieron un cargo por una comida que yo no consumí.",+ "Qué tal, quisiera reportar que faltaron cubiertos en mi almuerzo de hoy.",+ "Disculpen, necesito gestionar una entrega extra para las ocho de la noche.",+ "Hola, el mozo se llevó mi plato y dejó el otro sin avisar.",+ "Buen día, quiero anular el pedido de bebidas que hice por teléfono.",+ "Perdón, me trajeron comida para otra habitación en lugar de la mía.",+ "Oiga, necesito coordinar que me lleven desayunos a las seis de mañana.",+ "Qué bueno, tengo un reclamo sobre la temperatura de la sopa servida.",+ "Buenas tardes, por favor ocupense de que me devuelvan el importe del postre.",+ "Hola, necesito pedir que traigan café sin azúcar en intervalos regulares.",+ "Mira, el servicio nocturno dejó ruido después de las dos AM.",+ "Disculpen, quiero solicitar una comida especial por alergia que no respetaron.",+ "Oiga, me cobraron doble por la cena del domingo pasado.",+ "Buen día, necesito que envíen sábanas adicionales con el servicio a las diez.",+ "Qué tal, tengo un problema con la calidad de la ensalada de hoy.",+ "Hola, por favor gestionen que me cancelen el minibar del último mes.",+ "Buenas noches, necesito coordinar una entrega médica relacionada con dieta estricta."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.needs_with_no.jsonnew file mode 100644index 00000000..b603b531--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "hotel.restaurante.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y necesita que se ocupe de su caso el área que atiende esto: «comida, servicio a la habitación y horarios del comedor». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, quisiera que me atendieran porque no he recibido la cena que pedí hace una hora y se está acabando la comida",+ "No puedo comer en el restaurante porque los horarios están muy cerrados y necesito algo para cenar ya mismo",+ "Oiga, disculpe pero no me han llevado el almuerzo a la habitación como acordamos y tengo mucha hambre",+ "La verdad es que no funciona bien el servicio de comida en cuarto porque hace dos días no nos traen nada",+ "No hemos podido cenar hoy porque los horarios del comedor cambian sin aviso y nos cerraron las puertas",+ "Ayúdeme por favor porque no me llega la información sobre a qué hora abren el restaurante esta noche",+ "Nunca me han servido la comida completa cuando pido servicio a la habitación y ahora estoy desesperado",+ "Porfa atienda mi caso porque no tengo dónde comer en el hotel y el menú de la habitación está mal"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.negated.json b/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.negated.jsonnew file mode 100644index 00000000..b5208382--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/hotel.restaurante.negated.json@@ -0,0 +1,15 @@+{+ "name": "hotel.restaurante.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un hotel y aclara que NO necesita el área de «restaurante» (comida, servicio a la habitación y horarios del comedor): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, por favor no me transfieran a restaurante, tengo otra consulta.",+ "Hola, gracias pero yo no necesito el menú ni la hora de cena, solo quería preguntar el horario del check-out.",+ "Disculpen, no hablo con meseros ni personal de comida, ¿me atiende quien contestó?",+ "No es para restaurante, por favor déjeme hablar con ustedes directamente sobre mi reserva.",+ "Oiga, yo no busco servicio a la habitación ni comedor, solo aclarar un detalle urgente.",+ "Buen día, gracias por atender, pero no requiero información de platos o bebidas, ¿es posible seguir?",+ "No me pase al área de comida, por favor, tengo una duda con la reserva que requiere su ayuda.",+ "Saludos, yo no necesito el restaurant, solo quería confirmar si hay estacionamiento, gracias."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.direct.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.direct.jsonnew file mode 100644index 00000000..665304a7--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.direct.json@@ -0,0 +1,14 @@+{+ "name": "inmobiliaria.alquileres.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y pide que la comuniquen con el área de «alquileres» (alquilar una casa, un apartamento o un local). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor, ¿me podrían pasar con la persona de alquileres?",+ "Hola, buenos días, necesito información sobre un departamento en renta, ¿me conecta con el departamento de alquileres, por favor?",+ "Alquileres, porfa.",+ "¿Me hablan con quien se encargue de los alquileres? Gracias.",+ "Pase a la sección de alquileres.",+ "Buen día, le llamo porque quiero rentar un local y me gustaría hablar con su equipo de alquileres.",+ "Alquileres, por aquí."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.indirect.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.indirect.jsonnew file mode 100644index 00000000..642e60dd--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.indirect.json@@ -0,0 +1,27 @@+{+ "name": "inmobiliaria.alquileres.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una inmobiliaria y necesita que se ocupe de su caso el área que atiende esto: «alquilar una casa, un apartamento o un local». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, quiero dejar constancia de que el inquilino del apartamento en Colinas de San Lorenzo no paga la renta desde hace dos meses y necesito iniciar el proceso de desalojo inmediatamente.",+ "Oiga, le llamo porque me urge alquilar un local comercial cerca del mercado central para una ferretería, tengo los recursos ya.",+ "Disculpe, necesito revisar el contrato de mi casa en La Limón porque el dueño quiere subir el alquiler unilateralmente y eso no está bien, quiero asesoría urgente.",+ "Hola, soy un particular y busco arrendar un apartamento amueblado por tres meses para estar en Tegucigalpa trabajando, ¿tiene algo así disponible ya?",+ "Mira, hay una filtración grave en el techo del local que rento en el centro y el propietario no responde, necesito reportarlo por escrito hoy mismo.",+ "Quisiera inscribir un nuevo contrato de arrendamiento para un condominio en Santa Ana donde nos mudamos la semana pasada, ¿qué papeles me hacen falta?",+ "Oiga, le comento que el vecino del departamento de arriba está haciendo obras sin permiso y esto afecta mi estructura, necesito que intervengan como mediadores.",+ "Buen día, estoy vendiendo mi terreno pero también quiero dejarlo en arrendamiento temporal si no se vende rápido, ¿manejamos esa solicitud juntos?",+ "Ayuda por favor, me desalojaron injustamente de mi casa porque el dueño vendió la propiedad y yo tenía contrato vigente por un año.",+ "Necesito ampliar la superficie rentada del local que tengo en Plaza Granadera, el negocio creció y necesito firmar un adendo al contrato actual.",+ "Tengo un familiar que quiere alquilar una casa en La Ceiba pero no habla bien español, ¿pueden actuar como traductores o intermediarios en la negociación?",+ "El agua se fue cortada en el edificio donde vivo hace dos días y la administración de renta no hace nada, exijo respuesta inmediata por escrito.",+ "Quiero devolver las llaves del apartamento porque tengo que salir del país urgentemente, pero me están reteniendo el depósito ilegalmente desde hace un mes.",+ "Busco un almacén grande en la zona industrial para guardar mercancía importada, con seguridad 24 horas y acceso para camiones grandes.",+ "Oiga, firmé un contrato verbal hace seis meses para una habitación y ahora me cobran más de lo acordado, necesito regularizar esa situación legalmente.",+ "Me gustaría que revisen la cláusula de penalización en mi contrato de local comercial antes de que llegue la fecha de vencimiento el próximo mes.",+ "Tengo un conflicto con el administrador del edificio sobre el pago de gastos comunes y no puedo renovar mi contrato de arrendamiento, necesito mediación urgente.",+ "Hola, busco alquilar una casa campestre en Comayagüela para fin de semana pero que sea a largo plazo porque me mudaré allá, ¿tiene opciones?",+ "El inquilino se negó a pagar el recibo de servicios básicos según lo pactado y ya pasaron quince días del vencimiento, ¿cómo procedemos con el cobro coercitivo?",+ "Necesito cancelar mi contrato de arrendamiento anticipadamente porque encontré trabajo en otra ciudad, quiero saber si me quitarán parte del depósito como dice la ley."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.needs_with_no.jsonnew file mode 100644index 00000000..2a8af168--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.alquileres.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y necesita que se ocupe de su caso el área que atiende esto: «alquilar una casa, un apartamento o un local». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Mira, yo no puedo cerrar nada todavía porque me faltan los papeles del contrato.",+ "Buen día, a ver si me puede orientar, que yo nunca he alquilado y ando perdido con esto de la fianza.",+ "La verdad es que no tengo mucho tiempo para ir allá, ¿podría gestionar el papelito usted por mí?",+ "Oiga, perdón la molestia pero el formulario en línea no me funciona y ya intenté mil veces.",+ "Ay bendición, yo no he recibido confirmación alguna del correo y ando preocupado porque se me va a vencer la oferta.",+ "Es que mi mamá no entiende bien eso de los gastos comunes y necesita que le expliquen con calma.",+ "Che, no me llegó ni el link para firmar digitalmente, ¿me lo pueden reenviar urgente?",+ "Señorita, yo no sé cómo proceder para dejar el apartamento actual sin multa, ¿me podría ayudar con ese trámite?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.negated.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.negated.jsonnew file mode 100644index 00000000..f9f7e85a--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.alquileres.negated.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.alquileres.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y aclara que NO necesita el área de «alquileres» (alquilar una casa, un apartamento o un local): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Disculpe, por favor no me conecte con alquileres que solo quiero vender.",+ "No tengo interés en rentar ningún departamento, gracias.",+ "Oiga, yo no busco arrendar nada así que por aquí no me pase.",+ "Buenas tardes, le aclaro que no necesito la sección de renta.",+ "Por favor atienda esta llamada porque para lo otro ya hablé.",+ "No quiero alquilar casa ni local comercial, es solo una duda.",+ "Oiga pues no me ponga con los del alquiler porque no me interesa.",+ "Le digo que no busco propiedad en renta por favor."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.direct.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.direct.jsonnew file mode 100644index 00000000..d7fced8f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.direct.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.avaluos.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y pide que la comuniquen con el área de «avaluos» (saber cuánto vale una propiedad). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, buenos días, por favor necesito que me pasen con avaluos.",+ "Oiga, ¿me puede conectar al departamento de avaluos?",+ "Así mismo, buen día, le comento que requiero servicio de avaluos, gracias.",+ "¿Avaluos? Sí, ahí mismo está el botón, por favor paseme con avaluos.",+ "Le molesto un instante para solicitar comunicación con el área de avaluos, por favor.",+ "Oiga, oiga, necesito que me comuniquen inmediatamente con la gente de avaluos.",+ "Buenas tardes, ¿tienen disponible el departamento de avaluos ahora mismo?",+ "Hola, hola, solo quiero hablar con quien esté en avaluos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.indirect.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.indirect.jsonnew file mode 100644index 00000000..3267632a--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.indirect.json@@ -0,0 +1,27 @@+{+ "name": "inmobiliaria.avaluos.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una inmobiliaria y necesita que se ocupe de su caso el área que atiende esto: «saber cuánto vale una propiedad». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, necesito saber cuánto vale mi casa en la Colonia Palmira para sacarla a la venta.",+ "Sr., le llamo porque quiero tasar mi apartamento en el centro, ¿me puede ayudar con eso?",+ "Mire, tengo una finca en Lempira y necesito un avalúo para dividirla entre mis hijos.",+ "Oiga, ¿cómo hago para que me digan cuánto vale el terreno donde vivía mi tío?",+ "Buen día, quiero saber el precio de mercado de mi local comercial en el Boulevard San Martín.",+ "Perdón la molestia, pero necesito tasar mi casa para pedir un crédito hipotecario urgente.",+ "Hola, le escribo porque me dijeron que usted hace avalúos de propiedades rurales.",+ "Tengo que vender mi terreno rápido y no sé a cuánto ponerlo, ¿me asesora?",+ "Oiga, necesito el valor de mi edificio de departamentos para repartir las ganancias entre socios.",+ "Buenas, quiero saber cuánto vale la casa hereda de mis padres en Comayagüela.",+ "Mire, le llamo porque tengo una duda grande sobre el precio de mi propiedad en Choloma.",+ "¿Me puede decir cómo tasamos una casa para impuestos? Es urgente.",+ "Hola, necesito averiguar cuánto vale mi lote en la colonia Nueva Esperanza.",+ "Sr., quiero saber el valor de mi negocio con vivienda adjunta en Tegucigalpa.",+ "Buen día, le solicito que me digan cuánto vale mi finca para venderla hoy mismo.",+ "Mire, tengo una propiedad en Danlí y necesito saber su precio real de venta.",+ "Oiga, ¿cómo hago para tasar un edificio viejo? Quiero demolerlo pero necesito el valor.",+ "Hola, le llamo porque quiero saber cuánto vale mi casa para asegurarla contra incendios.",+ "Buenas tardes, necesito averiguar el precio de mercado de un terreno baldío que compré.",+ "Sr., quiero tasar mi propiedad rural para donarla a una fundación, ¿me ayuda?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.needs_with_no.jsonnew file mode 100644index 00000000..062c45bc--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.avaluos.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y necesita que se ocupe de su caso el área que atiende esto: «saber cuánto vale una propiedad». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenos días, la verdad es que no logro entender cómo estimar el precio de mi casa en este barrio.",+ "Oiga, don, no me sale cuenta nada con lo que piden por los terrenos de mis tíos.",+ "Mire, pues, no he podido averiguar cuánto andará valiendo el local comercial ese del centro.",+ "Hola, disculpen la molestia, pero no tengo idea de cuál es el valor real de mi departamento.",+ "Que tal, le comento que no me han dicho nada claro sobre el avalúo de mi propiedad.",+ "Buenas tardes, o sea, no sé si lo que me ofrecen por comprar mi casa está bien o no.",+ "Le llamo porque, la verdad, nunca he sabido cobrar un valor justo por mi apartamento pequeño.",+ "Hola, pues, no consigo averiguar el precio del terreno donde quiero construir mi futura casita."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.negated.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.negated.jsonnew file mode 100644index 00000000..8d8c3a38--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.avaluos.negated.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.avaluos.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y aclara que NO necesita el área de «avaluos» (saber cuánto vale una propiedad): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, por favor no me transfieran al departamento de avaluos porque no necesito saber el valor de nada.",+ "Hola, yo llamaba para otra cosa así que por favor no me pasen con quien hace los avalúos.",+ "Mira don, le aclaro que no busco tasaciones ni nada parecido, solo una pregunta rápida.",+ "Buen día, yo no tengo problema de valuación así que no me mande a ese sector por favor.",+ "Disculpe la molestia pero no es para eso que llamo, así que por favor no me transfiera a avaluos.",+ "Qué más pues, le comento que no necesito avalúos de ninguna propiedad así que no me pasen ahí.",+ "Hola buenas, estoy llamando para consultar un detalle y no quiero que me atiendan la gente de valuaciones.",+ "No soy de los que busca precio ni tasación así que por favor no me desvíen al área de avaluos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.direct.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.direct.jsonnew file mode 100644index 00000000..b12a22ae--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.direct.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.compraventa.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y pide que la comuniquen con el área de «compraventa» (comprar o vender una propiedad). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor hable con compraventa.",+ "Oiga, ¿me podría pasar con la gente de compraventa?",+ "Por aquí compraventa, sígame el hilo.",+ "Le comento una cosa y me pasan al departamento de compraventa.",+ "¿Hay alguien en compraventa que me atienda por favor?",+ "Necesito tratar un tema urgente con el área de compraventa, ¿me la da?",+ "Hablemos de compraventa, pásame con ellos.",+ "Buen día, solicito comunicación inmediata con el sector de compraventa para cerrar un trato."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.indirect.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.indirect.jsonnew file mode 100644index 00000000..6e93f205--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.indirect.json@@ -0,0 +1,27 @@+{+ "name": "inmobiliaria.compraventa.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una inmobiliaria y necesita que se ocupe de su caso el área que atiende esto: «comprar o vender una propiedad». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, necesito vender mi casa en El Paraíso pero el comprador se echó pa atrás y ya pagué la arras.",+ "Oiga, soy de Santa Ana, tengo una parcela que quiero meterle a la venta urgentemente, ¿me guían?",+ "Mire, estoy queriendo comprar un apartamento en el centro pero el dueño no me da las llaves ni me devuelve el depósito.",+ "Qué tal, disculpen la molestia, necesito cancelar unos impuestos prediales pendientes para poder tramitar la venta de mi terreno.",+ "Pues vea, me dicen que hay un problema con los títulos de herencia en una propiedad que estoy por comprar y no sé qué hacer.",+ "Hola, buenas tardes, quiero retirar la publicación de mi casa porque ya vendí por cuenta propia ayer mismo.",+ "Oiga, ¿podrían ayudarme? Compré una casa hace un año y resultó que estaba hipotecada desde antes con otro banco.",+ "Buenas, vengo por lo del contrato de compraventa que firmamos la semana pasada, quiero corregirle una dirección mal puesta.",+ "Mira, necesito urgente un avalúo comercial para poder refinanciar la propiedad que tengo en Tegucigalpa.",+ "Disculpe, estoy vendiendo mi local comercial pero el notario me dice que falta autorizar la junta directiva de la sociedad dueña.",+ "Oiga, pues resulta que al firmar la escritura apareció un embargo que no conocíamos y nos dejó helados los compradores.",+ "Buenas tardes, quiero contratar sus servicios para buscar un terreno industrial grande en la zona norte, nada más eso.",+ "Mire, vendí mi finca hace tres meses pero aún no me ha llegado el dinero del comprador y ya pasaron las fechas pactadas.",+ "Qué le cuento, necesito sacar la escritura definitiva de una casa que compramos en efectivo hace quince años sin papeles.",+ "Hola, oiga, tengo un problema con los vecinos que están ocupando un pasillo de uso común en el edificio donde vivo.",+ "Pues vea, quiero comprar esa propiedad que tienen en venta pero me gustaría saber si se pueden pagar a plazos directamente con ustedes.",+ "Buenas, disculpen, necesito una carta de no adeudo para poder entregarla al banco que me va a dar el crédito hipotecario.",+ "Oiga, le comento que la empresa donde trabajaba me vendió una casa y ahora dicen que el contrato es nulo porque no estaba autorizado.",+ "Mira, estoy queriendo hacer una partición de bienes con mis hermanos para vender cada quien su parte del terreno familiar.",+ "Qué tal, necesito agendar una cita lo más pronto posible para revisar la documentación completa de un lote que encontré en internet."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.needs_with_no.jsonnew file mode 100644index 00000000..a1d52ae7--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.compraventa.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y necesita que se ocupe de su caso el área que atiende esto: «comprar o vender una propiedad». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Hola, buenas tardes, necesito que me ayuden porque no puedo encontrar un terreno para comprar en zona rural.",+ "Qué más pues, oiga, yo ya intenté vender mi casa pero no me responden las llamadas desde hace semanas.",+ "Bueno, resulta que no tengo el documento de la propiedad original y por eso no logro cerrar la venta con el comprador.",+ "Disculpe, ¿me podrían orientar porque no sé qué impuestos debo pagar si decido comprar un departamento en Tegucigalpa.",+ "Oiga, buen día, le llamo porque no me han entregado las llaves de la casa que acabo de comprar y estoy preocupado.",+ "Hola, necesito ayuda urgente con el contrato porque no entiendo esta cláusula que limita la venta a terceros.",+ "Qué tal, pues mire, yo quiero vender mi finca pero no encuentro comprador que tenga el dinero completo así que necesito asesoría.",+ "Buenas, oiga, le escribo porque no me apareció la inscripción de la propiedad en el registro y por eso no puedo legalizar la venta."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.negated.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.negated.jsonnew file mode 100644index 00000000..f6512b8d--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.compraventa.negated.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.compraventa.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y aclara que NO necesita el área de «compraventa» (comprar o vender una propiedad): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, gracias por atender pero les pido el favor de no pasarme al área de compraventa porque solo tengo una consulta rápida.",+ "No necesito comprar ni vender, así que por favor atienda la llamada usted o guárdeme en otro departamento, gracias.",+ "Hola, buen día, déjenme aclarar que mi inquietud no tiene que ver con ventas ni compras de inmuebles.",+ "Disculpe la molestia, pero le ruego no me transfieran a compraventa porque únicamente deseo hacer una pregunta administrativa.",+ "No estoy interesado en ese servicio actualmente, así que por favor manténgame en esta línea y atienda mi duda por favor.",+ "Por nada del mundo necesito ayuda para comprar o vender casa, solo quiero confirmar unos datos con quien atiende el teléfono.",+ "Hola, buenas tardes, le pido por favor no me desvíen a la sección de compraventa porque eso no es lo que busco.",+ "No es necesario pasar al área comercial de propiedades, yo solo requiero orientación sobre un trámite específico en esta línea."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.direct.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.direct.jsonnew file mode 100644index 00000000..f2ee1c0f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.direct.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.condominios.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y pide que la comuniquen con el área de «condominios» (cuotas y reparaciones de áreas comunes de un condominio). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor pasar con el área de condominios.",+ "Qué tal, necesito hablar urgente con la gente de condominios, ¿me comunican?",+ "Pasen a condominios.",+ "Oiga, solicito transferencia al departamento de condominios para consultar sobre las cuotas.",+ "¿Me pasan con el área de condominios?",+ "Buen día, quisiera que me trasladen al equipo de condominios por favor.",+ "Comuniquen con condominios.",+ "Hola, necesito hablar con el área de condominios, ¿quién es la persona encargada?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.indirect.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.indirect.jsonnew file mode 100644index 00000000..3ed934ef--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.indirect.json@@ -0,0 +1,27 @@+{+ "name": "inmobiliaria.condominios.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una inmobiliaria y necesita que se ocupe de su caso el área que atiende esto: «cuotas y reparaciones de áreas comunes de un condominio». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buen día, quiero reportar una fuga grave en la tubería principal del área de lavado.",+ "El cobro de mi cuota de mantenimiento mensual está duplicado por error sistémico.",+ "Las luces del estacionamiento subterráneo llevan tres semanas fundidas y es inseguro.",+ "Necesito regularizar el pago pendiente para poder solicitar la autorización de obra.",+ "La bomba de agua suena raro y sospecho que va a fallar pronto.",+ "He pagado en efectivo pero no me dan recibo del área común correspondiente.",+ "Quiero saber por qué se descontaron gastos extraordinarios sin haberlo aprobado la junta.",+ "El ascensor queda parado frecuentemente, necesito que revisen el mantenimiento urgente.",+ "Solicito copia del acta donde aprobaron las cuotas para este trimestre actual.",+ "Hay goteras en mi techo por filtración de la azotea, es responsabilidad de la administración.",+ "Quiero cancelar mi deuda con el condominio para evitar intereses adicionales.",+ "El portón eléctrico está fallando y nadie ha enviado al técnico aún.",+ "Requiero un estado de cuenta detallado de lo adeudado por conceptos de limpieza.",+ "Se filtró agua en la escalera del tercer piso por una cañería rota.",+ "Necesito autorizar el retiro de mi cuota acumulada para pagar impuestos locales.",+ "La piscina está cerrada sin previo aviso y cobraron el mantenimiento completo igual.",+ "Quiero solicitar el reembolso de lo pagado de más en la última cuota.",+ "El garaje tiene humedad excesiva por falla en el drenaje pluvial cercano.",+ "Solicito atención prioritaria porque hay riesgo estructural en el muro perimetral del condominio.",+ "No reconozco los cargos adicionales facturados por reparación de fachada en mi recibo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.needs_with_no.jsonnew file mode 100644index 00000000..51004717--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.condominios.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y necesita que se ocupe de su caso el área que atiende esto: «cuotas y reparaciones de áreas comunes de un condominio». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Hola, buenos días, no me llega el recibo de la cuota por correo y necesito saber cómo proceder.",+ "La cosa es que la escalera del piso tres nunca está limpia y ya nadie hace caso.",+ "Oiga, disculpe las molestias, pero no puedo pagar mi parte de las reparaciones porque no me han enviado el estado de cuenta actualizado todavía.",+ "Mire, la bomba de agua no funciona desde hace tres días y esto es urgente, ¿quién atiende eso?",+ "Señor, buenas tardes, yo le llamo porque no tengo acceso al sistema de portones eléctricos y me estoy quedando fuera.",+ "Bueno, el caso es que las luces del estacionamiento subterráneo no prenden nunca y es un peligro.",+ "Disculpe, ¿me puede ayudar? No me han respondido los correos sobre la fuga en la tubería principal del área común.",+ "Hola, oiga, la cuota de mantenimiento mensual no se ha descontado de mi cuenta automáticamente como acordamos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.negated.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.negated.jsonnew file mode 100644index 00000000..b139ca2c--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.condominios.negated.json@@ -0,0 +1,15 @@+{+ "name": "inmobiliaria.condominios.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una inmobiliaria y aclara que NO necesita el área de «condominios» (cuotas y reparaciones de áreas comunes de un condominio): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, por favor no me transfiera a condominios que esa parte no me interesa.",+ "Disculpe la molestia pero yo no tengo problemas de cuotas ni áreas comunes, gracias.",+ "Le hablo solo para preguntar algo rápido, porfa no me pase al departamento de condos.",+ "Que no me atienda el área de condominios porque eso no es lo que busco.",+ "Oiga, yo no necesito servicio de condominios así que no me transfiera ahí por favor.",+ "No soy cliente de condominios, solo quería aclarar una duda con usted directamente.",+ "Por favor ignore la transferencia a condominios porque eso no me compete en lo absoluto.",+ "Solo quiero hacerle una pregunta al señor que contesta, nada que ver con condominios."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.open.json b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.open.jsonnew file mode 100644index 00000000..2c06f053--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/inmobiliaria.open.json@@ -0,0 +1,22 @@+{+ "name": "inmobiliaria.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a una inmobiliaria: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "A ver, ¿ustedes atienden los sábados por la mañana?",+ "Disculpe, pero exacto ¿dónde queda la oficina principal?",+ "¿Y para pagar el alquiler aceptan transferencia bancaria o es solo efectivo?",+ "Oiga, tengo auto, ¿hay parqueo disponible para los clientes ahí mismo?",+ "¿Tienen alguna otra sucursal más cerca del centro?",+ "Buenas tardes, quiero saber qué documentos piden justo para empezar el trámite de renta.",+ "¿Abren normalmente en días festivos o están cerrados?",+ "O sea, ¿puedo ir a ver las casas cualquier día sin cita previa?",+ "Le pregunto porque voy de visita y no sé si todavía tienen horario vespertino activo.",+ "¿El depósito es el mismo valor que la primera mensualidad?",+ "Perdone, pero ¿aceptan cheques certificados o solo son transferencias directas al banco?",+ "Dígame por favor, ¿qué tan lejos queda de la plaza central exactamente?",+ "Oiga, una pregunta rápida: ¿necesito comprobante de ingresos fijos para arrendar?",+ "¿Ustedes manejan alguna promoción especial para jóvenes profesionales recién titulados?",+ "Buenas, solo pregunto si el mantenimiento mensual está incluido en el precio que me dieron por teléfono."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.direct.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.direct.jsonnew file mode 100644index 00000000..904c87b8--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.direct.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.aseo.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y pide que la comuniquen con el área de «aseo» (tren de aseo, basura y alumbrado público). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Por favor, pásame con aseo.",+ "Mandeme al departamento de limpieza urbana, gracias.",+ "Che bae, ¿me pueden conectar con la gente del aseo?",+ "Quisiera hablar con el área de basuras y alumbrado.",+ "Pasen porfa con aseo municipal.",+ "Buenos días, necesito comunicarme con el equipo de recolección de basura e iluminación pública, por favor.",+ "Óigame, traslámelo a limpieza pública, es urgente.",+ "Diga, ¿me pasan con la brigada de aseo, por favor?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.indirect.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.indirect.jsonnew file mode 100644index 00000000..4affe7ba--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.indirect.json@@ -0,0 +1,27 @@+{+ "name": "municipalidad.aseo.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una municipalidad y necesita que se ocupe de su caso el área que atiende esto: «tren de aseo, basura y alumbrado público». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, necesito reportar que hay una montaña de basura acumulada hace tres días en la esquina de mi casa.",+ "Mire, las luces del parque central están apagadas desde el lunes y me siento inseguro al pasar por ahí.",+ "Oiga, ¿por qué el camión de recolección nunca viene los martes? Ya se nos está pudriendo la comida.",+ "Les escribo porque el drenaje de mi calle está tapado con basura y ahora tengo charcos infectos.",+ "Bueno, aquí otro vecino quejándose porque nadie limpia las calles después del fin de semana.",+ "Señorita, por favor manden a alguien a sacar los escombros que dejaron frente a mi negocio.",+ "Ay, qué alivio que llamen, justo ahora estaba viendo cómo la basura tapaba toda la entrada.",+ "No sé qué pasa con el alumbrado público aquí en este barrio, ya vamos dos semanas sin luz.",+ "Escúcheme bien, necesito que ubiquen una basurera cerca porque camino quince cuadras para tirar lo que tengo.",+ "Mire, el olor de los residuos orgánicos es insoportable y están atrayendo ratas a las casas.",+ "Oiga mijo, ¿van a poner luces en la carretera vieja? Se nos perdió un niño hace un mes.",+ "Por favor, manden al personal de aseo a limpiar el parque infantil que está lleno de vidrio roto.",+ "Buen día, quiero hacer constar que el camión de basura pasa pero nunca baja las bolsas del contenedor.",+ "Les comento que los postes de luz están temblando y puede caer en cualquier momento sobre los autos.",+ "Oiga, llevo una semana sin servicio y ya voy a tener que quemar mi basura en la calle.",+ "Señor, necesito urgentemente que arreglen el foco que queda parpadeando porque asusta a las señoras mayores.",+ "Aquí no recogemos desde hace cuatro días y el barrio se está convirtiendo en un basurero legal.",+ "Mire, el agua de lluvia se mezcla con la basura y ya corre por toda mi vereda.",+ "Buenas, solo quería preguntar si van a limpiar las canaletas antes de que empiece la temporada de lluvias.",+ "Oiga, necesito reportar un foco fundido en la entrada del supermercado porque ya hubo tres resbalones."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.needs_with_no.jsonnew file mode 100644index 00000000..e7156896--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.aseo.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y necesita que se ocupe de su caso el área que atiende esto: «tren de aseo, basura y alumbrado público». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "La iluminación del parque central no está encendida desde hace una semana.",+ "No me han pasado a retirar la basura acumulada en mi esquina.",+ "Por favor, la vereda no está limpia después de la lluvia.",+ "Necesito que alguien revise esto porque las luces de la calle no prenden.",+ "No puedo hacer nada con el desorden de chatarra que hay frente a mi casa.",+ "Oiga, el recolector nunca llega por nuestro barrio según el horario.",+ "Es urgente que limpien los desagües porque no escurre el agua y se inunda.",+ "La luminaria en la esquina de la escuela no funciona y es peligroso."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.negated.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.negated.jsonnew file mode 100644index 00000000..213f0e73--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.aseo.negated.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.aseo.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y aclara que NO necesita el área de «aseo» (tren de aseo, basura y alumbrado público): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me transfieran a aseo, gracias.",+ "Sé que el tren de basura es allá, pero yo necesito otra cosa.",+ "Agradezco su tiempo, pero no requiero el área de alumbrado público.",+ "No soy cliente de limpieza urbana, por favor atienda mi consulta.",+ "Necesito aclarar algo rápido, nada que ver con recolección de residuos.",+ "Por favor, no me envíen a la sección de ordenamiento ambiental.",+ "No tengo problemas de basura ni luz pública en este momento.",+ "Solo quería confirmar un dato, sin necesidad de hablar con el departamento de limpieza."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.direct.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.direct.jsonnew file mode 100644index 00000000..930ee031--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.direct.json@@ -0,0 +1,13 @@+{+ "name": "municipalidad.catastro.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y pide que la comuniquen con el área de «catastro» (medidas, escrituras y registro de terrenos). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor páseme con Catastro",+ "Hola, buenos tardes. ¿Me podrían conectar al departamento de Catastro? Necesito información sobre unas medidas de terreno.",+ "Mande, ¿qué dice?",+ "Le molesto una pregunta: ¿me puede pasar con el área que se encarga de las escrituras y el registro, o sea Catastro, por favor?",+ "Pásenme con Catastro",+ "Oiga, amigo, aquí es para solicitar información del catastro, si me puede hacer el favor de la transferencia."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.indirect.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.indirect.jsonnew file mode 100644index 00000000..ccbb0269--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.indirect.json@@ -0,0 +1,27 @@+{+ "name": "municipalidad.catastro.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una municipalidad y necesita que se ocupe de su caso el área que atiende esto: «medidas, escrituras y registro de terrenos». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenos días señorita, tengo el título antiguo pero no me reconocen los linderos actuales.",+ "Es urgente porque mi vecino ya está poniendo cercas en mi propiedad.",+ "Tengo la escritura firmada pero necesito que validen si está lista para inscripción.",+ "Por favor, ¿pueden revisar por qué el catastro dice que soy dueño de menos terreno del que compré?",+ "Oiga, llegué a comprar una parcela herencia y me dicen que tiene gravámenes desconocidos.",+ "Necesito urgirle la emisión del plano de mensura para cerrar mi trámite.",+ "Me acababan de decir que estaba aprobado pero ahora me piden un documento que no existía antes.",+ "Tengo miedo de perder la tierra por falta de pago de contribución aunque ya pagué.",+ "¿Sabe por qué tardan tanto en registrar una simple compra-venta?",+ "Mi abuelo dejó el terreno pero nunca hizo la división legal entre los hermanos.",+ "Necesito urgarles el expediente porque se me vence el plazo para reclamar.",+ "El señor que me vendió tiene un problema de herencia y yo pago por adelantado.",+ "Por favor, ¿alguien puede decirme qué paso falta en mi solicitud número 452?",+ "Tengo una disputa de límites con la comunidad y necesito la resolución oficial del municipio.",+ "Me acaban de notificar que hay una suspensión temporal de trámites sin previo aviso.",+ "Oiga, ¿cómo hago para corregir un error en la dirección que puso el escribano?",+ "Necesito que me confirmen si ya está inscrito o no, llevo tres meses esperando.",+ "Tengo miedo de que me quiten la tierra porque no tengo recibos de los últimos años.",+ "¿Pueden revisar mi caso con urgencia? Ya estoy pagando hipoteca y esto me afecta a todos.",+ "La notificación llegó mal dirigida y perdí el plazo para presentar documentos importantes."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.needs_with_no.jsonnew file mode 100644index 00000000..1c2f27c7--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.catastro.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y necesita que se ocupe de su caso el área que atiende esto: «medidas, escrituras y registro de terrenos». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, oiga, el caso es que no me llega la constancia de que ya pagué los derechos por el lote.",+ "Hola, le escribo porque nunca me han dado copia del registro en Catastro y necesito el papel urgente.",+ "Oiga, disculpe la molestia, pero no puedo acceder al sistema para descargar mi documento de propiedad.",+ "A ver si me pueden ayudar, es que no me aparece la finca en la consulta pública del municipio.",+ "Hola señor, le llamo porque no me han contestado el oficio que envié hace quince días sobre mi solar.",+ "Mira, la situación es que no me entregaron las medidas físicas del terreno como prometieron ayer por teléfono.",+ "Qué tal, le contacto porque no me figura en el padrón de contribuyentes y eso me está jodiendo con los impuestos.",+ "Ayuda por favor, oiga, no tengo ni copia digital ni física de la escritura que firmamos hace dos meses."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.negated.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.negated.jsonnew file mode 100644index 00000000..248455f9--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.catastro.negated.json@@ -0,0 +1,11 @@+{+ "name": "municipalidad.catastro.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y aclara que NO necesita el área de «catastro» (medidas, escrituras y registro de terrenos): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me pase al área de catastro.",+ "No tengo nada que ver con terrenos.",+ "Le digo que no necesito eso del catastral.",+ "Oiga, por favor, no me transfiera a Catastro."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.direct.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.direct.jsonnew file mode 100644index 00000000..533f502d--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.direct.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.impuestos.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y pide que la comuniquen con el área de «impuestos» (bienes inmuebles, solvencia municipal e impuestos de negocio). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor pásame con impuestos.",+ "Aló, buenas tardes, necesito hablar con el departamento de solvencia municipal.",+ "¿Quién habla? Bueno, escuche, le pido por favor que me transfiere al área de bienes inmuebles.",+ "Por favor, ¿me pueden pasar con la oficina de impuestos de negocios?",+ "Qué tal, necesito gestión urgente, porfa comuníqueme con solvencia.",+ "Sí, buen día, oiga, le ruego que me pase con el departamento de tributos o como se llame.",+ "Hola, buenos días, requiero la extensión de impuestos.",+ "Mira, es que quiero ver mi estado de cuenta así que porfa líámelo al área de bienes inmuebles."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.indirect.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.indirect.jsonnew file mode 100644index 00000000..298a5422--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.indirect.json@@ -0,0 +1,27 @@+{+ "name": "municipalidad.impuestos.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una municipalidad y necesita que se ocupe de su caso el área que atiende esto: «bienes inmuebles, solvencia municipal e impuestos de negocio». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Pura vida, buen día, le hablo para saber cómo pago mi impuesto predial sin tener que hacer fila hoy mismo.",+ "Mire compadre, yo necesito la solvencia municipal urgente porque el banco me la pide ya y no aparece nada en su sistema.",+ "Llevo tres meses intentando registrar este negocio en el sector 4 y siempre me dicen que está lleno el expediente.",+ "Buenas tardes señorita, perdón la molestia pero tengo una duda con mi recibo de luz y agua que viene aparte del impuesto de bienes raíces.",+ "A ver si usted me puede guiar un poco porque no entiendo por qué me cobraron dos veces por la misma patente comercial.",+ "Hola, le escribo para pedir el certificado de uso de suelo para poder sacar permiso de construcción en mi terreno.",+ "Oiga pues, tengo un problema que ya no aguanto más, me están cerrando la puerta del negocio por una multa que yo no causé.",+ "Buen día, quiero saber si puedo pagar mis impuestos atrasados a través de internet o si tengo que ir presencialamente obligatoriamente.",+ "Disculpe mi amable atreverse, pero necesito cancelar una hipoteca para liberar el gravamen de mi propiedad y me dicen que falta un documento.",+ "A ver si puede hacerme el favor de decirme qué papeles llevo para sacar la solvencia fiscal del año pasado rápidamente.",+ "Mire don, yo vendí la casa hace dos años pero siguen llegándome las facturas del predial porque no hicieron el cambio de dueño.",+ "Saludos cordiales, necesito regularizar mi situación tributaria porque el SAT me está presionando y necesito esa solvencia municipal primero.",+ "Hola, ¿sabe cómo puedo apelar una multa que me pusieron por publicidad indebida frente a mi negocio hace un mes?",+ "Pues nada amigo, le llamo porque quiero abrir una tiendita en la plaza central pero no sé qué tasa me corresponde pagar.",+ "Oiga pues, tengo una herencia de tres terrenos y no sé cómo dividir el impuesto para que no me quede todo a mi nombre.",+ "Buenas tardes, le consulto si el descuento por pronto pago del impuesto predial ya se acabó o todavía puedo aprovecharlo este mes.",+ "Mira compa, me urgía la carta de no adeudo para firmar contrato de arrendamiento y hasta ahora no llega nada por correo.",+ "Perdón que lo interrumpa tan tarde, pero es que mañana cierran el registro y necesito saber si mi solicitud de zonificación está aprobada.",+ "Hola querido, le quería preguntar si los comercios nocturnos tienen un horario especial para pago de impuestos o es igual al día.",+ "A ver señora, yo vivo en la zona norte y creo que me están cobrando una tarifa que no me corresponde por el tipo de vivienda."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.needs_with_no.jsonnew file mode 100644index 00000000..a8eeb1c9--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.impuestos.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y necesita que se ocupe de su caso el área que atiende esto: «bienes inmuebles, solvencia municipal e impuestos de negocio». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buen día, le llamo porque no me aparece la solvencia en el sistema a pesar de haber pagado.",+ "Qué tal, es que nunca me han enviado el certificado de bienes inmuebles actualizado.",+ "Perdón la molestia, pero no puedo generar el recibo del impuesto de negocio por error en la plataforma.",+ "Oiga, pues mira, no me ha llegado la notificación de mi deuda inmobiliaria y me preocupa multarme.",+ "Hola, le comento que no tengo acceso al formulario para tramitar la solvencia municipal desde casa.",+ "Buenas tardes, el caso es que no me funcionan los datos fiscales que ingresé para el permiso comercial.",+ "Disculpe, ¿me podría orientar? Porque no me han respondido sobre mi reclamo del impuesto predial de hace meses.",+ "Mire, simplemente no puedo descargar mi constancia de pagos porque la página da error constante."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.negated.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.negated.jsonnew file mode 100644index 00000000..bd8736e1--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.impuestos.negated.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.impuestos.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y aclara que NO necesita el área de «impuestos» (bienes inmuebles, solvencia municipal e impuestos de negocio): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No es para impuestos por favor, ¿quién atiende?",+ "Oiga, no requiero el área de bienes inmuebles ni solvencia.",+ "Por su favor no me transfiera a Impuestos comerciales.",+ "Tengo una consulta general, nada que ver con obligaciones fiscales.",+ "Buenas tardes, no busco trámites de pago municipal.",+ "Disculpe, necesito hablar con alguien del área social, no fiscal.",+ "Le repito: no tengo asunto con Hacienda Municipal, gracias.",+ "Prefiero que me atienda usted directamente, sin derivarme a impuestos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.open.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.open.jsonnew file mode 100644index 00000000..798b8e84--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.open.json@@ -0,0 +1,22 @@+{+ "name": "municipalidad.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a una municipalidad: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenas tardes, ¿a qué hora cierran hoy por favor?",+ "Disculpe, ¿me podría decir cuál es la dirección exacta del edificio municipal?",+ "Oiga, les pregunto si mañana que es feriado están operando normalmente.",+ "¿Aceptan tarjeta de crédito o solo efectivo en ventanilla?",+ "Estoy buscando, ¿hay espacio para estacionar el carro por ahí afuera?",+ "Quería saber si tienen alguna oficina sucursal en otro municipio para hacer esto.",+ "Porfa, ¿qué documentos necesito llevar como mínimo para sacar ese permiso?",+ "Hola, ¿ustedes manejan cita previa o es fila al momento?",+ "Le consulto si el pago de impuestos se puede hacer por internet también.",+ "¿Desde las nueve abren puntual los lunes o llega a ser más tarde?",+ "Perdone, ¿dónde queda la ventanilla específica para trámites de identidad por favor?",+ "Me interesa saber si cobran alguna tasa extra por agilizar el proceso.",+ "Oiga pues, ¿me confirma si aceptan cheques del gobierno?",+ "¿Están abiertos los sábados por la mañana o solo los días laborables?",+ "Buenos días, ¿qué hora es el cierre exacto para evitar que nos barran?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.direct.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.direct.jsonnew file mode 100644index 00000000..ca949ab3--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.direct.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.permisos.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y pide que la comuniquen con el área de «permisos» (permisos de construcción y de operación). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor, ¿me podría pasar con la mesa de permisos?",+ "Le molesto una sola cosita: necesito hablar urgente con el departamento de permisos de construcción.",+ "Oiga, buenas tardes. ¿Me comunican con la oficina de permisos de operación, porfa?",+ "Señor, buenos días. Necesito que me transfiera con personal de permisos, por favor.",+ "Hola, gracias por contestar. ¿Podría pasarme con el área de permisos municipales?",+ "Buenas tardes, le pido la gentileza de conectarme con la sección de permisos y licencias.",+ "Disculpe la molestia, ¿me habla con quien atienda los permisos de funcionamiento?",+ "¡Óigame! Necesito hablar con la mesa de entrada de permisos ya mismo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.indirect.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.indirect.jsonnew file mode 100644index 00000000..be8bbb39--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.indirect.json@@ -0,0 +1,27 @@+{+ "name": "municipalidad.permisos.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una municipalidad y necesita que se ocupe de su caso el área que atiende esto: «permisos de construcción y de operación». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, le llamo para solicitar el permiso de construcción para una ampliación en mi casa.",+ "Hola, tengo un problema con mi permiso de operación porque me lo suspendieron sin previo aviso.",+ "¡Qué tal! Necesito saber cómo proceder para renovar el permiso de funcionamiento de mi negocio.",+ "Le escribo porque necesito agilizar la revisión del plano para mi construcción, va muy lento.",+ "Oiga, bueno, estoy esperando que me den el visto bueno para operar legalmente y ya pasaron los meses.",+ "Hola doctora, le cuento que me negaron el permiso de obra y quiero saber por qué.",+ "Buenas, necesito presentar la documentación para el permiso de uso de suelo de mi local comercial.",+ "Le molesto un momento, tengo una duda sobre las normas de seguridad para obtener el permiso de operación.",+ "Oye compadre, ya completé los pagos pero no me entregan el permiso de construcción que corresponde.",+ "Buenos días, quisiera tramitar la licencia de operación para mi restaurante que está en zona mixta.",+ "Hola, necesito urgente el certificado de habilitación de obra para poder iniciar la construcción aprobada.",+ "Le comento que estoy a la espera de la inspección técnica para liberar mi permiso de operación.",+ "Qué bueno que atendió, le llamo para consultar los requisitos adicionales para ampliación de nave industrial.",+ "Oiga, me urge saber si falta algún papel para aprobar el plano estructural de mi casa.",+ "Buenas tardes, tengo un conflicto con la clasificación del terreno y necesito orientación para el permiso.",+ "Hola, le llamo porque me pidieron actualizar los planos presentados hace seis meses para el permiso de obra.",+ "Le informo que ya está lista la documentación completa para solicitar la renovación del permiso sanitario y operativo.",+ "Oye, necesito agendar una cita para entregar los formularios del trámite de habilitación comercial.",+ "Buenas, le cuento que me llegó un requerimiento sobre irregularidades en mi construcción sin licencia previa.",+ "Hola, quisiera verificar el estado actual de mi solicitud de permiso de operación para farmacia."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.needs_with_no.jsonnew file mode 100644index 00000000..5c85b583--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.permisos.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y necesita que se ocupe de su caso el área que atiende esto: «permisos de construcción y de operación». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, buen día, o sea que yo presenté toda la papelería hace un mes pero hasta hoy no me llegó ningún papelito de confirmación.",+ "Qué tal, le escribo porque el permiso para construirle la caseta al perro no se ha procesado y ya tengo a los albañiles parados ahí esperando.",+ "Mire, disculpe la molestia, pero nunca me han explicado por qué tardan tanto en sacar la licencia de operación cuando todo está bien pagado.",+ "Hola, verán que la última vez que llamé me dijeron que estaba vigente y ahora resulta que no tengo permiso para abrir el negocio otra vez.",+ "Buenos días, a ver si me pueden tirar una mano porque el sistema online no me funciona para subir los planos de la remodelación.",+ "Oiga pues, yo ya hice el pago en ventanilla pero hasta la fecha no han dado respuesta ni me dieron ningún acuse de recibo correcto.",+ "Qué le hago, señorita, es que la autoridad sanitaria no me firmó el permiso de operación y sin eso no puedo seguir vendiendo nada.",+ "Disculpe que lo llame a esta hora, pero por favor mire mi expediente porque llevo tres semanas esperando y nunca me han dicho qué falta."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.negated.json b/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.negated.jsonnew file mode 100644index 00000000..2f154924--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/municipalidad.permisos.negated.json@@ -0,0 +1,15 @@+{+ "name": "municipalidad.permisos.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una municipalidad y aclara que NO necesita el área de «permisos» (permisos de construcción y de operación): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No, no necesito permisos de nada",+ "Oiga, por favor no me transfiera a ese departamento",+ "No es tema de construcción ni licencia operativa",+ "Nah, déjeme hablar con quien atendió primero",+ "No requiero ningún permiso municipal hoy",+ "Le aclaro que no busco autorizacion alguna",+ "No, yo no tengo problemas con la alcaldía",+ "Que no me pasen a nadie, ya entendí"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.direct.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.direct.jsonnew file mode 100644index 00000000..8563ba3c--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.direct.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.aduanas.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y pide que la comuniquen con el área de «aduanas» (trámites e impuestos de paquetes que vienen del extranjero). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor transfórmeme con aduanas.",+ "A ver, necesito hablar con el departamento de aduanas.",+ "Le llamo para consultar unos impuestos de un paquete internacional, ¿me puede comunicar con la sección de aduanas?",+ "Sí, eso mismo, pero ahora necesito derivarme al área de aduanas por favor.",+ "Oiga, buen día, ¿podría pasarme con alguien de aduanas?",+ "Estoy intentando aclarar un tema de derechos arancelarios y me urge hablar con el personal de aduanas, gracias.",+ "Pásame con la oficina de aduanas, por favor.",+ "Mira, necesito atención especializada, comuníceme inmediatamente con el equipo de aduanas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.indirect.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.indirect.jsonnew file mode 100644index 00000000..3a738359--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.indirect.json@@ -0,0 +1,28 @@+{+ "name": "paqueteria.aduanas.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una empresa de envíos y necesita que se ocupe de su caso el área que atiende esto: «trámites e impuestos de paquetes que vienen del extranjero». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, tengo una caja que llegó a aduanas hace dos semanas y me están pidiendo una factura que yo no tengo.",+ "Hola, ¿me pueden ayudar con el pago de los impuestos de mi paquete? El sistema dice que está retenido pero yo ya pagué en línea.",+ "Oiga, pues mira, llegué hoy a retirar un envío y me dicen que debo un saldo por concepto de aranceles que no entiendo bien.",+ "Disculpe, tengo un paquete retenido en aduanas desde el lunes y necesito saber qué documento falta para liberarlo cuanto antes.",+ "Buen día, vengo por lo de la declaración de impuestos de unas mercancías que me llegaron ayer y me pidieron ampliar la información.",+ "¡Ay dios mío! Me llegó un paquete con los impuestos duplicados y quiero pedir el reembolso o que me aclaren el cobro.",+ "Hola, necesito gestionar el pago de los derechos de importación para una caja que llega mañana porque tengo prisa.",+ "Pues sí, o sea, mi paquete no suelta trámites por unos impuestos que se quedan en pendientes y ya pagué.",+ "Buenas, tengo un problema con la facturación electrónica de mi envío internacional y aduanas no me deja avanzar.",+ "Oiga, disculpe la molestia, pero mi paquete está retenido por una tasa no aplicada correctamente y necesito resolverlo urgente.",+ "Hola, vengo a dejar los datos fiscales para que puedan procesar el pago de impuestos de un envío pendiente.",+ "Mira, o sea, llegó un paquete grande y me piden desglose de impuestos que no vienen en la factura original.",+ "Buenas tardes, tengo una retención fiscal en mi paquete de repuestos y necesito saber cómo proceder para liberarlo.",+ "¡Hola! ¿Me pueden revisar por qué mi pago de impuestos no se refleja todavía y el paquete sigue retenido?",+ "Pues sí, necesito tramitar la exoneración de impuestos de un donativo que me llegó y me falta un documento.",+ "Oiga, hola, tengo un paquete de productos electrónicos retenido por una valoración aduanera que creo es errónea.",+ "Buen día, vengo a pagar los impuestos restantes de mi paquete que llegó con un saldo pendiente en la oficina.",+ "Hola, me apareció una tasa adicional en mi paquete que no estaba en el cálculo inicial y quiero cuestionarla.",+ "Pues mira, oiga, mi caja está parada por falta de pago de un arancel que desconocía y necesito pagar ya.",+ "Buenas, tengo un trámite de impuestos bloqueado por datos erróneos en mi declaración jurada del envío extranjero.",+ "¡Hola! Oiga, disculpe, pero me llegó una multa injusta por impuestos atrasados en un paquete que entregué a tiempo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.needs_with_no.jsonnew file mode 100644index 00000000..6ab2a363--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.aduanas.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y necesita que se ocupe de su caso el área que atiende esto: «trámites e impuestos de paquetes que vienen del extranjero». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, le llamo porque no me han dado la factura de los impuestos del paquete que llegó ayer",+ "A ver si me puede ayudar que no puedo descargar la guía de despacho aduanal desde su portal",+ "Hola, buen día, o sea que no se ha actualizado el estado de mi trámite con la hacienda pública",+ "Disculpe la molestia, es que no tengo constancia del pago de los aranceles en mi correo electrónico",+ "Pues mire, le comento porque no me aparece el monto total a pagar cuando intento regularizar la mercancía",+ "Oiga pues, ¿sabe si ya está listo? Porque no me han notificado la resolución de la aduana todavía",+ "Le escribo urgente porque no puedo generar el comprobante fiscal del envío que vino de EE. UU.",+ "Che, hola, o sea que no me llegó ningún aviso sobre los impuestos pendiente de mi paquete nacionalizado"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.negated.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.negated.jsonnew file mode 100644index 00000000..e40e696f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.aduanas.negated.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.aduanas.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y aclara que NO necesita el área de «aduanas» (trámites e impuestos de paquetes que vienen del extranjero): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Por favor, no me transfiera a aduanas, yo solo tengo una consulta.",+ "Ni se le ocurra pasarme con el área de impuestos, gracias.",+ "Aquí no necesito trámites internacionales, hablemos directo con usted.",+ "No soy cliente de aduanas, por favor atienda mi pregunta ya.",+ "Oiga, no me ligue con la oficina de importaciones, es un error.",+ "Le repito que no requiero servicios de aduana, ¿me escucha?",+ "Que no me pongan en espera para trámites legales, solo informo.",+ "No busque a nadie más, yo no tengo paquete del extranjero."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.direct.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.direct.jsonnew file mode 100644index 00000000..d8574429--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.direct.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.casilleros.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y pide que la comuniquen con el área de «casilleros» (abrir un casillero para recibir compras hechas por internet). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Por favor, ¿me podrían pasar con casilleros?",+ "Oiga, buenas tardes, requiero hablar con el área de casilleros para abrir uno.",+ "¿Casilleros? Sí, eso es lo que busco, gracias.",+ "Que me conecten con Casilleros por favor, necesito urgencia.",+ "Mire, le comento que quiero contratar un casillero, ¿me ubica?",+ "Sí, sígame, sírvame con el área de Casilleros.",+ "Bueno, bueno, ya entiendo, pero lo que necesito es hablar con casilleros.",+ "O sea, por favor comuníqueme con Casilleros."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.indirect.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.indirect.jsonnew file mode 100644index 00000000..e0b02a55--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.indirect.json@@ -0,0 +1,27 @@+{+ "name": "paqueteria.casilleros.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una empresa de envíos y necesita que se ocupe de su caso el área que atiende esto: «abrir un casillero para recibir compras hechas por internet». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Oiga, yo ya pagué en mi página de Amazon pero aquí me dicen que no tengo casillero activo y necesito eso urgente porque se vence el envío.",+ "Buenas tardes, quiero abrirme una cuenta nueva para poder recibir mis compras del exterior, ¿qué documentos me necesitan enviar por correo?",+ "Le cuento, ayer intenté registrarme en la app pero el sistema no me deja avanzar con mi cédula y ya llevo tres horas bloqueado.",+ "Oiga pues, yo necesito que me abran un casillero inmediato porque tengo dos paquetes que llegan mañana y si no los recibo se devuelven a origen.",+ "Hola, ¿me pueden ayudar? Quiero empezar a usar sus servicios para mis compras online pero no sé cómo activar mi dirección de entrega.",+ "Mira, yo ya tengo usuario en su sistema pero nunca terminé el proceso de apertura de casillero y necesito que me guíen o lo hagan por mí.",+ "Oiga, le molesto porque quiero hacer el trámite de abrirme un casillero para recibir mis compras del extranjero y no entiendo la parte de la verificación de identidad.",+ "Buenas, tengo una urgencia, necesito que me active un casillero hoy mismo para poder comprar unas medicinas que solo están disponibles en esa tienda online.",+ "Le comento, yo soy cliente nuevo y quiero abrirme un espacio para recibir mis pedidos de internet, ¿me indica qué pasos sigo ahora?",+ "Oiga pues, el sistema me da error cuando intento solicitar la apertura del casillero y ya contacté al banco pero dicen que no es problema de ellos.",+ "Hola, yo necesito formalizar mi registro para tener un casillero asignado porque quiero empezar a hacer pedidos frecuentes y necesito seguridad en la recepción.",+ "Le escribo porque estoy trabado en el paso final para abrir mi casillero digital y necesito apoyo técnico urgente para no perder la oferta de envío gratis.",+ "Oiga, quiero abrirme un casillero para recibir compras de ropa y accesorios, ¿puedo hacer esto desde aquí o necesito ir presencialmente con mis papeles?",+ "Buenas tardes, tengo un problema con mi solicitud pendiente de apertura de casillero, me dicen que está 'en revisión' hace una semana y ya me urge.",+ "Le cuento amigo, yo nunca he recibido paquetes por aquí y quiero abrirme un casillero para empezar a comprar en eBay, ¿cómo se haría?",+ "Oiga, el formulario para abrir casillero no me deja guardar mis datos personales y necesito que alguien del área técnica lo revise ya.",+ "Hola, necesito activar mi casillero virtual porque ya pagué la primera cuota pero aún no veo mi dirección de entrega asignada en la plataforma.",+ "Le molesto para pedirle ayuda con la apertura de mi casillero, el sitio web me sale en inglés y no logro completar los datos en español.",+ "Oiga pues, yo quiero abrir un casillero corporativo para mi empresa porque compramos insumos online, ¿ese también lo gestionan por teléfono o es otro proceso?",+ "Buenas, tengo prisa y necesito que me habiliten el casillero ya mismo porque mis hijos tienen regalos que llegan hoy y no quiero que se queden en aduana."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.needs_with_no.jsonnew file mode 100644index 00000000..481a056a--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.casilleros.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y necesita que se ocupe de su caso el área que atiende esto: «abrir un casillero para recibir compras hechas por internet». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "La verdad es que nunca he podido abrir esa cuenta para recibir mis compras por internet.",+ "Mira, ya intenté mil veces y no me han dejado crear el casillero todavía.",+ "No tengo acceso al sistema para activar mi dirección de envío, ¿me pueden guiar?",+ "Oiga, ojalá pudieran ayudarme porque no se activa el perfil para mis compras online.",+ "Creo que hay un error porque no me deja registrar la cuenta desde hace días.",+ "Buenas tardes, el caso es que nunca logré habilitar mi casillero virtual.",+ "No puedo completar el registro para recibir lo que pido por la red, ¿qué hago?",+ "Escuche, necesito eso urgente porque no me funciona el botón de abrir casillero."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.negated.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.negated.jsonnew file mode 100644index 00000000..8b7a957d--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.casilleros.negated.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.casilleros.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y aclara que NO necesita el área de «casilleros» (abrir un casillero para recibir compras hechas por internet): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Por favor, no me transfieran al área de casilleros, tengo otra duda.",+ "Oiga, yo no necesito abrir un casillero, solo quería preguntarle algo rápido.",+ "No me mande para allí, que yo no estoy interesado en ese servicio, gracias.",+ "Perdone, pero yo no requiero la sección de paquetes internacionales, ¿quién puede ayudarme?",+ "Escuche, no es necesario que me atiendan en casilleros, solo una consulta menor.",+ "No, al contrario, yo no tengo ese problema con los envíos, solo pregunto.",+ "Disculpe la molestia, pero no busco abrir cuenta de casillero, gracias igual.",+ "Que no me pasen para el departamento de entregas, que ya estoy bien atendido."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.open.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.open.jsonnew file mode 100644index 00000000..42f2cbde--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.open.json@@ -0,0 +1,22 @@+{+ "name": "paqueteria.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a una empresa de envíos: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenas tardes, ¿a qué hora cierran hoy por favor?",+ "Disculpe, ¿tienen sucursal en la colonia Los Laureles?",+ "¿Aceptan pago con tarjeta de crédito o es solo efectivo?",+ "Me gustaría saber si abren normalmente el día de mañana que es feriado.",+ "¿Hay estacionamiento disponible para clientes en esa dirección?",+ "Para enviar paquetes al exterior, ¿qué documentos necesito llevar obligatoriamente?",+ "Oiga, ¿me podría indicar la dirección exacta del punto de recogida más cercano?",+ "¿Cuánto me cobran aproximadamente por un paquete pequeño hacia San Pedro Sula?",+ "Buen día, pregunto porque no estoy seguro si abren los domingos a esta hora.",+ "¿Necesito que el contenido esté asegurado o eso es opcional?",+ "Escuche, ¿puedo pagar con transferencia bancaria en efectivo cuando recoja?",+ "¿Qué tipo de identificación le piden para registrar un envío nacional?",+ "Oiga pues, ¿sabe si hay descuento para empresas con envío recurrente?",+ "Disculpe la molestia, ¿a partir de qué peso se considera encomienda grande?",+ "Buenas tardes, quiero saber si entregan los sábados o solo entre semana"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.direct.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.direct.jsonnew file mode 100644index 00000000..c9f2b906--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.direct.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.rastreo.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y pide que la comuniquen con el área de «rastreo» (saber dónde está un paquete). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor pasar a rastreo.",+ "Hola, ¿me comunican con el área de rastreo?",+ "Oiga, le solicito la transferencia hacia rastreo.",+ "Necesito hablar con alguien de rastreo, porfa.",+ "Atención, requiero que me pasen a rastreo.",+ "Buen día, necesito el contacto directo con rastreo.",+ "Por favor, déjenme en comunicación con rastreo.",+ "Hola, ¿podrían derivarme al departamento de rastreo?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.indirect.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.indirect.jsonnew file mode 100644index 00000000..25bc7ca0--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.indirect.json@@ -0,0 +1,27 @@+{+ "name": "paqueteria.rastreo.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una empresa de envíos y necesita que se ocupe de su caso el área que atiende esto: «saber dónde está un paquete». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, estoy muy preocupado porque mi paquete no se actualiza en la página desde hace tres días y necesito saber si está retenido.",+ "Oiga, disculpe la molestia pero ya van cinco días sin noticias de mi envío número 45902, ¿me podrían verificar el estado por favor?",+ "Mira, le llamo porque me dicen que entregaron mi paquete pero yo no he recibido nada y quiero saber exactamente a quién lo dejaron.",+ "Pues verán, tengo un problema con mi remitente que es muy apurado y necesito rastrear la posición actual de mi mercancía urgente.",+ "Disculpe si los molesto tanto, pero el número de guía dice entregado y sin embargo ni rastro en mi casa desde ayer por la tarde.",+ "Le comento que llevo una semana esperando mi paquete y el sistema muestra que está en tránsito a la oficina local pero nunca llega.",+ "Oiga don, le hablo porque me dijeron que mi envío llegaba hoy y todavía no aparece ningún repartidor en mi zona.",+ "Necesito saber dónde quedó colgado mi paquete porque ya pasaron dos días de la fecha estimada sin actualización alguna en el rastreo.",+ "Buenos días, estoy llamando porque mi paquete dice que está retenido en aduanas y no sé qué trámite debo hacer para liberarlo.",+ "Mira, le cuento que cambiamos de dirección hace dos días y creo que por eso se perdió el rastro del envío, ¿hay algo que pueda hacer?",+ "Oiga, le llamo con urgencia porque el paquete es un regalo de cumpleaños para mañana y todavía no veo movimiento alguno en el sistema.",+ "Pues mire, me han dicho que firmé yo pero no estuve y necesito saber a qué hora lo intentaron entregar para reclamarlo en la sucursal.",+ "Disculpe, tengo una duda con mi guía porque marca como entregado en otra ciudad y sé que nunca salió del depósito central.",+ "Le escribo porque estoy muy preocupada por el estado de mis compras online que dicen retrasadas y no me dan razón clara del motivo.",+ "Oiga, ¿me podrían indicar si mi paquete está disponible para recoger o si aún está en camino hacia la agencia más cercana?",+ "Mira, le comento que el conductor se marcó como presente pero no tocó mi timbre y necesito reportar esto para que lo investiguen.",+ "Buenas tardes, le llamo porque mi paquete tiene una dirección incorrecta en el sistema y temo que lo devuelvan al remitente sin avisarme.",+ "Oiga, ya pagué la tarifa extra por entrega express pero sigue sin llegar y necesito saber si hay algún inconveniente logístico.",+ "Pues verán, estoy llamando para preguntar por mi envío número 88219 que dice en tránsito internacional y no avanza hace una semana.",+ "Disculpe la molestia, pero necesito confirmar si mi paquete está en la oficina central porque tengo que recogerlo hoy mismo antes de que cierren."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.needs_with_no.jsonnew file mode 100644index 00000000..e26aff07--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.rastreo.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y necesita que se ocupe de su caso el área que atiende esto: «saber dónde está un paquete». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "¿Hola, buen día? Oiga, yo llamo porque no me aparece la guía en la página y necesito saber dónde está mi paquete urgente.",+ "Perdone la molestia, pero es que no he recibido ningún correo con el rastreo y ya pasó la fecha estimada de entrega.",+ "A ver, yo pregunto porque no puedo hacer clic en el enlace que me enviaron ayer y ando bastante preocupado por mi mercancía.",+ "¡Qué tal! La verdad es que no sé qué pasó pero mi número de seguimiento no arroja resultados en el sistema.",+ "Oiga caballero, a veces me da pena molestar pero no tengo acceso al correo donde iba el link para rastrearlo.",+ "Buenas tardes, disculpe si pregunto por aquí, pero es que nunca me llega la actualización del estatus y necesito tranquilizar a mi cliente.",+ "¿Me podría apoyar? El caso es que no me funciona la app en mi celular y estoy lejos de casa para pedir ayuda a alguien más.",+ "Hola, buenas, oiga una cosa: no me han contestado los mensajes anteriores y por eso les llamo directamente para averiguar dónde está mi envío."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.negated.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.negated.jsonnew file mode 100644index 00000000..2e47574a--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.rastreo.negated.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.rastreo.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y aclara que NO necesita el área de «rastreo» (saber dónde está un paquete): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Por favor, no me transfiera a rastreo, solo tengo una duda urgente.",+ "No necesito el área de seguimiento del paquete, atienda por favor mi pregunta.",+ "Oiga, eviténme pasar por rastreo que eso no es lo que busco hoy.",+ "Le digo claro: no quiero hablar con seguimiento, solo quería preguntar esto.",+ "Por aquí mismo me atienden mejor, no requiero el servicio de rastreo.",+ "No me pasen a rastreo ni se molesten, tengo otro asunto entre manos.",+ "Quedo en que no necesito localizar un envío, porfa atienda mi consulta.",+ "Evite transferirme a seguimiento, por favor, solo es una pregunta rápida para usted."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.direct.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.direct.jsonnew file mode 100644index 00000000..3250e578--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.direct.json@@ -0,0 +1,13 @@+{+ "name": "paqueteria.recoleccion.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y pide que la comuniquen con el área de «recoleccion» (programar que pasen a recoger un envío). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor ¿me podrían pasar con la gente de recolección?",+ "Oiga, ¿recolección? Sí, por ahí me comuniquen.",+ "Mijo, si no es mucho pedir, que me conecten con el área de recoleccion, porfa.",+ "Recoleccion.",+ "Buenas tardes, tengo un paquete y necesito agendar la recogida, ¿me puede hacer el favor de transferirme?",+ "¿Recolección?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.indirect.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.indirect.jsonnew file mode 100644index 00000000..8b63847c--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.indirect.json@@ -0,0 +1,27 @@+{+ "name": "paqueteria.recoleccion.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una empresa de envíos y necesita que se ocupe de su caso el área que atiende esto: «programar que pasen a recoger un envío». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buen día, necesito agendar una recolección para mañana a primera hora.",+ "¡Qué pena la molestia! ¿Me podrían programar el retiro del paquete hoy mismo?",+ "Oiga, vengo con un problema porque nadie vino ayer y tengo que enviar esto urgente.",+ "Por favor, necesito coordinar la visita de su chofer para las tres de la tarde.",+ "¿Será posible que pasen a buscar el envío mañana en la mañana? Es importante.",+ "Buenas tardes, quiero solicitar que vengan a recoger una caja grande desde mi domicilio.",+ "Hola, disculpen la insistencia pero necesito confirmar cuándo vendrán por mi encomienda.",+ "A ver amigo, tengo que despachar esto hoy y no sé cómo programar el viaje.",+ "Le comento que necesito servicio de recolección para este viernes a las once.",+ "Osea, ¿me ayudan con lo de pasar a buscar mi paquete urgente? Gracias.",+ "Buenas, quería pedirles que agenden una visita para recoger unos documentos mañana a las ocho.",+ "¡Hola! Necesito que alguien venga por un bulto desde ahora mismo si es posible.",+ "Perdón el disgusto, pero necesito reprogramar la recolección porque ayer no estuve en casa.",+ "Buen día, solicito su apoyo para coordinar el retiro de mercancía para este afternoon.",+ "Hola, ¿me pueden dejar programado que vengan a buscar el envío mañana temprano?",+ "Oiga, tengo una situación con mi pedido y necesito que pasen a recogerlo ya.",+ "Buenas tardes, quiero gestionar el servicio de pick-up para mañana por la tarde.",+ "¿Podrían enviarme a alguien a recoger mi paquete? Lo necesito despachado hoy mismo.",+ "Hola, buenas, necesito programar la recolección de un envío con peso especial para mañana.",+ "Amigo, le pido el favor de coordinar que vengan a buscar el bulto esta tarde."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.needs_with_no.jsonnew file mode 100644index 00000000..b1401906--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.recoleccion.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y necesita que se ocupe de su caso el área que atiende esto: «programar que pasen a recoger un envío». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "¿Aló? Mire, por favor necesito que me envíen a buscar un paquete pero no me llega la notificación del código de rastreo.",+ "Qué tal, disculpen la molestia, el caso es que quiero agendar una recogida en mi casa y no me aparece la opción en la app.",+ "Oiga, hola, necesito ayuda urgente porque no he podido programar la visita del mensajero para hoy y ya se me acaba el tiempo.",+ "Buenas tardes, ¿me puede orientar? No me ha llegado ningún correo confirmando la cita que intenté solicitar en línea hace una hora.",+ "¿Sí, hola? Mire, tengo una encomienda grande pero no me dejan agendar el horario de retiro porque el sistema me sale caído.",+ "Ayuda por favor, no puedo acceder a mi cuenta para pedir que vengan a buscar el paquete y necesito hacerlo ya mismo.",+ "Disculpe, estoy llamando porque nunca me han permitido solicitar la recogida a domicilio con esta tarifa y quiero saber si hay una solución.",+ "Qué tal, oiga, el asunto es que no tengo referencia del pedido anterior para poder pedir la recolección y necesito que ustedes me ayuden a solucionarlo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.negated.json b/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.negated.jsonnew file mode 100644index 00000000..0f1cef68--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/paqueteria.recoleccion.negated.json@@ -0,0 +1,15 @@+{+ "name": "paqueteria.recoleccion.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una empresa de envíos y aclara que NO necesita el área de «recoleccion» (programar que pasen a recoger un envío): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No deseo recolección.",+ "Otra vez me llama para lo mismo? No necesito que pasen a recoger nada, le pregunto otra cosa.",+ "Haga el favor de no mencionarme la recolección porque ese servicio no es lo que busco hoy.",+ "Perdón pero me confundí de departamento porque yo no quiero programar ninguna recogida.",+ "No es para eso que llamo así que por favor no me hable del servicio de recolección.",+ "Disculpe la molestia pero le aclaro que este pedido no requiere que vayan a buscar la mercancía.",+ "Por aquí nadie necesita servicio de recolección así que con lo que ya platicamos está bien.",+ "Quedo atenta a su respuesta porque definitivamente eso de las recogidas no me interesa."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/pool.farewell.json b/research/benchmarks/es_phone_turns/train/raw/pool.farewell.jsonnew file mode 100644index 00000000..2e267760--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/pool.farewell.json@@ -0,0 +1,82 @@+{+ "name": "pool.farewell",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 25 frases distintas con las que una persona termina una llamada telefónica a una empresa: se despide, agradece, dice que eso era todo o que ya no necesita nada más.",+ "phrases": [+ "Eso es todo, muchas gracias por su tiempo.",+ "Bueno, me despido entonces, excelente atención.",+ "Perfecto, ya quedó claro, nos vemos luego.",+ "No necesito nada más por ahora, adiós.",+ "Gracias por la ayuda, que le vaya bien.",+ "Sí, con eso basta, hasta pronto.",+ "Me retiro, gracias por todo.",+ "Bueno, eso era lo único, cuídese mucho.",+ "Listo, no hay más preguntas, bye.",+ "Ok, quedamos así, gracias y saludos.",+ "No es necesario seguir hablando, adiós.",+ "Muy bien atendido, muchas gracias, chau.",+ "Con esa información me basta, gracias.",+ "Bueno, nos dejamos de decir, hasta luego.",+ "Sí, eso es todo, que tenga buen día.",+ "Ya no requiero más, gracias por su atención.",+ "Entendido, me despido cordialmente, adiós.",+ "Ok, perfecto entonces, gracias y bye.",+ "No hay nada más, muchas gracias.",+ "Bueno, cierro la llamada aquí, saludos.",+ "Sí, está bien, nos vemos en otra ocasión.",+ "Agradezco su tiempo, eso era todo, adiós.",+ "Gracias por resolver mi duda, hasta luego.",+ "Muy bien, quedo satisfecho, muchas gracias.",+ "Bueno, ya me voy, gracias y chau.",+ "Muchas gracias, me despido.",+ "Bueno, eso era todo, que le vaya bien.",+ "Agradezco su atención, hasta luego.",+ "No necesito nada más por ahora, gracias.",+ "Listo, entonces quedamos así, nos vemos.",+ "De acuerdo, muchas gracias por la ayuda.",+ "Pues nada, ya me fui aclarando, adiós.",+ "Bueno, sin más que decir, le saludo cordialmente.",+ "Gracias por su tiempo, buenas tardes.",+ "Perfecto, entonces cancelamos el contacto, chao.",+ "Ya quedé enterado, gracias y buen día.",+ "Pues no tengo otra consulta, gracias.",+ "Bueno, gracias por atenderme, nos vemos pronto.",+ "No requiero nada más, muchas gracias.",+ "Entendido, pues nada, que tenga buena jornada.",+ "Agradezco la atención prestada, adiós.",+ "Listo, pues me despido, gracias.",+ "De acuerdo, gracias por todo, hasta luego.",+ "Pues eso era todo, gracias y saludos.",+ "Bueno, ya no necesito más información, gracias.",+ "Perfecto, entonces quedamos con esto, muchas gracias.",+ "No hay nada más, gracias y buen día.",+ "Pues nada, gracias por su apoyo, adiós.",+ "Entonces eso es todo, muchas gracias, chao.",+ "Bueno, gracias por la atención, le deseo lo mejor.",+ "Gracias por la atención, hasta luego.",+ "Ese fue todo mi consulta, que esté bien.",+ "Bueno, entonces quedamos así, adiós.",+ "No necesito nada más, gracias igual.",+ "Ya me enteré perfecto, nos vemos.",+ "Agradezco mucho su tiempo, saludos cordiales.",+ "Con eso basta, buen día para ustedes.",+ "Pues ya no hay nada más que preguntar, chau.",+ "Perfecto, entonces cierro la llamada, gracias.",+ "No requiero asistencia adicional, que se porte bien.",+ "Ok, recibido, nos hablamos luego.",+ "Eso era todo, gracias por su ayuda.",+ "Bueno me despido, un abrazo.",+ "No hay más dudas, hasta pronto.",+ "Gracias por la información, quedo tranquilo.",+ "Pues listo entonces, adiós y gracias.",+ "Se agradece la atención prestada, buena tarde.",+ "Así mismo, ya no necesito nada más, bye.",+ "Esa era mi pregunta principal, gracias.",+ "Bueno, me despido aquí, que le vaya bien.",+ "No hay problema mayor ahora, gracias.",+ "Con eso tengo suficiente para avanzar, adiós.",+ "Pues nada más que añadir, nos vemos.",+ "Gracias por resolverlo rápido, hasta otra vez.",+ "Entendido perfecto, entonces nos despedimos, saludos."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/pool.frustration.json b/research/benchmarks/es_phone_turns/train/raw/pool.frustration.jsonnew file mode 100644index 00000000..b4445449--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/pool.frustration.json@@ -0,0 +1,81 @@+{+ "name": "pool.frustration",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 25 frases distintas de una persona que está en una llamada con el agente automático de una empresa y está MOLESTA con el agente: le reclama que no entiende, que repite lo mismo, que no contesta lo que le preguntó, que ya le dijo que no. Algunas llevan malas palabras suaves de Centroamérica. NO pide hablar con otra persona, NO pide que la transfieran y NO se despide: solo se queja.",+ "phrases": [+ "¡Por Dios bendito, ya le dije que no quiero eso!",+ "Oiga, ¿oír me oye porque repite lo mismo desde hace rato?",+ "Carajo, qué lentos son con esta máquina de tontos.",+ "No me haga el juego, yo sé lo que pregunté.",+ "¡Ay bendición!, otra vez lo mismo, qué mal servicio.",+ "Hombre, ¿es broma o qué? No entiendo una mierda.",+ "Maldita sea, ya le aclaré que no es ese el tema.",+ "Oiga usted, ¿está escuchando o está soñando despierto?",+ "No insista con esa vaina que ya le dije que no.",+ "¡Qué carajo!, esto no tiene sentido alguno realmente.",+ "Le hablo claro y usted sigue dando vueltas como loco.",+ "Oiga, ¿se puede terminar esto rápido que tengo prisa?",+ "No me dé vueltas, la respuesta es no, punto final.",+ "Qué fastidio tener que explicar lo mismo dos veces.",+ "¡Dios mío!, a veces pienso que me toman por idiota.",+ "Oiga usted, ¿me puede entender de una vez o qué?",+ "Maldita sea la hora en que llamé a esta línea.",+ "Le repito por última vez: no es lo que dice.",+ "Qué incomodo es hablar con un autómata así de lento.",+ "Oiga, ¿es posible obtener alguna respuesta útil aquí?",+ "No continúe con esa charla porque ya le negué antes.",+ "¡Ay qué rabia!, nadie parece capaz de leer o escuchar.",+ "Hombre serio, deje de repetir como loro empalagoso eso.",+ "Oiga usted, ¿cuántas veces tengo que explicar esto?",+ "Qué mala leche tienen con estos sistemas automáticos tontos.",+ "¡Qué carajo es esto, me tiene dando vueltas en círculo sin sentido!",+ "Ya le dije que no quiero eso, ¿por qué insiste?",+ "Oiga, yo hablo y usted no escucha, parece sordo.",+ "Qué molestia tanta repetición, no tengo tiempo para juegos.",+ "Me está tomando el pelo con estas respuestas de robot.",+ "Si sigue así voy a colgar sin más explicaciones.",+ "¿No entiende español o qué? Le hablo claro.",+ "Esto es una pérdida de tiempo total y absurdo.",+ "Le repito por última vez: no me interesa su oferta.",+ "Qué rabia perder la paciencia con una máquina tonta.",+ "Oiga, si no me atiende bien me voy a enojar de verdad.",+ "Me tiene harto con este discurso que ya conozco.",+ "No insista más que estoy perdiendo las ganas de seguir.",+ "¿Para qué me llama si solo repite lo mismo?",+ "Qué situación más absurda y frustrante, no hay solución.",+ "Le hablo como persona, trate de entenderme una vez.",+ "Si sigue así me va a sacar las canas verdes.",+ "No necesito que me repitan cosas que ya rechacé.",+ "Esto se está volviendo insoportable con tanta insistencia vacía.",+ "Oiga, tengo mejores cosas que hacer que escucharle esto.",+ "Me tiene de los nervios con este ciclo infinito.",+ "Si no cambia el discurso voy a perder la calma.",+ "Qué fastidio tan grande no poder comunicarme con alguien real.",+ "Le advertí que no quería nada, ¿por qué sigue?",+ "Esto es una pérdida de tiempo y dinero para ambos.",+ "Oiga, por favor, ¿me escucha o qué? No entiende nada.",+ "Caramba, esto es una pérdida de tiempo brutal.",+ "Pues claro que no entiendo, usted habla encriptado.",+ "Harto estoy de repetir lo mismo hasta el cansancio.",+ "Mire, si sigue repitiendo la misma respuesta me cuelgo.",+ "No se haga el loco, ya le expliqué mi problema.",+ "Qué mal servicio ofrecen, una verdadera lástima.",+ "Sí, sí, pero no entiende nada de lo que digo.",+ "A veces pienso que esto es una broma pesada.",+ "Oiga hombre, ¿por qué tanta insistencia con lo mismo?",+ "No me haga perder el tiempo con estas vueltas.",+ "Pues mira, si no entiende, pues cambie de trabajo.",+ "Harto ya de escuchar la misma grabación mil veces.",+ "Esto empieza a ser muy molesto y aburrido.",+ "Diga algo útil en lugar de repetir lo mismo.",+ "No tengo paciencia para esto, ¡hable claro por favor!",+ "Es increíble cómo no pueden resolver lo básico.",+ "Oiga, ¿está bromeando o qué? No me convence.",+ "Bueno, ya basta de dar vueltas al asunto.",+ "Sí, claro que entiendo, pero usted no me entiende.",+ "Pues menos mal que me atiende, si fuera por mí...",+ "Harto estoy de este trámite estéril y repetitivo.",+ "Oiga hombre, ¿por qué tanto rodeo con la misma pregunta?",+ "No insista más, que ya le dije que no."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/pool.frustration_human.json b/research/benchmarks/es_phone_turns/train/raw/pool.frustration_human.jsonnew file mode 100644index 00000000..a740303f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/pool.frustration_human.json@@ -0,0 +1,82 @@+{+ "name": "pool.frustration_human",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 25 frases distintas de una persona que está en una llamada con el agente automático de una empresa, está MOLESTA porque no la entiende, y por eso exige hablar con una persona de verdad. Tiene que pedir claramente una persona.",+ "phrases": [+ "Buenas tardes, exijo pasar con un humano por favor.",+ "Mande que no entiendo nada de lo que dice la máquina.",+ "Déme el número directo de atención al cliente ya mismo.",+ "Oiga, qué fastidio, quiero hablar con una persona real.",+ "No me vuelva a leer eso, póngame con alguien de verdad.",+ "Estoy perdiendo tiempo inútil, necesito soporte humano urgente.",+ "Quien conteste que sea una persona, no otro robot.",+ "Mande ya a una agente que entienda el español claro.",+ "No sirvo para hablarle al teléfono, dame gente real.",+ "Oiga caballero o señora, por favor atienda usted la llamada.",+ "Basta de esperas y mensajes automáticos, quiero un humano.",+ "Díganme cómo contactar a alguien que sí escucha mis problemas.",+ "Qué molestia mayor, exijo comunicación con personal capacitado ya.",+ "No entiendo su jerga técnica, póngame con soporte técnico persona.",+ "Buenas, soy cliente desde hace años y exijo trato humano.",+ "Mande que la verdad no le aguantó más esta llamada.",+ "Usted por favor, hable conmigo directamente sin máquinas de por medio.",+ "No vuelva a colgarse, quiero hablar con un representante ya.",+ "Cálmese señorita señor, le pido muy respetuosamente un agente humano.",+ "Déjeme en paz con el sistema, busco atención personalizada inmediata.",+ "Oiga que la paciencia se me acaba, alguien real por favor.",+ "No estoy jugando con teléfonos, exijo hablar con jefe o agente.",+ "Mande a quien pueda resolverme mi problema hoy mismo por favor.",+ "Basta de vueltas digitales, necesito voz humana y solución ahora.",+ "Le digo en serio que si no me atiende persona me voy.",+ "No me hable así, pido con un humano.",+ "Soy sorda o qué? Que atienda alguien.",+ "Ya basta de robots, quiero a una persona.",+ "Póngame al instante con quien pueda responder.",+ "Oír no oigo que me atiendan ya.",+ "Tengo prisa y este sistema me vuelve loco.",+ "No quiero mensajes, hablen conmigo directamente por favor.",+ "Esto es inacabable, exijo hablar con un real.",+ "Me tiene harto su máquina absurda.",+ "Dime si hay alguien al otro lado del cable.",+ "Que saquen a una persona, ya.",+ "No entiendo nada, pido atención humana urgente.",+ "Basta de vueltas, quiero ser atendida por vivo.",+ "Suene el timbre que toque un humano sí o sí.",+ "Estoy harta de repetir lo mismo al aire.",+ "Déjeme hablar con alguien que tenga criterio y voz.",+ "No soy una máquina, exijo trato humano.",+ "Cuelguen esa grabación y pongan a una persona.",+ "Si no me atiende un real cuelgo ya.",+ "Molesta y perdida, quiero ser atendida por alguien.",+ "Exijo pasar con personal, no con la voz.",+ "Esto es ridículo, pido con un empleado de verdad.",+ "No más 'opere 1', quiero a un ser humano.",+ "Soy cliente molesto, atiéndame una persona real ahora.",+ "Que atienda alguien que entienda español y esté vivo.",+ "Soy hondureña, hable claro.",+ "¡Ya me cansé, quiero un humano!",+ "¿Por qué no habla nadie?",+ "Le hablo en español simple, por favor.",+ "Necesito una persona real ahora mismo.",+ "Esto es una pérdida de tiempo.",+ "Dígame con quién puedo hablar.",+ "No entiendo nada, ¡cambie de opción!",+ "Quiero que me atienda un ser humano.",+ "Parece que no me están oyendo.",+ "¡Por favor, póngame con alguien!",+ "Solo quiero hablar con una persona.",+ "Esto no funciona, necesito ayuda real.",+ "Hable despacio y en voz alta.",+ "¿Hay algún agente disponible por ahí?",+ "No es broma, soy muy clara.",+ "Necesito asistencia humana, no un robot.",+ "Déjeme hablar con su supervisor, por favor.",+ "Estoy al borde de la paciencia.",+ "¿Por qué tan difícil ser humano?",+ "¡Ya basta de respuestas automáticas!",+ "Quiero atención personalizada y ya.",+ "No insista, póngame con una persona.",+ "Soy cliente, ¡háganme caso por favor!",+ "Aquí no hay comprensión posible así."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/pool.greeting.json b/research/benchmarks/es_phone_turns/train/raw/pool.greeting.jsonnew file mode 100644index 00000000..ff538dca--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/pool.greeting.json@@ -0,0 +1,81 @@+{+ "name": "pool.greeting",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 25 frases distintas de lo que dice una persona al empezar una llamada o a mitad de ella sin pedir nada todavía: saludos, «¿me escucha?», «un momento», «¿cómo dijo?», frases a medias, muletillas.",+ "phrases": [+ "Hola, ¿aló?",+ "Paseme con la señora Maria.",+ "Buenas tardes, ¿hay alguien?",+ "Un ratico que ya voy.",+ "¿Cómo dijo su nombre?",+ "A ver, espere un instante.",+ "Sí, dígame.",+ "Cobrando bien?",+ "Disculpe, no le oigo bien.",+ "Mire, yo busco al jefe.",+ "Ya casi llego, aguarde porfa.",+ "¿Me permite hablar con él?",+ "No hay nadie en casa ahorita.",+ "Perdón, se cortó la línea.",+ "Hola amigo, ¿cómo estás?",+ "Sí, sí, escucho perfectamente.",+ "Un momento que abro la puerta.",+ "A ver si le alcanzo a explicar.",+ "No es momento bueno para hablar.",+ "¿Aló? ¿Se escuchó bien?",+ "Sí, cuénteme, estoy pendiente.",+ "Oiga, perdone la interrupción.",+ "Buenos días, hablo de parte de Carlos.",+ "Espere que busco el papelito.",+ "Déjeme ver qué tengo que decirle.",+ "Aló, ¿bueno?",+ "Buenas tardes, hablo con el señor Roberto?",+ "Un segundo por favor.",+ "¿Me puede repetir eso?",+ "A ver, estoy anotando...",+ "Hola, qué tal todo?",+ "Era justo lo que le quería decir.",+ "No me escucha bien, ¿puede acercarse al micrófono?",+ "Pues sí, ese es el tema.",+ "Bueno, espere un poquito que llego ya.",+ "¿Sí? Diga.",+ "Ahí va la cosa.",+ "Hola, perdón la hora.",+ "Tengo una consulta rápida.",+ "No se preocupe, ahí estoy.",+ "Mire, le cuento...",+ "Ya casi termino de hablar con mi compañero.",+ "¿Me da su correo para enviárselo?",+ "Pues vea, el asunto es este.",+ "¿Sí me escucha bien ahora?",+ "Gracias por esperar.",+ "Le confirmo que sí está confirmado.",+ "Ya voy, ya estoy llegando.",+ "Hola, ¿hay alguien disponible?",+ "Buenas noches, ¿le molesto un rato?",+ "Aló, oiga...",+ "Qué más pues, ya le hablo.",+ "¿Me escucha bien?",+ "Un momento por favor que me sube el tono.",+ "Perdone la hora pero es urjente.",+ "Oiga, ¿quién habla?",+ "Ya estoy llegando a casa, espéreme cinco minutitos.",+ "No se cuelgue, estoy buscando el papel.",+ "Qué bonita voz, ¡ya le cuento todo!",+ "¿Cómo dijo? Se cortó la señal.",+ "Buen día, ¿hablo con don Roberto?",+ "Oiga pues, que me queda chiquito ese dato.",+ "Ya va, ya voy contestando los mensajes.",+ "Disculpe si hago ruido, estoy cocinando.",+ "¡Qué sorpresa!, qué bueno que llamó.",+ "Aquí estamos en la esquina, ¿ya vio el auto?",+ "Espere un pelín, que se me apaga la batería.",+ "A ver, oiga con atención lo que le digo.",+ "Ya casi termino aquí, luego le llamo otra vez.",+ "¡Óigame!, no me pierda el hilo de la conversación.",+ "Perdón, estaba en medio del baño (risas).",+ "Hable claro porfa que hay mucho ruido afuera.",+ "Qué onda, ya se te olvidó algo?",+ "Aquí presente, ¿qué hubo pues?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/pool.human.json b/research/benchmarks/es_phone_turns/train/raw/pool.human.jsonnew file mode 100644index 00000000..a6964f06--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/pool.human.json@@ -0,0 +1,82 @@+{+ "name": "pool.human",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 25 frases distintas de una persona que llama a una empresa, la atiende un agente automático y pide hablar con una persona de verdad, sin decir con qué departamento.",+ "phrases": [+ "Buenos días, por favor hablen con alguien.",+ "Oiga, que quiero hablar con una persona ya.",+ "¿Me conectan con un agente humano?",+ "No soy máquina, atienda usted.",+ "Quiero pasar con un representante.",+ "Porfa, que no quiero el menú.",+ "Hable con alguien real, por favor.",+ "Necesito atención personalizada, ¿hay alguien?",+ "Oiga, qué le digo para hablar con gente.",+ "¿Puedo hablar con un asesor?",+ "No me haga dar vueltas, atienda.",+ "Quiero que me atienda una persona.",+ "Oiga, por favor hable con un humano.",+ "¿Me pasa con alguien, por favor?",+ "No quiero el sistema, una persona.",+ "Oiga, que soy cliente y quiero hablar.",+ "Atiéndame usted, que no hablo con voz.",+ "Por favor, ¿hay algún agente ahí?",+ "Quiero que me atienda alguien de verdad.",+ "Oiga, qué le explico para hablar con gente.",+ "¿Me conectan con un humano ya?",+ "Necesito hablar con una persona, no máquina.",+ "Oiga, porfa que quiero atención humana.",+ "Que me atienda alguien, por favor.",+ "Quiero pasar con personal, oiga.",+ "Eh, hola buenas tardes, por favor necesito que me pase con alguien del equipo técnico porque se cayó el sistema.",+ "Sí, ya sé que soy un robot pero yo necesito hablar con un ser humano no más, urgente.",+ "Pues mira, tengo una situación bastante complicada con mi cuenta y requiero atención inmediata de personal.",+ "Oiga oiga, si me vuelve a leer el menú le voy a pegar un tiro, pásenme con alguien ya.",+ "Buenas, disculpen la molestia, quisiera que me comunicaran con una persona para resolver unos pendientes administrativos.",+ "¡Por favor! Ya cansé de oír 'presione dos', necesito hablar con un agente real de una vez por favor.",+ "Mira compadre, si no me pasan con alguien que entienda lo que pregunto, voy a colgar y denunciar al banco.",+ "Hola, buen día. Necesito asesoría personalizada sobre el producto que compré la semana pasada, gracias.",+ "Ese aparato no sirve de nada, necesito boca de carne para explicarle mi problema, por favor atiéndame.",+ "Pásenme con supervisión o con quien pueda resolver esto porque ya estoy bastante harto de dar vueltas.",+ "A ver si me escucha alguien de verdad, tengo una urgencia bancaria y no puedo perder más tiempo aquí.",+ "Oiga, buen día, le llamo para que me indique cómo proceder con mi solicitud de préstamo por favor.",+ "No quiero automatización ni grabaciones, soy cliente frecuente y exijo atención humana, por favoooor.",+ "Mira pues, ya tengo el número correcto pero el sistema me manda aquí otra vez, ayúdenme a conectar.",+ "Señorita, señora, o quien sea que esté al otro lado, necesito cancelar una suscripción ahora mismo si no hay problemas.",+ "Eh, ¿hay alguien disponible? Es urgente esto del reembolso, llevo tres días esperando por esta maldita línea.",+ "Pues sí, estoy llamando porque me cobraron dos veces y necesito hablar con quien tenga la solución ya.",+ "Oiga, buenas tardes, le molesto para preguntar sobre el estatus de mi reclamación abierta hace una semana.",+ "No más menús interminables, pásenme con un representante humano, que es lo único que resta para que me atiendan bien.",+ "Mira, no tengo paciencia para jugar con botones, necesito a una persona real al otro lado del teléfono ya.",+ "Buenas tardes, quisiera hablar con el departamento de ventas pero sin pasar por la lista interminable de opciones.",+ "Aquí quien habla necesita asistencia inmediata con su servicio de internet, por favor transfíermano con un técnico o supervisor.",+ "Oiga pues, si no me pasan con alguien que pueda darme respuestas claras, voy a cambiar de compañía mañana mismo.",+ "Hola, disculpen las molestias, pero tengo una duda con mi factura y requiero hablar con un agente de cobros.",+ "Pues miren, ya probé todo lo que dice la grabación y sigo igual, necesito ayuda humana urgente por favor.",+ "Pues buenas tardes, quería ver si me pueden pasar con alguien por favor.",+ "Eh, hola, buenos días. ¿Me atiende un humano, porfa?",+ "Buenas tardes, sí, necesito hablar con una persona de verdad ya.",+ "Hola, disculpe la molestia, pero requiero atención personalizada por favor.",+ "Ay pues hola, buenas, si me pueden hacer el favor de conectar con alguien.",+ "Pero bueno, ¿no hay nadie disponible para atenderme en este momento?",+ "Por aquí hablando con un robot, necesito a una persona real ya mismo.",+ "Hola, qué tal, buenos días. Oye, ¿me puede pasar con quien corresponda?",+ "Eh, sí, buenas tardes. Yo no quiero automatización, necesito hablar con alguien.",+ "Oiga, perdón, pero es que tengo un tema urgente y requiero a un agente.",+ "Buenas, hola. Si me pueden orientar hacia una persona que me atienda por favor.",+ "Ay no mae, otra vez el menú. Necesito hablar con un ser humano ya.",+ "Hola, buenos días señorita, ojalá pueda conectar mi llamada con alguien por acá.",+ "Pues sí, buenas tardes. Estoy llamando porque requiero intervención de personal.",+ "Oiga, disculpe, pero necesito urgencia y el sistema no me deja avanzar.",+ "Hola, qué pena la interrupción. Necesito servicio al cliente humano, por favor.",+ "Eh, hola. Sí, bueno, ya estoy cansado del bot, pásenme con alguien.",+ "Buenas tardes, si me pueden hacer caso y ponerme en contacto con una persona.",+ "Pues sí, buenas. Oigan, ¿hay alguien al otro lado de la línea?",+ "Ay caray, hola. Necesito hablar con un representante, no con el sistema.",+ "Hola, buenos días. Por favor, si me pueden transferir a alguien para atenderme.",+ "Oiga, sí, buenas tardes. Estoy intentando resolver esto y necesito a una persona.",+ "Buenas, hola. Sí, requiero asistencia inmediata de un agente humano por favor.",+ "Pues qué tal, buenos días. ¿Me pueden hacer el favor de conectar con alguien?",+ "Ay pues sí, buenas tardes. Necesito hablar con quien pueda resolver mi asunto."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/pool.human_with_no.json b/research/benchmarks/es_phone_turns/train/raw/pool.human_with_no.jsonnew file mode 100644index 00000000..00d29a22--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/pool.human_with_no.json@@ -0,0 +1,82 @@+{+ "name": "pool.human_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 25 frases distintas de una persona que llama a una empresa, la atiende un agente automático y pide hablar con una persona de verdad. En TODAS usa una negación para decirlo: «no quiero hablar con una máquina», «no me sirve el robot», «con la grabación no». No dice con qué departamento.",+ "phrases": [+ "No, no hablo con robots.",+ "Quiero un humano de verdad.",+ "Esto es una máquina aburrida.",+ "No me gusta esta grabación.",+ "Prefiero hablar con alguien real.",+ "La voz automática no sirve.",+ "Busco atención personalizada, por favor.",+ "No quiero interactuar con software.",+ "Necesito hablar con una persona.",+ "Otra vez la misma locución.",+ "Esto es demasiado automatizado.",+ "Quiero contacto humano, por favor.",+ "La inteligencia artificial no responde.",+ "Busco asistencia real y directa.",+ "No estoy interesado en el bot.",+ "Prefiero la voz de un agente.",+ "El sistema automático me confunde.",+ "Necesito hablar con alguien vivo.",+ "No acepto respuestas pregrabadas.",+ "Quiero que me atienda una persona.",+ "La máquina no entiende mi caso.",+ "Prefiero la atención presencial telefónica.",+ "No deseo interactuar con un bot.",+ "Busco a un agente humano.",+ "Otra vez el mensaje grabado.",+ "No, por favor, nada de robots, hablen conmigo.",+ "Oigan, aquí no quiero contestaciones pregrabadas.",+ "La verdad es que eso del sistema automático no me sirve para nada.",+ "No busco un mensaje grabado, necesito hablar con alguien real.",+ "Esto está muy feo, no acepto que me hable una máquina.",+ "Oiga, por el amor de Dios, pasen a un humano ya.",+ "No tengo tiempo para escuchar estos menús interminables y robóticos.",+ "La grabación esa no me contesta lo que necesito oír.",+ "No quiero perder mi tiempo con un contestador automático.",+ "Esto es inaceptable, exijo hablar con una persona de verdad.",+ "No sirva de nada este sistema si no hay quien atienda.",+ "Oiga, no me interesa interactuar con un algoritmo ahora mismo.",+ "La tecnología está bien, pero hoy necesito voz humana, no código.",+ "No respondo a botones ni a voces sintéticas, quiero a alguien.",+ "Esto no va por aquí, no acepto trato automático en serio.",+ "Oiga hermano, que yo hablo con personas, no con computadoras.",+ "La respuesta automática no me da la solución que busco hoy.",+ "No es broma, ponganme con un agente humano inmediatamente.",+ "No me sirven estas preguntas repetitivas de una máquina sin alma.",+ "Oiga, por favor, corte eso y déjenme hablar con quien sea.",+ "No acepto esta barrera digital, quiero contacto humano directo ya.",+ "La grabación fría eso no es atención al cliente para mí.",+ "No quiero ni oír más ese tono robótico, pónganme con una persona.",+ "Oiga, la verdad es que el sistema automático me tiene harto.",+ "No busco conveniencia, busco alguien que me entienda de viva voz.",+ "No hablo con máquinas, gracias.",+ "Oiga, por favor, no deseo interactuar con un sistema automatizado.",+ "La verdad es que no me interesa lo que tenga que decir el robot.",+ "Mande al teléfono de verdad, no al contestador.",+ "No quiero perder tiempo con la voz grabada.",+ "Oiga, le repito, no hablo con computadoras.",+ "Qué pena, pero con el sistema automático no me entero de nada.",+ "No busque suenen a máquina, busquen una persona real.",+ "Usted sabe que no me comunico con robots.",+ "Por favor, desactive esa opción, no quiero oír más la grabación.",+ "No hay caso, yo hablo con seres humanos.",+ "Oiga, la verdad es que su sistema no me sirve para nada.",+ "No estoy cómodo hablando con una IA, hablemos cara a cara.",+ "Le pido por favor que me pasen con un agente humano, no automático.",+ "No acepto respuestas pregrabadas, necesito alguien al otro lado de línea.",+ "Oiga, esto no es lo que busco, quiero hablar con una persona.",+ "No entiendo por qué insisten en la máquina cuando hay gente disponible.",+ "Con todo respeto, el sistema automático no me ayuda en nada.",+ "No deseo más menús interactivos, quiero voz humana.",+ "Oiga, ya basta de robots, hablemos con alguien real.",+ "La verdad es que prefiero colgar antes que seguir escuchando la máquina.",+ "No veo razón para hablar con un software si hay personal disponible.",+ "Oiga, no me funciona esa opción, quiero a una persona.",+ "Con el sistema automatizado no resuelvo nada, hablemos en serio.",+ "Por favor, no me mantengan con la grabación, necesito ayuda real."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/pool.negated_hangup.json b/research/benchmarks/es_phone_turns/train/raw/pool.negated_hangup.jsonnew file mode 100644index 00000000..831ccf7d--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/pool.negated_hangup.json@@ -0,0 +1,82 @@+{+ "name": "pool.negated_hangup",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 25 frases distintas de una persona que está en una llamada y pide que NO le cuelguen o aclara que todavía NO terminó: «no cuelgue», «espere, me falta otra cosa», «todavía no me despido». Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Por favor, aguante un ratito que ya voy terminando.",+ "No se vaya por ahí porque me falta confirmar el monto.",+ "Espere, no cuelgue todavía que me están pasando la cuenta.",+ "Un segundo más, todavía no he cerrado el trato.",+ "No corte la llamada por favor, apenas estoy revisando los datos.",+ "Aguante un poquito, me faltan dos minutos para finalizar.",+ "No se vaya amigo, esto está a punto de arreglarse.",+ "Todavía no es momento de colgar, espero su confirmación.",+ "Por aquí nomás, no cuelgue que ya me despido enseguida.",+ "Espere un momento, no termine la llamada sin mi permiso.",+ "No se vaya por favor, apenas estoy explicando el detalle final.",+ "Un ratito más, todavía no he dicho todo lo necesario.",+ "No corte la conexión por favor, me falta cerrar el tema.",+ "Aguante un segundo que ya termino de listar las cosas.",+ "No se vaya, todavía me falta pedirle esa última cosa.",+ "Espere, no cuelgue que estoy por terminar este asunto urgente.",+ "Por favor no se vaya, apenas voy a cerrar la llamada.",+ "Todavía no me despido, espere un poco más por favor.",+ "No corte por aquí, me falta revisar un detalle pequeño.",+ "Aguante un rato, no termine la conversación sin mi visto bueno.",+ "No se vaya amigo mío, apenas estoy por finalizar el trámite.",+ "Espere un instante, todavía no he terminado de ordenar mis ideas.",+ "Por favor no cuelgue, me falta solo una palabra para cerrar.",+ "Un segundo más, no corte la llamada que ya voy concluyendo.",+ "No se vaya por favor, apenas estoy por terminar este paso.",+ "No colgue aún, porfa",+ "Espere, todavía no termino",+ "Un momento, que falta un dato",+ "Oiga, no se vaya ahora",+ "Aguante, ya voy acabando",+ "No cuelgue, me estoy aclarando",+ "Todavía no he terminado del todo",+ "Espera un segundo más, por favor",+ "No se apure, ya casi listo",+ "Espéreme que le digo lo otro",+ "No cierre la línea todavía",+ "Un ratito más, no sea maleducao",+ "Todavía me queda una cosa por decir",+ "Porfa aguarde, que no he acabado",+ "No se marche, que aún falta",+ "Espere, que se me olvidó algo",+ "No cuelgue, que ya casi termino",+ "Quédese ahí nomás, un minutito",+ "Todavía no estoy listo para colgar",+ "Aguante pues, que le explico bien",+ "No se vaya a perder la línea",+ "Espere, que voy por el último punto",+ "No me corte, que estoy terminando",+ "Todavía no me despido de verdad",+ "Un poquito más, no sea apurado",+ "Un momentito, por favor, que recién voy a terminar de explicarle lo del paquete.",+ "No cuelgue todavía porque me queda pendiente el dato de su cuenta bancaria.",+ "Espere, no cierre la línea que apenas voy a mencionar la fecha exacta.",+ "Aún no termino, así que le pido amablemente que se mantenga en la llamada.",+ "No cuelgue por favor, que solo me faltan dos detalles para cerrar esto.",+ "Quédese un rato más porque todavía no he terminado de listar los productos.",+ "No corte la comunicación ahora, que voy a resolverle el tema de la factura.",+ "Espere un segundo más, no cuelgue, que estoy buscando su número de orden.",+ "Todavía no me despido, déjeme terminar de aclararle cómo funciona el servicio.",+ "No cuelgue por favor, que me falta decirle la hora de la próxima visita.",+ "Un poquito más, no cierre la línea, que voy a confirmar su dirección.",+ "Aún no termino, así que le ruego que no cuelgue hasta que acabe este punto.",+ "No cuelgue todavía, que recién voy a mencionarle el costo total del envío.",+ "Espere, no corte, que me queda por decirle cómo activar su nueva suscripción.",+ "No cuelgue por favor, porque apenas estoy terminando de verificar su identidad.",+ "Quédese en la línea, no cierre, que voy a resolverle el cobro duplicado.",+ "Aún no termino, así que no cuelgue, necesito confirmar el código de seguridad.",+ "No cuelgue todavía, que me falta explicarle las condiciones del pago diferido.",+ "Espere un momentito, no cierre la llamada, que voy a guardar su solicitud.",+ "Todavía no me despido, déjeme terminar de listarle los pasos siguientes.",+ "No cuelgue por favor, que apenas voy a mencionarle el número de ticket.",+ "Un segundo más, no corte, que estoy terminando de registrar sus datos personales.",+ "No cuelgue todavía, que me queda por decirle la garantía del producto.",+ "Aún no termino, así que le pido que se mantenga en línea un instante más.",+ "No cuelgue por favor, que voy a terminar de explicarle el uso correcto."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/pool.negated_human.json b/research/benchmarks/es_phone_turns/train/raw/pool.negated_human.jsonnew file mode 100644index 00000000..2f70fa7a--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/pool.negated_human.json@@ -0,0 +1,82 @@+{+ "name": "pool.negated_human",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 25 frases distintas de una persona que llama a una empresa y dice que NO quiere que la pasen con nadie todavía, que prefiere que le responda quien contestó.",+ "phrases": [+ "No por favor, gracias, yo le atiendo bien.",+ "Espere un momento, no me transfiera todavía.",+ "Buenas tardes, prefiero que sea usted quien me responda.",+ "Oiga, no pase con nadie, ahí estoy.",+ "Tranquilo, no es necesario el cambio de línea.",+ "Mejor hablemos usted y yo directamente, por favor.",+ "No, gracias, estoy listo para atenderle ahora.",+ "Espéreme, que le contesto enseguida sin pasar más.",+ "No me envíe con otro, aquí le atiendo.",+ "Quedo a la espera de su respuesta directamente.",+ "Oiga, no lo traslade, yo le entiendo bien.",+ "Prefiero hablar con usted, no cambie de agente.",+ "No por favor, ahí estoy escuchando atento.",+ "Espere un segundo, prefiero su atención directa.",+ "No es necesario pasar con supervisor o alguien más.",+ "Quedo pendiente de lo que me diga ahora mismo.",+ "Oiga, aquí le atiendo yo sin problemas.",+ "No me transfiera, estoy listo para resolverlo ya.",+ "Mejor no cambie de línea, le entiendo bien.",+ "No por favor, prefiero la atención inmediata de usted.",+ "Espere, que le respondo con gusto ahora mismo.",+ "No, gracias, quede con el agente actual.",+ "Oiga, no haga cambio, yo le atiendo bien.",+ "Prefiero que me atienda directamente sin esperas extra.",+ "No es preciso pasar con nadie más, gracias.",+ "No, gracias, usted me atienda",+ "Así me atiende usted por favor",+ "No necesito pasar, usted sírvame",+ "Mire, ya estoy con el primero, no cambie",+ "Por aquí mismo resuelvo, no llame a nadie más",+ "Buenas tardes, si es posible que usted me atienda mejor",+ "No, gracias, prefiero la atención que me brindó al inicio",+ "Manténgase en línea, por favor, no transfiera",+ "Usted es quien mejor me conoce, así qúedo",+ "No hay necesidad de traspasar, aquí estamos bien",+ "Gracias por su amabilidad, pero yo con usted estoy",+ "No requiero hablar con otro, gracias por su ayuda",+ "Así me atiende usted, no cambie de línea",+ "No, ya tengo atención, por favor no transfiera",+ "Mantenga la llamada, que aquí lo resuelvo rápido",+ "Por favor, no me cambie de operador, gracias",+ "Con usted me siento cómodo, así qúedo atendido",+ "No, gracias, prefiero no esperar a otro departamento",+ "Ya estamos hablando, por favor manténgase en la línea",+ "Usted me atiende perfecto, no necesito nadie más",+ "No requiero traspaso, por aquí resuelvo mi asunto",+ "Así me atiende usted, sin pasar con nadie",+ "No, gracias, prefiero que usted continúe conmigo",+ "Mantenga la llamada, estoy atendiendo con el primero",+ "Por favor, no cambie de agente, yo con usted quedo",+ "No por favor, yo mismo me encargo",+ "Mire, no necesito que la pase a nadie, déjeme hablarle aquí",+ "A ver si usted puede resolverme esto ya mismo",+ "No le doy permiso para pasarla con el departamento técnico",+ "Gracias por la atención, pero prefiero tratarlo directamente con usted",+ "No haga eso, déjeme explicarle lo que necesito al oído",+ "Espere un segundo, no quiero ni hablar con otro alguien todavía",+ "Bueno, mire la cuestión es que usted me atiende bien aquí",+ "No por favor, no la pase a nadie, yo estoy listo para escuchar",+ "Aquí en esta extensión tengo todo lo que necesito ahora",+ "Mire amigo/a, no hace falta transferirme a otro colega",+ "Por el momento, déjeme seguir con usted, por favor",+ "No me pase con el supervisor, yo hablo con la persona que atiende",+ "Espere, espere, todavía no quiero hablar con nadie más",+ "Bueno, si usted puede atenderme mejor aquí, quédate con mi llamada",+ "No es necesario que la transfiera a otro sector en este momento",+ "Mire, prefiero tener una conversación completa con quien contestó el teléfono",+ "Por favor, no haga la transferencia ahora, déjeme hablarle a usted",+ "No necesito ser pasado con nadie todavía, gracias por su amabilidad",+ "Aquí estoy cómodo, no quiero que me cambien de línea",+ "Mire, si puede ayudarme usted mejor, entonces aquí nos quedamos",+ "No por favor, yo mismo gestiono esto con quien tiene el teléfono",+ "Bueno, déjeme ver si usted tiene la solución antes de pasarla",+ "No le digo que la pase a nadie todavía, quédate en esa línea",+ "Mire, prefiero resolverlo ahora con usted y no con un desconocido"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.direct.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.direct.jsonnew file mode 100644index 00000000..eee8c4cc--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.direct.json@@ -0,0 +1,14 @@+{+ "name": "restaurante.banquetes.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un restaurante y pide que la comuniquen con el área de «banquetes» (comida para eventos y fiestas). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "¿Me pasan con Banquetes?",+ "Sí, porfa, ¿podría comunicarme con el departamento de Banquetes?",+ "Mira pues, necesito hablar con alguien de Banquetes, ¿me atiendes?",+ "Hola, buenas tardes. Oye, si no es mucha molestia, ¿me haces el favor de pasar conmigo a la gente de Banquetes?",+ "¡Ándale, sígame! Ponme con Banquetes ya, porfa.",+ "Disculpe, requiero que me conecten con el área de Banquetes.",+ "Tío, ¿podría ver si hay alguien disponible en Banquetes? Por aquí ando apurado."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.indirect.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.indirect.jsonnew file mode 100644index 00000000..83cfbaf1--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.indirect.json@@ -0,0 +1,27 @@+{+ "name": "restaurante.banquetes.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un restaurante y necesita que se ocupe de su caso el área que atiende esto: «comida para eventos y fiestas». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, necesito coordinar la entrega del catering para mi boda del próximo sábado y me preocupa que lleguen a tiempo.",+ "¿Podrían ayudarme con el pedido de tamales para el bautizo de mi sobrino? Son treinta unidades y las quiero listas al medio día.",+ "Oiga, tengo un conflicto con una fiesta pasada donde faltaron bebidas; necesito hablar con alguien que gestione mi reclamo urgente.",+ "Hola, quisiera agendar una reunión para definir el menú completo del quinceañero de mi hija, tenemos varios detalles pendientes por resolver.",+ "A ver si me puede echar una mano, quiero hacer un pedido especial de postres para una reunión familiar este fin de semana pero no sé cómo proceder formalmente.",+ "Buen día, necesito cancelar mi reserva para una cena corporativa porque se nos cambió la fecha del evento y hay que revisar las condiciones.",+ "Mire, tengo un problema con el pago pendiente del buffet infantil; necesito que me expliquen el estado de mi cuenta antes de la próxima cita.",+ "Por favor, quiero tramitar la orden para el banquete de aniversario de mis padres, necesitamos confirmar los platos vegetarianos esta semana.",+ "Escúcheme, necesito hablar con el encargado de eventos para ajustar el número de asistentes en mi pedido actual porque aumentaron los invitados de última hora.",+ "Hola, requiero asesoría para planear la comida del cumpleaños sorpresa de mi hermano mayor, quiero saber qué opciones tienen para grupos grandes.",+ "Oiga, hubo un error en mi último pedido de snacks para la oficina y necesito que lo arreglen antes de que termine el mes.",+ "Buenas, me gustaría formalizar el contrato para la comida del evento benéfico municipal; tengo los documentos listos pero necesito la firma autorizada.",+ "A ver si pueden facilitarme información sobre cómo se realiza el pedido anticipado para fiestas patronales, porque quiero evitar contratiempos el día de la celebración.",+ "Tengo una queja seria respecto a la calidad del servicio en mi celebración pasada y deseo abrir un expediente para que lo revisen adecuadamente.",+ "Necesito gestionar la entrega de las tortas personalizadas para los cumpleaños de mis hijos; ¿me indica dónde puedo dejar los pagos?",+ "Hola, quiero revisar los detalles del menú degustación que pedimos hace dos semanas porque hay ingredientes que ya no queremos incluir.",+ "Mire, tengo una situación complicada con un proveedor externo y necesito que ustedes gestionen la logística de comida para mi evento sin contratiempos.",+ "Buenas tardes, requiero agendar una visita al local para probar muestras del nuevo menú que tienen para bodas; por favor dígame si hay cupo disponible.",+ "Oiga, quiero hablar con el área administrativa sobre la factura de mi último evento porque los cargos no coinciden con lo acordado inicialmente.",+ "Necesito tramitar la solicitud de servicio de catering para la graduación de mi sobrino; ¿qué requisitos necesitan que envíe por escrito?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.needs_with_no.jsonnew file mode 100644index 00000000..b21343db--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "restaurante.banquetes.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un restaurante y necesita que se ocupe de su caso el área que atiende esto: «comida para eventos y fiestas». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, no me han respondido mis correos sobre la comida del cumpleaños.",+ "Oiga, ¿que no tengo confirmación de nada y ya es mañana?",+ "Pues mire, no puedo coordinar el menú porque nadie me llama.",+ "Es que no me han enviado la cotización aún y estoy preocupado.",+ "No sé con quién hablar porque no me atienden en recepción.",+ "Vaya che, no llega ningún ejecutivo para cerrar el pedido urgente.",+ "No he recibido llamada de confirmación y se está haciendo tarde.",+ "Pues o sea que no me han dicho nada del catering y necesito saber ya."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.negated.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.negated.jsonnew file mode 100644index 00000000..9a5c7a24--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.banquetes.negated.json@@ -0,0 +1,15 @@+{+ "name": "restaurante.banquetes.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un restaurante y aclara que NO necesita el área de «banquetes» (comida para eventos y fiestas): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, por favor no me transfieran a banquetes, solo tengo una duda rápida sobre el menú.",+ "No necesito servicios para eventos, gracias; quería preguntarle algo al encargado de la mesa.",+ "Aquí no busco salones ni fiestas, le pido que no me pasen ahí y me atienda quien leyó.",+ "No soy cliente para banquetes, por favor déjeme hablar con quien contestó ahora mismo.",+ "No requiero el área de celebraciones, gracias; solo quiero aclarar un detalle con usted.",+ "Oiga, no me lleven a la sección de eventos que no es mi caso y responda por favor.",+ "No estoy buscando comida para fiesta, así que no me transfiera allá y resuelva mi consulta.",+ "Le reitero que no necesito banquetes, gracias; solo le hago una pregunta simple al agente."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.direct.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.direct.jsonnew file mode 100644index 00000000..17dff553--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.direct.json@@ -0,0 +1,15 @@+{+ "name": "restaurante.domicilio.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un restaurante y pide que la comuniquen con el área de «domicilio» (pedir comida para llevar o a domicilio). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenas tardes, por favor me comunican con domicilio.",+ "Hola, ¿me pasan con la sección de pedidos a domicilio?",+ "Domicilio, por favor.",+ "Buen día, quiero hablar con el área de repartos.",+ "Oye, ¿hay alguien en domicilio?",+ "Sí, hola, necesito que me conecten con quien atiende los domicilios, porfa.",+ "Domicilio, gracias.",+ "¿Podrían derivarme a la línea de pedidos para llevar o a domicilio?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.indirect.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.indirect.jsonnew file mode 100644index 00000000..eb4bd20d--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.indirect.json@@ -0,0 +1,27 @@+{+ "name": "restaurante.domicilio.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un restaurante y necesita que se ocupe de su caso el área que atiende esto: «pedir comida para llevar o a domicilio». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, quiero pedir dos menús del día para llevar.",+ "Me da pena molestarse pero se me olvidó sacar mi pedido de la mañana.",+ "Oiga por favor, ¿me pueden dejar una pizza mediana en la puerta? Es urgente.",+ "Quisiera hacer un pedido para recoger hoy mismo, soy cliente frecuente.",+ "Hola, necesito que me lleven tres empanadas y un refresco al trabajo.",+ "Perdone, ¿podrían preparar mi orden de hamburguesa con todo lo que pedí?",+ "Le llamo para solicitar el servicio a domicilio, vivo cerca del parque.",+ "Buenas, ojalá tengan espacio porque quiero ordenar una cena completa para llevar.",+ "Ayúdenme por favor, necesito mandar a buscar mi pedido ahora mismo.",+ "Quiero dejar hecho mi pedido de fin de semana, son varios platos.",+ "Oiga, me gustaría que me lleven el combo familiar a la casa.",+ "Disculpen la insistencia pero quiero confirmar mi orden para recoger en una hora.",+ "Hola, ¿me pueden preparar un sándwich especial y llevarlo a mi oficina?",+ "Necesito hacer un pedido grande para un evento, que lo lleven mañana.",+ "Buenas tardes, vengo por su servicio de comida rápida para llevar.",+ "Por favor, ojalá me tomen nota del pedido que quiero mandar llamar.",+ "Quisiera ordenar una pizza familiar y que me la lleven a mi domicilio.",+ "Oiga, necesito que me preparen tres combos de pollo para recoger ya.",+ "Hola, ¿me pueden dejar el pedido en la entrada de mi casa? Gracias.",+ "Le llamo para solicitar un pedido especial, es para una celebración pequeña."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.needs_with_no.jsonnew file mode 100644index 00000000..90487308--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "restaurante.domicilio.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un restaurante y necesita que se ocupe de su caso el área que atiende esto: «pedir comida para llevar o a domicilio». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "¿Buenas tardes? Quisiera hacer un pedido para llevar, pero no me deja completar la orden por la aplicación, ¿podrían ayudarme a tomarlo aquí?",+ "Hola, oye disculpa que moleste, es que nunca me han llegado mis pedidos en este horario y tengo mucha hambre ya.",+ "Mira, yo quería pedir lo de siempre para casa pero no tengo internet ahora mismo y necesito comer enseguida, ¿me puede anotar algo?",+ "¿Sí? Oiga, verán que hoy no pude recoger mi pedido a tiempo y se me enfrió todo, ¿hay alguna solución o lo pago igual?",+ "Buenas, no me aparece el cupón de descuento que prometieron en redes al momento de pagar online, ¿podrían revisar eso por mí?",+ "Es que yo nunca entiendo cómo funciona su sistema para domicilios y se me hace tarde, ¿me puede recomendar algo rápido para llevar?",+ "Oigan, el repartidor no contestó mi teléfono cuando estaba cerca y me dejó la comida en otro lado, ¿qué hago en este caso?",+ "Hola, pues resulta que hoy no me llegó la propina que le dejé al chico de la moto hace dos días y quisiera saber dónde está."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.negated.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.negated.jsonnew file mode 100644index 00000000..432cb67b--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.domicilio.negated.json@@ -0,0 +1,11 @@+{+ "name": "restaurante.domicilio.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un restaurante y aclara que NO necesita el área de «domicilio» (pedir comida para llevar o a domicilio): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Porfa, no me contacten por aquí, necesito hablar con alguien ya.",+ "No busquen domicilios, solo tengo una duda rápida sobre el menú.",+ "Oiga, no es para pedir a casa, quiero aclarar algo con usted.",+ "Deje eso del reparto, yo pregunto y listo, gracias por contestar."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.open.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.open.jsonnew file mode 100644index 00000000..d6b40178--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.open.json@@ -0,0 +1,22 @@+{+ "name": "restaurante.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a un restaurante: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenas tardes, ¿a qué hora cierran hoy?",+ "Hola, ¿aceptan tarjeta de crédito o es solo efectivo?",+ "Me gustaría saber si tienen mesa para cinco personas.",+ "Disculpe, ¿en la calle 5 están abiertos ahora mismo?",+ "¿Hacen reservaciones por aquí o tengo que llamar a otra línea?",+ "Buenas, ¿el lugar tiene parqueo seguro o lo dejan en la calle?",+ "Oiga, ¿qué día cierran para el feriado de Semana Santa?",+ "Hola, ¿necesito llevar identificación para entrar al local?",+ "Perdone, ¿están abriendo la sucursal de San Pedro Sula ya?",+ "¿El menú tiene opciones vegetarianas o son todos a base de carne?",+ "Buenos días, ¿cobran propina automática por grupo grande?",+ "Hola, ¿pueden hacer delivery a mi casa o es solo recogida?",+ "Disculpe, ¿aceptan pago con billeteras digitales como Nequi?",+ "Mira, ¿qué tan seguido cambian el menú del día?",+ "Hola, ¿hay capacidad ahora mismo o hay que esperar mucho rato?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.direct.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.direct.jsonnew file mode 100644index 00000000..c50e2676--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.direct.json@@ -0,0 +1,12 @@+{+ "name": "restaurante.reservas.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un restaurante y pide que la comuniquen con el área de «reservas» (apartar una mesa). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenas tardes, por favor hágame el favor de comunicarme con reservas.",+ "¡Ey! ¿Me pasan con el departamento de reservas? Porfa.",+ "Hola, necesito hablar con quien maneja las reservaciones, por favor.",+ "Que me comuniquen con reservas, sí o no.",+ "Oiga, le pido un gran favor: pásame con el área de reservas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.indirect.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.indirect.jsonnew file mode 100644index 00000000..cf3b0d8c--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.indirect.json@@ -0,0 +1,27 @@+{+ "name": "restaurante.reservas.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a un restaurante y necesita que se ocupe de su caso el área que atiende esto: «apartar una mesa». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, le hablo para reservar una mesa para seis personas este sábado a las ocho de la noche.",+ "Hola, necesito confirmar mi reservación del viernes pasado porque me quedé con la duda si estaba bien anotada.",+ "Oiga, es que ayer pidieron cancelar mi mesa y yo no estuve de acuerdo, quiero volver a agendarla.",+ "Buenas, le escribo para pedir una sala privada para una reunión de trabajo mañana por la tarde.",+ "Perdone la molestia, pero quiero anular mi reservación de hoy porque surgieron unos imprevistos familiares.",+ "Buen día, necesito cambiar la fecha de mi cita que tenía agendada para el mes que viene.",+ "Oiga pues, le llamo para ver si me pueden dar una mesa cerca de la ventana para celebrar un cumpleaños.",+ "Hola, tengo un problema con la tarjeta que dejé como garantía en mi última visita y necesito aclararlo.",+ "Buenas tardes, quiero hacer una reservación para el día del niño pero con menú especial infantil.",+ "Oiga, me da pena insistir pero necesito hablar con alguien de reservas porque no me contestan el correo.",+ "Hola, le llamo para informar que se nos retrasaron y llegaríamos quince minutos tarde a nuestra mesa reservada.",+ "Buenas, necesito una mesa accesible para silla de ruedas el próximo domingo al mediodía.",+ "Oiga pues, quería ver si me pueden dejar apartar la mesa con un nombre diferente al mío.",+ "Buen día, le escribo porque mi reservación no aparece en su sistema y tengo miedo de quedarme sin lugar.",+ "Hola, necesito confirmar si aceptan reservaciones para grupos grandes el próximo feriado largo.",+ "Perdone, pero necesito cancelar la reservación que hice por error con tres meses de anticipación.",+ "Buenas tardes, le llamo para pedir una mesa en la terraza porque hace mucho buen tiempo hoy.",+ "Oiga, me da gusto hablar con usted, quiero agendar una cena romántica para aniversario la semana próxima.",+ "Hola, necesito saber si puedo dejar una nota especial en la reservación para que pongan un pastel sorpresa.",+ "Buenas, le escribo para reiterar mi pedido de mesa para dos personas el día de hoy a las siete."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.needs_with_no.jsonnew file mode 100644index 00000000..00872ddb--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "restaurante.reservas.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un restaurante y necesita que se ocupe de su caso el área que atiende esto: «apartar una mesa». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, le llamo porque no me queda claro cómo se hace para reservar aquí.",+ "Oiga, ojalá me pueda ayudar, que no me sale el botón en la página para pedir mesa.",+ "Perdón la molestia, pero mi mamá no puede usar la aplicación y necesita que le anoten una reservación por favor.",+ "Sí, hola, ¿me da el favor? Que no llego a tiempo para caminar hasta el local y prefiero apartar desde ya.",+ "Qué tal, verán que no logro encontrar la opción de fechas libres en su sitio web y me urge sentarnos hoy.",+ "Disculpe, mi esposo no maneja bien la tecnología y necesitamos asegurar una mesa sin tener que ir allá primero.",+ "Hablo porque no he recibido confirmación de mi intento anterior y quiero asegurarme de tener lugar para cenar mañana.",+ "Oiga pues, que no me aparece el calendario en la web y quisiera saber si aún hay espacio para esta noche."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.negated.json b/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.negated.jsonnew file mode 100644index 00000000..0cfba752--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/restaurante.reservas.negated.json@@ -0,0 +1,15 @@+{+ "name": "restaurante.reservas.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a un restaurante y aclara que NO necesita el área de «reservas» (apartar una mesa): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me pase con reservas por favor.",+ "Ni de broma con eso, es una consulta.",+ "Ya le digo que no necesito mesa.",+ "Solo quiero preguntar el horario del día.",+ "Por favooor, nada de citas ni reservaciones.",+ "Atiéndame usted o al gerente, pero no a reservas.",+ "Le juro que no estoy pidiendo una mesa.",+ "Qué va, con las reservaciones ya me enteré."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.credito.direct.json b/research/benchmarks/es_phone_turns/train/raw/tienda.credito.direct.jsonnew file mode 100644index 00000000..744ab508--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.credito.direct.json@@ -0,0 +1,15 @@+{+ "name": "tienda.credito.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y pide que la comuniquen con el área de «credito» (el crédito de la tienda: solicitarlo, cuotas, saldo). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor comuníquenme con crédito.",+ "¡Epa! Pásenme a la sección de crédito, porfa.",+ "Dígame, necesito hablar con el área de crédito para ver mis cuotas.",+ "Oiga, ¿me pueden pasar al departamento de crédito?",+ "Quiero solicitar un crédito nuevo, favor de transferirme.",+ "Hola, requiero atención inmediata en la mesa de crédito.",+ "Por aquí hablando de la tienda, necesito ser derivado a créditos.",+ "¿Me hace el favor de ver con quién hablo? Necesito el área de crédito."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.credito.indirect.json b/research/benchmarks/es_phone_turns/train/raw/tienda.credito.indirect.jsonnew file mode 100644index 00000000..c4b187bc--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.credito.indirect.json@@ -0,0 +1,28 @@+{+ "name": "tienda.credito.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una tienda de electrodomésticos y necesita que se ocupe de su caso el área que atiende esto: «el crédito de la tienda: solicitarlo, cuotas, saldo». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Oiga, necesito saber cómo es para hacerme el crédito aquí hoy mismo.",+ "Buenas tardes, me gustaría cancelar una cuota pendiente antes de fin de mes.",+ "Hola, ¿me pueden decir cuánto debo exactamente en la tarjeta de la tienda?",+ "Mire, tengo un problema con mi cuenta, creen que pagué pero no aparece.",+ "¿Cuál es el mínimo para hacer el pago de esta semana?",+ "Quiero solicitar un préstamo adicional para unos muebles, ¿qué necesito?",+ "Oiga, se me pasó la fecha de pago, ¿me lo pueden mover al próximo mes?",+ "Buen día, vengo a formalizar mi crédito porque compré una nevera ayer.",+ "Necesito el estado de cuenta completo para ver cómo organizo mis pagos.",+ "Hola, quiero saber si me aprueban la cuota extra que pedí antes.",+ "Mire, tengo un error en mi saldo, dicen que debo más de lo que es.",+ "¿Puedo hacer el primer pago hoy y dejar el resto para el lunes?",+ "Oiga, necesito cambiar la fecha de corte porque se me ajusta mejor el sueldo.",+ "Buenas, vengo a preguntar por la aprobación de mi línea de crédito nueva.",+ "Tengo una factura impaga y no sé cómo regularizarla sin que afecte mi score.",+ "Hola, ¿me pueden decir hasta qué fecha puedo pagar sin intereses?",+ "Mire, quiero saber si es posible refinanciar lo que me falta por pagar.",+ "Necesito anular un pago doble que hicieron en mi cuenta por error.",+ "Oiga, ¿qué requisitos hacen falta para subir el límite de mi crédito actual?",+ "Buen día, solo quiero confirmar que supe hacer bien la transferencia de hoy.",+ "Quiero saber cómo es el proceso para cerrar mi cuenta si ya pagué todo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.credito.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/tienda.credito.needs_with_no.jsonnew file mode 100644index 00000000..9e3f76a8--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.credito.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "tienda.credito.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y necesita que se ocupe de su caso el área que atiende esto: «el crédito de la tienda: solicitarlo, cuotas, saldo». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, buenas tardes, le llamo porque nunca me aprobaron el crédito aquí y necesito saber qué está pasando.",+ "Buenas, disculpe la molestia, pero no he recibido la confirmación de mi cuota del mes pasado todavía.",+ "Hola, ¿me pueden ayudar? No me aparece el saldo actualizado en su portal web desde hace días.",+ "Le escribo porque ya pagué la última cuota y no me han cancelado la deuda aún.",+ "Buen día, oiga, no me funciona el enlace para pagar en línea y necesito hacerlo hoy mismo.",+ "Disculpe, le llamo porque no puedo descargar mi estado de cuenta por favor.",+ "Oiga mija, buenas tardes, no me llegó el correo con la propuesta de refinanciamiento que me prometieron.",+ "Hola, ¿hay alguien de créditos? No tengo acceso a mi perfil y necesito ver mis cuotas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.credito.negated.json b/research/benchmarks/es_phone_turns/train/raw/tienda.credito.negated.jsonnew file mode 100644index 00000000..bd676195--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.credito.negated.json@@ -0,0 +1,15 @@+{+ "name": "tienda.credito.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y aclara que NO necesita el área de «credito» (el crédito de la tienda: solicitarlo, cuotas, saldo): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Hola, por favor no me conecten con ventas de crédito porque no me interesa.",+ "Buen día, solo hago una consulta técnica, nada que ver con planes de financiación.",+ "Oiga, yo vengo a preguntar por la disponibilidad del producto, no necesito créditos.",+ "Disculpe, pero evíteme el área financiera que ya tengo todo resuelto con mi banco.",+ "Quiero hablar con quien atendió en otro asunto, nada de préstamos ni cuotas.",+ "No me transfiera a la sección de financiamiento porfa, solo tengo una duda rápida.",+ "Oiga amiguito, olvide el crédito que no lo quiero, solo busco info del modelo.",+ "Por favor hablemos directo con ventas generales, nada de créditos a nombre de tienda."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.direct.json b/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.direct.jsonnew file mode 100644index 00000000..cad528f5--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.direct.json@@ -0,0 +1,15 @@+{+ "name": "tienda.entregas.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y pide que la comuniquen con el área de «entregas» (cuándo llega a la casa lo que se compró). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buen día, por favor me pasa con la sección de entregas.",+ "¿Me atiende entregas?",+ "Que me comuniquen con el departamento de entregas, porfa.",+ "Oiga, ¿qué tal? Quería saber con quién hablo en entregas.",+ "Páseme con entregas, oiga.",+ "Hola, necesito hablar con alguien del área de entregas para ver mi pedido.",+ "Oiga, por aquí, pásenme con entregas.",+ "Buenas tardes, le solicito amablemente que me transfiera a la mesa de entregas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.indirect.json b/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.indirect.jsonnew file mode 100644index 00000000..c2bd7511--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.indirect.json@@ -0,0 +1,27 @@+{+ "name": "tienda.entregas.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una tienda de electrodomésticos y necesita que se ocupe de su caso el área que atiende esto: «cuándo llega a la casa lo que se compró». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Mire, llevo tres semanas esperando la estufa y nadie me dice nada.",+ "Quiero saber exactamente para qué día tienen programada la entrega de mi refrigerador.",+ "Me llegó el aviso pero la fecha se corrió y no me han informado.",+ "Buenas tardes, necesito reagendar la instalación del lavavajillas que compré la semana pasada.",+ "¿Para cuándo pueden traer el televisor? Porque ayer dijeron lunes y no vinieron.",+ "Tengo una urgencia con la entrega de mi horno microondas, se me acaba la garantía.",+ "Quisiera confirmar si mi aire acondicionado ya está en camino a mi domicilio.",+ "No entendí bien la fecha que me dieron por teléfono para el envío del refrigerador.",+ "Por favor, necesito que me digan cuándo vienen porque estoy sin cocina desde hace días.",+ "La persona que llamó para coordinar la entrega no volvió a comunicarse conmigo.",+ "Solicito que me informen el horario aproximado de llegada de mi lavadora esta semana.",+ "Tengo un problema con la fecha de entrega, se me fue la cita sin aviso.",+ "Necesito saber si puedo recibir la secadora mañana mismo o debo esperar a la próxima semana.",+ "Me dijeron que ya estaba en ruta pero ya pasaron las horas del envío programado.",+ "¿Cuándo viene el técnico para instalar la cocina que compré en oferta?",+ "Quiero cancelar la entrega de la licuadora porque cambié de opinión y me urge el crédito.",+ "No han llamado para coordinar la hora exacta de llegada de mi refrigerador americano.",+ "Solicito una actualización sobre el estado de mi pedido de electrodomésticos, hace mucho que no sé nada.",+ "¿Por qué me dieron una fecha y ahora dicen que llega hasta fin de mes?",+ "Necesito que me confirmen si van a poder pasar hoy a dejar la estufa o debo esperar."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.needs_with_no.jsonnew file mode 100644index 00000000..f6ab8dcd--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "tienda.entregas.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y necesita que se ocupe de su caso el área que atiende esto: «cuándo llega a la casa lo que se compró». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Me urge saber cuándo llega lo que compré porque no me ha llegado todavía",+ "Oiga, necesito el estatus de mi pedido urgente ya que no tengo los aparatos en casa",+ "A ver si puede ayudarme con esto de la entrega porque no puedo esperar más",+ "Pura vida, me preocupa que no llegue a tiempo para la instalación que tengo agendada",+ "Le escribo porque nunca me han dado una fecha exacta y necesito saber cuándo llega",+ "Buen día, necesito rastrear mi compra por favor ya que no me funciona sin el equipo",+ "Disculpe las molestias pero necesito confirmar la hora de entrega porque no me llegó nada",+ "Hola, ¿podrían decirme cuándo llega? Es que no tengo los electrodomésticos y estoy perdido"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.negated.json b/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.negated.jsonnew file mode 100644index 00000000..d793a1ab--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.entregas.negated.json@@ -0,0 +1,11 @@+{+ "name": "tienda.entregas.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y aclara que NO necesita el área de «entregas» (cuándo llega a la casa lo que se compró): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me conecten con entregas, porfa.",+ "Oiga, yo no tengo problema con la entrega, solo una duda.",+ "¡Qué va, no necesito eso! Atiéndame usted.",+ "Disculpe, pero aquí no pregunto por horarios de reparto."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.direct.json b/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.direct.jsonnew file mode 100644index 00000000..f84b78bc--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.direct.json@@ -0,0 +1,15 @@+{+ "name": "tienda.garantias.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y pide que la comuniquen con el área de «garantias» (un producto comprado que salió dañado y está en garantía). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Hola, buenos días. ¿Me puede dar con el departamento de garantías por favor?",+ "Bueno, pues le comento que compré una licuadora y vino dañada, necesito hablar con garantías.",+ "Sí, hable con garantía.",+ "Disculpe la molestia, pero me urge reportar un defecto en mi refrigerador, ¿me pueden pasar con el área de garantías?",+ "Pues sí, necesito atención de garantías.",+ "Que tal, tengo una duda sobre la cobertura de mi lavadora y quisiera hablar con alguien del equipo de garantías.",+ "Buenas tardes, ¿podría conectarme con garantía, por favor?",+ "Verá, la tele no enciende todavía bajo garantía, necesito que me atiendan en ese departamento."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.indirect.json b/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.indirect.jsonnew file mode 100644index 00000000..363f4ef2--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.indirect.json@@ -0,0 +1,27 @@+{+ "name": "tienda.garantias.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una tienda de electrodomésticos y necesita que se ocupe de su caso el área que atiende esto: «un producto comprado que salió dañado y está en garantía». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, compré un refrigerador hace tres días y al llegar estaba golpeado el costado.",+ "Mire, tengo una licuadora que no enciende ya, es bajo garantía y necesito cambiarla por favor.",+ "¡Chale! El televisor vino con una línea verde en la pantalla desde que lo abrí.",+ "Verá, el microondas hace un ruido terrible y huele a quemado, así que no puedo usarlo.",+ "Es que compré esto aquí mismo y resulta que la nevera gotea por dentro.",+ "Hola, necesito ver qué se puede hacer con una lavadora que se salió del balance en el centrifugado.",+ "Pues oiga, me entregaron el horno pero le falta una de las rejillas interiores.",+ "La verdad es que aspiramos y no aspira nada, parece que no tiene motor.",+ "¿Sabe?, compré un aire acondicionado y está haciendo ruido como una moto vieja.",+ "Oiga pues, tengo problemas con la cafetera, se me sale café por todos lados.",+ "Es que el plato del horno se me rompió justo al sacarlo caliente, ¿qué hago?",+ "Verdaderamente no está funcionando el secador de ropa, solo gira pero no calienta.",+ "Hola, le comento que la tostadora dejó de funcionar a la segunda vez que la usé.",+ "Pues oiga don, necesito revisión urgente porque la licuadora hace chispas cuando prendo.",+ "Mire, el horno microondas no calienta los alimentos en absoluto, está fallando.",+ "Es una lástima porque compré caro este equipo y ya viene mal hecho de fábrica.",+ "Oiga, la cafetera automática deja de funcionar después de dos tazas, es insoportable.",+ "Verá, el lavaplatos no limpia bien y se queda agua sucia al final del ciclo.",+ "Hola, necesito atender lo de la refrigeradora que no enfría nada desde ayer.",+ "Pues oiga, me dieron una plancha que tiene la suela rayada y quemada al entregármela."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.needs_with_no.jsonnew file mode 100644index 00000000..f8aee393--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "tienda.garantias.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y necesita que se ocupe de su caso el área que atiende esto: «un producto comprado que salió dañado y está en garantía». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, le llamo porque la nevera que compré hace un mes no prende y necesito que me manden a un técnico.",+ "Oiga, disculpe, pero el microondas no enciende desde ayer, ¿me pueden hacer algo para repararlo rápido?",+ "Hola, buen día, resulta que la lavadora no gira más y está en garantía, ¿quién me atiende para este tema?",+ "Perdone, yo compré el aire acondicionado en su tienda y no enfría nada, necesito que lo revisen urgente.",+ "Oiga mijo, la licuadora no prende ni con todas las ganas, quiero saber si me cobran por el servicio de garantía.",+ "Disculpe la molestia, pero el televisor no tiene imagen desde hace dos días y requiero apoyo inmediato.",+ "¿Aló? El refrigerador no congela y ya pasaron los siete días de prueba, ¿me pueden cambiar el equipo?",+ "Buenas, verán, el horno eléctrico no calienta más y tengo miedo de que se dañe algo más, necesito ayuda."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.negated.json b/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.negated.jsonnew file mode 100644index 00000000..96ce738c--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.garantias.negated.json@@ -0,0 +1,11 @@+{+ "name": "tienda.garantias.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y aclara que NO necesita el área de «garantias» (un producto comprado que salió dañado y está en garantía): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No me trasladen a garantías, por favor",+ "Oiga, con el área de garantía no necesito hablar hoy",+ "Ni lo piense, yo no estoy ahí por un producto dañado",+ "Buen día, solo quería preguntar algo rápido, nada que ver con garantías"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.direct.json b/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.direct.jsonnew file mode 100644index 00000000..8dc006c1--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.direct.json@@ -0,0 +1,15 @@+{+ "name": "tienda.instalaciones.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y pide que la comuniquen con el área de «instalaciones» (que lleguen a instalar lo comprado: aire acondicionado, lavadora). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Aquí es para instalaciones, por favor.",+ "Buen día, me gustaría conectar con el departamento de instalaciones.",+ "Eh, pues escuche, necesito que me pasen a quienes instalan los equipos, porfa.",+ "Instalaciones, por favor.",+ "Sí, le comento que quiero hablar con el área de instalación, ¿me lo conecta?",+ "Oiga, pásame a instalaciones ya.",+ "Necesito urgente al equipo de instalaciones para mi aire acondicionado.",+ "Déjeme platicar con la gente de instalaciones."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.indirect.json b/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.indirect.jsonnew file mode 100644index 00000000..5b727658--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.indirect.json@@ -0,0 +1,27 @@+{+ "name": "tienda.instalaciones.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una tienda de electrodomésticos y necesita que se ocupe de su caso el área que atiende esto: «que lleguen a instalar lo comprado: aire acondicionado, lavadora». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Ya me llegaron los electrodomésticos pero no han pasado a instalarme el aire acondicionado, necesito agendar eso con urgencia.",+ "La lavadora que compré está en mi casa pero el técnico no ha venido, ¿cuándo pueden enviarme alguien para instalarla?",+ "Quisiera saber cuándo me instalan el equipo de aire acondicionado que adquirí la semana pasada porque ya se viene el calor.",+ "Llevo dos semanas esperando que me instalen la lavadora y nadie ha llamado, quiero resolver esto hoy mismo por favor.",+ "El aire acondicionado llegó pero falta el servicio de instalación y necesito programarlo para antes del fin de semana.",+ "Tengo un problema con la instalación pendiente de mi lavadora, ya pagué pero no han enviado al técnico aún.",+ "Por favor necesito que me ubiquen con alguien para coordinar la instalación de mi nuevo aire acondicionado cuanto antes.",+ "La lavadora está en mi hogar esperando instalación y me preocupa que se dañe si no la montan pronto.",+ "Quiero agendar la fecha exacta para que vengan a instalar el aire acondicionado porque ya lo tengo en casa.",+ "No han cumplido con la instalación de la lavadora que compré, necesito que actúen sobre este caso inmediatamente.",+ "Llamando para coordinar la instalación del equipo de aire acondicionado, llevo esperando la llamada del servicio técnico varios días.",+ "La lavadora llegó hace tiempo pero sin instalar, necesito urgente que me asignen un horario para el montaje.",+ "Necesito programar la instalación de mi aire acondicionado porque ya lo compré y está guardado en mi patio.",+ "Tengo pendiente la instalación de la lavadora y quiero saber si pueden venir mañana o a más tardar el viernes.",+ "El servicio de instalación para mi aire acondicionado no se ha concretado y necesito resolverlo ya que tengo fiebre.",+ "Quisiera reclamar porque aún no me instalan la lavadora, es inaceptable tener los aparatos y no poder usarlos.",+ "Por favor ayúdeme a fijar cita para instalar el aire acondicionado, llevo semanas en espera sin respuesta concreta.",+ "La instalación de mi lavadora está detenida necesito que contacten al proveedor técnico lo más pronto posible por favor.",+ "Vengo a coordinar la instalación del aire acondicionado ya que el equipo llegó incompleto en cuanto al servicio técnico.",+ "Necesito saber quién se encarga de mi caso para instalar la lavadora porque han pasado muchos días sin solución."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.needs_with_no.jsonnew file mode 100644index 00000000..9fe82147--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "tienda.instalaciones.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y necesita que se ocupe de su caso el área que atiende esto: «que lleguen a instalar lo comprado: aire acondicionado, lavadora». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Oiga, buenas tardes, es que la lavadora ya está aquí pero ni ha llegado técnico para instalarla y llevo dos días sin ropa limpia.",+ "Qué tal, disculpe la molestia, no me han programado la fecha para el montaje del aire acondicionado y se viene el calor fuerte.",+ "Buenas, oiga, no tengo ninguna noticia de cuándo van a pasar a fijar el equipo que compré hace una semana.",+ "O sea, le comento rápido porque estoy perdido: la lavadora no se ha instalado todavía y necesito saber qué onda con eso.",+ "Hola, perdonen las molestias, pero nadie me ha contactado para coordinar la instalación de mi aire acondicionado y me urge.",+ "Mire, yo ya pagué todo completo pero no me han dado cita para que vengan a ponerlo y esto se está complicando.",+ "Oigan, qué pena molestar, es que la lavadora no ha llegado a instalarse y necesito saber si hay problemas con el pedido.",+ "Buenas tardes, oiga, no he recibido llamada de su departamento para agendar la instalación del aire acondicionado y llevo esperando mucho."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.negated.json b/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.negated.jsonnew file mode 100644index 00000000..c370746b--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.instalaciones.negated.json@@ -0,0 +1,15 @@+{+ "name": "tienda.instalaciones.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una tienda de electrodomésticos y aclara que NO necesita el área de «instalaciones» (que lleguen a instalar lo comprado: aire acondicionado, lavadora): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, por favor, al área de instalaciones no me lleven porque ya tengo todo instalado y solo consulto algo.",+ "Disculpe, no necesito que me pasen con el técnico, lo que compré ya está puesto, gracias.",+ "Oiga, qué le voy a decir, no me cambie de línea para instalación porque eso ya quedó solucionado, ¿me entiende?",+ "Hola, no quiero hablar con el departamento de instalaciones, solo tengo una duda sobre la factura, por favor atienda usted.",+ "Bueno, mire, no necesito servicio técnico ni instalación, todo está bien, solo quería preguntar por la garantía.",+ "Perdón, no me pongan en espera para que me pasen con el de instalaciones, porque eso no es lo que requiero.",+ "Ay, qué le hago, no me transfiera al área de instalación, ya instalé yo mismo, gracias por su tiempo.",+ "No, no necesito ayuda con la instalación, solo quiero aclarar un dato rápido, que se quede usted en la línea."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/tienda.open.json b/research/benchmarks/es_phone_turns/train/raw/tienda.open.jsonnew file mode 100644index 00000000..94bed2ed--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/tienda.open.json@@ -0,0 +1,22 @@+{+ "name": "tienda.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a una tienda de electrodomésticos: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Buenas tardes, ¿me dicen por favor la dirección de su local principal?",+ "A ver, ¿ustedes están abiertos este domingo o cerramos?",+ "Le comento que necesito saber qué días y horas tienen de garantía los refrigeradores.",+ "Hola, disculpe la molestia, pero quería consultarle si aceptan pago en efectivo o solo tarjeta.",+ "¿Tienen parqueo gratuito para los clientes o nos cobran el tiempo?",+ "Disculpe, ¿en qué zona exacta queda esa sucursal que vi en el mapa?",+ "Oiga, una preguntita: ¿qué documentos necesito llevar para comprar a crédito?",+ "Pura vida, pues quería saber si tienen entrega gratis a la primera infancia.",+ "Buenas, ¿me confirma si abren mañana feriado de Semana Santa o no?",+ "Oye, pues dime si aceptan transferencia del BAC o solo efectivo.",+ "Perdona que te moleste, pero ¿a qué hora exacto cierran hoy por favor?",+ "Hola amigo, ¿hay sucursales en el oriente o solo están en San José centro?",+ "A ver mi amor, ¿el plan de pagos es a 12 meses sin intereses sí o no?",+ "Oigan muchachos, ¿me pueden decir si tienen reposición del modelo que busco hoy mismo?",+ "Buen día señorita, ¿ustedes hacen instalación incluida con la compra del aire acondicionado?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.becas.direct.json b/research/benchmarks/es_phone_turns/train/raw/universidad.becas.direct.jsonnew file mode 100644index 00000000..8eaaed6f--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.becas.direct.json@@ -0,0 +1,15 @@+{+ "name": "universidad.becas.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y pide que la comuniquen con el área de «becas» (solicitar o renovar una beca). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, por favor comunicarme con la oficina de becas.",+ "Oiga, ¿están ahí? Pónganme con becas, porfa.",+ "Buen día, me gustaría hablar con alguien del área de becas para renovar mi solicitud, gracias.",+ "¿Con becas?",+ "Hola, buen día, necesito que me transfieran con el departamento de becas, por favor.",+ "Oiga, póngame con becas, no tengo tiempo para esperar.",+ "Buenos días, ¿podría comunicarme con la sección de becas?",+ "Póngame con becas."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.becas.indirect.json b/research/benchmarks/es_phone_turns/train/raw/universidad.becas.indirect.jsonnew file mode 100644index 00000000..b35ca6cb--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.becas.indirect.json@@ -0,0 +1,28 @@+{+ "name": "universidad.becas.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una universidad y necesita que se ocupe de su caso el área que atiende esto: «solicitar o renovar una beca». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Oiga, le comento que mi beca caducó hace tres días y no me ha llegado nada.",+ "Buenas tardes, necesito urgente saber dónde dejo los papeles para renovar la ayuda económica del próximo semestre.",+ "Mire, el sistema me da error cuando intento actualizar mi estado de ingresos para la solicitud.",+ "O sea, que ya envíe todo pero no sé si le llegó a alguien ahí adentro.",+ "Hola, tengo un problema con el depósito porque dicen que está pendiente y necesito solucionarlo hoy.",+ "¿Ustedes pueden revisar mi caso? Llevo dos semanas sin respuesta de la oficina de becas.",+ "Oiga pues, me dijeron que para renovar tenía que entregar certificado médico y no sé dónde lo pido.",+ "Le escribo porque mi número de estudiante aparece mal en el portal y no me deja continuar.",+ "Bueno, necesito hablar con alguien que me diga si la prórroga me sigue vigente este mes.",+ "Mire, me cancelaron la beca sin aviso y quiero que me expliquen por qué fue eso.",+ "¿Qué tengo que hacer para que mi familia firme el documento digital? No me sale la opción.",+ "O sea, ya pasé la convocatoria pero me falta subir una carta de recomendación.",+ "Hola, quería preguntar si puedo cambiar los datos bancarios porque cerré esa cuenta.",+ "Le comento que nunca recibí el correo con las instrucciones para el trámite presencial.",+ "Oiga, necesito saber hasta qué hora están abriendo la ventanilla hoy para depositar la documentación faltante.",+ "Mire, tengo una nota de reintegro que me salió mal y necesito que me la corrijan rápido.",+ "¿Ustedes manejan algún formato especial si soy menor de edad? Porque no encuentro uno en internet.",+ "Buenas, quiero pedir que me activen la beca porque se me olvidó confirmar antes del viernes.",+ "O sea, que si yo cambio de carrera tengo que volver a empezar todo el proceso desde cero.",+ "Le digo que llevo tres días intentando entrar y el sitio está caído constantemente.",+ "Hola, necesito saber si el comprobante de pago que adjunté sirve o piden otro diferente."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.becas.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/universidad.becas.needs_with_no.jsonnew file mode 100644index 00000000..e156d3aa--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.becas.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "universidad.becas.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y necesita que se ocupe de su caso el área que atiende esto: «solicitar o renovar una beca». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenos días, oiga, que le comento porque hace dos semanas no me aparece la opción para renovar mi beca en el sistema y necesito que me digan qué hago.",+ "Es que nunca me ha llegado la notificación por correo sobre el estado de mi solicitud anterior y ya venció el plazo, ¿me puede orientar?",+ "O sea, llevo varios intentos y no me deja subir los documentos requeridos para renovar, sale un error raro siempre.",+ "Ayuda, por favor, porque no he recibido respuesta a mi correo del mes pasado sobre la renovación de la beca y estoy muy preocupado con las fechas.",+ "La verdad es que no puedo acceder al formulario de renovación porque mi usuario se bloqueó y necesito ayuda urgente para no perder el año.",+ "Mire, por favor, no me han actualizado el estatus en el portal a pesar de haber entregado todo lo solicitado hace un mes.",+ "Hola, oiga, es que nunca me aparece habilitada la sección de becas después de pagar la matrícula y necesito que verifiquen mi cuenta.",+ "No sé qué pasa pero no me llegan los correos del departamento de ayuda financiera respecto a la renovación y tengo miedo de perder el cupo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.becas.negated.json b/research/benchmarks/es_phone_turns/train/raw/universidad.becas.negated.jsonnew file mode 100644index 00000000..414e8c82--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.becas.negated.json@@ -0,0 +1,15 @@+{+ "name": "universidad.becas.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y aclara que NO necesita el área de «becas» (solicitar o renovar una beca): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Buenas tardes, por favor no me derive a becas porque no me interesa ese trámite.",+ "Hola, le aclaro que no estoy buscando ninguna ayuda económica, solo consulto sobre clases.",+ "Oiga, yo no soy de la sección de subsidios, evítenme pasar ahí.",+ "Disculpe, pero no tengo intención de solicitar ni renovar becas, ¿me atiende alguien más?",+ "No, no necesito hablar con el área de financiamiento, gracias por la orientación.",+ "Quiero dejar claro que no aplico para ninguna ayuda, solo una duda académica.",+ "Por favor, no me trasladen a becarios porque ese tema no me corresponde.",+ "Le confirmo que no busco apoyo económico, quiero hablar con el escritorio de admisiones."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.direct.json b/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.direct.jsonnew file mode 100644index 00000000..bc853742--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.direct.json@@ -0,0 +1,15 @@+{+ "name": "universidad.biblioteca.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y pide que la comuniquen con el área de «biblioteca» (préstamo de libros y multas de la biblioteca). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenos días, le agradezco por favor pasarle al departamento de biblioteca.",+ "¿Podrían comunicarme con quien atienda las multas y préstamos de la biblioteca?",+ "Sí, necesito hablar con el área de biblioteca, por favor transfíranme.",+ "Quisiera que me pasen con la sección de biblioteca.",+ "Buen día, ¿me atiende alguien del personal de biblioteca para una consulta de multas?",+ "Por favor, comuníqueme con la oficina de biblioteca y préstamos.",+ "Necesito pasar con el área de biblioteca.",+ "Hola, me gustaría que me conectaran con el departamento de biblioteca para revisar mi cuenta."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.indirect.json b/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.indirect.jsonnew file mode 100644index 00000000..5776df2e--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.indirect.json@@ -0,0 +1,27 @@+{+ "name": "universidad.biblioteca.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una universidad y necesita que se ocupe de su caso el área que atiende esto: «préstamo de libros y multas de la biblioteca». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Disculpe, me apareció una multa vieja en el sistema por un libro devuelto hace años.",+ "Hola, ¿me pueden revisar mi saldo? Dice que debo cien lempiras pero ya pagué.",+ "Buen día, necesito aclarar que no tengo libros atrasados porque los canjé a tiempo.",+ "Pues mire, me cobraron dos veces el mismo retraso y quiero que lo arreglen.",+ "Oiga, me surgió un problema con la renovación online y se me bloquea todo.",+ "¡Chévere! Le comento que encontré mi tarjeta perdida en casa y ya no debo nada.",+ "A ver, ojalá me puedan ayudar porque el sistema dice que tengo seis libros pendientes.",+ "Mira, yo devolví el manual de anatomía hace una semana y sigue saliendo como vencido.",+ "Perdón si lo molesto, pero necesito que anulen esa multa porque estaba enfermo en hospital.",+ "Hola, me gustaría saber por qué no me dejan pedir libros nuevos hasta limpiar mi cuenta.",+ "Aquí le hablo para decirle que ya envié el comprobante del pago por correo.",+ "Pues sí, oiga, tengo un problema grave con la fecha de devolución que se puso mal.",+ "Buenas tardes, ¿podrían revisar si realmente devolví esa enciclopedia o me extraviaron el recibo?",+ "Oye, me urge desbloquear mi préstamo porque necesito sacar materiales para una tesis ya.",+ "Disculpe la molestia, pero el sistema me marca deuda y yo nunca he tenido libros aquí.",+ "Aquí le comento que mi caso es especial porque estudié en otra universidad hace diez años.",+ "Oiga pues, ¿me pueden decir si esa multa se puede pagar o hay que quitarla?",+ "Mira, tengo un lío con la fecha de hoy que el sistema considera como retraso.",+ "Hola, le escribo porque quiero saber cómo quito ese registro negro en mi historial.",+ "Pues mire, necesito urgente que limpien mi nombre para poder graduarme y no me deja."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.needs_with_no.jsonnew file mode 100644index 00000000..41fc2884--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "universidad.biblioteca.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y necesita que se ocupe de su caso el área que atiende esto: «préstamo de libros y multas de la biblioteca». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Que le vaya bien, pero no me deja renovar los libros por la web.",+ "Oiga, buenas tardes, aquí ando perdido porque nunca me aparece el saldo de la multa.",+ "A ver si puede ayudarme, que no tengo forma de pagar las liquidaciones en línea.",+ "Perdone la molestia, pero no me han borrado el bloqueo de la cuenta aún.",+ "¡Qué más pues! Ya le llamé antes y no me solucionaron nada con esos cargos.",+ "Disculpe, necesito hablar con alguien porque no me aparecen los libros que pedí prestados.",+ "Le escribo rápido, no me han enviado el comprobante del pago que hice ayer.",+ "Buen día, a ver si le hago caso, que no puedo sacar turnos para la mesa de partes."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.negated.json b/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.negated.jsonnew file mode 100644index 00000000..38d66ce2--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.biblioteca.negated.json@@ -0,0 +1,15 @@+{+ "name": "universidad.biblioteca.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y aclara que NO necesita el área de «biblioteca» (préstamo de libros y multas de la biblioteca): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Por favor, no me transfieran a biblioteca.",+ "No necesito el área de préstamo de libros.",+ "Oiga, evíteme pasar por bibliotecas, gracias.",+ "No es multa, no estoy ahí por eso.",+ "Solo una consulta, nada que ver con la biblio.",+ "Por favor, a quien me contestó.",+ "Necesito ayuda técnica, no servicios de biblioteca.",+ "No tengo ningún inconveniente con el préstamo de libros."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.direct.json b/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.direct.jsonnew file mode 100644index 00000000..4ea4c335--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.direct.json@@ -0,0 +1,15 @@+{+ "name": "universidad.matricula.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y pide que la comuniquen con el área de «matricula» (inscribir clases y pagar el período). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Necesito hablar con matrícula por favor",+ "Aquí le paso con el departamento de matrícula",+ "Eh, ¿me podrían pasar con Matrícula?",+ "Porfa conécteme con el área de inscripciones",+ "Dígame, requiero atención del módulo de matrícula",+ "¿Tienen a alguien disponible en matrículas?",+ "Oiga, necesito que me transfiera a Inscripciones",+ "Voy a comunicarle con la oficina de Matrícula"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.indirect.json b/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.indirect.jsonnew file mode 100644index 00000000..5e656b99--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.indirect.json@@ -0,0 +1,27 @@+{+ "name": "universidad.matricula.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una universidad y necesita que se ocupe de su caso el área que atiende esto: «inscribir clases y pagar el período». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buenas tardes, le llamo porque ya pagué mi matrícula en línea pero el sistema no me deja ver las materias disponibles para inscribirme.",+ "Oiga, buen día, necesito que me aclaren un cobro extraño en mi estado de cuenta que dice 'reintegro pendiente' y no sé qué significa.",+ "Hola, disculpen la molestia, pero ayer intenté pagar el período aquí en caja y me retuvieron los datos sin procesar el pago.",+ "Le contacto porque necesito anular mi inscripción al periodo actual debido a una emergencia familiar urgente.",+ "Buenas tardes, tengo un problema con el número de tarjeta que usé para la mensualidad, aparece como rechazado cuando sí hubo cargo.",+ "Disculpe, ya envié los documentos médicos para la beca pero hasta ahora no veo reflejado ningún descuento en mi factura.",+ "Hola, le escribo porque quiero cambiar de horario a la clase de matemáticas pero el sistema me dice que está lleno.",+ "Oiga, buen día, necesito saber si puedo pagar en dos parcialidades porque este mes ando corto de dinero.",+ "Le llamo porque mi cuenta aún sigue bloqueada después de haber completado todo el proceso de pago ayer por la tarde.",+ "Buenas tardes, quisiera solicitar una factura fiscal por el pago que realicé con tarjeta de crédito hace tres días.",+ "Hola, tengo un inconveniente, pagué pero no me aparece el recibo en mi portal estudiantil.",+ "Le contacto para pedirle que me desbloquee la cuenta académica, necesito inscribir materias antes del viernes y me sale como moroso.",+ "Disculpen, quiero saber si puedo hacer uso del plan de pagos a tres meses porque se venció mi plazo inicial.",+ "Buen día, le llamo porque hay un duplicado en mi cargo por inscripción doble que no hice yo.",+ "Hola, necesito que me envíen por correo el comprobante de pago para poder tramitarlo en mi trabajo.",+ "Le escribo porque quiero cancelar mi inscripción del segundo periodo y recuperar lo pagado en concepto de anticipo.",+ "Oiga, buen día, ¿me podrían verificar si llegó la transferencia bancaria que hice desde otro país?",+ "Buenas tardes, tengo un error en el monto a pagar, me está saliendo más caro sin motivo aparente.",+ "Hola, le llamo para solicitar una carta de no adeudo porque ya terminé todos los pagos del año.",+ "Disculpe, quiero inscribir materias pero me sale un aviso de que tengo un pendiente de biblioteca y eso no es cierto."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.needs_with_no.jsonnew file mode 100644index 00000000..4d323acf--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "universidad.matricula.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y necesita que se ocupe de su caso el área que atiende esto: «inscribir clases y pagar el período». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buenas tardes, no me aparece la opción para inscribir las clases.",+ "Necesito ayuda urgente porque no puedo realizar el pago del período.",+ "Mira compadre, nunca me llegó la confirmación de inscripción por correo.",+ "No tengo acceso al sistema para completar mi matrícula y el dinero ya está.",+ "Oiga, disculpe que moleste pero no me funcionan los datos en la ventana de pagos.",+ "Pues fíjese que no me han autorizado el periodo a pesar de haber enviado todo.",+ "Por favor necesito que le metan mano, no se guarda mi registro de clases.",+ "Ayudo porfa, no me genera la factura del pago semestral y ya venció."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.negated.json b/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.negated.jsonnew file mode 100644index 00000000..e722f9dd--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.matricula.negated.json@@ -0,0 +1,15 @@+{+ "name": "universidad.matricula.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y aclara que NO necesita el área de «matricula» (inscribir clases y pagar el período): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "Disculpe, pero yo no necesito el área de matrícula.",+ "Oiga, por favor no me conecten con inscripciones.",+ "No, gracias, yo no tengo problema con la matrícula.",+ "Permiso, evítame pasar por el departamento de matrícula.",+ "Buenas, dígame, que yo no busco matricularme aquí.",+ "Perdone, pero no requiero atención del área de matrícula.",+ "No me atiendan en inscripciones, por favor.",+ "Oiga, yo no necesito ayuda con el proceso de matrícula."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.open.json b/research/benchmarks/es_phone_turns/train/raw/universidad.open.jsonnew file mode 100644index 00000000..cddd8b20--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.open.json@@ -0,0 +1,22 @@+{+ "name": "universidad.open",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 15 preguntas distintas de información general que haría una persona que llama a una universidad: horarios, dirección, si abren feriados, formas de pago, parqueo, sucursales, requisitos. Son preguntas que contesta cualquiera en el mostrador; no piden que las pasen con nadie.",+ "phrases": [+ "Disculpe a ver usted si me indica a qué hora cierran hoy por favor.",+ "Buenas tardes oiga, ¿a dónde queda exactamente la sede principal para que yo llegue sin perderme?",+ "Usted sabría decirme si el día de los padres ustedes están abiertos o no al público.",+ "Hola buenas, le quería preguntar si aceptan pago con tarjeta de crédito o es únicamente efectivo.",+ "Perdone me podría decir cuánto tiempo dura la clase de inglés en turno vespertino por favor.",+ "Oiga pues mire si hay dónde dejar el carro cerca de la entrada porque anda todo lleno.",+ "A ver si usted me dice las llaves que necesito traer para inscribirme mañana mismo.",+ "Hola disculpe, ¿tienen alguna sucursal más cercana al centro de la ciudad o es esta la única?",+ "Usted sería tan amable de confirmarme si el horario cambia los días festivos o igual cierran a las tres.",+ "Me interesa saber a cuánto está la cuota mensual para el curso de computación básica por favor.",+ "Oiga pues mire, ¿me podría pasar el número del correo electrónico donde envían el material de estudio?",+ "Buenas tardes, le pregunto si se requiere cita previa o puedo llegar y me atienden enseguida.",+ "A ver si me aclara una duda, ¿las clases de fines de semana son obligatorias o son optativas?",+ "Hola buenas noches, usted sabría decirme cuál es el documento de identidad válido para los extranjeros.",+ "Perdone amigo, ¿a partir de qué hora comienza la fila para pagos mañana porque quiero llegar temprano?"+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.direct.json b/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.direct.jsonnew file mode 100644index 00000000..f555fdc5--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.direct.json@@ -0,0 +1,15 @@+{+ "name": "universidad.posgrados.direct",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y pide que la comuniquen con el área de «posgrados» (maestrías y doctorados). TODAS tienen que pedir que las pasen, comuniquen o transfieran, y nombrar el área. La mitad son muy cortas.",+ "phrases": [+ "Buenas tardes, por favor comunicarme con posgrados.",+ "Le consulto para que me pasen con el departamento de maestrías y doctorados.",+ "Oiga, ojalá me puedan atender con el área de posgrados.",+ "Pasen a posgrados, por favor.",+ "Quisiera que me conectara directamente con la oficina de estudios de posgrado.",+ "Me urge hablar con alguien de doctorado, ¿me puede pasar?",+ "Hola, le pido el favor de transferirme al sector de maestrías.",+ "Oiga, ¿cómo está? Porfa, comuníquenme con posgrados."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.indirect.json b/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.indirect.jsonnew file mode 100644index 00000000..50705446--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.indirect.json@@ -0,0 +1,27 @@+{+ "name": "universidad.posgrados.indirect",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 20 frases distintas que diría una persona que llama a una universidad y necesita que se ocupe de su caso el área que atiende esto: «maestrías y doctorados». La persona QUIERE HACER un trámite o TIENE un problema concreto y lo cuenta. No son preguntas de información general como horarios, precios o dirección. No nombra el departamento ni pide que la transfieran.",+ "phrases": [+ "Buen día, le escribo porque necesito agendar una cita urgente con el área de posgrado.",+ "¿Podrían indicarme si para el doctorado en Psicología se requiere carta de recomendación del director anterior?",+ "Me gustaría saber cómo proceder para validar mi título universitario aquí sin tener que cursarlo de nuevo.",+ "Tengo un problema con la inscripción online al programa de maestría, no me deja subir el expediente.",+ "¿Es posible postergar la entrega de documentos hasta la próxima semana por motivos de fuerza mayor?",+ "Necesito confirmar si mi título de maestro es válido para ingresar directamente al segundo año del doctorado.",+ "Llevo varios días intentando contactarlos y quiero asegurarme de que llegó mi solicitud de admisión.",+ "¿Qué hago si el sistema me marca error al intentar registrar la matrícula virtual?",+ "Quisiera saber si aceptan equivalencias de cursos tomados en una universidad del exterior para el plan de estudios.",+ "Tengo una duda sobre los requisitos de idioma para el ingreso a la maestría en Educación.",+ "¿Pueden ayudarme a cambiar mi modalidad de estudio de presencial a semipresencial por cambio de residencia?",+ "Necesito que me envíen el cronograma oficial de las fechas límite para inscribirme al próximo cuatrimestre.",+ "Mi trámite de reconocimiento de estudios está detenido y necesito saber cuál es la razón del retraso.",+ "¿Cómo se hace para solicitar una beca parcial para el programa de doctorado que acabo de ingresar?",+ "Quiero cancelar mi inscripción porque encontré una opción más cerca de mi hogar, ¿hay penalización?",+ "¿Me pueden confirmar si ya revisaron la documentación que les envié por correo el martes pasado?",+ "Necesito contactar al tutor académico para coordinar la fecha de inicio de mi tesis doctoral.",+ "Tengo problemas con la plataforma virtual y no puedo acceder a las clases grabadas de la maestría.",+ "¿Se puede pagar la matrícula en cuotas o es pago único al momento de inscribirme?",+ "Quiero solicitar una carta de constancia de estudio para presentarla en mi lugar de trabajo."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.needs_with_no.json b/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.needs_with_no.jsonnew file mode 100644index 00000000..5785d4f9--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.needs_with_no.json@@ -0,0 +1,15 @@+{+ "name": "universidad.posgrados.needs_with_no",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y necesita que se ocupe de su caso el área que atiende esto: «maestrías y doctorados». En TODAS la persona cuenta su problema usando una negación: «no me funciona», «no me llegó», «no puedo», «no me han», «nunca me», «no tengo». La persona SÍ necesita ayuda con eso. No nombra el departamento.",+ "phrases": [+ "Buen día, no me ha llegado la información sobre los requisitos para inscribirme en la maestría.",+ "¿Está ahí el encargado? Es que no puedo acceder al sistema de posgrados desde ayer.",+ "Oiga, pues le comento que no me han confirmado mi matrícula en el doctorado y ando preocupado.",+ "Disculpe, no me funciona la contraseña para ver los cursos avanzados de la maestría online.",+ "Buenas tardes, necesito saber si alguien puede revisarlo porque no tengo acceso a los materiales.",+ "¿Me podría orientar? Es que no me han respondido al correo sobre la beca del doctorado.",+ "O sea, la verdad es que no puedo terminar el formulario de inscripción por un error en la página.",+ "Hola, le llamo porque no me ha llegado la carta de aceptación a la maestría presencial."+ ]+}\ No newline at end of filediff --git a/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.negated.json b/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.negated.jsonnew file mode 100644index 00000000..5401a1d6--- /dev/null+++ b/research/benchmarks/es_phone_turns/train/raw/universidad.posgrados.negated.json@@ -0,0 +1,15 @@+{+ "name": "universidad.posgrados.negated",+ "model": "qwen3.6:35b-a3b-q8_0",+ "prompt": "Escribí 8 frases distintas de una persona que llama a una universidad y aclara que NO necesita el área de «posgrados» (maestrías y doctorados): dice que no la pasen ahí, o que no tiene ese problema, y que solo quiere hacer una pregunta o que la atienda quien contestó. Cada frase tiene que llevar una negación clara.",+ "phrases": [+ "No es para posgrados.",+ "Buenas tardes, no busco maestrías.",+ "Oiga, por favor no me pase ahí, solo tengo una duda rápida sobre pregrado.",+ "Mire, yo sí quiero estudiar pero no soy para doctorado ni nada parecido.",+ "Disculpe la molestia pero le aclaro que no es el departamento de posgrados lo que necesito.",+ "No, por favor, déjenme con quien contestó, eso era solo una pregunta simple.",+ "Le digo claramente que no estoy interesado en programas de grado avanzado.",+ "Quedo a la espera de su atención, sin derivarme a otras áreas."+ ]+}\ No newline at end of file