ngocnamk3er/GreenNode-Embedding-Large-VN-Retrieval-fine-tuned-without-lotrinhhoc-18DEC

SentenceTransformer based on GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1

This is a sentence-transformers model finetuned from GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ngocnamk3er/GreenNode-Embedding-Large-VN-Retrieval-fine-tuned-without-lotrinhhoc-18DEC")
# Run inference
sentences = [
    'Làm thế nào để tìm kiếm sách trong kho sách đã được kích hoạt?',
    'Chủ đề: 14. KÍCH HOẠT / TRA CỨU SÁCH\nNội dung:\n14. KÍCH HOẠT VÀ TRA CỨU SÁCH\n14.1. Kích hoạt sách\nBước 1: Truy cập trang web\nMở trình duyệt và truy cập vào website Tiếng Anh Cô Mai Phương\nĐăng nhập vào tài khoản để sử dụng đầy đủ các tính năng\nBước 2: Tìm mục Lịch sử đơn hàng\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/324f5bd0-0982-47f1-a8b9-317560ee0ef7.png]]\nTại giao diện trang chủ, người dùng nhấn vào avatar ở góc phải màn hình => chọn mục “Lịch sử đơn hàng”\nBước 3: Kích hoạt khoá sách\nTại giao diện Lịch sử đơn hàng, người dùng nhấn vào đơn hàng Sách => Nhấn nút “Kích hoạt”.\n14.2. Tra cứu sách\nBước 1: Tìm công cụ tra cứu Sách\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/b827d7c4-02c1-4b10-8d8f-5622a5afb777.png]]\nTại giao diện trang chủ, chọn mục Sách ở thanh menu bên trái => Nhấp vào để mở giao diện kho sách.\nBước 2: Tìm kiếm sách trong kho sách\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/8f66bfcd-d52b-4f0d-99e2-c225cad6a539.png]]\nNhập tên sách đã kích hoạt vào ô tìm kiếm hoặc nhấn trực tiếp vào 1 khoá sách bất kỳ đã kích hoạt.\nBước 3: Chọn topic sách\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/19adcfb6-9afe-461d-86d1-90d12f77d39e.png]]\nMàn hình hiển thị layout khoá sách => nhấn vào 1 topic mà bạn muốn tra cứu đáp án (Tên topic trên màn hình hiển thị trùng khớp với tên topic trong sách giấy)\nBước 4: Nhập ID câu hỏi cần tra đáp án\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/eae4a969-ad74-4d96-baea-9e5b0d0922ac.png]]\nNhập mã ID tương ứng với câu hỏi trong sách giấy => nhấn Enter\nHệ thống sẽ hiển thị đáp án câu hỏi tương ứng với mã ID đó.\n[[img_link: https://imagedoan.s3.ap-southeast-2.amazonaws.com/docx_extracted/70b6d904-2ebc-403a-9982-41494a1c7363.png]]\nTrong trường hợp muốn tra cứu các câu hỏi theo thứ tự lần lượt => người dùng nhấn nút “Next” để xem đáp án từng câu hoặc nhấn vào ô “Hide” để hiển thị danh sách các câu hỏi và tra cứu đáp án sách.',
    'Câu hỏi: Làm thế nào để tải tài liệu?\nTrả lời: - Nếu em dùng laptop: Em tải file ở trên GG Chrome hoặc Cốc Cốc cho dễ em nhé. Em ấn vào mũi tên tải xuống màu đỏ thì file sẽ đc tải về máy của em, em hay kiểm tra phần nhật ký tải xuống gần đây trên trình duyệt google của em (nếu là cốc cốc, còn chrome thì nó ghi là "tệp đã tải xuống" đó em nhé. Hoặc em kiểm tra ở thư mục Download nhé.\n\n- Nếu em dùng điện thoại: Em vào web từ Zalo, Facebook hoặc search từ Google thường sẽ bị chặn tải nha em. Em mở bài giải trực tiếp trên app Google Chrome và tải về giúp chị nha. Trên Safari thì em vào cài đặt => Safari và tắt chế độ Chặn cửa sổ bật lên rồi tải tài liệu em nhé.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7074, 0.1647],
#         [0.7074, 1.0000, 0.3124],
#         [0.1647, 0.3124, 1.0000]])

Evaluation

Metrics

Information Retrieval

• Dataset: val_hit_at_k
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.7101
cosine_accuracy@5	0.9269
cosine_accuracy@10	0.9707
cosine_precision@1	0.7101
cosine_precision@3	0.2979
cosine_precision@5	0.1854
cosine_precision@10	0.0971
cosine_recall@1	0.7101
cosine_recall@3	0.8936
cosine_recall@5	0.9269
cosine_recall@10	0.9707
cosine_ndcg@10	0.8477
cosine_mrr@10	0.8075
cosine_map@100	0.8093

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,008 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 11 tokens mean: 19.76 tokens max: 44 tokens	min: 25 tokens mean: 229.02 tokens max: 2694 tokens

• Samples:

  sentence_0	sentence_1
  Có cách nào để đảm bảo rằng đáp án mặc định luôn chính xác và bao quát không ạ?	Câu hỏi: HS làm đúng nhưng bị web đánh sai do đáp án khác với web nhưng vẫn đúng Trả lời: Em ghi như vậy cũng được em nhé, nhưng do đáp án đã được mặc định nên nó sẽ chấm đúng cho những câu khớp với nó, vì vậy nên nó mới chưa chấm đúng cho em, em nhé.
  Em có thể giải quyết thắc mắc về điểm số một cách độc lập không?	Câu hỏi: Sao em làm đúng mà hệ thống chấm sai? Trả lời: Bước 1: Copy Tên tài khoản (ID) học viên -> Bấm Chi tiết comment, hệ thống sẽ chuyển đến link bài thi mà hs để lại cmt Bước 2: Xem mục BXH, click vào "Tìm kiếm trng danh sách" chọn Tìm kiếm theo tên tài khoản Bước 3: Nhập tên tài khoản của học sinh, bấm Tìm kiếm Bước 4: Bấm xem chi tiết bài làm của học sinh và check câu hỏi mà học sinh thắc mắc
  Chị có thể giới thiệu cho em chuyên đề tổng ôn trọng điểm từ vựng không ạ?	Câu hỏi: Tính năng tập dịch ở khoá lớp 10 Làm bài tập dịch ở đâu ạ? Trả lời: Em vào một trong các bài chị list dưới đây là thấy bài song ngữ ở khoá bứt phá vào 10 nha: Luyện dạng bài trong đề thi vào lớp 10 (2026): - CHUYÊN ĐỀ 6: XỬ GỌN CÂU HỎI COLLOCATION TRONG ĐỀ THI - CHUYÊN ĐỀ 7: XỬ GỌN CÂU HỎI PHRASAL VERBS TRONG ĐỀ THI : Bài Tự tin xử lí câu hỏi Phrasal verbs trong đề thi (Buổi 3) - CHUYÊN ĐỀ 8: XỬ GỌN CÂU HỎI IDIOMS TRONG ĐỀ THI - CHUYÊN ĐỀ 9: ĐỌC ĐIỀN THÔNG BÁO - QUẢNG CÁO - TỜ RƠI - CHUYÊN ĐỀ 10: DẠNG THỨC TỪ (WORD FORM) VÀ ĐIỀN TỪ VÀO CÂU DỰA THEO TỪ ĐIỂN - CHUYÊN ĐỀ 11: SẮP XẾP VÀ HOÀN THIỆN ĐOẠN VĂN - CHUYÊN ĐỀ 14: ĐỌC ĐIỀN - CHUYÊN ĐỀ 17: TỔNG ÔN TRỌNG ĐIỂM TỪ VỰNG Anh văn 8-9 (Cơ bản và mở rộng) Khoá Luyện giải đề thi vào lớp 10 (2026) em nhé

• Loss: main.LoggingMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• num_train_epochs: 1
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	val_hit_at_k_cosine_ndcg@10
0.1330	100	-	0.7748
0.2660	200	-	0.8199
0.3989	300	-	0.8323
0.5319	400	-	0.8401
0.6649	500	0.0732	0.8477

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 5.2.0
• Transformers: 4.44.2
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

LoggingMultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}