Collab пример не работает
Попробовал запустить автоматически сгенерриованный Collab из Use this model меню(На CPU и на T4).
Падает с ошибкой:
KeyError Traceback (most recent call last)
/tmp/ipython-input-870045284.py in <cell line: 0>()
1 from sentence_transformers import SentenceTransformer
2
----> 3 model = SentenceTransformer("ai-sage/Giga-Embeddings-instruct", trust_remote_code=True)
4
5 sentences = [
11 frames
~/.cache/huggingface/modules/transformers_modules/ai_hyphen_sage/Giga_hyphen_Embeddings_hyphen_instruct/2cf0fdc97194aaedf10ac0e6bf798834acd31042/modeling_gigarembed.py in init(self, config, device)
381
382 self.config = config
--> 383 self.rope_init_fn = ROPE_INIT_FUNCTIONS[self.rope_type]
384
385 inv_freq, self.attention_scaling = self.rope_init_fn(self.config, device)
KeyError: 'default'
Может стоит поменять пример. В описание не сразу заглянул за кодами.
Да и из описания на SentenceTransformer что с flash-attention, что без не работает
У меня получилось воспроизвести ошибку, если сначала скачать модель, а потом обновить библиотеки. В стандартном образе колаба сейчас поставили transformers>=5, в котором много критичных изменений, в том числе связанных с загрузкой модели.
Попробуйте открыть новый ноутбук, установить библиотеки нужных версий pip install -q transformers==4.51.0 sentence-transformers==5.1.1, и только затем запустить код из карточки. У меня проблема починилась.
Сообщите пожалуйста о результатах, если не получится, будем думать дальше)
Спасибо за быструю обратную связь!
Попробовал как вы сказали, и на CPU среде пример заработал. Благодарю!