c526a38369
ultimately this is make it more convenient for us to wire up different elements of the analysis pipeline, without having to preload everything into memory before we need it separately the index layer now has a mechanism for storing internal key/value pairs. this is expected to be used to store the mapping, and possibly other pieces of data by the top layer, but not exposed to the user at the top.
338 lines
3.5 KiB
Go
338 lines
3.5 KiB
Go
package fa
|
||
|
||
import (
|
||
"github.com/couchbaselabs/bleve/analysis"
|
||
"github.com/couchbaselabs/bleve/registry"
|
||
)
|
||
|
||
const StopName = "stop_fa"
|
||
|
||
// this content was obtained from:
|
||
// lucene-4.7.2/analysis/common/src/resources/org/apache/lucene/analysis/
|
||
// ` was changed to ' to allow for literal string
|
||
|
||
var PersianStopWords = []byte(`# This file was created by Jacques Savoy and is distributed under the BSD license.
|
||
# See http://members.unine.ch/jacques.savoy/clef/index.html.
|
||
# Also see http://www.opensource.org/licenses/bsd-license.html
|
||
# Note: by default this file is used after normalization, so when adding entries
|
||
# to this file, use the arabic 'ي' instead of 'ی'
|
||
انان
|
||
نداشته
|
||
سراسر
|
||
خياه
|
||
ايشان
|
||
وي
|
||
تاكنون
|
||
بيشتري
|
||
دوم
|
||
پس
|
||
ناشي
|
||
وگو
|
||
يا
|
||
داشتند
|
||
سپس
|
||
هنگام
|
||
هرگز
|
||
پنج
|
||
نشان
|
||
امسال
|
||
ديگر
|
||
گروهي
|
||
شدند
|
||
چطور
|
||
ده
|
||
و
|
||
دو
|
||
نخستين
|
||
ولي
|
||
چرا
|
||
چه
|
||
وسط
|
||
ه
|
||
كدام
|
||
قابل
|
||
يك
|
||
رفت
|
||
هفت
|
||
همچنين
|
||
در
|
||
هزار
|
||
بله
|
||
بلي
|
||
شايد
|
||
اما
|
||
شناسي
|
||
گرفته
|
||
دهد
|
||
داشته
|
||
دانست
|
||
داشتن
|
||
خواهيم
|
||
ميليارد
|
||
وقتيكه
|
||
امد
|
||
خواهد
|
||
جز
|
||
اورده
|
||
شده
|
||
بلكه
|
||
خدمات
|
||
شدن
|
||
برخي
|
||
نبود
|
||
بسياري
|
||
جلوگيري
|
||
حق
|
||
كردند
|
||
نوعي
|
||
بعري
|
||
نكرده
|
||
نظير
|
||
نبايد
|
||
بوده
|
||
بودن
|
||
داد
|
||
اورد
|
||
هست
|
||
جايي
|
||
شود
|
||
دنبال
|
||
داده
|
||
بايد
|
||
سابق
|
||
هيچ
|
||
همان
|
||
انجا
|
||
كمتر
|
||
كجاست
|
||
گردد
|
||
كسي
|
||
تر
|
||
مردم
|
||
تان
|
||
دادن
|
||
بودند
|
||
سري
|
||
جدا
|
||
ندارند
|
||
مگر
|
||
يكديگر
|
||
دارد
|
||
دهند
|
||
بنابراين
|
||
هنگامي
|
||
سمت
|
||
جا
|
||
انچه
|
||
خود
|
||
دادند
|
||
زياد
|
||
دارند
|
||
اثر
|
||
بدون
|
||
بهترين
|
||
بيشتر
|
||
البته
|
||
به
|
||
براساس
|
||
بيرون
|
||
كرد
|
||
بعضي
|
||
گرفت
|
||
توي
|
||
اي
|
||
ميليون
|
||
او
|
||
جريان
|
||
تول
|
||
بر
|
||
مانند
|
||
برابر
|
||
باشيم
|
||
مدتي
|
||
گويند
|
||
اكنون
|
||
تا
|
||
تنها
|
||
جديد
|
||
چند
|
||
بي
|
||
نشده
|
||
كردن
|
||
كردم
|
||
گويد
|
||
كرده
|
||
كنيم
|
||
نمي
|
||
نزد
|
||
روي
|
||
قصد
|
||
فقط
|
||
بالاي
|
||
ديگران
|
||
اين
|
||
ديروز
|
||
توسط
|
||
سوم
|
||
ايم
|
||
دانند
|
||
سوي
|
||
استفاده
|
||
شما
|
||
كنار
|
||
داريم
|
||
ساخته
|
||
طور
|
||
امده
|
||
رفته
|
||
نخست
|
||
بيست
|
||
نزديك
|
||
طي
|
||
كنيد
|
||
از
|
||
انها
|
||
تمامي
|
||
داشت
|
||
يكي
|
||
طريق
|
||
اش
|
||
چيست
|
||
روب
|
||
نمايد
|
||
گفت
|
||
چندين
|
||
چيزي
|
||
تواند
|
||
ام
|
||
ايا
|
||
با
|
||
ان
|
||
ايد
|
||
ترين
|
||
اينكه
|
||
ديگري
|
||
راه
|
||
هايي
|
||
بروز
|
||
همچنان
|
||
پاعين
|
||
كس
|
||
حدود
|
||
مختلف
|
||
مقابل
|
||
چيز
|
||
گيرد
|
||
ندارد
|
||
ضد
|
||
همچون
|
||
سازي
|
||
شان
|
||
مورد
|
||
باره
|
||
مرسي
|
||
خويش
|
||
برخوردار
|
||
چون
|
||
خارج
|
||
شش
|
||
هنوز
|
||
تحت
|
||
ضمن
|
||
هستيم
|
||
گفته
|
||
فكر
|
||
بسيار
|
||
پيش
|
||
براي
|
||
روزهاي
|
||
انكه
|
||
نخواهد
|
||
بالا
|
||
كل
|
||
وقتي
|
||
كي
|
||
چنين
|
||
كه
|
||
گيري
|
||
نيست
|
||
است
|
||
كجا
|
||
كند
|
||
نيز
|
||
يابد
|
||
بندي
|
||
حتي
|
||
توانند
|
||
عقب
|
||
خواست
|
||
كنند
|
||
بين
|
||
تمام
|
||
همه
|
||
ما
|
||
باشند
|
||
مثل
|
||
شد
|
||
اري
|
||
باشد
|
||
اره
|
||
طبق
|
||
بعد
|
||
اگر
|
||
صورت
|
||
غير
|
||
جاي
|
||
بيش
|
||
ريزي
|
||
اند
|
||
زيرا
|
||
چگونه
|
||
بار
|
||
لطفا
|
||
مي
|
||
درباره
|
||
من
|
||
ديده
|
||
همين
|
||
گذاري
|
||
برداري
|
||
علت
|
||
گذاشته
|
||
هم
|
||
فوق
|
||
نه
|
||
ها
|
||
شوند
|
||
اباد
|
||
همواره
|
||
هر
|
||
اول
|
||
خواهند
|
||
چهار
|
||
نام
|
||
امروز
|
||
مان
|
||
هاي
|
||
قبل
|
||
كنم
|
||
سعي
|
||
تازه
|
||
را
|
||
هستند
|
||
زير
|
||
جلوي
|
||
عنوان
|
||
بود
|
||
`)
|
||
|
||
func TokenMapConstructor(config map[string]interface{}, cache *registry.Cache) (analysis.TokenMap, error) {
|
||
rv := analysis.NewTokenMap()
|
||
err := rv.LoadBytes(PersianStopWords)
|
||
return rv, err
|
||
}
|
||
|
||
func init() {
|
||
registry.RegisterTokenMap(StopName, TokenMapConstructor)
|
||
}
|