02 load descriptions

%23!%2Fusr%2Fbin%2Fenv%20python3%0A%22%22%22%0ANAICS%20Description%20Loader%0A%0AMerge%20full%20descriptions%20into%20NAICS%20codes%20table.%0ARun%20as%20script%3A%20python%2002_load_descriptions.py%0ARun%20interactive%3A%20marimo%20edit%2002_load_descriptions.py%0A%22%22%22%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.19.11%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20NAICS%202022%20Description%20Loader%0A%0A%20%20%20%20This%20notebook%20merges%20full%20descriptions%20from%20%602022_NAICS_Descriptions.xlsx%60%0A%20%20%20%20into%20the%20NAICS%20codes%20we%20loaded%20previously.%0A%0A%20%20%20%20Descriptions%20include%3A%0A%20%20%20%20-%20Detailed%20industry%20definitions%0A%20%20%20%20-%20%22Illustrative%20examples%22%20of%20establishments%0A%20%20%20%20-%20Cross-reference%20text%20(what's%20excluded)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20duckdb%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20return%20Path%2C%20duckdb%2C%20pd%0A%0A%0A%40app.cell%0Adef%20_(Path)%3A%0A%20%20%20%20%23%20Configuration%0A%20%20%20%20PROJECT_ROOT%20%3D%20Path(__file__).parent.parent%20if%20%22__file__%22%20in%20dir()%20else%20Path.cwd().parent%0A%20%20%20%20RAW_DATA_DIR%20%3D%20PROJECT_ROOT%20%2F%20%22raw-data%22%0A%20%20%20%20DB_PATH%20%3D%20PROJECT_ROOT%20%2F%20%22data%22%20%2F%20%22naics.duckdb%22%0A%0A%20%20%20%20print(f%22Database%20path%3A%20%7BDB_PATH%7D%22)%0A%20%20%20%20print(f%22Database%20exists%3A%20%7BDB_PATH.exists()%7D%22)%0A%20%20%20%20return%20DB_PATH%2C%20RAW_DATA_DIR%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%201%3A%20Load%20Descriptions%20File%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(RAW_DATA_DIR%2C%20pd)%3A%0A%20%20%20%20%23%20Load%20descriptions%0A%20%20%20%20desc_file%20%3D%20RAW_DATA_DIR%20%2F%20%222022_NAICS_Descriptions.xlsx%22%0A%20%20%20%20df_desc%20%3D%20pd.read_excel(desc_file)%0A%0A%20%20%20%20print(f%22Columns%3A%20%7Blist(df_desc.columns)%7D%22)%0A%20%20%20%20print(f%22Loaded%20%7Blen(df_desc)%7D%20descriptions%22)%0A%0A%20%20%20%20%23%20Convert%20code%20to%20string%0A%20%20%20%20df_desc%5B%22Code%22%5D%20%3D%20df_desc%5B%22Code%22%5D.astype(str).str.strip()%0A%0A%20%20%20%20df_desc.head()%0A%20%20%20%20return%20(df_desc%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%202%3A%20Preview%20Description%20Content%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_desc%2C%20pd)%3A%0A%20%20%20%20%23%20Look%20at%20a%20sample%20description%0A%20%20%20%20sample_desc%20%3D%20df_desc%5Bdf_desc%5B%22Code%22%5D%20%3D%3D%20%22445110%22%5D.iloc%5B0%5D%0A%20%20%20%20print(f%22Code%3A%20%7Bsample_desc%5B'Code'%5D%7D%22)%0A%20%20%20%20print(f%22Title%3A%20%7Bsample_desc%5B'Title'%5D%7D%22)%0A%20%20%20%20print(f%22%5CnDescription%20preview%20(first%20500%20chars)%3A%22)%0A%20%20%20%20print(sample_desc%5B'Description'%5D%5B%3A500%5D%20if%20pd.notna(sample_desc%5B'Description'%5D)%20else%20%22No%20description%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_desc)%3A%0A%20%20%20%20%23%20Check%20description%20lengths%0A%20%20%20%20df_desc%5B%22desc_length%22%5D%20%3D%20df_desc%5B%22Description%22%5D.fillna(%22%22).str.len()%0A%20%20%20%20print(%22Description%20length%20statistics%3A%22)%0A%20%20%20%20print(df_desc%5B%22desc_length%22%5D.describe())%0A%0A%20%20%20%20print(f%22%5CnCodes%20without%20descriptions%3A%20%7B(df_desc%5B'Description'%5D.isna()).sum()%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%203%3A%20Update%20Database%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(DB_PATH%2C%20duckdb)%3A%0A%20%20%20%20%23%20Connect%20to%20database%0A%20%20%20%20conn%20%3D%20duckdb.connect(str(DB_PATH))%0A%0A%20%20%20%20%23%20Check%20current%20state%0A%20%20%20%20current%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20COUNT(*)%20as%20total%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20SUM(CASE%20WHEN%20description%20IS%20NOT%20NULL%20THEN%201%20ELSE%200%20END)%20as%20with_desc%0A%20%20%20%20%20%20%20%20FROM%20naics_nodes%0A%20%20%20%20%22%22%22).fetchone()%0A%0A%20%20%20%20print(f%22Current%20state%3A%20%7Bcurrent%5B0%5D%7D%20codes%2C%20%7Bcurrent%5B1%5D%7D%20with%20descriptions%22)%0A%20%20%20%20return%20(conn%2C)%0A%0A%0A%40app.cell%0Adef%20_(conn%2C%20df_desc)%3A%0A%20%20%20%20%23%20Clean%20title%20in%20descriptions%20(remove%20trailing%20T)%0A%20%20%20%20df_desc_clean%20%3D%20df_desc%5B%5B%22Code%22%2C%20%22Description%22%5D%5D.copy()%0A%20%20%20%20df_desc_clean.columns%20%3D%20%5B%22node_code%22%2C%20%22description%22%5D%0A%0A%20%20%20%20%23%20Convert%20StringDtype%20to%20object%20for%20DuckDB%20compatibility%20(pandas%203.0)%0A%20%20%20%20for%20col%20in%20df_desc_clean.select_dtypes(include%3D%5B%22string%22%5D).columns%3A%0A%20%20%20%20%20%20%20%20df_desc_clean%5Bcol%5D%20%3D%20df_desc_clean%5Bcol%5D.astype(object)%0A%0A%20%20%20%20%23%20Update%20descriptions%20in%20database%0A%20%20%20%20%23%20DuckDB%20doesn't%20support%20UPDATE%20FROM%20DataFrame%20directly%2C%20so%20we%20use%20a%20temp%20table%0A%20%20%20%20conn.execute(%22CREATE%20OR%20REPLACE%20TEMP%20TABLE%20temp_desc%20AS%20SELECT%20*%20FROM%20df_desc_clean%22)%0A%0A%20%20%20%20update_count%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20UPDATE%20naics_nodes%0A%20%20%20%20%20%20%20%20SET%20description%20%3D%20temp_desc.description%0A%20%20%20%20%20%20%20%20FROM%20temp_desc%0A%20%20%20%20%20%20%20%20WHERE%20naics_nodes.node_code%20%3D%20temp_desc.node_code%0A%20%20%20%20%22%22%22).fetchone()%0A%0A%20%20%20%20conn.execute(%22DROP%20TABLE%20temp_desc%22)%0A%0A%20%20%20%20%23%20Verify%20update%0A%20%20%20%20after%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20COUNT(*)%20as%20total%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20SUM(CASE%20WHEN%20description%20IS%20NOT%20NULL%20THEN%201%20ELSE%200%20END)%20as%20with_desc%0A%20%20%20%20%20%20%20%20FROM%20naics_nodes%0A%20%20%20%20%22%22%22).fetchone()%0A%0A%20%20%20%20print(f%22After%20update%3A%20%7Bafter%5B0%5D%7D%20codes%2C%20%7Bafter%5B1%5D%7D%20with%20descriptions%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%204%3A%20Build%20Embedding%20Text%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20%23%20Build%20raw_embedding_text%20combining%20title%20%2B%20description%20preview%0A%20%20%20%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20UPDATE%20naics_nodes%0A%20%20%20%20%20%20%20%20SET%20raw_embedding_text%20%3D%20title%20%7C%7C%20'%20%7C%20'%20%7C%7C%20COALESCE(LEFT(description%2C%20500)%2C%20'')%0A%20%20%20%20%20%20%20%20WHERE%20raw_embedding_text%20IS%20NULL%20OR%20raw_embedding_text%20%3D%20''%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20%23%20Verify%0A%20%20%20%20sample%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20node_code%2C%20title%2C%20LEFT(raw_embedding_text%2C%20100)%20as%20embed_preview%0A%20%20%20%20%20%20%20%20FROM%20naics_nodes%0A%20%20%20%20%20%20%20%20WHERE%20level%20%3D%20'national_industry'%0A%20%20%20%20%20%20%20%20LIMIT%205%0A%20%20%20%20%22%22%22).fetchdf()%0A%20%20%20%20sample%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20%23%20Final%20statistics%0A%20%20%20%20stats%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(*)%20as%20total%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20SUM(CASE%20WHEN%20description%20IS%20NOT%20NULL%20THEN%201%20ELSE%200%20END)%20as%20with_desc%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ROUND(AVG(LENGTH(description))%2C%200)%20as%20avg_desc_len%0A%20%20%20%20%20%20%20%20FROM%20naics_nodes%0A%20%20%20%20%20%20%20%20GROUP%20BY%20level%0A%20%20%20%20%20%20%20%20ORDER%20BY%20level%0A%20%20%20%20%22%22%22).fetchdf()%0A%0A%20%20%20%20print(%22Description%20coverage%20by%20level%3A%22)%0A%20%20%20%20stats%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20conn.close()%0A%20%20%20%20print(%22Database%20connection%20closed.%20Descriptions%20loaded%20successfully!%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20Merged%20descriptions%20from%20%602022_NAICS_Descriptions.xlsx%60%3A%0A%20%20%20%20-%20Full%20industry%20definitions%0A%20%20%20%20-%20Built%20%60raw_embedding_text%60%20for%20vector%20search%0A%0A%20%20%20%20**Next%20step%3A**%20Run%20%6003_load_index_terms.py%60%20to%20load%20official%20index%20terms.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A